专栏首页机器之心学界 | MIT 提出两种新型分布式对抗网络,性能表现超越传统单点采样相关方法

学界 | MIT 提出两种新型分布式对抗网络,性能表现超越传统单点采样相关方法

选自arXiv

机器之心编译

参与:Smith

麻省理工的 Chengtao Li 等研究人员最近提出了新型的分布式对抗网络。与传统的单点采样的 GAN 方法不同,分布式对抗网络是对真实的样本进行操作。他们的实验也证明了这种结构的对抗网络更加稳定,并且可以更好地完成模态复原。

论文地址:https://arxiv.org/pdf/1706.09549.pdf

摘要:我们提出了一种用于对抗式训练的框架,它依赖于一个样本,而不是像判别过程中的基本单元那样依靠于一个单一采样点。受到概率分布间的差异测量(discrepancy measures)和二组样本测试(twosample tests)的启发,我们提出了两个这样的分布式对抗,可以对样本进行操作和预测,并且展示了它们是怎样轻易地在现存模型之上被实施的。很多实验结果都表明用我们的分布式对抗进行训练的生成器是更加稳定的,而且与用点态预测判别器训练的传统模型相比,它不容易遭受模型失效(mode collapse)的风险。这一框架在领域适应(domain adaptation)当中的应用与当前的一流结果相比也有着相当可观的提升。

图 1: 用样本设置来解释最大似然下采样点判别器的模型失效(mode-collapse)行为的直觉力(intuition)。关于生成点 x 的梯度是由 -1/D (dD/dx) 进行加权,所以靠近第二种类型的点的梯度将由那些第一种类型的点的梯度来控制。

图 2:DAN-S 和 DAN-2S 模型及其相应损失,其中

图 3:8 个高斯混合函数生成数据的模态复原结果。最右侧的分布是真实的数据分布。当用 GAN 训练生成器的时候仅能够捕获 8 个模态中的 1 个,然而在使用 DAN-S 和 DAN-2S 进行训练的情况下,我们能够复原所有的 8 种模态。

图 4:在 MNIST 上用不同模型生成的样本的类分布。要注意的是我们展示的是 GAN,RegGAN 和 EBGAN 10 个随机序列中的最好的一个,我们根据分布熵(distribution entropy)给了它们一个不公平的优势。对于 DAN,我们只是简单地展示了一个随机序列。RegGAN 和 EBGN 中的最好的序列在某种程度上也复原了模态频率,但是它们在不同序列下的性能表现却相差很远,详见图 5。

图 5:2 种不同措施下的模态频率复原的表现:生成的模态分布的熵,和生成模态分布和标准模态分布的整体偏差距离。DAN 完成了最好的而且最稳定的模态频率复原。

图 6:在 CelebA 数据集中用 DCGAN,DANS 和 DAN-2S 训练生成的人脸。

本文为机器之心编译,转载请联系本公众号获得授权。

本文分享自微信公众号 - 机器之心(almosthuman2014)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-07-02

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 学界 | 让机器耳濡目染:MIT提出跨模态机器学习模型

    选自arXiv 机器之心编译 作者:Yusuf Aytar等人 参与:李泽南 不变性表示(invariant representation)是视觉、听觉和语...

    机器之心
  • CVPR 2018 | 自监督对抗哈希SSAH:当前最佳的跨模态检索框架

    选自arXiv 作者:Chao Li等 机器之心编译 参与:Pedro、刘晓坤 近日,西安电子科技大学、优必选和腾讯 AI Lab 联合提出了一种新型跨模态哈希...

    机器之心
  • 业界 | 快手科技李岩:多模态技术在产业界的应用与未来展望

    李岩在演讲中表示,多模态技术有两大应用方向,一是会改变人机交互的方式,二是将使信息分发更加高效;视频本身就是一个多模态的问题,而快手则拥有海量的多模态数据,多模...

    机器之心
  • tomcat程序生成的日志文件不可读问题 - 运维总结

    现象描述: 线上机器的程序文件(包括TOMCAT自身)使用APP账号作为属主运行,同时禁止了APP账号的BASH。登录系统使用了统一认证,这样每个人都有自己的账...

    洗尽了浮华
  • 成员网研会:Kubernetes存储的实际使用(视频+PDF)

    在Kubernetes中正确使用持久性存储通常被认为是困难的。Volume、PV、PVC、Storage Class的概念,读写一次与读写多次的含义,Deplo...

    CNCF
  • 请你讲讲数组(Array)和列表(ArrayList)的区别?什么时候应该使用Array而不是ArrayList?

    ③ArrayList提供了更多的方法和特性,比如:addAll(),removeAll(),iterator()等等。

    剑走天涯
  • 喵咪制造机:生成式对抗网络的花式画喵大法

    2012年,吴恩达和Jeff Dean用Google Brain的1.6万个CPU所打造的大型神经网络,在被1000万YouTube视频中的猫图像训练三天后,自...

    AI科技大本营
  • 手撕Rtmp协议细节(11)——videoData

    上一篇我们看了rtmp audio的数据结构,这一篇我们来一起看一看rtmp video的数据结构。

    视界音你而不同
  • 4 种最热门的开源软件架构,你在用哪一种呢?

    如果一个软件开发人员,不了解软件架构的演进,会制约技术的选型和开发人员的生存、晋升空间。这里我列举了目前主要的四种软件架构以及他们的优缺点,希望能够帮助软件开发...

    iMike
  • JavaScript之insertBefore()和自定义insertAfter()的用法。

    在JS图片库的第五版开发完后http://www.cnblogs.com/GreenLeaves/p/5691797.html#js_Five_Version我...

    郑小超.

扫码关注云+社区

领取腾讯云代金券