学界 | MIT 提出两种新型分布式对抗网络，性能表现超越传统单点采样相关方法

选自arXiv

机器之心编译

参与：Smith

麻省理工的 Chengtao Li 等研究人员最近提出了新型的分布式对抗网络。与传统的单点采样的 GAN 方法不同，分布式对抗网络是对真实的样本进行操作。他们的实验也证明了这种结构的对抗网络更加稳定，并且可以更好地完成模态复原。

论文地址：https://arxiv.org/pdf/1706.09549.pdf

摘要：我们提出了一种用于对抗式训练的框架，它依赖于一个样本，而不是像判别过程中的基本单元那样依靠于一个单一采样点。受到概率分布间的差异测量（discrepancy measures）和二组样本测试（twosample tests）的启发，我们提出了两个这样的分布式对抗，可以对样本进行操作和预测，并且展示了它们是怎样轻易地在现存模型之上被实施的。很多实验结果都表明用我们的分布式对抗进行训练的生成器是更加稳定的，而且与用点态预测判别器训练的传统模型相比，它不容易遭受模型失效（mode collapse）的风险。这一框架在领域适应（domain adaptation）当中的应用与当前的一流结果相比也有着相当可观的提升。

图 1： 用样本设置来解释最大似然下采样点判别器的模型失效（mode-collapse）行为的直觉力（intuition）。关于生成点 x 的梯度是由 -1/D (dD/dx) 进行加权，所以靠近第二种类型的点的梯度将由那些第一种类型的点的梯度来控制。

图 2：DAN-S 和 DAN-2S 模型及其相应损失，其中

图 3：8 个高斯混合函数生成数据的模态复原结果。最右侧的分布是真实的数据分布。当用 GAN 训练生成器的时候仅能够捕获 8 个模态中的 1 个，然而在使用 DAN-S 和 DAN-2S 进行训练的情况下，我们能够复原所有的 8 种模态。

图 4：在 MNIST 上用不同模型生成的样本的类分布。要注意的是我们展示的是 GAN，RegGAN 和 EBGAN 10 个随机序列中的最好的一个，我们根据分布熵（distribution entropy）给了它们一个不公平的优势。对于 DAN，我们只是简单地展示了一个随机序列。RegGAN 和 EBGN 中的最好的序列在某种程度上也复原了模态频率，但是它们在不同序列下的性能表现却相差很远，详见图 5。

图 5：2 种不同措施下的模态频率复原的表现：生成的模态分布的熵，和生成模态分布和标准模态分布的整体偏差距离。DAN 完成了最好的而且最稳定的模态频率复原。

图 6：在 CelebA 数据集中用 DCGAN，DANS 和 DAN-2S 训练生成的人脸。

本文为机器之心编译，转载请联系本公众号获得授权。