Yoshua Bengio 提出全新 GAN 训练法，大幅提升样本生成

【新智元导读】Yoshua Bengio 的团队提出用于训练 GAN 的新算法，在每次更新的训练中，训练一个生成器以产生位于当前鉴别器的判别边界之上的样本，使用这种算法训练的 GAN 被称为 BS-GAN，该算法对离散变量和连续变量广泛有效。

摘要

我们提出一种新的方法用于训练生成对抗网络，训练一个生成器以匹配目标分布，该目标分布收敛到以一个完美鉴别器为极限。在每次更新的训练中，训练一个生成器以产生位于当前鉴别器的判别边界（decision boundary）之上的样本，我们把使用这种算法训练的 GAN 称为 BS-GAN （boundary-seeking GAN）。当生成器输出一个条件分布时，该方法可以用于训练一个具有离散输出的生成器。我们论证了我们提出的算法在离散图像数据上的有效性。我们观察到，与我们提出的算法相反，最近提出的用于离散变量的重新参数化的 Gumbel-Softmax 方法不适用于训练含有离散数据的 GAN。最后，我们注意到，我们提出的 boundary-seeking 算法甚至对连续变量也有效，并在广泛使用的两个图像数据集 SVHN 和 CelebA 上证明了其有效性。

简介

生成模型为表示数据的底层结构提供了一种方法。生成对抗网络是一个生成学习框架，使用具有对立、竞争或对抗目标的两个独立模型。这个框架相当强大，因为它不依赖于需要边际化潜在变量的概率函数的显式公式来训练生成器。此外，它避免了 MLE （最大似然估计）目标的问题。与 MLE 训练的模型不同，即使在连续变量下用高维度大规模数据训练 GAN，也可产生多样化且逼真的样本。

但是，GAN 对可以用于建模的变量的类型有严格的限制，因为它要求生成器和鉴别器的构成是完全可微的。在这篇论文中，我们提出一种全新的 GAN 学习算法。这个算法估计鉴别器相对于生成器的输出的梯度，将其作为生成器产生的样本的对数几率的梯度加权总和。

这个目标可以进一步解释为在鉴别器输出上的替代损失（alternative loss），这让我们推导出即使是连续变量也可行的用于 GAN 的新学习算法。在这种解释下，生成器的学习目标是最小化正样本和负样本的对数几率之间的差距。这个目标可以被认为是训练生成器以将生成的样本置于鉴别器的判别边界（decision boundary），因此我们称用本文所提出的算法训练的 GAN 为 boundary-seeking GAN （BGAN）。

我们在两个设置下证明了我们提出的 BGAN 的有效性，即：离散变量和连续变量。在离散变量设置中，我们使用 MNIST 和量化的 CelebA；在连续变量设置下，我们使用 SVHN 和原始的连续 CelebA。在离散变量的情况下，我们还尝试使用了 Gumbel-Softmax 方法，但相对于极其容易训练的 BGAN，Gumbel-Softmax 的方法不怎么成功。在连续变量的情况下，我们观察到所提出的算法与常规的 GAN 的工作同样好，表明该算法在离散和连续 GAN 上具有通用性。

图：使用 Gumbel-Softmax 技术时生成器训练的离散表现。

方法

见论文：https://arxiv.org/pdf/1702.08431v1.pdf

生成结果

在两个数据集上，BGAN 目标上训练的生成器能够产生多样化的样本，大部分代表了原始的数据集（见下图）。但是，在质量上，这些模型与生成的质量一致，没有更好也没有更差。

图：在实值数据集上训练的连续 BGAN 生成的样本。（a）SVHN和（b）CelebA（没有量化）。与离散的情况类似，我们观察到在两个数据集上生成的样本均具有高度多样性。