生成对抗网络(GAN)算法原理简述

前言

2014年Ian Goodfellow在研究使用生成模型自动生成图片的过程中，发现传统神经网络方法效果并不理想，随后缘于一个偶然的灵感，发明了生成对抗网络(GAN)，在其实验数据的图片生成上取得了非常理想的效果。从此，这种全新的技术作为训练生成模型的新框架，迅速风靡人工智能各个领域并取得不少突破。

GANs基本思想

1.1 基本概念

在概率统计理论里，生成模型泛指在给定一些隐含参数的条件下随机生成观测数据的模型，主要分为两类模型，第一类旨在建立数据确切的分布函数；而第二类则是在无需完全明确数据分布函数的情况下直接生成新样本，对抗生成网络就是其一个典型。

如图1所示，GANs通过对抗的方式，训练生成器(Generator)和判别器(Discriminator)两部分，其中，生成器用于生成尽量逼真的“假”样本，判别器用于尽可能准确地区分输入是真实样本还是生成的“假”样本。

图1

具体训练过程中，生成器与判别器交替训练：首先，固定生成器，使用生成器基于隐随机向量z模拟出G(z)作为负样本，并从真实数据中采样得到正样本x，然后将正负样本输入给判别器，进行二分类预测，最后利用其二分类交叉熵损失更新判别器参数；之后固定判别器优化生成器，对于生成器，为了尽可能欺骗判别器，即尽量让判别器将生成的“假”样本判为正样本，一般考虑以最大化生成样本的判别概率为目标来优化。

1.2目标函数

对于判别器，输入样本一半来自真实数据，一半来自生成器，则其二分类交叉熵损失可表示为：

分别对应真实数据和生成数据的交叉熵损失之和，以此得到优化目标函数为：

然后在训练优化阶段，一方面让判别器最大化目标函数，使得其尽量对真实数据采样样本x的预测概率D(x)趋近于1，对生成样本G(z)的预测概率D(G(z))趋近于0；另一方面，要让生成器最小化目标函数，而且logD(x)一项与生成器无关，因此此时主要是最小化后一项，使得生成器生成样本让判别器预测概率D(G(z))趋近于1即可。

GANs的缺陷与解决

2.1模型坍塌问题

基于上述目标函数，可以得出，训练判别器实质是训练其度量生成样本与真实数据的样本分布的JS散度/距离，而训练生成器实质是为减小此JS散度/距离。因此，理论上，应该优先尽可能地把判别器训练好，但实际上会发现，当判别器训练得越好，生成器反而越难优化，常出现模型坍塌问题，即生成器生成样本单一，不具备多样性。

这样以后，确实可有效避免梯度消失问题，但实际会发现这样会导致网络更新不稳定，因为随着迭代次数的增加，梯度上升会非常快，同时不同批次求得的梯度方差也会增加，导致最终生成器生成样本质量不高。因此，针对该问题，又一种思路是训练判别器时加入一些随机噪声，这样以后，可以使得生成数据与真实数据重合的几率增加，保证JS距离会下降，从而有效优化网络参数，但是，当生成数据与真实数据在空间分布上本身相距较远的时候，加入随机噪声也很难使得两者的低维度流形有重合，此时该方法就失效了。

2.2 Wasserstein距离与WGAN

结语

之后，通过不断深入研究，又发现到更多优化GANs的挑战以及应对这些问题的实用调优技巧。就比如上述WGAN并不能完全解决模型稳定训练的问题，其为了满足K-Lipschitz 条件而使用的权值裁剪的方法，一方面会限制网络表现能力，另一方面可能会由于不恰当的权值范围设置而无法避免梯度爆炸或消失问题，于是一种改进方案——WGAN-GP被提出，其通过一种称作梯度惩罚的方法替代权值裁剪方法，取得了更稳定的实验效果，对应的生成图像质量也更高。

■ 参考文献

[1] Hong Y, Hwang U, Yoo J, et al. How Generative Adversarial Networks and Their Variants Work[J]. ACM Computing Surveys (CSUR), 2019.

[2] 万字综述之生成对抗网络, https://www.jiqizhixin.com/articles/2019-03-19-12, last accessed 2019/3/19.

[3] Martin Arjovsky, Soumith Chintala, and Léon Bottou. Wasserstein GAN. arXiv preprint arXiv:1701.07875, 2017.

文章内容系作者个人观点，

不代表融智未来公众号的观点或立场。

5G 融智未来

扫二维码｜关注我们

本文作者｜原思平

中国电信股份有限公司研究院