协作式生成对抗网络

来源：自动化学报

生成对抗网络（GANs）是近期机器学习的热点，通过在一对生成器与判别器之间引入“对抗”关系，使得生成器能够完好拟合真实样本的数据分布，但由于缺乏监督信息的指导, 该拟合过程充满随机性。在实际当中，受限于网络的学习能力，通常只能拟合出真实数据分布的一部分，从而导致一些模式的缺失，即模式坍塌问题(Mode collapse)。

如图1所示，模式坍塌会导致训练结果出现冗余，生成图像质量差等问题。通过对真实数据进行分析不难发现，不同模式之间存在着显著的差异，例如人脸中的男性与女性，场景中的白天与黑夜等等，同时也存在着联系，例如五官结构、物体形状、位置等等。强调差异而忽略联系，或者反之，我们认为都不算是好的解决方案，寻求两者间的平衡是解决问题的关键。

图 1 生成对抗网络中的模式坍塌问题. (a) 生成数据分布无法完好拟合真实数据分布 (b) 模式坍塌导致生成数据冗余 (重复图像过多)

由此作者设计了一种新的GANs网络结构（图2）。通过构建两个（或多个）生成器，共享输入数据以及判别器，同步进行训练，训练方法与经典GANs相同。此外生成器之间相互学习，该步骤我们称为“协作”，互为指导，共同进步。“协作”穿插在正常训练之中，速率可以根据实际情况进行调整，例如训练生成器两次，协作一次。从数据分布的角度看（图3），经典对抗式训练可以拉近真实分布与生成分布之间的距离，而协作式训练则可以拉近不同生成器生成分布之间的距离。这种做法不但可以提高模型收敛速度，而且增加生成器的数量可以增强模型的学习能力，降低模式坍塌的可能。

图 2 协作式生成对抗网络结构图

图 3 网络拟合过程

作者在多种类型的数据集上验证了网络的有效性，以下是部分实验结果，图4是在大型人脸数据集CelebA上的生成结果对比，图5是在三维数据集ModelNet40上的训练结果。

图 4 CelebA人脸数据集生成结果对比（a）DCGAN（b）MAD-GAN（c）作者提出的方法

图 5 ModelNet40数据集的训练结果

引用格式

张龙, 赵杰煜, 叶绪伦, 董伟. 协作式生成对抗网络. 自动化学报, 2018, 44(5): 804-810.

作者简介

张龙, 宁波大学博士研究生. 2008 年获得瑞典布京理工学院硕士学位. 主要研究方向为神经网络与深度学习.

赵杰煜, 宁波大学教授. 主要研究方向为计算机图像处理, 机器学习, 神经网络. 本文通信作者.

叶绪伦, 宁波大学博士研究生. 2016 年获得宁波大学硕士学位. 主要研究方向为非参聚类, 流形学习以及非负矩阵分解.

董伟, 宁波大学硕士研究生. 2015 年获得辽宁科技大学学士学位. 主要研究方向为神经网络, 深度学习.