DCGAN：深度卷积生成对抗网络的无监督学习，补全人脸合成图像匹敌真实照片

【新智元导读】Github 用户 saikatbsk 最近做了一个项目，使用深度卷积生成对抗网络进行图像补完，取得了非常不错的效果。他表示不久后会将具体方法公布出来。

计算机视觉，尤其是人脸识别、生成这块是最近的热点。Github 用户 saikatbsk 做了一个项目，使用深度卷积生成对抗网络进行图像补完，取得了非常不错的效果。

右上角是原始图像，右下角是系统补完的结果

saikatbsk 使用的方法还是借助了生成对抗网络 GAN 的力量。对抗训练（Adversarial training）是 Ian Goodfellow 在 NIPS-2014 论文中首次提出的。对抗训练可以同时训练两个神经网络。第一个是判别器，用 D(Y) 表示，判别器接收输入（例如图像），并输出指示图像 Y 是否“自然”的标量（scalar）。D(Y) 的输出可以使用 softmax 函数转换为概率。概率 1 即是假图像，概率 0 表明判别器鉴定这张图像是“真实的”。

第二个神经网络则是由 G(Z) 表示的生成器，其中 Z 通常是以简单分布（例如高斯）随机抽样的向量。生成器的作用是产生假图像，训练判别器 D(Y) 输出正确的概率。

在训练过程中，D会接收一幅真实图像，并调整参数从而输出正确的概率。然后，D 会接收一张由生成器 G 生成的图像。判别器 D 再次调整其参数，让输出 D（G(Z)）大（遵循预先定义函数的梯度）。但是，G（Z）会不断训练自己生成更加自然、真实的图像，以“骗过”判别器 D。方法是通过对每个生成样本采用 D w.r.t Y 的梯度来实现。

作者 saikatbsk 使用包含印度演员图像的数据集训练网络。下图展示了他的网络在高性能 GPU 上训练100,000 步以后，由生成器生成的一些人脸，效果实在一般：

不过，他给出了最终训练出的成果：

可以看出，结果还是相当不错的。作者表示他会尽快将具体方法和代码公布。

此外， 这位 saikatbsk 还尝试了生成 Pokémon 图像：

DCGAN：深度卷积生成对抗网络的无监督学习

从 saikatbsk 的介绍里可以看出，他使用的方法应该借鉴了 DCGAN。新智元此前也对 DCGAN 做过报道，下面我们再回顾一下这种强大的方法。

Alec Radford, Luke Metz, Soumith Chintala 在 Github 上详细介绍了他们提出的 DCGAN，并展示了多幅效果图。下图显示的是经过 5 个阶段（epoch）训练后，系统生成的卧室图像。可以看出，通过在多个样本中重复纹理导致了欠拟合（under-fitting）的迹象。

经过5个训练阶段后生成的卧室图像

下图展示的是经过一个阶段的训练生成的卧室图像。据作者介绍，从理论上讲，这个模型可以学会记住训练样本，但鉴于他们当时在训练时使用了很小的学习率（learning rate）和小批量的随机梯度下降（SGD），这实际上是不太可能的。

作者 Alec Radford, Luke Metz, Soumith Chintala 表示，据他们所知，当时还没有任何事实证据表明在使用 SGD 和小的学习率的情况下，只通过一个阶段的训练模型就记住了样本。

经过1个训练阶段后生成的卧室图像

• 论文：深度卷积生成对抗网络的无监督表示学习

摘要

近年来，使用卷积神经网络（CNN）进行监督学习在计算机视觉领域得到了广泛的应用。相比之下，使用 CNN 做无监督学习得到的关注较少。在这项工作中，我们希望能够帮助弥补CNN 在监督学习和无监督学习成功之间的差距。我们提出了一类称为深度卷积生成对抗网络（DCGAN）的 CNN，DCGAN 具有一定的架构限制，论文展示了 DCGAN 用于无监督学习的巨大潜力。通过在各种图像数据集上进行训练，我们在论文中给出了令人信服的证据，证明我们的深度卷积对抗网络在生成器和判别器中学会了从部分物体（object parts）到场景（scenes）的分层表征。此外，我们将学到的特征用于新的任务——展示了将其作为通用图像表征的适用性。

在人脸上的计算，下面的图片全部是计算机生成的：

• DCGAN 论文地址：https://arxiv.org/pdf/1511.06434.pdf
• DCGAN Github 地址：https://github.com/Newmu/dcgan_code
• 图像（人脸）补全项目 Github 地址：https://github.com/saikatbsk/ImageCompletion-DCGAN/blob/master/Readme.md