实战生成对抗网络[3]：DCGAN

云水木石

发布于 2019-07-01 14:50:48

5040

发布于 2019-07-01 14:50:48

在上一篇文章《实战生成对抗网络[2]：生成手写数字》中，我们使用了简单的神经网络来生成手写数字，可以看出手写数字字形，但不够完美，生成的手写数字有些毛糙，边缘不够平滑。

生成对抗网络中，生成器和判别器是一对冤家。要提高生成器的水平，就要提高判别器的识别能力。在《一步步提高手写数字的识别率(3)》系列文章中，我们探讨了如何提高手写数字的识别率，发现卷积神经网络在图像处理方面优势巨大，最后采用卷积神经网络模型，达到一个不错的识别率。自然的，为了提高生成对抗网络的手写数字生成质量，我们是否也可以采用卷积神经网络呢？

答案是肯定的，不过和《一步步提高手写数字的识别率(3)》中随便采用一个卷积神经网络结构是不够的，因为生成对抗网络中，有两个神经网络模型互相对抗，随便选择网络结构，容易在迭代过程中引起振荡，难以收敛。

好在有专家学者进行了这方面的研究，下面就介绍一篇由Alec Radford、Luke Metz和Soumith Chintala合作完成的论文 arXiv: 1511.06434, 《利用深度卷积生成对抗网络进行无监督表征学习(Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks)》。

论文给出了生成器的模型结构，如下图所示：

从图中可以看，该网络采用100x1噪声向量(随机输入)，表示为z，并将其映射到G(Z)输出，即64x64x3，其变换过程为：

100x1 → 1024x4x4 → 512x8x8 → 256x16x16 → 128x32x32 → 64x64x3

如果采用keras实现上述模型，非常简单。不过需要注意的是，在本文中探讨的手写数字生成，其最终输出是28 x 28 x 1的灰度图片，所以我们沿袭上面的模型架构，但在具体实现上做一些调整：

100x1 → 1024x1 → 128x7x7 → 128x14x14 → 14x14x64 → 28x28x64 → 8x28x1

代码如下：

def generator_model():
 model = Sequential()
 model.add(Dense(input_dim=100, output_dim=1024))
 model.add(Activation('tanh'))
 model.add(Dense(128 * 7 * 7))
 model.add(BatchNormalization())
 model.add(Activation('tanh'))
 model.add(Reshape((7, 7, 128), input_shape=(128 * 7 * 7,)))
 model.add(UpSampling2D(size=(2, 2)))
 model.add(Conv2D(64, (5, 5), padding='same'))
 model.add(Activation('tanh'))
 model.add(UpSampling2D(size=(2, 2)))
 model.add(Conv2D(1, (5, 5), padding='same'))
 model.add(Activation('tanh'))
 return model

代码中引入了批量规则化(BatchNormalization)，在实践中被证实可以在许多场合提升训练速度，减少初始化不佳带来的问题并且通常能产生准确的结果。上采样则是用来扩大维度。

判别器的实现差不多是将上述生成器模型倒过来实现，但使用最大池化代替了上采样，代码如下：

def discriminator_model():
 model = Sequential()
 model.add(
     Conv2D(64, (5, 5),
            padding='same',
            input_shape=(28, 28, 1))
 )
 model.add(Activation('tanh'))
 model.add(MaxPooling2D(pool_size=(2, 2)))
 model.add(Conv2D(128, (5, 5)))
 model.add(Activation('tanh'))
 model.add(MaxPooling2D(pool_size=(2, 2)))
 model.add(Flatten())
 model.add(Dense(1024))
 model.add(Activation('tanh'))
 model.add(Dense(1))
 model.add(Activation('sigmoid'))
 return model

在论文中，作者建议通过下面一些架构性的约束来固化网络：

在判别器中使用跨步卷积取代池化层，在生成器中使用反卷积取代池化层。
在生成器和判别器中使用批量规则化。
消除架构中较深的全连接层。
在生成器的输出层使用Tanh，在其他层均使用ReLU激活。
在判别器的所有层中都使用LeakyReLU激活。

上述代码并没有完全遵守作者的建议，可见在面对不同的场景，开发者可以有自己的发挥。事实上，在GANs in Action这本书中，作者也给出了手写数字生成的另外一种DCGAN模型，代码可参考：https://github.com/GANs-in-Action/gans-in-action/blob/master/chapter-3/Chapter_3_GAN.ipynb

经过100个epoch的迭代，我们的代码生成的手写数字如下图所示，虽然有些数字生成得不太准确，不过相对于上一篇文章的输出，边缘还是要平滑一些，效果也有所改进：