【每周CV论文推荐】GAN与VAE的结合，有哪些必读的论文？

欢迎来到《每周CV论文推荐》。在这个专栏里，还是本着有三AI一贯的原则，专注于让大家能够系统性完成学习，所以我们推荐的文章也必定是同一主题的。

VAE和GAN是两类最具有代表性的生成式模型，其中VAE是典型的显式生成模型，GAN是典型的隐式生成模型，两者的结合又可以产生什么样的火花呢，本次我们来介绍其中值得阅读的文章。

作者&编辑 | 言有三

1 VAE论文

基本的GAN模型大家还是比较熟悉的，而变分自编码器（Variational Auto-Encoder，简称VAE）有许多朋友可能并不熟悉，因此大家还需要先了解其基本原理，阅读原始论文。

文章引用量：22000+

推荐指数：✦✦✦✦✦

[1] Kingma D P, Welling M. Auto-encoding variational bayes[J]. arXiv preprint arXiv:1312.6114, 2013.

2 对抗自编码器

Adversarial Autoencoders的核心仍然是利用一个生成器G和一个判别器D进行对抗学习，以区分real data和fake data，但是差别在于这里需要判别真假的data并不是自然图像，而是一个编码向量z，对应的real data和fake data分别由autoencoder中的encoder和一个预定义的随机概率分布生成，最后用于image generation的网络也并非是之前的生成器G，而是autoencoder中的decoder。

文章引用量：2400+

推荐指数：✦✦✦✦✦

[2] Makhzani A, Shlens J, Jaitly N, et al. Adversarial autoencoders[J]. arXiv preprint arXiv:1511.05644, 2015.

3 ALI与BiGAN

Adversarially Learned Inference（简称ALI）与Adversarial feature learning（简称BiGAN）类似，GAN中的生成器实现了从Latent向量空间z到图像空间x的转换，ALI和BiGAN模型则添加了图像空间x到Latent向量空间z的转换。判别器不仅需要学习区分生成的样本和真实的样本，还需要区分两个不同的数据和潜在变量联合分布。

文章引用量：3000+

推荐指数：✦✦✦✦✦

[3] Dumoulin V, Belghazi I, Poole B, et al. Adversarially Learned Inference[J]. arXiv: Machine Learning, 2016

[4] Donahue J, Krähenbühl P, Darrell T. Adversarial feature learning[J]. arXiv preprint arXiv:1605.09782, 2016.

4 VEEGAN

VEEGAN是一个用于减少GAN模型训练过程中过拟合程度的框架，它通过额外添加的Autoeencoder损失来实现，其损失是一个两个联合分布（真实数据与编码器输出，噪声向量与生成器输出）的KL散度。

文章引用量：500+

推荐指数：✦✦✦✦✧

[5] rivastava A, Valkov L, Russell C, et al. Veegan: Reducing mode collapse in gans using implicit variational learning[J]. Advances in neural information processing systems, 2017, 30.

5 AVB

Adversarial variational bayes（简称AVB）采用对抗学习的方式来训练变分自编码器，可以任意的使用复杂的推理模型，能够学习丰富的后验分布，并证明该模型能够为复杂的数据集生成样本。

文章引用量：500+

推荐指数：✦✦✦✦✧

[6] Mescheder L, Nowozin S, Geiger A. Adversarial variational bayes: Unifying variational autoencoders and generative adversarial networks[C]//International conference on machine learning. PMLR, 2017: 2391-2400.

6 AGE

ALI包含了编码器，解码器和判别器，但是有研究表明，没有判别器也是可以的，这就是Adversarial Generator-Encoder Networks，可以减少模型的总体参数量，与ALI模型和VAE模型进行了对比，相比于VAE拥有更好的细节，相比于ALI则拥有更精确的重建结果。

文章引用量：100+

推荐指数：✦✦✦✦✧

[7] Ulyanov D, Vedaldi A, Lempitsky V, et al. It Takes (Only) Two: Adversarial Generator-Encoder Networks[J]. arXiv: Computer Vision and Pattern Recognition, 2017.

7 如何进行实战

为了帮助大家掌握一些图像生成模型的重要方法，我们推出了相关的专栏课程《深度学习之图像生成GAN：理论实践篇》，可以进一步阅读：

【视频课】CV必学，超6小时，2大模块，循序渐进地搞懂GAN图像生成！

总结

本次我们简单介绍了GAN与VAE结合的一些研究，这是两类非常具有代表性的生成模型，对于从事图像生成相关领域的朋友，是必须掌握的基础内容。