【每周CV论文推荐】初学基于GAN的三维图像生成有哪些经典论文需要阅读

欢迎来到《每周CV论文推荐》。在这个专栏里，还是本着有三AI一贯的原则，专注于让大家能够系统性完成学习，所以我们推荐的文章也必定是同一主题的。

当前二维图像生成领域的发展已经非常成熟，但是三维的图像生成技术发展要滞后于二维图像，因为其难度相对于二维图像生成要高不少，本次我们来给大家介绍初学基于GAN的三维图像生成领域值得阅读的论文。

作者&编辑 | 言有三

1 3DGAN

3DGAN实际上就是DCGAN的3D版，从随机噪声中生成64×64×64的3D的形状，验证了简单的全卷积GAN就可以被迁移到三维形状目标的生成。

文章引用量：1500+

推荐指数：✦✦✦✦✦

[1] Wu J , Zhang C , Xue T , et al. Learning a Probabilistic Latent Space of Object Shapes via 3D Generative-Adversarial Modeling[J]. 2016.

[2] Smith E J, Meger D. Improved adversarial systems for 3d object generation and reconstruction[C]//Conference on Robot Learning. PMLR, 2017: 87-96.

2 Visual Object Network

Google的研究者率先提出了完整的通用三维图像生成框架Visual Object Network，它分三个步骤依次生成3D形状，2.5D的轮廓和深度，以及2D的纹理。框架总共包括三个网络，分别是形状生成网络(shape network)、轮廓和深度投影网络(differentiable projection P)和纹理生成网络(texture network)。

文章引用量：150+

推荐指数：✦✦✦✦✦

[3] Zhu J, Zhang Z, Zhang C, et al. Visual Object Networks: Image Generation with Disentangled 3D Representation[J]. arXiv: Computer Vision and Pattern Recognition, 2018.

3 PrGAN

前面介绍的三维图像生成框架是从头生成3D物体的框架，类似于DCGAN模型，输入为噪声向量，生成结果无法控制，且具有较高的训练难度。PrGAN （Projective Generative Adversarial Network）是一个三维形状预测GAN框架，可以用于从多个二维图中推断真实的三维形状。这实际上代表着一类研究，从多张二维图像到三维图像，更多的是三维重建问题而不仅仅是生成。

文章引用量：200+

推荐指数：✦✦✦✦✦

[4] Gadelha M , Maji S , Wang R . 3D Shape Induction from 2D Views of Multiple Objects[J]. IEEE Computer Society, 2016.

4 StyleGAN-3D

我们知道StyleGAN是一个非常强大的二维图像生成框架，那将其拓展到3D图像效果如何呢？这是高质量图像生成必须掌握的论文，仍然是来自于NVIDIA的工作，基于二维图像训练出的三维图像生成模型。当然，也有研究者将StyleGAN的二维卷积替换成三维卷积后，用于本身就是三维数据格式的医疗图像生成。

文章引用量：40+

推荐指数：✦✦✦✦✦

[5] Chan E R, Lin C Z, Chan M A, et al. Efficient geometry-aware 3D generative adversarial networks[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022: 16123-16133.

[6] Hong S, Marinescu R, Dalca A V, et al. 3d-stylegan: A style-based generative adversarial network for generative modeling of three-dimensional medical images[M]//Deep Generative Models, and Data Augmentation, Labelling, and Imperfections. Springer, Cham, 2021: 24-34.

[7] https://github.com/adamandworking/3Dstylegan

5 如何进行实战

为了帮助大家掌握基于GAN的图像与视频生成理论与实战！我们推出了相关的专栏课程《深度学习之图像生成GAN：理论与实践》，感兴趣可以进一步阅读：

【视频课】CV必学，超6小时，2大模块，循序渐进地搞懂GAN图像生成！

总结

本次我们介绍了初学基于GAN的三维数据生成必须掌握的一些方法，三维数据生成是一个非常前沿的研究领域，还有较大的发展空间，也有非常好的落地场景，对该方向感兴趣的朋友可以通过阅读这些文章进行初步了解。