朱俊彦团队,一口气放出两篇论文的实现代码!
这两篇论文,都与3D图像有关,都被NeurIPS 2018大会收录了。朱俊彦在Twitter上说,是他们团队整合3D图像和深度生成模型工作的一部分。
经过多年深耕,朱俊彦团队所在的MIT计算机科学与AI实验室,已经成了3D图像领域的研究高地。
如果你对这一领域感兴趣,走过路过,千万不要错过。
这篇论文,题目为《Visual Object Networks: Image Generation with Disentangled 3D Representation》。
提出了一种用GAN生成3D图像的方法,不仅生成的图像效果逼真,还能在3个独立维度上拆分3D物体的元素,改变图像中物体的视角、形状、材质等参数,就能获得你想要的图形。
GitHub上放出的资源非常全面,不仅包含了预训练模型,还给出了训练数据集和详细的实现步骤。
配置环境:基于PyTorch 0.4.1,不支持0.4.0。目前只在Ubuntu 16.04和python 3.6环境中进行了测试,还没有在Nvidia RTX GPU系列产品上进行测试。
代码地址:
https://github.com/junyanz/VON
论文:
https://arxiv.org/pdf/1812.02725.pdf
这篇论文,题目为《3D-Aware Scene Manipulation via Inverse Graphics》。
介绍了一种编辑3D图像的技术:3D场景去渲染网络(3D scene de-rendering networks,3D-SDN) ,能够在保持形状和纹理一致的情况下,自由旋转和移动目标对象,也能够在不影响其形状的情况下,改变目标对象的外观。
GitHub上给出的代码资源,同样很丰富,预训练权重、数据集样样俱全,每一步骤要使用的代码也都给了出来。
在配置环境上,要比前一篇论文更加完善。框架同样是PyTorch,不过后缀只写了0.4。Python 3.6+;Linux系统;NVIDIA GPU (内存>8GB)+CUDA 9.0。
代码地址:
https://github.com/ysymyth/3D-SDN
论文地址:
https://arxiv.org/pdf/1808.09351.pdf
— 完 —