作者 | Whats_AI
来源 | Medium
编辑 | 代码医生团队
该AI在照片之间转移衣服!
该算法将身体的姿势和形状表示为参数网格,可以从单个图像进行重构并轻松放置。
给定一个人的图像,便能够以不同的姿势或穿着从另一个输入图像中获得的不同衣服来创建该人的合成图像。
观看视频以查看所有示例!
该视频是有关Facebook Reality Labs的一篇新论文的,该论文将在2020年欧洲计算机视觉会议(ECCV)上发表。在该会议上,
致力于从单个图像进行人工重新渲染。
简而言之,给定一个人的图像,能够以不同的姿势或从另一个输入图像获得的不同衣服来创建该人的合成图像。
这称为姿势转移和衣服转移。
当前大多数方法使用基于颜色的UV纹理图。
对于特征图的每个纹理像素,在源图像中分配一个对应的像素坐标。
然后,该对应图用于估计公共表面UV系统上输入图像和目标图像之间的颜色纹理。
新技术的主要区别在于,不使用这种基于颜色的UV纹理图,而是使用学习的高维UV纹理图来编码外观。
这是一种获取有关图片的姿势,观点,人物身份和服装样式的外观变化的更多详细信息的方法。
这听起来可能很抽象,但是在显示一些结果之前,深入研究一下过程以澄清所有问题。
给定一个人的特定图像,能够以不同的目标身体姿势合成该人的新图像。
这项新技术基本上由四个主要步骤组成:
使用另一篇论文中开发的DensePose,能够使用输入图像和SMPL之间的对应关系来提取前面讨论的UV纹理贴图中表示的部分纹理。
简而言之,SMPL是可用于研究目的的现实的人体形状学习模型。
然后使用FeatureNet,这是此图中所示的类似U-Net的卷积网络。
将部分UV纹理贴图转换为完整的UV特征贴图,从而为每个纹理像素提供了更丰富的表示。
第三步将目标姿势以及最近发现的UV特征图作为输入,以“渲染”中间UV特征图像。
最后使用RenderNet,这是一个基于Pix2PixHD的生成器网络,可用于将语义标签图转换为逼真的图像或从面部标签图合成肖像。
在这种情况下,在特征图像上使用Pix2Pix生成躺着的人的真实感图像。
如果想了解更多有关这项新技术的文章,请在下面链接。
论文:
http://gvv.mpi-inf.mpg.de/projects/NHRR/data/1415.pdf
项目:
http://gvv.mpi-inf.mpg.de/projects/NHRR/
Pix2PixHD:
https://github.com/NVIDIA/pix2pixHD
U-Net:
https://arxiv.org/pdf/1505.04597.pdf
SMPL:
https://dl.acm.org/doi/10.1145/2816795.2818013
推荐阅读
照片你随便拍,「光影」我任意调,MIT谷歌新研究,器材党老法师看了会沉默
点击“阅读原文”图书配套资源