想让照片里的美女“回头”?清华MIT谷歌用AI帮你实现了

伊瓢 发自 凹非寺 量子位 报道 | 公众号 QbitAI

“麻烦帮我把照片上这个美女转过来,脸朝前。”

设计师们总是接到这种神奇的需求,但是受限于素材和工具的“想象力”,设计师无法凭空推理出背影女子的正脸是美女还是恐龙,这种需求根本无法达成。

不过,AI似乎把这个问题解决了。不过转过来的不是美女,而是香车。

我们看到图上汽车的背影,几辆车在道路的右侧向前行驶。清华、MIT和谷歌的研究人员,通过AI“脑补”3D图形,成功的让最后面这辆黑色的车“掉头”了。

先打个左转弯转过来。

然后掉头180°,开始“逆行”。

而且除此之外,这项研究成果还可以实现“看图拍电影”功能,一张静态图就可以演化出一系列不同帧的镜头。

比如雾霾天气路上的车辆:

准备超车,成功超越,消失在雾霾中。

或者给道路上的车“喷上”不同的颜色。

这样看,似乎这项技术不仅帮设计师解决了难题,甚至以后电影拍摄也可以在GPU里进行了。

这项研究本身基于三类研究:

1.可解释的图像表示,比如Tejas D Kulkarni的DC-IGN;

2.深度生成模型,比如大家都知道的GAN;

3.深度图像处理,比如风格迁移。

不过这些研究主要还是围绕2D图像来进行的,我们介绍的这项新研究则在其中加入了3D感知

语义、纹理、几何分层

主要的原理是将图像的语义、纹理、几何三个维度分层,分别经过一系列去渲染和渲染流程。

先让原图像经过语义去渲染器,生成语义地图;同时经过纹理去渲染器,生成纹理代码;然后还要经过几何去渲染器,生成3D属性。

3D属性经过几何渲染器后,与语义地图及纹理代码共同进行纹理渲染,最终实现图像分层,将图像分解为背景和多个前景对象。

3D几何推理:脑补3D

上图是几何解释模块。 该模块获取整个图像,使用来自对象提议的适当公式推断3D属性,并且可以生成可解释的表示以用于理解和操纵。这里首先使用MaskRCNN对对象实例进行分割。 对于每个对象,推断其3D网格模型和对象姿势。

之后,得出其3D属性,确保重新得出的3D投影一致。

语义&纹理推理

在语义和纹理分析的过程中,先要分析类似场景的2D信息。

使用两个单独的卷积网络来获得背景中道路、天空、树林等部分,以及前景中的轿车、货车等物体,以及的必要颜色和纹理描述代码。

传送门

3D-Aware Scene Manipulation via Inverse Graphics Shunyu Yao, Tzu Ming Harry Hsu, Jun-Yan Zhu, Jiajun Wu, Antonio Torralba, William T. Freeman, Joshua B. Tenenbaum https://arxiv.org/pdf/1808.09351.pdf

原文发布于微信公众号 - 量子位(QbitAI)

原文发表时间:2018-09-02

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏人工智能头条

Top 50机器学习项目实战总结

49720
来自专栏大数据文摘

AI小视频 | 原创灵魂手绘,聊个5分钟的人工智能

22660
来自专栏量子位

轻叩次元壁——谈谈真人头像的漫画化

在这篇自带萌点的文章中,作者提出了一种新型模型TwinGAN,可以将真人头像转化成漫画风的卡通头像。打通二次元和三次元的世界的方法,都在这里面了~

19220
来自专栏AI科技大本营的专栏

超越ImageNet?李飞飞力赞高徒的视频描述研究入选计算机视觉最前沿的十大论文

论文作者:Ranjay Krishna, Kenji Hata,Frederic Ren, Li Fei-Fei, Juan Carlos Niebles S...

484110
来自专栏腾讯技术工程官方号的专栏

图像内容的「深度」理解及其应用

本文作者:朱晓龙博士,2015 年毕业于香港大学,主攻计算机视觉和机器学习方向,涉及物体检测,位姿估计,人脸特征点定位,3D 视觉等课题。本科期间参与北京大学智...

42750
来自专栏大数据文摘

资源 | 跟着Sutton经典教材学强化学习中的蒙特卡罗方法(代码实例)

14770
来自专栏机器之心

业界 | 谷歌开源机器学习可视化工具 Facets:从全新角度观察数据

选自Google Blog 作者:James Wexler等 机器之心编译 参与:黄小天、李泽南 近日,出于支持 PAIR initiative的目的,谷歌发布...

34460
来自专栏量子位

Google全新AI实战课发布:从原理到代码,手把手带你入门机器学习

15510
来自专栏算法channel

深度学习|大师之作,必是精品

1neural networks and deep learning 这是一个非常经典的神经网络和深度学习的教程,有完整的免费的电子书,网址如下: http:/...

40370
来自专栏AI研习社

2017 摩拜杯算法挑战赛,第三名团队解决方案

比赛已经结束快两个月了,一直拖到现在才开始总结。 官网网址:https://biendata.com/competition/mobike/ GitHub源码:...

54060

扫码关注云+社区

领取腾讯云代金券