专栏首页量子位生成逼真3D人偶,居然不用3D形状建模,还能学会你的舞步 | 三星CVPR Oral

生成逼真3D人偶,居然不用3D形状建模,还能学会你的舞步 | 三星CVPR Oral

3D栗子 发自 凹非寺 量子位 出品 | 公众号 QbitAI

当你站在空旷的屋子里,眼神坚定地望向远方。

有只AI已经获得了你的影像,并合成了一座3D全身像

后来,你开始解放天性,自在舞动,却惊讶地发现:

那个虚拟的自己,也在用同样的姿势起舞,并且几乎和你同步

一切仿佛与生俱来,像是你的灵魂注入了它的身体。

这是一项中选了CVPR 2019 Oral的研究,但不止是因为效果逼真:

更重要的是,它没有用到3D形状建模 (Explicit 3D Shape Modeling) ,而是依靠2D纹理映射 (2D Texture Map) ,来完成渲染的。

而在这样的情况下,渲染依然逼真。就算是渲染没见过的新姿势,也不在话下。

到底是怎么做到的?

优秀的脑回路

论文写到,这是介于经典图形学方法深度学习方法之间的一条路。

其中,图形学的思路就是,把几何 (Geometry) 跟纹理 (Texture) 分开处理。

几何是3D的,好比白色的人体雕塑,纹理是2D的,好比外面的皮肤。

而神经网络的任务,只限于预测从纹理到输出图之间,需要怎样的图像形变/扭曲 (Warping) 。换句话说,把2D“皮肤”贴到3D人类的身上。

具体来讲,那是一个全卷积网络,角色是生成器 (上图黄色部分) 。它要根据输入的人类姿态,以及摄像头参数,为人体的各个特征点,生成2D纹理坐标。

用这些纹理坐标,可以预测出2D的RGB图像

反正,最终显现的效果,也是一帧接一帧的2D图。每一帧的角度有所不同,看去便是3D人像了:

就这样,完美避开了3D形状建模。

而训练过程中,网络会把每一次预测出的2D图,和Ground Truth做对比,再把损失 (Losses) 反向传播回到生成器里,增强预测能力。模型是用多视角视频数据来训练的。

训练完成后,就算你摆出AI没见过的新姿势,它也能做出成功的渲染。

团队说那是因为,保留显式的纹理表征 (Explicit Texture Representation) ,有助于提升泛化能力

当然,没做3D形状建模,也不代表全程都在2D中度过。

别忘了,和2D纹理搭配食用的,是3D人体几何。也就是说,人类的姿态估计,是3D姿态估计

这一部分,团队从大前辈DensePose那里,借用了精髓:把摄像头拍下的2D图中,人类的每个像素点,都映射到3D人体表面的特定位置上。

于是就有了3D姿态。还记得么,上面的2D纹理预测网络,输入就是姿态。

不用3D形状建模的3D人像合成方法,达成。

引用一句俗语:意料之外,情理之中。

来自俄罗斯

这个思路清新流畅的研究,来自莫斯科的三星AI中心,以及斯科尔科沃科技研究院。团队成员有12人之多。

如果你想要更深刻地感受这个模型的魅力,请从传送门前往观赏。

论文传送门: https://arxiv.org/abs/1905.08776

主页传送门: https://saic-violet.github.io/texturedavatar/

前辈DensePose传送门: http://densepose.org/

本文分享自微信公众号 - 量子位(QbitAI),作者:关注前沿科技

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-06-10

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 再次召唤灵魂画手!这个AI把你信手涂鸦都变成人脸

    问耕 发自 LZYY 量子位 报道 | 公众号 QbitAI 人工智能又来拯救你的涂鸦大作了! 今年2月底,量子位介绍过一个“分分钟画只猫”的AI应用,如今三个...

    量子位
  • 新纪录!2017 ACM Fellow 54人名单公布,8名华人入选

    允中 发自 凹非寺 量子位 报道 | 公众号 QbitAI ? 2017 ACM Fellow名单公布,全球共计54名计算机相关学者、研究员和从业人士入选。其...

    量子位
  • 微信AI正在完成:有码走遍天下,从此花钱刷脸

    相反,AI加持,骑兵开阵。2019年开始,微信就要把我们带到一个线上线下打通、效率倍速提升,愈加数字化的新世界:

    量子位
  • python--文件操作

    前天用python进行文件操作的时候总是出现,“打开文件失败”或者“所要访问的文件不存在”,最后发现错误原因是:

    用户5745385
  • fiddler网址代理调试工具 原

    软件下载地址:https://www.telerik.com/download/fiddler/fiddler4

    晓歌
  • 速读原著-Android应用开发入门教程(HelloActivity程序的运行)

    在软件开发的最初阶段,通常使用一个 Hello World 程序作为最简单的示例,本部分介绍一个 Android 中最简单应用程序,通过这部分内容可以了解到 A...

    cwl_java
  • 谷歌Waymo估值暴增1000亿!摩根斯坦利最新估值高达1750亿美元

    【新智元导读】谷歌旗下的自动驾驶技术企业Waymo最近身价暴增,据著名投行摩根士丹利估计,Waymo的最新估值可能高达1750亿美元,比首次估值暴增1000亿美...

    新智元
  • flask dropzone加csrf(flask 74)

    from flask import Flask, render_template, request from flask_dropzone import Dr...

    用户5760343
  • 重磅!微信也能轻松免费下载文献的PDF了!

    为什么突然聊到这样的一个工具呢?因为小编今天在手机上看到一篇有意思的论文,准备去下载,但是一打开网页就是

    科研菌
  • 利用HydroCMS水利设计成果管理系统进行资源整理和项目策划

    版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/hotqin888/article/det...

    hotqin888

扫码关注云+社区

领取腾讯云代金券