用DensePose,教照片里的人学跳舞,系群体鬼畜 | ECCV 2018

栗子 发自 凹非寺 量子位 出品 | 公众号 QbitAI

怎样让一个面朝镜头静止不动的妹子,跳起你为她选的舞蹈,把360度身姿全面呈现?

Facebook团队,把负责感知的多人姿势识别模型DensePose,与负责生成深度生成网络结合起来。

不管是谁的感人姿势,都能附体到妹子身上,把她单一的静态,变成丰富的动态。

这项研究成果,入选了ECCV 2018

当然不能只有DensePose

团队把SMPL多人姿态模型,跟DensePose结合到一起。这样一来,就可以用一个成熟的表面模型来理解一张图片。

这项研究,是用基于表面的神经合成,是在闭环里渲染一张图像,生成各种新姿势。

左为源图像,中为源图姿势,右为目标姿势

照片中人需要学习的舞姿,来自另一个人的照片,或者视频截图。

DensePose系统,负责把两张照片关联起来。具体方法是,在一个公共表面UV坐标系 (common surface coordinates) 里,给两者之间做个映射

但如果单纯基于几何来生成,又会因为DensePose采集数据不够准确,还有图像里的自我遮挡 (比如身体被手臂挡住) ,而显得不那么真实。

DensePose提取的质地 (左) vs 修复后的质地 (右)

那么,团队处理遮挡的方法是,在表面坐标系里,引入一个图像修复 (Impainting) 网络。把这个网络的预测结果,和一个更传统的前馈条件和成模型预测结合起来。

这些预测是各自独立进行的,然后再用一个细化模块来优化预测结果。把重构损失对抗损失感知损失结合起来,优势互补,得出最终的生成效果。

完整的网络结构,就如上图这般。

监督学习一下

模型的监督学习过程,是这样的:

从输入的源图像开始,先把它的每个像素对应到UV坐标系里。这一步是DensePose驱动的迁移网络完成的。

然后,负责修复图像的自编码器,就来预测照片中人的不同角度会是什么样子。这步预测,也是在扭曲的坐标系里完成的。

从右边开始,就是生成目标,同样要整合到UV坐标系中。再用损失函数 来处理 (上图红字部分) 把结果输入自编码器,帮助模型学习。

用同一人物 (同样装扮) 的多个静态姿势来作监督,替代了360度旋转的人体。

训练成果如何

先来看一下,新加入的图像修复步骤,生成的效果:

把DensePose的质地纹路,修复一下,还是有明显效果的。

再来看一下多人视频什么样子:

虽然,脸部好像烧焦的样子,但已经很鬼畜了。在下不由得想起:

另外团队用DeepFashion数据集,对比了一下自家算法和其他同行。

结果是,结构相似度 (Structural Similarity) ,以假乱真度 (Inception Score) 以及检测分 (Detection Score) 这三项指标,Facebook家的算法表现都超过了前辈。

各位请持续期待,DensePose更多鬼畜的应用吧。

论文传送门: https://arxiv.org/pdf/1809.01995.pdf

顺便一提,教人学跳舞的算法真的不少。

比如,伯克利舞痴变舞王,优点是逼真,缺点是无法实现多人共舞

vs

原文发布于微信公众号 - 量子位(QbitAI)

原文发表时间:2018-09-10

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技大本营的专栏

如何让摄像头变成“暗夜之眼”?英特尔开发了一套基于FCN的成像系统

【AI科技大本营导读】手机拍照的重要性不必多说,不论是国外的苹果、三星,还是国内的华为、小米,都在提升拍照性能上下足了功夫,目前的手机摄像头已经逐渐从单摄走向双...

1013
来自专栏AI研习社

从事人脸识别研究必读的N篇文章

该文内容较老,但对入门者还是有很强的学习意义,可以了解人脸识别的历程与技术发展。 人脸检测/跟踪 人脸检测/跟踪的目的是在图像/视频中找到各个人脸所在的位置...

3324
来自专栏用户2442861的专栏

结合实例与代码谈数字图像处理都研究什么?

图像处理(以及机器视觉)在学校里是一个很大的研究方向,很多研究生、博士生都在导师的带领下从事着这方面的研究。另外,就工作而言,也确实有很多这方面的岗位和机会虚...

2741
来自专栏大数据挖掘DT机器学习

通俗易懂的机器学习入门指导

机器学习,也叫数据挖掘、模式识别;其定义很多。但大白话的说,机器学习要做的就是,现在有一些数据(比如你人人网好友和他们的发言),我们要对数据进...

3216
来自专栏量子位

举个卡戴珊的例子,讲讲Hinton的Capsule是怎么回事 | 教程+代码

Nick Bourdakos 文 李林 若朴 编译自 HackerNoon 量子位 出品 | 公众号 QbitAI ? Capsule Networks,或者说...

2945
来自专栏人工智能

2017年最后一篇推送,仍然与技术有关盘点深度学习论文年度之“最”

今年有很多的学术论文发表,以下是小编觉得能够深刻影响到自己的几篇,为大家推荐。对于每一篇文章,都阐述了论文的“目标”,简要总结了相关工作,并解释了推荐的原因。 ...

2039
来自专栏新智元

神经网络通俗指南:一文看懂神经网络工作原理

【新智元导读】 本文带来对深度神经网络的通俗介绍,附动图展示。 现在谈人工智能已经绕不开“神经网络”这个词了。人造神经网络粗线条地模拟人脑,使得计算机能够从数据...

3855
来自专栏AI科技评论

CVPR 2018中国论文分享会 之「人物重识别及追踪」

本文为 2018 年 5 月 11 日在微软亚洲研究院进行的 CVPR 2018 中国论文宣讲研讨会中第三个 Session——「Person Re-Ident...

2744
来自专栏机器之心

NeurIPS 2018亮点选读:深度推理学习中的图网络与关系表征

作者简介:Angulia Yang 毕业于新加坡国立大学,目前从事人工智能相关计算机视觉 (Computer Vision) 的研究与开发工作,主要工作方向集中...

5922
来自专栏量子位

实录 | 旷视研究院详解COCO2017人体姿态估计冠军论文(PPT+视频)

主讲人:王志成 | 旷视研究院研究员 屈鑫 整理编辑 量子位 出品 | 公众号 QbitAI 12月13日晚,量子位·吃瓜社联合Face++论文解读系列第二期开...

3264

扫码关注云+社区

领取腾讯云代金券