【换脸AI升级版】面部表情、身体动作、视线方向都能实时迁移


新智元报道

来源:thenextweb

编辑:肖琴

【新智元导读】“变脸”技术已经不新奇,来自德国慕尼黑工业大学、斯坦福大学等的一组研究人员最近开发了一个叫“HeadOn”的AI,它可以“变人”——根据输入人物的动作,实时地改变视频中人物的面部表情、眼球运动和身体动作,使得图像中的人看起来像是真的在说话和移动一样。

论文:http://niessnerlab.org/papers/2018/7headon/headon_preprint.pdf

来自德国慕尼黑工业大学、斯坦福大学等的一组研究人员最近开发了一个AI,它可以将你的实时的面部表情、眼球运动和姿势转换成肖像,使得图像中的人看起来像是真的在说话和移动。这种技术创造的肖像非常逼真,甚至逼真得令人不安。

这个AI被称为HeadOn,创造它的人正是去年研发了令人瞠目结舌、引发很大争议的“变脸AI”Face2Face的团队。事实上,HeadOn可以说是Face2Face系统的升级版。

HeadOn的视频演示:

视频内容

研究人员在论文里将这个系统称为“首个人体肖像视频的实时的源到目标(source-to-target)重演方法,实现了躯干运动、头部运动、面部表情和视线注视的迁移”。

根据研究人员的说法,没有其他系统能做到这样。它结合了多种技术——其中大部分是由这个研究团队首创或完善的。

为了解决视线注视的问题,该团队之前开发了FaceVR

视频内容

研究团队去年在Face2Face上所做的工作为HeadOn的大部分能力提供了框架,但Face2Face只能实现面部表情的转换,HeadOn增加了身体运动和头部运动的迁移。

在论文中,作者进一步介绍了HeadOn,这是一个用普通RGB-D相机录制的人像视频的重演(reenactment)系统。该系统通过不仅控制面部表情的变化,而且重演了头部、上身的摆动和眼睛注视的方向,克服了当前的面部重演方法的局限性。也就是说,重演了视频中的整个人体

HeadOn技术的图示

这个方法的核心是将对变形代理的精确跟踪与基于视图的纹理相结合,进行基于视频的重新渲染。

为了实现这一目标,研究人员提出了一种新方法,可以快速、自动地从一个简短的RGB-D初始化序列中构建人的头部和躯干的几何代理(proxy)。这个虚拟形象具有完整头部的参数化3D模型,使用混合形状进行表情控制,并与个性化的上身模型集成。

自动合成一个上半身模型

一种新的实时重现算法利用这个代理来真实地映射面部表情和眼睛注视,以及捕获的源参与者对目标参与者的头部动作和身体动作。

为此,研究人员提出一种新的基于视频的渲染方法,合成重新映射的目标人像视频。

部分结果

总结而言,这个研究的贡献如下:

  • 快速自动构建个性化的几何代理,嵌入参数化的人脸、眼睛、整个头部和上半身模型;
  • 提出一种逼真的、基于视图的、与姿势相关的纹理和合成方法
  • 对source actor的稳健的跟踪方法;
  • 以及实时source-to-target 重演的完整人像视频。

争议、改进和局限性

视频演示甚至有些令人毛骨悚然,你几乎立即可以想到坏人会利用这种技术做出什么可怕的事情。试想一下,视频通话中的人有可能是假冒的,这太可怕了!

但是,任何技术都有可能用于邪恶目的,只要开发者能以某种方式使输出可以检测,那么至少可以防止AI被滥用。值得一提的是,这个AI的积极应用有很多。正如研究人员所说:

尽管当前的面部重现技术效果令人印象深刻,但它们在操控类型上仍然存在着根本性的限制。例如,这些方法只能修改面部表情,但头部的姿态很僵硬,例如头的方向一直是保持不变的,不会随着输入视频而变。因此,这样的技术能实现的只是细微的变化,例如张开嘴,或皱皱眉。

如果你曾使用Animoji或Bitmoji来聊天,你可能已经注意到这些表情看起来是多么不自然——至少对我们这些看动画片长大的人来说很不自然——说话时不会动脑袋和脖子,面部表情也只有那几种。例如,当一个人皱眉时,通常会伴随着低头和耷拉肩。这些微妙的动作是我们身体语言的一部分,没有身体动作,只有一个会说话的脑袋就显得很奇怪。HeadOn修复了这个不和谐的问题,并通过将几个先进的神经网络结合在一起,产生了更为自然的结果。

局限:对长头发的人处理不怎么好

这个系统当然还不是完美的;在高清分辨率下进行测试,除了最迟钝的观众之外,所有人都觉察到图像被操纵了。而且,根据研究人员的说法,这个AI不怎么会处理长头发的人,产生的输出较为粗糙。但这些小问题未来可以解决。

这个“变脸”项目已经持续多年,未来,HeadOn这样的AI欺骗人类的概率很可能会达到99%。


原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2018-06-10

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏CDA数据分析师

如何成为大神级数据科学家 | Kaggle Grandmaster是怎样炼成的

Vladimir I. Iglovikov 是一名 Kaggle 顶级大师(Grandmaster),曾获得过 Carvana 图像遮蔽挑战的冠军,以及 Dst...

2322
来自专栏新智元

谁说AI没想象力?DeepMind破解灾难性遗忘密码,让AI也有记忆

暑假结束回到学校时,你可能会觉得前一年学过的东西已经统统忘光了。但如果你像人工智能系统那样学习,你会真的忘光光——当你第一天在课堂上坐下来时,你的大脑会把这当作...

873
来自专栏新智元

颠覆自动驾驶的AI相机来了!光速执行深度学习

如今,自动驾驶汽车和无人驾驶飞机背后的图像识别技术依赖于人工智能:计算机本质上学会了自己识别物体,比如识别狗、过马路的行人或停车的汽车。主要问题是,目前运行人工...

1362
来自专栏机器之心

教程 | Kaggle初学者五步入门指南,七大诀窍助你享受竞赛

选自EliteDataScience 机器之心编译 参与:Panda、黄小天 Kaggle 是一个流行的数据科学竞赛平台,已被谷歌收购,参阅《业界 | 谷歌云官...

3897
来自专栏AI科技大本营的专栏

实战案例 | 美团如何用NLP完成5大应用场景

王兴在最近一篇刷屏的专访当中说,“很多人只关心边界,不关心核心”。这话放在人工智能领域当中也适用,今天很多人关心人工智能的前沿论文,但是对于它如何在企业业务中发...

78111
来自专栏腾讯高校合作

【犀牛鸟论道】社会传播学的若干课题与实践

社会传播学的若干课题与实践 贺鹏、易玲玲、高瀚、陈川 腾讯微信数据中心社会传播组 [摘要]俗话说“酒香不怕巷子深”,表面上说的是酒香引人,实际上是指好酒在街坊邻...

3515
来自专栏IT派

麻省博士的机器学习经验干货分享

我的一个朋友最近正要开始人工智能的研究,他问及我在 AI 领域近两年的研究中有哪些经验教训。本文就将介绍这两年来我所学到的经验。其内容涵盖日常生活到 AI 领域...

711
来自专栏机器学习算法与Python学习

一份MIT博士的学习心得,送你入坑机器学习?(可下载PDF)

1466
来自专栏数据科学与人工智能

【数据分析】Intel研究院院长吴甘沙:大数据分析师的卓越之道

吴甘沙 Intel中国研究院第一位“首席工程师” Intel中国研究院院长 ? 亲爱的各位同仁,各位同学,早上好。讲到大数据,就要问数据分析师应该做什么?所以我...

2885
来自专栏AI科技评论

深度 | 中国科学院孙哲南研究员:带你认识虹膜识别研究进展

2016人工智能湖南论坛暨自兴人工智能研究院揭牌仪式,来自国内外的许多顶级专家在会上给我们做了报告。中国科学院自动化研究所模式识别国家重点实验室研究员、天津中科...

4754

扫码关注云+社区

领取腾讯云代金券