【换脸AI升级版】面部表情、身体动作、视线方向都能实时迁移


新智元报道

来源:thenextweb

编辑:肖琴

【新智元导读】“变脸”技术已经不新奇,来自德国慕尼黑工业大学、斯坦福大学等的一组研究人员最近开发了一个叫“HeadOn”的AI,它可以“变人”——根据输入人物的动作,实时地改变视频中人物的面部表情、眼球运动和身体动作,使得图像中的人看起来像是真的在说话和移动一样。

论文:http://niessnerlab.org/papers/2018/7headon/headon_preprint.pdf

来自德国慕尼黑工业大学、斯坦福大学等的一组研究人员最近开发了一个AI,它可以将你的实时的面部表情、眼球运动和姿势转换成肖像,使得图像中的人看起来像是真的在说话和移动。这种技术创造的肖像非常逼真,甚至逼真得令人不安。

这个AI被称为HeadOn,创造它的人正是去年研发了令人瞠目结舌、引发很大争议的“变脸AI”Face2Face的团队。事实上,HeadOn可以说是Face2Face系统的升级版。

HeadOn的视频演示:

视频内容

研究人员在论文里将这个系统称为“首个人体肖像视频的实时的源到目标(source-to-target)重演方法,实现了躯干运动、头部运动、面部表情和视线注视的迁移”。

根据研究人员的说法,没有其他系统能做到这样。它结合了多种技术——其中大部分是由这个研究团队首创或完善的。

为了解决视线注视的问题,该团队之前开发了FaceVR

视频内容

研究团队去年在Face2Face上所做的工作为HeadOn的大部分能力提供了框架,但Face2Face只能实现面部表情的转换,HeadOn增加了身体运动和头部运动的迁移。

在论文中,作者进一步介绍了HeadOn,这是一个用普通RGB-D相机录制的人像视频的重演(reenactment)系统。该系统通过不仅控制面部表情的变化,而且重演了头部、上身的摆动和眼睛注视的方向,克服了当前的面部重演方法的局限性。也就是说,重演了视频中的整个人体

HeadOn技术的图示

这个方法的核心是将对变形代理的精确跟踪与基于视图的纹理相结合,进行基于视频的重新渲染。

为了实现这一目标,研究人员提出了一种新方法,可以快速、自动地从一个简短的RGB-D初始化序列中构建人的头部和躯干的几何代理(proxy)。这个虚拟形象具有完整头部的参数化3D模型,使用混合形状进行表情控制,并与个性化的上身模型集成。

自动合成一个上半身模型

一种新的实时重现算法利用这个代理来真实地映射面部表情和眼睛注视,以及捕获的源参与者对目标参与者的头部动作和身体动作。

为此,研究人员提出一种新的基于视频的渲染方法,合成重新映射的目标人像视频。

部分结果

总结而言,这个研究的贡献如下:

  • 快速自动构建个性化的几何代理,嵌入参数化的人脸、眼睛、整个头部和上半身模型;
  • 提出一种逼真的、基于视图的、与姿势相关的纹理和合成方法
  • 对source actor的稳健的跟踪方法;
  • 以及实时source-to-target 重演的完整人像视频。

争议、改进和局限性

视频演示甚至有些令人毛骨悚然,你几乎立即可以想到坏人会利用这种技术做出什么可怕的事情。试想一下,视频通话中的人有可能是假冒的,这太可怕了!

但是,任何技术都有可能用于邪恶目的,只要开发者能以某种方式使输出可以检测,那么至少可以防止AI被滥用。值得一提的是,这个AI的积极应用有很多。正如研究人员所说:

尽管当前的面部重现技术效果令人印象深刻,但它们在操控类型上仍然存在着根本性的限制。例如,这些方法只能修改面部表情,但头部的姿态很僵硬,例如头的方向一直是保持不变的,不会随着输入视频而变。因此,这样的技术能实现的只是细微的变化,例如张开嘴,或皱皱眉。

如果你曾使用Animoji或Bitmoji来聊天,你可能已经注意到这些表情看起来是多么不自然——至少对我们这些看动画片长大的人来说很不自然——说话时不会动脑袋和脖子,面部表情也只有那几种。例如,当一个人皱眉时,通常会伴随着低头和耷拉肩。这些微妙的动作是我们身体语言的一部分,没有身体动作,只有一个会说话的脑袋就显得很奇怪。HeadOn修复了这个不和谐的问题,并通过将几个先进的神经网络结合在一起,产生了更为自然的结果。

局限:对长头发的人处理不怎么好

这个系统当然还不是完美的;在高清分辨率下进行测试,除了最迟钝的观众之外,所有人都觉察到图像被操纵了。而且,根据研究人员的说法,这个AI不怎么会处理长头发的人,产生的输出较为粗糙。但这些小问题未来可以解决。

这个“变脸”项目已经持续多年,未来,HeadOn这样的AI欺骗人类的概率很可能会达到99%。


原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2018-06-10

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

【吴恩达推荐】40岁开始学习,4周编写第一个AI算法的经验谈

【新智元导读】本文是一个40多岁、完全没有编程经验的人学习机器学习的经验谈。作者把编程视为学习一门新的外语,而学会深度学习这门语言就可以和未来对话:你不需要先成...

3335
来自专栏AI科技评论

张钹院士:走向真正的人工智能 | CCF-GAIR 2018

6 月 29 日上午,清华大学研究院院长张钹院士为 CCF-GAIR 2018 主会场「AI 前沿技术」做了题为「走向真正的人工智能」(Towards A Re...

935
来自专栏机器之心

观点 | 低门槛究竟是深度学习的危机,还是契机?

选自reddit 机器之心编译 参与:黄小天、刘晓坤 近日,Reddit 上出现了一个颇有争议性的问题,提问者怀疑深度学习的低门槛会破坏这个领域的声誉,业余者的...

2767
来自专栏AI科技评论

洞见 | 专访中科创达王璠:怎样做好嵌入式人工智能的算法开发?

目前在人工智能领域,不管是学术圈还是工业圈,大家都认同一个趋势,那就是在很多应用场景上计算需要落地到设备上,让设备拥有智能化——即嵌入式的AI,这个是人工智能领...

3519
来自专栏ATYUN订阅号

曼彻斯特大学和马德里大学的研究人员开发AI系统进行步态识别,准确识别个体

研究者最近开发了一种新的人工智能,可以通过测量步态或步行模式来识别个人。该技术可用于机场安全,取代指纹识别和眼部扫描。它可以通过分析3D足迹和基于时间的数据来成...

892
来自专栏机器之心

业界 | DuerOS普罗米修斯计划:30页国际专家PPT全面剖析对话式AI数据集

机器之心发布 百度 DuerOS 美国西部时间 11 月 9 日,百度 DuerOS 普罗米修斯计划在美国硅谷召开启动发布会。一周后,2017 百度世界大会上,...

31310
来自专栏PPV课数据科学社区

快点进来get“推荐系统常用的推荐算法”

? 一、推荐系统概述和常用评价指标 1.1 推荐系统的特点 在知乎搜了一下推荐系统,果真结果比较少,显得小众一些,然后大家对推荐系统普遍的观点是: (1)重...

3199
来自专栏机器之心

从TPU3.0到DeepMind支持的Android P,谷歌I/O 2018的AI亮点全在这了

1947
来自专栏大数据挖掘DT机器学习

【白硕 博士】自然语言处理与人工智能(13页PPT图文详解版)

【白硕】博士,研究员,中国中文信息学会常务理事,信息检索与内容安全专业委员会主任委员,中国科学院计算所、信工所和中国科学院大学兼职博士生导师,上海证券通信有限责...

4495
来自专栏PPV课数据科学社区

【译】如何真正学习数据科学

对于数据科学领域来说,现在是一个令人振奋的时期。它是新兴的研究领域,但是却在飞速的发展。如今数据科学领域需要大量的数据科学家,而他们在硅谷年人均收入则超过10万...

2887

扫码关注云+社区