可以改变视频产业的突破性AI技术，合成编辑视频中的人像

AiTechYun

编辑：chux

研究人员最近开发了一个基于深度学习的系统，首次可将原演员的完整3D头部位置，面部表情和目光转移到目标演员。

“合成和编辑视频中的人像，即用来展示人的头部和上身的视频，是计算机图形学中的一个重要问题，应用于视频编辑和电影后期制作，视觉效果，视觉配音，虚拟现实和远程呈现等等，”研究人员在他们的研究报告中解释说。

团队使用NVIDIA TITAN Xp GPU，用公用的剪辑训练了生成神经网络十个小时。

因视频无法通过审核，请访问原文查看视频。

“我们的方法使原演员能够完全控制目标演员的僵硬的头部姿态，面部表情和眼球运动; 甚至面部识别也可以在一定程度上进行修改，”该团队解释说。“所有这些维度都可以共同或独立操纵。并且自动合成完整的目标框架，包括整个头部和头发，以及符合修改过的头部的逼真的上半身和背景。”

这项工作是基于之前在GPU技术会议上展示的Face2Face工作。该系统可能会被用于诸如面部再现、外语电影的视觉配音和电影后期制作等领域。

研究人员说，与其他方法相比，他们目前的方法表现很好。“我们通过实验和用户研究表明，我们的方法质量胜过以前的工作，并扩展了其可能性。因此，它在许多应用程序中开辟了新的功能级别，如用于虚拟现实和远程呈现的视频重现，交互式视频编辑和视觉配音。”

这项工作研究人员来自马克斯普朗克信息学研究所，Technicolor，慕尼黑理工大学，巴斯大学和斯坦福大学等。