为使VR更逼真，Disney Research推程序语言动画新方法

Disney Research（迪士尼研究所）和几所大学的研究人员共同撰写了一篇新论文，该论文内容主要描述了一种基于深度学习的程序语言动画的新方法。该系统可以对人类录音进行采样，并在这些录音的基础上，去自动生成与之匹配的口头动画。

通过在社交VR设置中实时化地绘制虚拟化身的头像演讲，此种方法的应用从提高动画管道的效率一直延伸到实时绘制用户讲话时的虚拟化身口型动画，使得社交VR交互更具说服力。

不仅如此，迪士尼研究所，University of East Anglia（加拿大东加利福尼亚理工大学）以及California Institute of Technology（卡内基梅隆大学）的研究人员还撰写了一篇名为A Deep Learning Approach for Generalized Speech Animation（《广义语音动画的深度学习方法》）的论文。该论文描述了一个使用“深度学习/神经网络”方法训练的系统，通过单个扬声器的八小时参考画面（2,543句），用以教授该系统在不同语音单位（称为音素）及其组合下的嘴型。

下面这个示例中，右侧图是参考镜头，左侧图覆盖了基于音频输入的系统（跟着视频学习后）所产生的口型动画。

这个训练系统可以用来分析任何扬声器的音频，并自动生成相应的口型，这些口型可被用于自动语音动画的面部模型。研究人员表示，该系统独立于扬声器，并且是“接近其他语言”的。

“我们引入一种简单而高效的深度学习方法，这种学习方法可以自动生成与输入语音同步的自然寻像语音动画。该方法使用了一个滑动窗口预测器，可以学习从语音标签输入序列到口部运动的任意非线性映射，以精确捕捉自然运动和视觉上的协同发音问题。”

“我们的深度学习方法有以下几个吸引人的特征：实时运行、需要最少的参数调整、很好地推广到新颖的输入语音序列、易于编辑、以创建程式化和情绪化的语音，以及与现有的动画重定向方法兼容。”

创建与CGI字符的音频记录相匹配的语音动画，通常由熟练的动画师手工完成。虽然这个系统不能满足用户所期待的，类似主要CGI作品中的高保真语音动画，但它肯定可以用来作为一个自动化的初步的产品，或者用于添加可能是不切实际，但还说的过去的演讲中的动画。如大型RPG（角色扮演游戏）里的NPC对话，或者是从语音动画中受益的低预算项目，但没有办法聘请动画师（教学/培训视频，学术项目等）。

至于VR，这种系统可以在用户说话时实时动画化该用户的口型，使VR效果更加逼真。真正的口型追踪（光学或其他），是制作虚拟化身语音动画的最准确方法，但是直到口型追踪硬件变得普遍之前，这样的程序语音动画系统的发展可能会停滞不前。

当前，一些社交VR App已经开始使用各种系统来实现虚拟化身的动画化，如Oculus还为Unity提供了一款唇形同步插件。基于音频输入，该插件的目的是为了制作虚拟化身的口型动画。但是，同迄今为止我们所看到的其他方法相比，这个基于深度学习的新系统提供了非常高的细节和准确性。