Facebook AI部门脑洞大开 使用AI训练VR虚拟人像进行音

Facebook的人工智能（AI）研究团队想到了一个巧妙的方法，让AR/VR中的虚拟人物能如真人般地弹奏乐器。

在一份新发表的论文中，Facebook的研究科学家Eli Shlizerman、Ira Kemelmacher-Shlizerman以及协作者Lucio Dery、Hayden Schoen共同探讨了，他们如何通过国外视频网站YouTube上的钢琴和小提琴演奏视频来训练AI系统。他们利用该AI系统来指导虚拟化身进行表演，基于录制的音频在虚拟的乐器上移动手和手指，实现虚拟人物“实时音乐演奏”的效果。

Facebook的研究科学家在YouTube上传了一个说明及演示视频，在Facebook的社交VR应用“Spaces”中演奏。他们说：“我们坚信，音频与人类形体直接的关系，在广泛的AR/VR应用以及认知上具有极大的前景。”

这种应用有着十分巨大的潜力，以VR音乐游戏为例，通过AI训练过的VR虚拟人物可根据音乐节拍自由起舞，大大增强了游戏的趣味性。

来源：87870