围观人类弹琴后，Facebook的AI学会了假装演奏

安妮 编译自 CNBC 量子位 出品 | 公众号 QbitAI

Facebook的AI研究人员想让卡通形象看起来像在演奏乐器。

脑补不出来？画面可能是下面这样的——

△ 让卡通形象听音演奏

在上面的视频中，一个只有上半身的卡通小人随着播放的音乐假装在演奏或小提琴或钢琴，并且手的位置和节奏还随着播放音乐的变化而变化。

不知道的还真以为是这个半身的卡通形象在演奏虚拟乐器呢，它是怎么学会假装演奏的本领的？

在论文Audio to Body Dynamics中，Facebook、斯坦福大学和华盛顿大学的Eli Shlizerman和Lucio Dery等四人揭秘了这个卡通形象背后的故事。

教机器理解人类如何运动是AI研究的一个活跃领域，但一般来说，这需要大量视频来源。研究人员发现，Youtube上有非常多人类演奏钢琴、小提琴的视频可以利用，因此他们选用这些数据训练模型。

模型训练好再听到音乐时，LSTM网络已经具备了预测人类肢体动作的能力，先输出手臂和手指的骨骼轮廓。之后研究人员将其卡通化，做成卡通形象在演奏的模样。

△ 头像动作生成流程

在接受外媒CNBC采访时，研究人员表示，此项研究非常有意义。

“我们相信在VR/AR的应用中，音频和人类动作相关联前景光明。”研究人员说。

目前，Facebook还在继续推进旗下的VR头戴设备制造商Oculus进行VR研究。本月初，Facebook还推出了一套新工具，方便开发人员为Facebook的应用开发AR功能。

不过这些头像小人演奏的准确性还有待改善。研究人员认为，可以利用人类演奏的MIDI文件，或者从音乐家的传感器中获取数据，提高头像们弹奏的准确性。

最后，附论文地址：

https://arxiv.org/abs/1712.09382