围观人类弹琴后,Facebook的AI学会了假装演奏

安妮 编译自 CNBC 量子位 出品 | 公众号 QbitAI

Facebook的AI研究人员想让卡通形象看起来像在演奏乐器。

脑补不出来?画面可能是下面这样的——

让卡通形象听音演奏

在上面的视频中,一个只有上半身的卡通小人随着播放的音乐假装在演奏或小提琴或钢琴,并且手的位置和节奏还随着播放音乐的变化而变化。

不知道的还真以为是这个半身的卡通形象在演奏虚拟乐器呢,它是怎么学会假装演奏的本领的?

在论文Audio to Body Dynamics中,Facebook、斯坦福大学和华盛顿大学的Eli Shlizerman和Lucio Dery等四人揭秘了这个卡通形象背后的故事。

教机器理解人类如何运动是AI研究的一个活跃领域,但一般来说,这需要大量视频来源。研究人员发现,Youtube上有非常多人类演奏钢琴、小提琴的视频可以利用,因此他们选用这些数据训练模型。

模型训练好再听到音乐时,LSTM网络已经具备了预测人类肢体动作的能力,先输出手臂和手指的骨骼轮廓。之后研究人员将其卡通化,做成卡通形象在演奏的模样。

头像动作生成流程

在接受外媒CNBC采访时,研究人员表示,此项研究非常有意义。

“我们相信在VR/AR的应用中,音频和人类动作相关联前景光明。”研究人员说。

目前,Facebook还在继续推进旗下的VR头戴设备制造商Oculus进行VR研究。本月初,Facebook还推出了一套新工具,方便开发人员为Facebook的应用开发AR功能。

不过这些头像小人演奏的准确性还有待改善。研究人员认为,可以利用人类演奏的MIDI文件,或者从音乐家的传感器中获取数据,提高头像们弹奏的准确性。

最后,附论文地址:

https://arxiv.org/abs/1712.09382

原文发布于微信公众号 - 量子位(QbitAI)

原文发表时间:2017-12-30

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏ThoughtWorks

免费知识哪里来——Arxiv使用指南

如果你非常确定自己想要找什么,比如知道论文的名字(算法的名字)或者作者的名字,直接去Google Scholar上搜索是最快的。然而如果你并不是很确定自己想要...

46180
来自专栏ATYUN订阅号

IEEE发布最受欢迎编程语言排行榜,Python屠榜

任何试图衡量计算机语言流行度的人都必须依赖相对流行的代理测量。在IEEE的例子中,这意味着将来自多个来源的指标与47种语言进行排名。但是认识到不同的程序员有不同...

8340
来自专栏CDA数据分析师

Python 爬取淘宝商品数据挖掘分析实战

? 作者 孙方辉 本文为CDA志愿者投稿作品,转载需授权 项目内容 本案例选择>> 商品类目:沙发; 数量:共100页 4400个商品; 筛选条件:天猫...

62650
来自专栏ATYUN订阅号

MIT开发AI系统,确定新闻来源是否有政治偏见以打击假新闻

虚假消息仍然是令人头疼的问题。今年3月,有一半的美国人报告在新闻网站上故意误导文章。最近爱德曼调查的大多数受访者表示,他们无法判断媒体报道的真实性。鉴于假新闻的...

14060
来自专栏ATYUN订阅号

基于AI的Global Fishing Watch平台增加数据层,监管全球非法捕鱼活动

人工智能目前在交付机器人,自动驾驶汽车以及海洋生态追踪系统领域飞速发展。Global Fishing Watch是由谷歌,Skytruth和Oceana共同创建...

12630
来自专栏BestSDK

用开源软件写的57行代码,PK掉8600万的商业项目

维多利亚警察局是澳大利亚维多利亚的主要执法机构。去年,发生在维多利亚的盗车数量达到了 1.6 万辆,价值 1700 万美元,因为发生了这些,我们的警察开始忙于测...

37750
来自专栏CDA数据分析师

4个小例子告诉你:如何成为一名数据极客

本文为@GavinBuildSomething原创,CDA数据分析师已获得授权 对于数据岗位的员工,互联网公司颇有些不同的称谓,像统计工程师、大数据工程师、数据...

23270
来自专栏数据猿

金融科技&大数据产品推荐:百融信贷决策审批系统

百融信贷决策审批系统,作为集成式、一站式的风控服务平台,基于百融金服的大数据和风控云等技术理念,结合机器学习和人工智能算法的新科学,从数据规则、审贷规则集、风控...

66880
来自专栏腾讯数据中心

腾讯数据中心基础设备质量检测之电流传感器、智能电表篇

背景 2015年8月9日,我们发表了腾讯数据中心基础设备质量检测之温湿度传感器篇,详细阐述了腾讯数据中心近年来严把基础设备质量的前因后果。据后台结果显示,此文送...

31230
来自专栏PPV课数据科学社区

如何成为一名数据极客?

对于数据岗位的员工,互联网公司颇有些不同的称谓,像统计工程师、大数据工程师、数据分析师、算法工程师、数据科学家等,每一种之间的技能差距简直是风马牛不相及。 但我...

33790

扫码关注云+社区

领取腾讯云代金券