专栏首页人工智能快报人工智能学会“听音辨声”

人工智能学会“听音辨声”

美国麻省理工学院的科研人员开发出一套人工智能系统,能够分辨出音乐中不同乐器发出的声音,并单独调音。

人们可以借助均衡器对歌曲旋律中的低音进行调节,但麻省理工学院计算机科学与人工智能实验室(Computer Science and Artificial Intelligence Lab,CSAIL)的科研人员带来了更好的解决方案。他们的PixelPlayer系统使用人工智能来分辨同一段音乐中不同乐器的声音,然后对不同声音进行调整,让音乐听起来更洪亮或更柔和。

如果使用音视频作为输入数据,经过充分训练的PixelPlayer系统会分离伴音音频并识别声音来源,然后计算图像中每个像素的音量并对其进行“空间定位”,即识别视频片段中生成类似声波的部分。科研人员将在2018年9月的欧洲计算机视觉会议上发表该研究成果。

“我们预期的最好情况是,可以识别出哪些乐器会发出哪类声音,”CSAIL博士赵航(音)说道:“我们对自己能够实际上在像素级别对乐器进行空间定位感到惊讶。能够做到这一点增加了很多可能性,例如只需点击视频即可编辑各个乐器的音轨音频。”

PixelPlayer的核心是基于乐器组合多模态来源(Multimodal Sources of Instrument Combinations,MUSIC)进行训练的神经网络。这是一个由来自YouTube的714个未经剪辑且未经标记的视频组成的数据集,其中总时长为60小时的500个视频被用于训练,其余视频则用于验证和测试。在训练过程中,科研人员将演奏者演奏吉他、大提琴、单簧管、长笛和其他乐器的片段馈送给算法。

这只是PixelPlayer多元机器学习框架的一部分。在经过训练的视频分析算法从视频片段的帧中提取出视觉特征后,第二个神经网络(即音频分析网络)会将声音拆分为各个部分并从中提取特征。最后,音频合成网络会使用来自这两个网络的输出将特定像素与声波关联起来。

PixelPlayer完全采用自我监督型学习方法,这意味着它不需要人类对数据进行注释,并且能够识别超过20种乐器的声音。研究人员表示,数据集越大,它能够识别的乐器就会越多,但同时也会在区分乐器子类之间的细微差异方面遇到麻烦。它还可以识别音乐元素,例如小提琴的谐波频率。

科研人员认为PixelPlayer能够帮助进行声音编辑,或者用于帮助机器人更好地理解动物、车辆和其他物体制造的环境音。他们表示:“我们希望我们的工作能够开辟出新的研究途径,通过视觉和听觉信号来理解声音源分离的问题。

本文分享自微信公众号 - 人工智能快报(AI_News)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-07-16

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 迪斯尼利用人工智能实现声音与图片之间的关联

    美国迪斯尼研究中心发报告称,其与瑞士苏黎世联邦理工学院合作利用人工智能设计出了能自主匹配图像和声音的系统。 儿童可以根据不同动物的声音从图书中学习关联图像和声音...

    人工智能快报
  • 科学家总结将塑造未来的五大人脑技术

    2015年8月19日,美国杜克大学医学中心神经认知障碍计划主任MuraliDoraiswamy在世界经济论坛网站发表文章,总结了能展现脑科学未来前景的五项新兴技...

    人工智能快报
  • 美密歇根大学研制出深度学习物联网芯片

    美国《IEEE科技纵览》杂志发表了Katherine Bourzac的一篇文章,称美国密歇根大学已研制出基于深度学习的物联网芯片。文章如下: 计算机科学家大卫·...

    人工智能快报
  • 学界 | 新型循环神经网络IndRNN:可构建更长更深的RNN(附GitHub实现)

    选自arXiv 作者:Shuai Li等 机器之心编译 参与:张倩、黄小天 近日,澳大利亚伍伦贡大学联合电子科技大学提出一种新型的循环神经网络 IndRNN,不...

    机器之心
  • display , visibility

    我不是费圆
  • mysql定时分区

    注意:分区的字段必须是主键或主键的一部分; 对已有数据的表进行分区时始终报错,应该创建同样的表结构同时创建分区,然后将原有数据导入新表。

    华创信息技术
  • 硬核技能k8s初体验

    Kubernetes 是一个软件系统,使你在数以万计的电脑节点上运行软件时就像 所有节点是以单个大节点一样, 它将底层基础设施抽象,这样做同时简化了应用开发、部...

    小码甲
  • JavaScript 错误处理大全【建议收藏】

    在所有的这些情况下,我们作为程序员都会产生错误,或者让编程引擎为我们创建一些错误。

    疯狂的技术宅
  • Sweet Snippet系列 之 元素删除

      平时代码总会遇到一些关于集合的操作,例如添加,排序等等,都可算作稀松平常,但是集合涉及的删除操作却一直有个大坑,我自己便跳进去过好几回,在此简单一记,以自警...

    用户2615200
  • FFMPEG - 安装指南

    http://www.videolan.org/developers/x264.html#tc_qz_original=707413898

    王亚昌

扫码关注云+社区

领取腾讯云代金券