迪斯尼利用人工智能实现声音与图片之间的关联

美国迪斯尼研究中心发报告称,其与瑞士苏黎世联邦理工学院合作利用人工智能设计出了能自主匹配图像和声音的系统。

儿童可以根据不同动物的声音从图书中学习关联图像和声音,但构建能够自主学习的计算机视觉系统并非易事。然而,美国迪斯尼研究中心和苏黎世联邦理工学院使用人工智能技术设计了一款能够自主学习匹配图像和声音的系统。例如,给出一张汽车图片,该系统会自动发出汽车引擎的声音。

迪斯尼研究中心研究人员指出,能够分辨汽车声音、餐盘碎裂声或关门声的人工智能系统有许多用途,如为电影添加声音效果或向视觉障碍者提供音频反馈。

为了完成这一具有挑战性的任务,研究团队使用了视频数据集。研究人员称,“有音轨的视频为我们提供了一种学习声音与图像之间相关性的自然方式。配备麦克风的摄像机可捕获同步的音频和视频信息,原则上,这些视频的每一帧都可以作为学习材料”。其中一个关键的挑战是视频中通常含有许多与视觉内容无关的声音,例如背景音乐、旁白叙事、屏幕外噪声和声音效果,这些都可能混淆学习方案。迪斯尼研究中心研究人员解释道:“与视频图像相关的声音可能非常模糊,通过找出过滤这些干扰声音的方法,我们的研究团队已经朝着计算机视觉的新应用迈出了一大步。”

研究人员指出,如果有一个汽车的视频合集,包含汽车真实引擎声的视频将具有在多个视频中共同重现的音频特征,而一些视频中带有的无关声音通常不是其他视频中能找到的共同特征,因此可以过滤掉。

一旦包含不相关信息的视频帧被过滤掉,计算机算法就能学习声音与图像的相关关系。随后的测试表明,当呈现图像时,该系统通常能够发出相应的声音。用户研究发现,系统返回的结果比使用未过滤原始视频集学习的结果更好。

原文发布于微信公众号 - 人工智能快报(AI_News)

原文发表时间:2016-12-05

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏镁客网

月球上的水不是普通水,可喝可用作火箭燃料 | 黑科技

1056
来自专栏企鹅号快讯

新手程序员想要成功需要做的事情

1、解决你自己的问题 从外面获取答案和自己解决问题、找到答案,这两种方式是有区别的。 当你自己解决一个问题时,你不仅解决了这一个问题,也意味着解决了跟它类似的数...

1728
来自专栏目标检测和深度学习

想要入坑机器学习?这是MIT在读博士的AI心得

821
来自专栏AI科技大本营的专栏

一份为高中生准备的机器学习与人工智能入门指南

翻译 | AI科技大本营 参与 | 林椿眄 作为一名高中生,我在过去的一年里自学了机器学习与人工智能的相关课程,在这里和大家分享下我自己的学习心得,希望能够对那...

3506
来自专栏程序员笔记

游戏设计师 21条须知

1604
来自专栏企鹅号快讯

细思极恐,人工智能是否真的会形成自我意识?

忘掉如今人工智能领域的小幅进步吧,比如汽车自动驾驶的能力越来越强。等待我们的可能是一项突破性的进展:一种能够感知自身及其周围环境的机器,它可以实时接收和处理大量...

1766
来自专栏GopherCoder

Deep reading and Deliberate practiceDeep reading and Deliberate practice12

1675
来自专栏镁客网

霍金:人类如果想要生存下去,必须尽快移民至另一个行星

932
来自专栏编程

5本书带你走进Python与机器学习的世界

基于大数据的人工智能如今异常火爆 Python 作为最热门的编程语言之一 是实现机器学习算法的首选语言 Python与机器学习这一话题非常的宽广 5本书虽很难覆...

23610
来自专栏企鹅号快讯

Python、深度学习、机器学习、TensorFlow 好书推荐

在 上次的送书活动 中,营长做了个调查问卷,结果显示大家更喜欢深度学习、Python以及TensorFlow方面的书,所以这期送书活动一并满足大家。本期图书选自...

3676

扫描关注云+社区