迪斯尼利用人工智能实现声音与图片之间的关联

美国迪斯尼研究中心发报告称,其与瑞士苏黎世联邦理工学院合作利用人工智能设计出了能自主匹配图像和声音的系统。

儿童可以根据不同动物的声音从图书中学习关联图像和声音,但构建能够自主学习的计算机视觉系统并非易事。然而,美国迪斯尼研究中心和苏黎世联邦理工学院使用人工智能技术设计了一款能够自主学习匹配图像和声音的系统。例如,给出一张汽车图片,该系统会自动发出汽车引擎的声音。

迪斯尼研究中心研究人员指出,能够分辨汽车声音、餐盘碎裂声或关门声的人工智能系统有许多用途,如为电影添加声音效果或向视觉障碍者提供音频反馈。

为了完成这一具有挑战性的任务,研究团队使用了视频数据集。研究人员称,“有音轨的视频为我们提供了一种学习声音与图像之间相关性的自然方式。配备麦克风的摄像机可捕获同步的音频和视频信息,原则上,这些视频的每一帧都可以作为学习材料”。其中一个关键的挑战是视频中通常含有许多与视觉内容无关的声音,例如背景音乐、旁白叙事、屏幕外噪声和声音效果,这些都可能混淆学习方案。迪斯尼研究中心研究人员解释道:“与视频图像相关的声音可能非常模糊,通过找出过滤这些干扰声音的方法,我们的研究团队已经朝着计算机视觉的新应用迈出了一大步。”

研究人员指出,如果有一个汽车的视频合集,包含汽车真实引擎声的视频将具有在多个视频中共同重现的音频特征,而一些视频中带有的无关声音通常不是其他视频中能找到的共同特征,因此可以过滤掉。

一旦包含不相关信息的视频帧被过滤掉,计算机算法就能学习声音与图像的相关关系。随后的测试表明,当呈现图像时,该系统通常能够发出相应的声音。用户研究发现,系统返回的结果比使用未过滤原始视频集学习的结果更好。

原文发布于微信公众号 - 人工智能快报(AI_News)

原文发表时间:2016-12-05

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏深度学习之tensorflow实战篇

社交网络SNS的好友推荐算法

花了几天看了些做社交的好友推荐,现在很多App都有社交场景,本身就是做用户的场景,所以以后肯定要在这块有一些应用。像早期的论坛类的更偏重资讯类的信息,后来像优酷...

4217
来自专栏新智元

UC 伯克利为 AI 植入好奇心,探索能力超过 AlphaGo 蒙特卡洛树搜索

【新智元导读】加州大学 UC 伯克利分校的一队研究者在他们的 AI 系统中嵌入了一种能力,能让系统在即使没有短期结果驱动的情况下,也会采取行动。这与 Alpha...

3208
来自专栏数据科学与人工智能

【机器学习】机器学习商业应用入门及七个实例

机器学习(Machine Learning, ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或...

2855
来自专栏人工智能快报

谷歌及其他公司正构建能自我怀疑的人工智能系统

谷歌(Google)、优步(Uber)等公司正在构建能自我怀疑的人工智能系统,人工智能将会通过接受不确定性来做出更好的决定。 深度学习作为人工智能中最强大的方法...

34712
来自专栏CDA数据分析师

【扫盲】如何区分人工智能,机器学习和深度学习

我们都熟悉“人工智能”这一概念。毕竟,这个词常常在热门电影中出现,如《终结者》、《黑客帝国》、《机械姬》。 但最近你也可能常常听到其他术语,如“机器学习”和“深...

18110
来自专栏AI科技评论

四位顶级AI大牛纵论:深度学习和大数据结合的红利还能持续多久?

AI科技评论按:这轮 AI 热潮的很大一个特点就是底层技术方面在打通,虽然说过去对通用人工智能大家曾经有过很高的期望,但一直没有落地。这次,深度学习给大家带来了...

3469
来自专栏AI科技评论

业界 | 更善于自动抓拍「有趣」瞬间:谷歌 Clips AI 拍照新技术

尽管深度学习已经在近期取得了一些进步,但在其在自动摄影方面依旧面临着一项极具挑战的难题:相机能够自动抓拍到精彩的瞬间吗?

683
来自专栏机器之心

深度 | OpenAI提出强化学习新方法:让智能体学习合作、竞争与交流

选自OpenAI 机器之心编译 作者: Ryan Lowe等 参与:吴攀、Smith 让智能体(agent)学会合作一直以来都是人工智能领域内的一项重要研究课...

3476
来自专栏ATYUN订阅号

哈佛大学开发新的优化算法,加快复杂问题的最佳解决方案的计算速度

哈佛大学研究人员开发的新算法通过减少所需的步骤数,以比以前的算法更快的速度解决优化问题。新算法可以大大缩短计算机推荐电影或计算出租车路线的时间。

713
来自专栏数据派THU

【独家】微软郑宇:大数据驱动智能城市讲座精华(附PPT)

[导读]本文整理自微软亚洲研究院“城市计算”领域负责人郑宇博士近期在清华大数据讲座上的分享内容。郑宇主持研发的Urban Air首次利用大数据来监测和预报细粒度...

2378

扫码关注云+社区