学界 | MIT和Google让AI获得多种感官协调能力

AI科技评论消息 根据MIT和Google研究人员近期发表的论文,他们正在训练AI将图像、声音和文字等多方面信息匹配起来。

在语音识别、图像识别以及下围棋等单项能力方面,AI已经足够出色,甚至超越了人类。但是如果AI一次只能使用一种感知能力,无法将看到和听到的内容进行匹配的话,就无法彻底理解周围的世界。这正是MIT和Google的研究人员进行这项研究原因。

研究人员并没有教给算法任何新东西,只是建立了一种方式让算法能够将多种感官获得的知识进行连接和协调。这一点至关重要。

论文的联合作者之一——MIT的AI博士后Yusuf Aytar以无人车为例:比如无人车的声音传感器先听到了救护车的声音,然后激光雷达才看到救护车的样子。有关救护车的鸣叫声、样子以及职能的知识可以让无人车放慢速度,切换车道,为救护车让路。

他说道:“你是先看到汽车还是先听见引擎声并没有关系,你马上能识别出这是同一个概念。因为你大脑中的信息已经自然地把它们协调统一起来了。”

为了训练这套系统,MIT的研究小组首先向神经网络展示了与音频相关的视频帧。在神经网络发现视频中的对象并且识别出特别的音频之后,AI就会尝试预测哪一个对象跟声音关联。比方说,招手会不会发出声音呢?

接下来,研究人员又以相同的形式为算法提供了带标题的图片,让它将文字和图片进行匹配。网络首先需要单独识别出图中所有的对象以及相关问题,然后才能进行匹配。

由于AI独立识别声音、图像、文字的能力已经十分出色,这种网络乍看之下并没有什么了不起。但研究人员表示,当他们对AI进行声音/图像、图像/文字的配对训练时,系统就能在未经训练指导哪个单词与不同声音匹配的情况下将声音与文字关联起来。这表明神经网络对于所看到的、听到的或者读到的东西已经形成了更加客观的看法,而且这种看法的形成并不完全依赖于它用来了解这一信息的媒介。

统筹对象的观感、听觉以及文字后,算法就能自动将听到的东西转化为视觉图像,从而强化对于世界的理解。

据悉,Google也进行了类似的研究,不过Google更加强调一点:新算法还能将文字转化成其他的媒体形式,虽然从准确率上来说,它暂时还比不上单用途的算法。

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2017-06-27

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技评论

关于gcForest这篇论文 我们请教了周志华教授以下几个问题

文章由宗仁,谷磊联合采访,AI科技评论团队整理。 AI科技评论按:3月3日下午,AI科技评论参加了由中国人工智能学会(CAAI)主办的【人工智能前沿讲习班】,本...

2214
来自专栏AI科技大本营的专栏

帮AI摆脱“智障”之名,NLP这条路还有多远?

自然语言处理(NLP)是人工智能(AI)的一个分支,其目标是让计算机能够像人类一样理解、处理和生成自然语言。自然语言,又称人类语言,一般以文字或文本的形式存在于...

1162
来自专栏机器之心

通向未来人工智能的三条赛道:高性能计算、神经形态计算和量子计算

选自datasciencecentral 作者:William Vorhies 机器之心编译 参与:黄小天、蒋思源 有三种技术,可以带来更快、更简单、更廉...

33311
来自专栏新智元

百度徐伟:深度学习存在3大瓶颈,如何打造通用人工智能研究平台?

【新智元导读】百度IDL实验室杰出科学家徐伟关于“通用人工智能研究”的演讲,关于通用人工智能,此前大多数讨论都集中在相信不相信,可不可以实现阶段。但是,徐伟在本...

35310
来自专栏企鹅号快讯

深度学习软件开放平台TensorFlow可以用来做什么

文/腾讯《一线》薛芳 1月19号在北京开幕的极客公园创新者大会上。Google Brain首席工程师陈智峰发表了《寻找答案从定义问题开始——TensorFlow...

20810
来自专栏人工智能头条

聚焦CSDN技术主题月:深度学习框架的重构与思考专场回顾

1385
来自专栏AI科技评论

学界|汤晓鸥:深度学习有哪三个要素,以及在中国创业是怎样一种感受?

雷锋网按:5月20日,由中国计算机学会(CCF)主办,Xtecher协办的2017 CCF青年精英大会在北京国家会议中心举行。中国工程院院士赵沁平、香港中文大学...

3525
来自专栏量子位

远离神经网络这个黑盒,人工智能不止这一条路可走

来源 |《连线》 编译整理 | 量子位 若朴 神经网络横扫硅谷如卷席,各式各样的人工智能(AI)已经潜入各式各样的互联网服务之中。不过就算神经网络已经能轻松的认...

2107
来自专栏人工智能快报

全球人工智能行业分析

2015年9月,美国Venture Scanner公司发表了针对全球人工智能行业的分析报告,涉及很多新兴市场。该分析报告针对人工智能(AI)行业,追踪了13个人...

3345
来自专栏新智元

【重磅】谷歌大脑官方年度报告:TensorFlow、机器学习、自然语言处理(27 篇顶会论文)

【新智元导读】谷歌大脑负责人 Jeff Dean 今天在谷歌博客刊文,从论文发表、TensorFlow 到推广机器学习,全面总结团队 2016 年的工作,并分享...

27710

扫码关注云+社区