学界 | MIT和Google让AI获得多种感官协调能力

AI科技评论消息 根据MIT和Google研究人员近期发表的论文,他们正在训练AI将图像、声音和文字等多方面信息匹配起来。

在语音识别、图像识别以及下围棋等单项能力方面,AI已经足够出色,甚至超越了人类。但是如果AI一次只能使用一种感知能力,无法将看到和听到的内容进行匹配的话,就无法彻底理解周围的世界。这正是MIT和Google的研究人员进行这项研究原因。

研究人员并没有教给算法任何新东西,只是建立了一种方式让算法能够将多种感官获得的知识进行连接和协调。这一点至关重要。

论文的联合作者之一——MIT的AI博士后Yusuf Aytar以无人车为例:比如无人车的声音传感器先听到了救护车的声音,然后激光雷达才看到救护车的样子。有关救护车的鸣叫声、样子以及职能的知识可以让无人车放慢速度,切换车道,为救护车让路。

他说道:“你是先看到汽车还是先听见引擎声并没有关系,你马上能识别出这是同一个概念。因为你大脑中的信息已经自然地把它们协调统一起来了。”

为了训练这套系统,MIT的研究小组首先向神经网络展示了与音频相关的视频帧。在神经网络发现视频中的对象并且识别出特别的音频之后,AI就会尝试预测哪一个对象跟声音关联。比方说,招手会不会发出声音呢?

接下来,研究人员又以相同的形式为算法提供了带标题的图片,让它将文字和图片进行匹配。网络首先需要单独识别出图中所有的对象以及相关问题,然后才能进行匹配。

由于AI独立识别声音、图像、文字的能力已经十分出色,这种网络乍看之下并没有什么了不起。但研究人员表示,当他们对AI进行声音/图像、图像/文字的配对训练时,系统就能在未经训练指导哪个单词与不同声音匹配的情况下将声音与文字关联起来。这表明神经网络对于所看到的、听到的或者读到的东西已经形成了更加客观的看法,而且这种看法的形成并不完全依赖于它用来了解这一信息的媒介。

统筹对象的观感、听觉以及文字后,算法就能自动将听到的东西转化为视觉图像,从而强化对于世界的理解。

据悉,Google也进行了类似的研究,不过Google更加强调一点:新算法还能将文字转化成其他的媒体形式,虽然从准确率上来说,它暂时还比不上单用途的算法。

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2017-06-27

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技评论

学界 | OpenAI尝试打破“中文房间悖论”,让AI创造语言并自发交流

大规模机器学习技术已经在翻译、语言推理、语言理解、句子生成等领域取得巨大进展,而它的训练方式都大同小异: 给系统输入大量文本数据; 系统提取特征并提炼模式。 ...

2617
来自专栏数据的力量

深入浅出谈数据挖掘

1508
来自专栏Crossin的编程教室

实现财务自由,这个工作是我们未来几年最好的选择

5月8日,谷歌召开一年一度的Google I/O大会,谷歌CEO直接祭出了这次大会的王牌——AI。

1003
来自专栏专知

2018 AI技术、硬件与应用的全面综述:机器学习如何进化成AI

【导读】普度大学机器学习、软硬件专家Eugenio Culurciello,在其主页分享了一篇博文,详细描述了自己对机器学习、深度神经网络、人工智能的个人见解。...

2888
来自专栏PPV课数据科学社区

神奇的数据挖掘

谈到BI,就会谈到数据挖掘(Data mining)。数据挖掘是指用某些方法和工具,对数据进行分析,发现隐藏规律并利的一种方法。下面我们将通过具体的例...

3746
来自专栏机器之心

前沿 | 没有地图也能导航:DeepMind展示全新AI导航技术

选自DeepMind 作者:Piotr Mirowski等 机器之心编译 当前的无人驾驶汽车高度依赖于精确的地图进行导航,尽管各家科技公司已经构建了接近完美的 ...

2755
来自专栏AI科技评论

开发 | 从实践角度探讨深度学习优越性

为什么深度学习(DL)比其他机器学习(ML)方法效果更好? AI 科技评论按:近来在多个国外开发者论坛、杂志中,”深度学习的优越性”这个话题着实引发了不少讨论。...

3667
来自专栏机器之心

前沿 | 不再需要动作捕捉,伯克利推出「看视频学杂技」的AI智能体

作者:Xue Bin (Jason) Peng 和 Angjoo Kanazawa

833
来自专栏AI研习社

OpenAI 尝试打破“中文房间悖论”,让 AI 创造语言并自发交流

大规模机器学习技术已经在翻译、语言推理、语言理解、句子生成等领域取得巨大进展,而它的训练方式都大同小异: 给系统输入大量文本数据; 系统提取特征并提炼模式。 ...

34511
来自专栏机器之心

盘点 | Jeff Dean撰文回顾谷歌大脑2017:从基础研究到新硬件

3026

扫码关注云+社区