DeepMind新论文:3D环境中教AI学人话,还要用形式语言指挥它们

李林 编译自 Arxiv 量子位 出品 公众号 | QbitAI

最近,DeepMind发了两篇论文,一篇是关于教AI学语言的Grounded Language Learning in a Simulated 3D World,另一篇,是关于用形式语言指挥AI智能体行动的Programmable Agents

我们先说说AI学语言这件事。

想想我们每天的生活,AI帮我们做了越来越多的决定,小到看哪些新闻,大到该买什么股票。甚至有时候,还会让AI直接替我们采取行动。

不过,这也带来了一个越来越紧迫的需求:用人话和AI沟通,指挥和引导它们。

也就是说,得让AI真的懂人话。

什么是真的懂呢?简单来说,就是让agent能把语言和它的行为、所处的世界关联起来。

DeepMind在论文摘要中用两个词来形容他们想让agent学语言学到什么程度:

grounded,也就是有基础、接地气,能把语言中的词和agent在环境中直接遇到的物品、经历的行为联系起来;

embodied,也就是能具体表达出来的。

但是,让AI学会接地气的语言很难。

DeepMind这篇论文描述了一个新方法:把agent放在一个虚拟3D环境中,如果它成功地正确执行了用人类语言写成的指令,就给奖励。

他们就是这样,用强化学习和无监督学习相结合,对agent进行训练,让它学习理解人类语言。

上图是DeepMind论文中所举的例子:一开始agent处于位置1,收到“把绿色物体旁边的红色物体捡起来”的指令,于是它把两个“房间”逛了一遍,去查看房间里的物体及其相对位置,找到了需要捡起来的物体。

这种探索、选择的行为,并没有预先编程,完全是借助激励机制学会的。

这样的探索训练有数十万种变体,agent会遇到不同的房间布局、不同的物体摆放位置等等。

在训练过程中,agent几乎没有先验知识,只是通过将语言符号和它周围物理环境中出现的感知表征和行为序列关联起来,来学习语言。

也正因为agent理解语言不依赖先前的经验,如果研究人员把agent放到一个完全陌生的环境中,用它学过的语言向它发出新的指令,这个agent一样能完成。

DeepMind的研究人员还发现,随着语义知识的积累,agent学习新词的速度越来越快。

他们认为,这种泛化和自我扩展语义知识的能力,说明他们现在所用的方法有潜力让AI agent理解模糊的自然语言与复杂的实体世界之间的关联。

关于具体的训练过程和原理,请移步论文:

Grounded Language Learning in a Simulated 3D World https://arxiv.org/pdf/1706.06551.pdf 作者:Karl Moritz Hermann, Felix Hill, Simon Green, Fumin Wang, Ryan Faulkner, Hubert Soyer, David Szepesvari, Wojtek Czarnecki, Max Jaderberg, Denis Teplyashin, Marcus Wainwright, Chris Apps, Demis Hassabis, Phil Blunsom

上文提到的训练方法,是在一个3D虚拟环境中,让agent执行人类语言写成的指令。

在DeepMind另一批研究员同日发到Axriv的另一篇论文中,agent执行的是用简单的形式语言写成的指令,不过,这项研究让agent遇到从未见过的物体,也能灵活应对。

这篇论文的题目是:Programmable Agents。经验告诉我们,无论是新闻还是论文,标题越短事儿越大……当然,在AI研究领域,这个规则最近越来越受到怀疑。

我们先来看看这篇论文想让AI做什么。

简单来说,是让agent执行用形式语言表达的描述性程序。

在这项研究中,研究人员所设定的环境是一张大桌子,中间有一支带有6个关节的机械臂,周围有特定数量的积木块,出现在随机位置。

他们所做的,是让虚拟环境中的“机械臂”去够特定颜色、形状的积木,也就是把手(机械臂前端的白色部分),伸到目标积木块的附近。

而前面提到的“形式语言描述性程序”,是这样执行的:NEAR(HAND, AND(RED, CUBE)),表示把手伸到红色立方体附近。

形式语言中指定的,是目标的颜色和形状。在具体的程序中,桌面的大小、目标的数量也可能发生变化。

在上图中,最左边一幅的“伸向蓝色球形”是训练环节,其他三幅展示了agent经过这种训练之后的泛化能力,包括目标性质的变化(左二:伸向红色积木)、环境中物体数量的变化(右二:伸向绿色球体,注意这里桌上多了好多积木)、以及新目标性质的出现(右一:伸向新的红色积木)。

DeepMind的这组研究人员称,他们训练的agent学会了根据这种语言的指令在所处环境中找到目标之后,在测试中可以对这种能力进行泛化,执行新的程序,找到在训练中从未提及的目标。他们的agent可以泛化到大范围的zero-shot语义任务。

具体的训练过程和原理,还是请移步论文:

Programmable Agents https://arxiv.org/pdf/1706.06383.pdf Misha Denil, Sergio Gómez Colmenarejo, Serkan Cabi, David Saxton, Nando de Freitas

原文发布于微信公众号 - 量子位(QbitAI)

原文发表时间:2017-06-23

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

【机器学习爆款App技术解读】如何用“摄像头秒解数独”

【新智元导读】最近一款名叫 Magic Sudoku(魔法数独)的 App 火了,这款 App 能够“用摄像头解数独”,使用了计算机视觉、机器学习和增强现实技术...

4108
来自专栏智能计算时代

21个经典数据科学面试题及答案(上)

本文翻译自kdnuggets网站热文 21 Must-Know Data Science Interview Questions and Answers 本篇...

2963
来自专栏数据小魔方

一点儿建议、一枚彩蛋~~~

这段时间写了太多的教程,感觉自己都写烦了,不知道大家看的烦不烦,今天没有教程,写一点儿心得总结下这段时间以来的经验和体会,顺便介绍一款图表插件,也将是小魔方下一...

3825
来自专栏AI2ML人工智能to机器学习

机器学习平台的优化器 (优化篇)

在 " 机器学习平台的优化器 (平台篇)"里面, 我们简介了平台们,和什么是优化器。 这里我们开始介绍不同平台的优化。 我们把相同编程语言的优化器放在一起,...

1652
来自专栏大数据文摘

分辨真假数据科学家的20个问题及回答

1933
来自专栏AI星球

我与Python--从Hacker到探索Deep Learning

进入大学之后,我们逐渐“被教授”了C、C++、Java等编程语言,但为什么我会选择python作为最喜欢的编程语言呢?

1183
来自专栏应兆康的专栏

Andrew Ng - 《Machine Learning Yearning》 Chapter 20-22

Machine Learning Yearning. 全新版本 本书作者是Andrew NG

47014
来自专栏ATYUN订阅号

IBM提出深度学习模型水印方法,可防止侵权

如果机器学习模型可以在照片,电影,音乐和手稿添加水印以表明所有权,防止知识产权窃取,并防止攻击者损害其完整性,该会如何呢?IBM正在申请新的专利,他们可以做到这...

1722
来自专栏机器人网

六轴机械手臂有哪些奇异点?

六轴机械手臂由六组不同位置的马达驱动,每个马达都能提供绕一轴向的旋转运动,其位置可参照下图。从自由度(Degree of Freedom)的概念来看,六轴机械手...

3729
来自专栏大数据文摘

资源 | 从医疗语音到灾难响应,这八大优质数据集快抱走

1563

扫码关注云+社区