【可解释AI重大突破】DeepMind 构建心智理论神经网络让机器互相理解

DeepMind近日发表的最新研究提出“机器心智理论”(Machine Theory of Mind),启发自心理学中的“心智理论”,研究者构建了一个心智理论的神经网络ToMnet,并通过一系列实验证明它具有心智能力。这是开发多智能体 AI 系统,构建机器 - 人机交互的中介技术,以及推进可解释AI发展的重要一步。
心智理论(ToM; Premack&Woodruff,1978)泛指人类能够理解自己以及他人的心理状态的能力,这些心理状态包括欲望、信仰、意图等。DeepMind的研究人员试图训练一台机器来构建这样的模型。他们设计了一个心智理论的神经网络(Theory of Mind neural network)——ToMnet,该网络使用元学习通过观察其行为来构建智能体(agent)所遇到的模型。通过这个过程,ToMnet获得了一个关于智能体的行为的强大先验模型,以及仅使用少量行为观察就能更丰富地预测智能体的特征和心理状态的能力。研究者将ToMnet应用到简单的格子环境中的智能体,表明它可以学习模拟来自不同群体的随机、算法和深度强化学习agent,并且它通过了经典的ToM任务测试,例如“Sally-Anne test”(Wimmer&Perner,1983; Baron-Cohen et al., 1985 )。研究者认为这个系统——智能体自主地学习如何模拟它的世界中的其他智能体——是开发多智能体AI系统,构建人机交互的中介技术,以及促进可解释AI进展的重要一步。

受人类心智理论启发的“机器心智理论”

目前,深度学习和深度强化学习取得的进展虽然令人兴奋,但也有人担心我们对这些系统的理解是不足的。神经网络通常被描述为不透明的、不可解释的黑盒。即使我们对其权重有完整的描述,也很难弄清楚它们正在利用的模式,以及它们可能出错的地方。随着AI越来越多地进入人类世界,理解它们的需求也越来越大。

让我们停下来问问:对于一个agent来说,“理解”另一个agent究竟意味着什么?作为人类,我们每天都在面对这一挑战,因为我们每天都在与潜在特征、潜在状态和计算过程都几乎完全无法访问的其他人类交流。但我们“理解”他人功能非常卓越。我们可以预测陌生人未来的行为,并推断出他们对世界的了解;我们可以规划与他人的互动,并建立高效的沟通。

对其他agent的“理解”有一个显著特点是,它们对agent的真正的底层结构几乎没有任何参考。我们人类通常不会试图去估计其他人的神经元的活动,推断他们前额皮质是怎么连接的,或者计划去与其他人的海马体地图去交互。认知心理学的一个重要观点是,我们的社会推理取决于其他人的高层次模型(Gopnik&Wellman,1992),这些模型涉及的抽象概念并未描述所观察行为的基础的详细物理机制;相反,我们理解的是他人的心理状态,例如他们的欲望、信仰和意图。这种能力通常被描述为心智理论( Theory of Mind)。

在这篇论文中,我们从人的心智理论中获得灵感,试图构建一个学习对其他智能体进行建模的系统。我们将其描述为“机器心智理论”(Machine Theory of Mind)。我们的目标不是要提出一种智能体行为的生成模型和反转它的算法。相反,我们关注的是观察者如何自主学习使用有限的数据为其他agent建模。这使我们的工作与以前的研究不同,以前的相关研究依赖人工的智能体模型,例如使用反向RL,贝叶斯推断,贝叶斯心智理论或博弈论。相反,我们学习智能体模型,以及如何通过 meta-learning从头开始对它们进行推理。

构建一个丰富、灵活并且高性能的机器心智理论对AI来说是一个巨大的挑战。本文的一个主要观点是,构建ToM的多数初始的挑战可能会被视为简单的学习问题,因为它们是用公式表示的。我们在这里的工作是对这些简单公式进行计算的练习。

这项工作有许多潜在的应用。学习他者的丰富模型将改进许多复杂的多智能体任务的决策制定(decision-making),特别是在需要基于模型的规划和想象的情况下。这些模型对于价值调整和灵活合作也很重要,而且很可能是未来机器道德决策的一个组成部分。它们对传播和教育学也非常重要,可能在人机交互中扮演关键角色。探索这种能力产生的条件也可以揭示人类能力的起源。最后,这些模型可能会成为人类理解人工智能的重要媒介。

最后,我们的强烈动机是使人工智能可以为人类所解释。我们在这里尝试一种新的方法:试图构建中介系统,以减少行为空间的维度,并以更易理解的形式表现它们,而不是修改agent的结构以使其内部状态暴露于人类可解释的形式。在这个角度上,对机器ToM的追求是建立机器与人类期望之间缺失的界面(missing interface)。

研究方法:元学习任务实验

我们考虑将构建心智理论作为一个meta-learning问题。在测试时,我们希望能够遇到一个我们以前从未见过的新的agent,并且它们已经有强大而且丰富的关于它们行为先验知识。此外,当我们看到这个agent在它的世界行动时,我们希望能够收集关于它的潜在特征和心理状态的数据(即形成后验),这将使我们能够改进对它们未来行为的预测。

为此,我们制定了一个meta-learning任务。我们构建了一个观察者(observer),它在每个episode中都可以看到agent的一组新的行为痕迹。观察者的目标是预测agent未来的行为。在训练过程中,观察者应该从有限的数据中快速形成有关新agent的预测。这种关于新agent的“学习”就是我们所说的meta-learning。通过这个过程,观察者还应该学习agent行为的有效先验,这些知识隐含地捕捉了训练群体中agent之间的共性。

我们引入两个概念来描述这个观察者网络的组成部分及其功能角色。我们区分了一般心智理论——网络的学习权重,它包含关于训练集中所有agent共同行为的预测,以及特定于agent的心智理论——在测试时通过观察形成的“agent embedding”,它包含了是什么使得agent的特征和心理状态与其他agent不同。这些对应于agent行为的先验和后验。

这篇论文的结构是一系列实验,这些实验针对该“机器心智理论”的网络(ToMnet)逐渐增加复杂度。这些实验展示了ToMnet的思想,以及它学习其他agent丰富模型的能力,这些模型融合了人类心智理论的典型特征,例如对错误信念的认识。

研究贡献:ToMnet学会预测和解释信念

本研究的贡献如下:

  • 在3.1节,我们展示了对于简单的随机智能体,ToMnet学会了基于智能体特性的近似贝叶斯最优等级推断。
  • 在3.2节,我们展示ToMnet学会了推断algorithmic agents的目标(有效执行 few-shot逆向强化学习),以及它们如何平衡成本和回报。
  • 在3.3节,我们展示ToMnet学会表征不同种类的深层强化学习智能体,捕捉整个群体变异的关键因素,并形成这些智能体的抽象嵌入。我们还表明,ToMnet可以发现关于行为空间的新抽象。
  • 在3.4节,我们表明,当ToMnet被训练于POMDPs中行动的深度RL智能体时,它隐含地知道这些agent可能持有关于世界的错误信念。这是人类心智理论的核心组成部分。
  • 在3.5节,我们证明ToMnet可以被训练来预测agent的信念状态,并且明确地揭示了agent的错误信念。我们还表明,ToMnet可以仅从它们的行为推断出不同agent能够看到的内容,以及它们基于此倾向于相信的内容。

图1. ToMnet的架构

图2.随机智能体行为的网格世界示例

图3. 在随机智能体上训练的ToMnet

图13. 有监督的信念预测

更多细节请查阅原论文:https://arxiv.org/pdf/1802.07740.pdf

原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2018-02-24

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏量子位

旷视首席科学家孙剑:计算机视觉的变革和挑战 | 北大AI公开课笔记

周三晚,北京大学“人工智能前沿与产业趋势”第三讲,本期旷视研究院院长孙剑授课主题为“计算机视觉的变革与挑战”,分享了计算机视觉和深度学习领域的一些研究进展。

975
来自专栏AI科技评论

全文|旷视科技孙剑:如何在大公司和创业公司做好计算机视觉的研究?

孙剑,博士,旷视科技(Face++)首席科学家、研究负责人。2003年毕业于西安交通大学人工智能与机器人研究所,毕业后加入微软亚洲研究院(Microsoft R...

4278
来自专栏机器之心

深度 | 让机器思考与互相理解:DeepMind提出机器心智理论神经网络ToMnet

2697
来自专栏PPV课数据科学社区

作为数据人,你知道人工智能、机器学习、深度学习,三者之间的同心圆关系吗?

本方转自机器之心 作者Micheal Copeland 今年早些时候,当谷歌 DeepMind 团队的 AlphaGo 打败了李世石时,媒体就用人工智能、...

2706
来自专栏机器之心

专访 | 腾讯AI Lab西雅图实验室负责人俞栋:语音识别领域的现状与进展

机器之心原创 作者:邱陆陆 去年三月,语音识别和深度学习领域的著名专家俞栋宣布加入腾讯,担任腾讯成立不久的腾讯 AI Lab 副主任及西雅图实验室负责人。加入腾...

38311
来自专栏专知

等你在2118:探索机器学习算法生命周期

【导读】1月22日,统计学家Venkat Raman发布了一篇比较有意思的博文,作者探讨了到2118年,即未来一百年中机器学习中一些算法可能的兴衰存亡。具体分析...

34112
来自专栏AI科技评论

CNCC | 李飞飞最新演讲:视觉智慧是人类和计算机合作沟通的桥梁 | CNCC2017

AI 科技评论报道:中国计算机学会 CCF 举办的中国计算机大会CNCC 2017已于10月26日在福州市海峡国际会展中心开幕。参加会议的人数众多,主会场座无虚...

35712
来自专栏机器之心

人物 | Ian Goodfellow亲述GAN简史:人工智能不能理解它无法创造的东西

选自Wired 作者:Cade Metz 机器之心编译 参与:黄小天、蒋思源 著名物理学家、加州理工学院教授以及畅销书作者理查德·费曼( Richard Fey...

35111
来自专栏机器之心

李飞飞高徒Andrej Karpathy加盟特斯拉,担任人工智能与自动驾驶视觉总监

选自TechCrunch 机器之心编译 今日,特斯拉宣布前 Open AI 研究员、斯坦福大学博士生 Andrej Karpathy 担任特斯拉人工智能和自动...

2648
来自专栏新智元

【Yoshua Bengio 亲自解答】机器学习 81 个问题及答案(最全收录)

这是 Quora 的最新节目,针对特定话题进行系列的问答。如果你不了解 Quora,可以把它看作美国版的知乎,不过里面大咖云集,奥巴马、Elon Musk、Bi...

2815

扫码关注云+社区