论文控|谷歌DeepMind成员、牛津学者发表新论文——探讨AI系统的目标控制

GAIR

今年夏天，雷锋网将在深圳举办一场盛况空前的“全球人工智能与机器人创新大会”（简称GAIR）。大会现场，谷歌，DeepMind，Uber，微软等巨头的人工智能实验室负责人将莅临深圳，向我们零距离展示国外人工智能震撼人心、撬动地球的核心所在。在此之前雷锋网将网罗全国顶尖的人工智能和机器人专家，同这些国际大拿同台交流，如果你不想错过这个机会，请用邮件直戳我心，lizongren@leiphone.com

图片来源：inteligencia

编者按：机器智能研究院（MIRI）的研究宗旨是，确保比人类更加智能的机器系统会带来积极影响，研究领域包括：可靠的代理设计，如何设计可靠的AI系统执行人类交给它的任务；价值学习，如何设计学习系统，让系统能够学会人类的价值观；错误包容，如何设计配合人类操作员的系统，能够包容程序员不可避免的错误。

MIRI的研究人员来自全球顶尖大学及企业，《人工智能：现代方法》的联合作者Stuart Russel教授担任其研究顾问。今年8月，Russel教授和谷歌DeepMind CEO Demis Hassabis都将参加雷锋网在深圳举办的人工智能与机器人创新大会。

谷歌DeepMind研究科学家Laurent Orseau和牛津大学研究副教授、机器智能研究院（MIRI）Stuart Armstrong博士共同发表了一篇新论文，探讨包容错误的智能代理设计。论文《可安全干预的智能代理》将于本月底在纽约的第32届“人工智能中的不确定性”大会上呈现。论文摘要如下：

“强化学习中的智能代理在与复杂环境（例如真实世界）互动时，不可能永远都在最佳状态上。如果代理在人类的监督下进行实时操作，系统会时不时地需要人类来按下暂停键，防止代理持续进行一系列有害的行为——对代理或对环境有害的行为——并由人类来将代理带往安全的环境。然而，如果学习中的代理期望从原本要执行的行为中获得奖励，长此以往，它可能会学会避免此类的人类干预，例如，代理会让暂停键失效——这是我们不想要的结果。

这篇论文探索了一种方法，可以确保代理不会学会如何避免（或寻求）环境或者人类操作员对其进行干预。我们提供了安全干预的定义，探索了无监管下的学习特性，并证明有些代理已经可以安全地进行干预，例如Q-learning，或者可以简单转变为可安全干预的代理，例如Sarsa。我们的结论是，即便是理想的、不可计算的强化学习代理，在总体可计算的（决定论的）环境中，也可以转变为可安全干预的代理。”

Orseau和Armstrong的论文为解决矫正问题带来了一个新的视角。可矫正的代理指的是，能够识别到自身有缺陷、或者正在开发中的代理，并能帮助其操作员进行维护、改善或者自我替换，而不是抗拒这些操作。

在强人工智能系统中，矫正主要是为了在系统终极目标不正确的时候，避免不安全的收敛工具性政策（例如，保护其当前的目标系统未来不受修改影响的政策）。这让我们能够实施基于试错和学习的恰当方法，来解决AI价值规范的问题。

干预是为了让直觉性的矫正概念形式化。例如，“无关用途”是过往对另一种矫正的定义：系统不介意程序员修改其终极目标，因此能避免强迫程序员进行修改、或避免修改。而“可安全干预的代理”则试图定义另一种系统，不介意程序员修改其政策，不会阻止程序员干预它们的日常行为（也不会强迫程序员去干预）。

这样做的目标是，让代理认为没有未来干预时选择最优的政策。即便代理过去经历过干预，也会好像未来不会有任何干预一样行动。Orseau和Armstrong在论文中让我们看到，若干类型的代理是可以安全干预的，或者可以简单转变为可安全干预的代理。

点击“阅读原文”下载Orseau和Armstrong的论文全文。

VIA MIRI