Facebook对话AI发展出人类无法理解语言，肇因两个智能体参数跑偏

【新智元导读】在名为 Dealor No Deal? End-to-End Learning for Negotiation Dialogues 的论文中，Facebook 研究人员描述了使用机器学习训练“对话智能体”的过程。就在这一过程中，研究者发现，当同时调整两个对话智能体的参数时，它们就会偏离人类语言，发展出自己的语言。这并非该研究的主旨，却成为最受关注的部分。新智元带您一探究竟。

对话智能体能够“说谎”来达成协定，但这还不是最惊人的

日前，Facebook 人工智能研究所（FAIR）使用机器学习方法，对两个聊天机器人进行对话策略迭代升级，结果发现它们竟自行发展出了人类无法理解的独特语言。研究者不得不对其进行了人工干预。

AI 自我升级的速度如此之快，让人隐约看到了未来的景象。

在名为 Dealor No Deal? End-to-End Learning for Negotiation Dialogues 的研究报告中，Facebook 描述了使用机器学习训练“对话智能体”的过程。在这一过程中，这个“对话智能体”展现出了良好的谈判技巧。

然而就在训练过程中，研究者写道，他们一度不得不调整他们的模型，否则智能体就会“偏离人类语言，转而用一种独特的语言来对话”。研究人员不得不用修正后的监督模型来替代。

这篇研究报告的主旨是说机器人可以成为不错的谈判者——他们甚至会假装对某件没有价值的东西感兴趣，然后在谈判过程中牺牲掉它，好像做出了让步。而关于对话智能体发展出自我语言的部分，在研究报告中确实只是一鳞半爪，但却引发了大家的关注。

评论者认为，“当我们让 AI 互相交谈时，它们发现了比英语更好的选择，这里面透露出了未来的景象。”

《大西洋月刊》第一时间对此进行了报道。不过，它也指出，“明确一点，Facebook的聊天机器人并不是奇点到来的证据。还差得远呢。但它们确实展现了机器是如何刷新人类认知的——语言曾被认为是人类独有的技能。”

机器学习研究中著名的“黑箱”难题。我们向神经网络输入大量的数据，再考量其输出，希望能理解机器是如何“思考”的。但机器一次又一次地提醒人类，我们对它们的了解是多么的少，即使我们是它们的设计者。

“未来还有很多工作要做。”Facebook 的研究者在研究报告中写道，“尤其是在探索其他推理策略，以及在提高 AI 表述多样性的同时又不偏离人类语言方面。”

当两个智能体的参数同时被调整时，它们就会发展出自己的语言

对话智能体发展出自己的语言出现在强化学习的过程中。FAIR 团队首先使用监督学习使智能体学习语言和语义之间的映射方式，然后用强化学习的方法来让智能体选择如何表达。

在强化学习过程中，两个智能体会根据彼此的话语来改善其参数。实际上，其中一个智能体可以替换为人类。FAIR 也确实这么做了。

为了评估该对话智能体的语言能力，FAIR 让人类扮演其中一个对话者。此前大多数研究都没有与真人进行对话，或局限于难度较小的领域，因为学习回应各种语言的模型很有难度。

有意思的是，在 FAIR 的实验中，大多数人没有发现对方是机器人。而智能体自然也不会考虑与其交谈的是否是人类。它只是根据其语言表现调整其参数。

然而就在同时调整两个智能体的参数时，问题出现了。当两个智能体的参数同时被调整时，它们就会偏离人类语言，而发展出自己的对话语言。

FAIR 为此不得不使用了一个模拟人类的固定监督模型，该模型接受了生成人类语言的训练。

我们和您一样，对于那种智能体自我发展出的、“偏离人类语言”的神秘语言，也非常好奇。但是很遗憾，Facebook 并没有公布这种语言是什么样的。

对于这种神秘的语言，有评论者指出：

“这个‘语言’并不是说的‘一套独立的规则和语义的符号语音系统’......(出现这种情况)很正常，数学上来讲，人类语言这个符号语音系统能定义出一个巨大的状态空间，而人类使用的语言内容只占用了这个状态空间中的部分区域，而机器通过自己迭代，100%可能探索到这个状态空间其它部分。”

我们认为这也许更接近事情的真相。这种 AI 之间的所谓“语言”只是语音的组合，而并不是语音和语义的结合体，因此也就很难被看作是“语言”这一符号系统。但如果在这两个对话智能体的沟通过程中，确实通过这种“语言”最终达成了沟通的“目标”，那么也可能它们之间这一语音组合的交流方式是有“意义”的——同样，这再次超出了人类的理解。

原文地址：1.https://www.theatlantic.com/technology/archive/2017/06/artificial-intelligence-develops-its-own-non-human-language/530436/?href=&single_page=true

2.https://code.facebook.com/posts/1686672014972296