【AI学会“以牙还牙”】OpenAI发布多智能体深度强化学习新算法LOLA

【新智元导读】OpenAI和牛津大学等研究人员合作，提出了一种新的算法LOLA，让深度强化学习智能体在更新自己策略的同时，考虑到他人的学习过程，甚至实现双赢。每个LOLA智能体都调整自己的策略，以便用有利的方式塑造其他智能体的学习过程。初步试验结果表明，两个LOLA 智能体相遇后会出现“以牙还牙/投桃报李”（tit-for-tat）策略，最终在无限重复囚徒困境中出现合作行为。研究人员表示，即使是目前最先进的深度强化学习算法，也没能做到这一点。LOLA向构建能够考虑其他智能体的智能体迈出了一步。

OpenAI今天更新博客，发布了一种新的算法，能够让智能体在学习的过程中考虑到其他智能体，并且发现有利于自我同时也有利于协作的策略。这种算法被称为“考虑对手学习情况的学习”（Learning with Opponent-Learning Awareness，LOLA），是朝向构建能够对其他智能体建模的智能体迈出的一小步。

LOLA：首次在深度强化智能体中体现人类合作的“心智理论”

具体说，LOLA智能体“Alice”会对另一个智能体Bob的参数更新进行建模，建模的过程依赖于Alice自己的策略以及Bob参数更新对Alice预期回报的影响。然后，Alice会更新自己的策略，让其他智能体（比如Bob）的学习步骤更有利于自己的目标。

LOLA智能体可以在游戏（比如迭代的囚徒困境或捡硬币游戏）中，发现有效的互惠策略。相比之下，最先进的深度强化学习方法，比如 Independent PPO，无法在游戏中学习这样的策略。这些智能体一般都会学习采取自私的行为，忽视其他智能体的目标。LOLA解决了这个问题，虽然也是让智能体采取有利于自身利益的行动，但这个行动也包含了其他智能体的目标在里面。有了LOLA，就不需要手工制定促进合作的规则，也不需要设置环境条件鼓励合作，智能体能自动探求倾向于合作的行为。

研究人员表示，LOLA的灵感来自于人类是如何合作的：人类非常擅长于推理自己的行动将如何影响其他人未来的行动，并且经常发明与其他人合作的方式来实现“双赢”。人类善于合作的原因之一，是他们对其他人有一种“心智理论”（theory of mind），这让他们制定出为合作方带来好处的策略。

到目前为止，这种“心智理论”还没有在深度多代理强化学习中得到体现。对于当前最先进的深度RL智能体来说，另一个智能体只是环境中第一部分，跟一棵树没有固有的区别。

数学证明：纳入“项”进行对手学习步骤的参数建模

LOLA性能的关键是项的纳入（inclusion of term）：

在这里，左边描述了Alice的回报如何取决于Bob策略的变化。右边描述了Bob的学习步骤如何依赖Alice的策略。两者相乘，基本上就描述了Alice如何通过改变Bob的学习步骤让Alice自己奖励增加的情况。

研究人员表示，他们在训练智能体时，智能体会尝试在预期对手的的学习步骤之后，再对自己的回报进行优化。通过预期对手的学习步骤，智能体可以主动塑造（shape）对手的参数更新，让对手更新的结果对自己有利。

研究人员表示，上述公式假设能够获得两个价值函数的真实梯度和粗糙度（hessian），还可以使用样本来估计所有相关的项（term）。特别地，可以通过应用策略梯度定理来估计二阶项，这使得LOLA适合于任何深度强化学习环境。

数学推导示例，详情请参见论文

我们可以在LOLA里增加一个步骤——对手建模，基于其他智能体的行动来预测其参数。研究人员表示，他们将来还会就此进行拓展，比如从观察到的学习中推断架构和奖励。

实验结果

LOLA可以在两种情况下工作，一是可以获得其他智能体的策略（LOLA），二是只能通过跟踪估计其他智能体的状态（LOLA-OM）。 在捡硬币中，两种方法都可以拿出更多的硬币（图(a)），并且比其他方法的得分要高得多（图(b)）。

LOLA训练出了更成功的智能体。在捡硬币游戏中，两名智能体（红和蓝）相互竞争捡硬币。硬币也分为红色和蓝色，当智能体捡起一个与自己颜色相符的硬币时就得1分，但捡起颜色不符的硬币会被扣2分。因此，如果两个智能体都很贪心地捡硬币，不分颜色，那么每个人平均都得0分。LOLA智能体能够学会主要拿起与自己颜色相符的硬币，从而得到更高的分数。

研究人员还探讨了目前LOLA的缺点及改进方向。当使用大的批次大小和full roll-outs减少差异时，LOLA的效果最好。但这也意味着这种方法对内存和计算力的需求都很高。此外，在对手建模的情况下，LOLA不是很稳定，研究人员希望未来能够改进并解决这个问题。

论文：考虑对手学习过程的学习

摘要

在机器学习中，多智能体（multi-agent）设置变得UI而来越重要。除了最近出现的很多深度多智能体强化学习（deep multi-agent reinforcement learning）的工作外，分层强化学习（hierarchical reinforcement learning），生成对抗网络和分散优化（ decentralized optimization）都可以看作是这种设置。

但是，在这些设置中，多个 learning agent 的存在使得训练问题不固定，而且经常导致训练不稳定或得到不符合期望的最终结果。我们提出 Learning with Opponent-Learning Awareness（LOLA），这是推断其他智能体的预期学习（anticipated learning ）的一种方法。LOLA 学习规则包括一个额外的项（term），用于估计该agent的策略对于其他agent的预期参数更新的影响。

我们的研究显示，可以使用似然比策略梯度更新的扩展来有效地计算LOLA更新规则，使得该方法适合于无模型强化学习（model-free reinforcement learning）。因此，该方法可以扩展到大的参数和输入空间以及非线性函数近似。初步结果表明，两个LOLA agent 的相遇导致“以牙还牙”（ tit-for-tat）的出现，最终在无限重复囚徒困境中出现合作。

在这个领域，与原始的学习者相比，LOLA的收益也更高，而且对于基于更高阶梯度的方法的开发，LOLA也是稳健的。对于无限重复猜硬币博弈，只有LOLA智能体收敛到纳什均衡。我们还将LOLA应用于使用深度递归策略的的嵌入式社会困境的 grid world 任务。同样，通过考虑其他agents的学习，LOLA agents 学会了出于私利的合作。

论文地址：https://arxiv.org/abs/1709.04326