DeepMind发表Nature子刊：多巴胺学习模型的扩展

DeepMind 在Nature 上发表一篇重磅论文：利用强化学习探索多巴胺对学习的作用，发现AI的学习方式与神经科学实验中动物的学习方式类似。该研究提出的理论可以解释神经科学和心理学中的许多神秘发现。

前言

《Prefrontal cortex as a meta-reinforcement learning system》

论文链接：

https://www.biorxiv.org/content/biorxiv/early/2018/04/06/295964.full.pdf

https://deepmind.com/blog/prefrontal-cortex-meta-reinforcement-learning-system/

正文

Recently, AI systems have mastered a range of video-games such as Atari classics Breakout and Pong. But as impressive as this performance is, AI still relies on the equivalent of thousands of hours of gameplay to reach and surpass the performance of human video game players. In contrast, we can usually grasp the basics of a video game we have never played before in a matter of minutes.

在 我们（DeepMind） 刚发表在 Nature Neuroscience 的新论文《Prefrontal cortex as a meta-reinforcement learning system》中，研究者使用了 AI 研究中开发出来的元强化学习框架来探索大脑中的多巴胺（Dopamine）所发挥的帮助学习的作用。多巴胺是人们所熟悉的大脑快乐信号，通常被认为是 AI 强化学习算法中使用的奖励预测误差信号的类比。这些系统学习通过反复试错来行动，这是由奖励推动的。多巴胺的作用不仅仅是使用奖励来学习过去动作的价值，它发挥的是整体作用，特别是在前额叶区域，它允许我们高效、快速和灵活地在新任务上学习。

研究者通过虚拟重建神经科学领域中的六个元学习（meta-learning）实验来测试该理论，每个实验需要一个智能体使用相同的基础原则或技能集（但在某些维度上有所变化）来执行任务。研究者使用标准的深度强化学习技术（代表多巴胺）训练了一个循环神经网络（代表前额叶），然后对比该循环网络的活动动态和神经科学实验之前研究成果的真实数据。循环网络是很好的元学习代理，因为它们可以内化过去的动作和观察，然后在多种任务训练中利用那些经验。

我们重建的一个实验是 Harlow 实验，这是一个 20世纪 40 年代出现的心理测试，用于探索元学习的概念。在原始测试中，向一组猴子展示两个不熟悉的物体并让它们进行选择，只有一个物体能带来食物奖励。这两个物体被展示了 6 次，每次展示中两个物体的左右位置都是随机的，因此猴子必须学会哪个物体能带来食物奖励。然后，它们被展示了两个全新的物体，这时也是只有一个能带来食物奖励。通过该训练过程，猴子发展出了一种策略来选择奖励相关的物体：它学会了在第一次选择时进行随机选择，然后基于奖励反馈选择特定的物体，而不是左边或右边的位置。该实验证明了猴子可以内化任务的基础原则，并学习一种抽象的规则结构，即学会学习。

Harlow 实验

我们使用虚拟计算机屏幕和随机选择的图像模拟了一个类似的测试，他们发现「meta-RL agent」的学习方式与 Harlow 实验中的动物非常相似，这种相似性即使在展示完全没见过的全新图像时也会存在。

实际上，我们发现 meta-RL 智能体能快速学习适应有不同规则和结构的大量任务。而且由于该循环神经网络学习了如何适应多种任务，因此它还学到了如何高效学习的通用法则。

重要的是，研究者发现大多数学习发生在循环网络中，这也支持了我们的假设，即多巴胺在元学习过程中扮演的角色比以前认为的更重要。传统观点认为，多巴胺加强前额叶系统中的突触联系，从而强化特定的行为。在 AI 中，这一现象意味着，随着类似多巴胺的奖励信号学习到解决任务的正确方式，它们会调整神经网络中的人工突触权重。然而在一般的实验中，神经网络中的权重是固定的，这意味着权重在学习过程中不能进行调整。

因此，我们提出了 meta-RL 智能体，它能解决并适应新的任务。这种智能体表明类似多巴胺的奖励不仅用于调整权重，它们还传输和编码关于抽象任务和规则结构的重要信息，使得智能体能够更快适应新任务。

--------我是可爱的分割线--------