DeepMind 创始人 Cell 评论：通用人工智需要怎样的学习系统？

【新智元导读】谷歌 DeepMind 创始人 Demis Hassabis 等人近日在细胞出版社期刊发表评论，拓展辅助学习系统（CLS）理论，为研究通用人工智能提供了框架。CLS 理论认为，哺乳动物学习需要两个系统：一个缓慢学习结构化知识，一个快速存取信息，这些快速存取的信息能够回放，最终整合进入第一个系统。玩游戏达到人类水平的人工神经网络也含有类似结构。通过研究人类如何学习，我们或能开发更加智能的机器。

据 ScienceDaily 报道，谷歌 DeepMind 创始人 Demis Hassabis 等人在细胞出版社旗下期刊 Trends in Cognitive Sciences 发表评论，更新了人类和其他哺乳动物学习知识的有关理论，对人工智能 Agent 发展有重要指导意义。

该评论题为《智能体需要怎样的学习系统？再谈辅助学习系统理论》（What Learning Systems do Intelligent Agents Need? Complementary Learning Systems Theory Updated）。

辅助学习系统（Complementary Learning Systems，CLS）理论于 1995 年提出，以英国计算神经科学家 David Marr 早先关于新皮质的理论和海马体的理论为基础，结合当时刚刚发现的神经网络学习方法发展而来。

CLS 理论认为，学习是两个互补学习系统的产物：第一个系统从接触到的经验中逐渐吸取知识和技巧，第二个系统则存储具体经验；这些经验能够在脑中不断回放（replay），从而有效整合进入第一个系统。

学习是两个互补系统的产物

CSL理论中，第一个系统位于大脑皮层，和如今的深度网络一样，这类系统在输入和输出之间也含有数层神经元，而网络中的知识就在神经元的连接当中。随着经验积累，各个神经元连接会形成回路，于是生命体就有了识别物体、感知言语、理解并产生语言的能力，再到后来可以在博弈中选择最优决策，根据所学做出智能的判断。

但是，如果短时间内网络中新加入的信息量太大，神经元连接的结构发生巨大变化，就会大幅扭曲原先存储在这些连接里的知识。

为了解决这个问题，科学家提出了辅助学习系统理论。在人类和其他哺乳动物的脑中，辅助学习系统位于海马体。有了新的体验后，信息会先存储在海马体，供人直接使用。此外，我们也会把这些信息拿出来，不断回放给大脑皮层，使这些信息与其他相关经历在脑中形成的既有信息相结合。

这样，辅助学习系统实现了即时学习，并使信息能够逐渐整合进入大脑新皮层的结构化知识表征。

CLS理论示意图

上图中间和右边两块深黄色区域表示初级感觉和运动皮层，灰色虚线标出了内侧颞叶的位置，海马体在内侧颞叶内部，用深灰色区域表示。

各色箭头表示神经元连接。其中，绿色箭头代表新皮质联合区神经连接。蓝色箭头代表新皮质区和内侧颞叶间的神经连接。根据CLS理论，蓝绿箭头都属于新皮质学习系统，受神经连接结构影响。

深红色箭头是海马体内部的神经连接。这些连接的神经突触可塑性极强，便于快速将信息整合进入海马体知识表征。当海马体回放记忆时，信息经由蓝色箭头传遍新皮质各区，再由图中绿色箭头可知，没有新信息输入时，新皮质系统内部就能发生学习的过程。

斯坦福大学心理学教授 James McClelland 参与提出了CLS理论，他同时也是这次新发表评论的一位作者。McClelland 认为，有充分证据表明大脑中含有这两种学习系统，而CLS理论很好地阐释了这两种系统如何通过互补，有力解决大脑关于学习的一个关键问题。

通用人工智能需要怎样的学习系统？

新发表的这篇评论文章则拓展了CLS理论，尤其是CLS理论中海马体的作用。

论文第一作者、DeepMind 认知神经科学家 Dharshan Kumaran 表示，玩各种电脑游戏达到人类水平的神经网络架构，其组件都受辅助学习系统启发而来。

类似新皮质系统的人工神经网络

Kumaran 表示，就像CLS理论说的那样，这些神经网络利用一个类似海马体的内存缓冲区存储近期游戏情节，并交错式地回放这些记忆。这样，实际玩游戏的经历对学习起到的作用得到了极大发挥，同时也避免了某个局部运行的经历主导整个学习系统的趋势。

DeepMind 创始人 Demis Hassabis 也是论文作者。Hassabis 表示，拓展后的CLS理论或将继续为未来神经科学研究和开发通用人工智能提供框架。

“开发通用人工智能是谷歌 DeepMind 的目标。”Hassabis 在细胞出版社新闻通稿中说。

信息来源：Cell Press，How insights into human learning can foster smarter artificial intelligence，Science Daily

*****

摘要

我们更新了辅助学习系统（CLS）理论。辅助学习系统理论认为，智能体必须拥有两个学习系统，分别位于哺乳动物脑部的新皮质和海马体。第一个系统逐渐获取结构化的知识表征，第二个系统快速学习个体经验的细微问题。本文拓展了CLS理论中海马体学习系统的回放功能，认为正是回放让基于目标依赖的经验统计加权成为可能。我们还讨论了CLS理论近期面临的一些问题，论证了反复激活海马体记忆痕迹能支持某些形式的泛化，当信息与已知结构相一致时，新皮质学习速度极快，由此拓展了CLS理论。最后，我们指出设计人工智能代理与该理论的关联，尤其是神经科学和机器学习之间的联系。