DeepMind让AI系统拥有记忆，教机器学习系统举一反三打游戏

机器学习系统现在适用于很多类型的任务，但它们也有一个共同的问题：学得不一定快，但忘得很快。

比如说，DeepMind训练神经网络玩雅达利游戏时，给系统输入Space Invaders的训练数据，它就学会了玩Space Invaders；再输入打砖块的训练数据，它就学会了打砖块，却忘了Space Invaders该怎么玩。

最近，DeepMind和伦敦帝国理工学院的研究人员已经创建了一种算法，允许该系统的神经网络自主学习，保留信息，并再次使用它。

相关论文发表在《美国国家科学院院刊(PNAS)》，摘要地址：

http://www.pnas.org/content/early/2017/03/13/1611835114.abstract

全文PDF： http://www.pnas.org/content/early/2017/03/13/1611835114.full.pdf

以下是对DeepMind这项新进展的介绍， 来源：新浪科技 ID：techsina

人工智能（AI）系统能够学会一款雅达利（Atari）游戏，然后利用这些知识再学习另一款游戏。

2014年当DeepMind的机器学习系统学会玩雅达利游戏时，突然引人瞩目地跃入公众视线。这套系统可以把游戏打通关，得分比人类还高，但却不记得它是怎样做到的。

该系统玩每一款雅达利游戏时，都要单独创建一组神经网络，因此，如果不能同时为人工智能输入《空间入侵者》（Space Invaders）和《打砖块》（Breakout）的信息，就不能在同一个系统上玩这两款游戏。现在，一组DeepMind和伦敦帝国理工学院的研究人员已经创建了一种算法，允许该系统的神经网络自主学习，保留信息，并再次使用它。

“以前我们有一个系统可以学着玩任何游戏，但它一次只能学会玩一款游戏，“DeepMind的研究科学家詹姆斯·基尔克帕特里克（James Kirkpatrick）说，他是该系统最新研究论文的主笔。“在此我们展示了一个系统，可以一个接一个地学习玩几个游戏。”

这篇论文发表在美国国家科学院学报上，解释了DeepMind的AI系统如何运用有监督学习和强化学习测试等方式来不断学习。该公司的博客文章也对此做了说明。

计算机科学家在论文中写道：“不断完成学习任务而不遗忘的能力是生物和人工智能的核心组成部分。”基尔克帕特里克说，如今，神经网络和人工智能中的“重大缺陷”已无法从一个任务传递到下一个任务。

研究小组表示，已经能够在“突触整合”的基础上展示“持续学习”，在人脑中，这个过程被描述为“学习和记忆的基础”。

为了让AI系统拥有记忆，DeepMind研究人员开发了一种名为“弹性权重固化”（EWC）的算法。论文指出，“我们的方法是通过有选择性地减慢高权重任务的学习速度来记住旧的任务。”基尔克帕特里克解释说，该算法可以选择在游戏中成功通关的做法，并把最有用的部分保留下来。

“我们只允许它们（在游戏间）非常缓慢地做出改变，”他说，“如此一来，我们就有了学习新任务的空间，但是我们所进行的改变不会覆盖我们以前学过的东西。”

为了对算法进行测试，DeepMind采用了深度神经网络，它被称为Deep Q网络（DQN），以前曾被用来征服雅达利游戏。然而，这一次DQN使用的是“增强的”EWC算法。研究人员随机选择了十款雅达利游戏来测试算法和神经网络，AI的表现足以与人类玩家相媲美。每款游戏被玩过2000万次之后，系统自动切换到下一款雅达利游戏。

“以前，DQN不得不单独学习如何玩一款游戏，”文章写道。“DQN在EWC的助力下功能大增，可以不再经历灾难性的遗忘过程，连续不断地学会玩很多游戏。”

从本质上讲，使用EWC算法的深度神经网络能够学习玩一个游戏，然后将已学会的知识加以转换，再去玩下一个全新的游戏。

然而，这套系统还不完美。虽然它能够学习以前的经验，并保留最有用的信息，但它的神经网络无法像只完成一个游戏那样运转良好。

“当下，我们已经证明了AI系统能够不断学习，但我们还无法证明它的学习效率有所提高，”基尔克帕特里克说。“下一步我们将利用和规范连续学习，尝试和改善它在现实世界的学习活动。”(斯眉)