【学术】神经网络正在学习“记忆”和“忘记”

记忆是一种珍贵的资源，所以人类已经能够记忆重要的技能，忘记无关紧要的技能。现在机器也被设计成这样。

深度学习正在改变我们使用和思考机器的方式。在各种任务中，当前的状态比人类要好，从象棋到人脸识别和物体识别。

但机器学习的许多方面远远落后于人类的表现。特别是，能够在重写不再有用的信息的同时，用最重要的知识不断更新自己的记忆。

这是一个重要的技能。世界提供了源源不断的数据来源，其中大部分与生存的棘手业务无关，而且大多数都无法在有限的记忆中存储。因此，人类和其他生物已经发展出了保留重要技能的方法，同时忘记无关紧要的技能。

机器同样不能这样说。不管它有多重要，他们学到的任何技能都会很快被改写。目前没有可靠的机制可以用来优先考虑这些技能，决定要记住什么，忘记什么。

今天，由于拉比夫·阿隆迪（Rahaf Aljundi）和比利时鲁汶大学（University of Leuven）以及Facebook AI Research的努力，这一切看起来将会改变。这些人已经表明，生物系统用来学习和遗忘的方法也可以与人工神经网络一起工作。

关键是一个名为Hebbian learning的过程，它是由加拿大心理学家Donald Hebb在上世纪40年代提出的，用来解释大脑通过突触可塑性学习的方式。Hebbian的理论可以概括为“一起射线的细胞”。

换句话说，如果神经元之间的联系一起发生，神经元之间的联系就会变得更强，因此这些联系更难破坏。这就是我们学习的方式——重复的神经元同步触发使得它们之间的联系变得更强和更难覆盖。

因此，Aljundi和co开发了一种方法来使人工神经网络以相同的方式工作。他们通过测量神经网络的输出并监测它们对网络连接变化的敏感程度来做到这一点。

这使他们了解哪些网络参数是最重要的，因此应该保留下来。“在学习新任务时，对重要参数的改变会受到惩罚。”团队说。他们说由此产生的网络有“记忆感知突触”。

他们已经把这个想法通过了一系列测试，在这些测试中，一个神经网络被训练去做一件事，然后给它一些数据来训练它去做别的事情。例如，一个训练识别花的网络就会显示鸟类。然后研究人员再次展示这些花，看看这些技能有多少被保存下来。

具有内存感知突触的神经网络在这些测试中比其他网络表现更好。换句话说，与没有这种能力的网络相比，他们保留了更多的原始技能，尽管结果有改进的空间。

然而，关键的一点是，团队已经找到了一种方法，让神经网络使用Hebbian学习。Aljundi和co说:“我们证明了，我们的方法的局部版本是Hebb在识别神经元之间重要联系的直接应用。”

这对机器学习的未来意义重大。如果这些科学家能够使他们版本的Hebbian学习更好，它应该使机器在学习上更加灵活。这将使他们能够更好地适应现实世界。