深度神经网络框架改善AI持续学习的能力，降低遗忘率

编译 | 马什么梅

发布 | ATYUN订阅号

研究人员开发了一种新的深度神经网络框架，允许人工智能系统在更好地学习新任务的同时，尽可能减少对先前任务所学到的知识的遗忘。使用框架学习新任务可以使AI更好地执行以前的任务，这种现象称为逆向迁移。

北卡罗来纳州电气和计算机工程助理教授Tianfu Wu表示，人们有能力不断学习，我们一直在学习新的任务，而不会忘记我们已知的事情，到目前为止，使用深度神经网络的人工智能系统并不是很擅长这一点。

深度神经网络人工智能系统专为学习狭隘任务而设计，因此，学习新任务时可能会发生以下几种情况之一。系统可以在学习新任务时忘记旧任务，这被称为灾难性遗忘。

系统可能会忘记他们对旧任务所知的一些事情，而不是学会做或者系统可以在添加新任务的同时修复旧任务，这限制了改进，并将很快导致人工智能系统太大而无法有效运行。持续学习，也称为终身学习，试图解决这个问题。

该论文的联合主要作者，Salesforce Research的研究科学家Yingbo Zhou说，“我们已经提出了一个新的持续学习框架，它将网络结构学习和模型参数学习分离开来，我们将其称为Learn to Grow框架。在实验测试中，我们发现它优于以前的持续学习方法。”

要了解Learn to Grow框架，需要将深层神经网络视为一个充满多层的管道。原始数据进入管道的顶部，任务输出出现在底部。

管道中的每个层都是一个操作数据的计算，以帮助网络完成其任务，例如识别数字图像中的对象。在管道中布置层的方式有多种，这些方式对应于网络的不同架构。

当要求深度神经网络学习新任务时，框架首先通过搜索显式神经架构优化。这意味着当网络进入其系统中的每一层时，它可以决定做以下四件事之一：跳过层；以与先前任务使用的方式相同的方式使用层；将轻量级适配器连接到层，稍微修改它；创建一个全新的层。

此体系结构优化有效地列出了完成新任务所需的最佳拓扑或一系列层。一旦完成，网络就会使用新拓扑来训练自己完成任务，就像任何其他深度学习AI系统一样。

团队表示，“我们使用多个数据集进行实验，发现新任务与以前的任务越相似，就保留执行新任务的现有层而言，重叠越多，更有趣的是，通过优化或学习的拓扑结构，经过训练以执行新任务的网络几乎不会忘记执行旧任务所需的内容，即使旧任务不相似时也是如此。”

研究人员还进行了实验，将框架学习新任务的能力与其他几种持续学习方法相比较，并发现框架在完成新任务时具有更高的准确性。

为了测试每个网络在学习新任务时可能遗忘了多少，研究人员随后测试了每个系统在执行旧任务时的准确性，框架又一次优于其他网络。

Salesforce Research的研究主管Caiming Xiong指出，“在某些情况下，框架实际上在执行旧任务方面做得更好，这被称为逆向迁移，当你发现学习一项新任务会让你更好地处理一项旧任务时就会发生这种情况，这本身与AI无关。”

End