论文精萃|12th|深度学习新进展：微分可塑性方法

突触可塑性（Synaptic Plasticity）是人类大脑非常神奇的功能之一，这个问题困扰了神经学家很多年。从神经学的观点看，突触可塑性的定义为：根据不同的大脑活动，神经元（或突触）之间的连接会随着时间不断的加强或减弱。这一现象可以归结为著名的Hebb规则：Neurons that fire together wire together，该规则揭示了大脑在进行不同认知活动时，神经元是如何建立长时间稳定的连接的。突触可塑性被认为是长期学习和记忆等功能的生理基础。

在AI领域，学者们一直致力于创建可以模拟突触可塑性的机制，从而改善神经网络的训练过程。Uber AI Lab团队在最近发表的一篇文章中，介绍了一种微分可塑性（Differentiable Plasticity）的元学习方法。该方法模拟了一部分突触可塑性的机制，从而使神经网络可以在初始训练后不断的学习历史经验。

微分可塑性理解

将突触可塑性融入AI模型不是什么新想法，但在深度学习领域相关研究还较少。通常，可塑性机制往往被限制在遗传算法，特别是反向传播技术领域。微分可塑性技术的创新点在于将反向传播和梯度下降方法相结合，从而可以根据任务类型对不同神经元的连接分配合理的权重。

微分可塑性方法的核心思想是为深度神经网络中的各个连接赋予一个初始的权重，该权重代表了不同连接的可塑能力。连接任意两个神经元i和j的连接，都被赋予一个固定项（fixed componet）和一个可调项（plastic component）。固定项即传统的连接权重Wij，而可调项被储存于赫布边迹（Hebbian trace）中，其会随着输入输出的不同而不断发生变化。此外，该算法还用系数aij来加权可调项，从而反映连接之间的可塑性。因此，神经元i和j的连接有效权重通过对基础（固定）权重加上可调项与可塑性系数aij之积，再求和获得，如下式所示。

模型训练过程中，微分可塑性模型通过梯度下降技术来调整结构参数wij和aij，从而确定固定项和可调项的权重比。因此，在初始训练后，模型可以从后续的经验中自动学习，因为连接的可塑性部分被历史信息充分的训练以便存储信息，这个模型与人类大脑中的突触可塑性机制非常相似。

微分可塑性验证

Uber研究团队将微分可塑性模型在GitHub上进行了开源，并在一些著名的应用场景下进行了试验。比如，经典的图像重建任务：让神经网络记忆一些从未看过的图像，然后从中挑出一张并抹去图像中的一半内容，最后让神经网络利用记忆的信息重建这些图像。

对于传统的神经网络模型（比如LSTM）这是一项巨大的挑战，但具有可塑性连接的微分可塑性模型则可以很好的解决这个问题。

另一个用于验证可塑性模型的任务是“迷宫探索”，该任务是强化学习算法的经典测试任务。在该任务中，机器人需要在一个迷宫中，不断的搜索、记忆并设法抵达奖励所在的位置。测试的结果表明，微分可塑性模型的表现大大优于传统增强学习算法，可以在迷宫中更快的找到奖励。

以上结果表明，微分可塑性技术可以用于改善深度学习模型的元学习能力。未来，该技术可以用于主流的神经网络模型（如LSTM等），通过引入可塑性连接来优化模型性能。