ICLR 2020 | 告别死记硬背，元学习才能学会学习

编辑 | 丛末

本文介绍的是 ICLR 2020 spotlight 论文《Meta-Learning without Memorization》(无记忆的元学习)，来自德克萨斯大学奥斯汀分校在读博士生殷明章。

论文: https://openreview.net/pdf?id=BklEFpEYwS

代码: https://github.com/google-research/google-research/tree/master/meta_learning_without_memorization

让我们回顾片刻在学校学习的经历。每一天我们去上课，回答老师的问题；回家后我们解答作业问题，对照答案检查正确与否。日积月累，我们不仅学到了知识，更学会了如何学习 (learning to learn)。当面对新任务时，我们可以利用之前解决问题的经验并加上少量的练习，迅速学会新的技能。这种 “快速适应 (fast adaptation)” 能力被认为是智能的重要体现。在人工智能领域，元学习 (meta-learning) 是一种使机器 “学会学习” 的有效手段。

在这篇论文里，我们发现一个表征能力强大的人工神经网络除了 “快速适应” 外，还可以通过 “记忆” 的方式来解决训练集里的多项任务。不幸的是，一个只会记忆的神经网络不具备解决新任务的能力。这篇论文旨在提出、定义、分析元学习中的记忆问题，并提出新的元正则化方法 (meta-regularization) 以避免记忆问题。

1

元学习的图模型

2

记忆问题

回到开头的例子， 假设在学校每天学习的内容是解决一种题型，这对应于元训练里的一个任务。经过一段时间后，假设每种题型都被重复学习了若干次。如果一个学生可以记住各个题型，那么她/他将不需要再去上课也可以解决作业里的问题。也就是说她/他可以解决已知题型里的新问题，但这样的纯粹记忆并不能解决新的题型。让我们再看一个例子，假设每一个元训练里的任务是拟合一些线性相关的数据。我们希望模型能够学会利用少量的数据去估计模型参数，如下图所示：

这种快速适应能力可以泛化到解决元测试中的未曾见过的新任务，如下图（左）。但我们发现，如果模型足够灵活，那么一个单一模型就可以解决元训练中的所有任务，并且忽略任何任务内训练数据，如下图(右)。这导致在元测试阶段，当面对一个新任务时，算法仍然会忽略任务内训练数据，但这样做将无法解决新任务