编辑 | 丛末
本文介绍的是 ICLR 2020 spotlight 论文《Meta-Learning without Memorization》(无记忆的元学习),来自德克萨斯大学奥斯汀分校在读博士生殷明章。
论文: https://openreview.net/pdf?id=BklEFpEYwS
代码: https://github.com/google-research/google-research/tree/master/meta_learning_without_memorization
让我们回顾片刻在学校学习的经历。每一天我们去上课,回答老师的问题;回家后我们解答作业问题,对照答案检查正确与否。日积月累,我们不仅学到了知识,更学会了如何学习 (learning to learn)。当面对新任务时,我们可以利用之前解决问题的经验并加上少量的练习,迅速学会新的技能。这种 “快速适应 (fast adaptation)” 能力被认为是智能的重要体现。在人工智能领域,元学习 (meta-learning) 是一种使机器 “学会学习” 的有效手段。
在这篇论文里,我们发现一个表征能力强大的人工神经网络除了 “快速适应” 外,还可以通过 “记忆” 的方式来解决训练集里的多项任务。不幸的是,一个只会记忆的神经网络不具备解决新任务的能力。这篇论文旨在提出、定义、分析元学习中的记忆问题,并提出新的元正则化方法 (meta-regularization) 以避免记忆问题。
1
元学习的图模型
2
记忆问题
回到开头的例子, 假设在学校每天学习的内容是解决一种题型,这对应于元训练里的一个任务。经过一段时间后,假设每种题型都被重复学习了若干次。如果一个学生可以记住各个题型,那么她/他将不需要再去上课也可以解决作业里的问题。也就是说她/他可以解决已知题型里的新问题,但这样的纯粹记忆并不能解决新的题型。让我们再看一个例子,假设每一个元训练里的任务是拟合一些线性相关的数据。我们希望模型能够学会利用少量的数据去估计模型参数,如下图所示:
这种快速适应能力可以泛化到解决元测试中的未曾见过的新任务,如下图(左)。但我们发现,如果模型足够灵活,那么一个单一模型就可以解决元训练中的所有任务,并且忽略任何任务内训练数据,如下图(右)。这导致在元测试阶段,当面对一个新任务时,算法仍然会忽略任务内训练数据,但这样做将无法解决新任务