专栏首页AI科技评论ICLR 2020 | 告别死记硬背,元学习才能学会学习

ICLR 2020 | 告别死记硬背,元学习才能学会学习

作者 | 殷明章

编辑 | 丛末

本文介绍的是 ICLR 2020 spotlight 论文《Meta-Learning without Memorization》(无记忆的元学习),来自德克萨斯大学奥斯汀分校在读博士生殷明章。

论文: https://openreview.net/pdf?id=BklEFpEYwS

代码: https://github.com/google-research/google-research/tree/master/meta_learning_without_memorization


让我们回顾片刻在学校学习的经历。每一天我们去上课,回答老师的问题;回家后我们解答作业问题,对照答案检查正确与否。日积月累,我们不仅学到了知识,更学会了如何学习 (learning to learn)。当面对新任务时,我们可以利用之前解决问题的经验并加上少量的练习,迅速学会新的技能。这种 “快速适应 (fast adaptation)” 能力被认为是智能的重要体现。在人工智能领域,元学习 (meta-learning) 是一种使机器 “学会学习” 的有效手段。

在这篇论文里,我们发现一个表征能力强大的人工神经网络除了 “快速适应” 外,还可以通过 “记忆” 的方式来解决训练集里的多项任务。不幸的是,一个只会记忆的神经网络不具备解决新任务的能力。这篇论文旨在提出、定义、分析元学习中的记忆问题,并提出新的元正则化方法 (meta-regularization) 以避免记忆问题。

1

元学习的图模型

2

记忆问题

回到开头的例子, 假设在学校每天学习的内容是解决一种题型,这对应于元训练里的一个任务。经过一段时间后,假设每种题型都被重复学习了若干次。如果一个学生可以记住各个题型,那么她/他将不需要再去上课也可以解决作业里的问题。也就是说她/他可以解决已知题型里的新问题,但这样的纯粹记忆并不能解决新的题型。让我们再看一个例子,假设每一个元训练里的任务是拟合一些线性相关的数据。我们希望模型能够学会利用少量的数据去估计模型参数,如下图所示:

这种快速适应能力可以泛化到解决元测试中的未曾见过的新任务,如下图(左)。但我们发现,如果模型足够灵活,那么一个单一模型就可以解决元训练中的所有任务,并且忽略任何任务内训练数据,如下图(右)。这导致在元测试阶段,当面对一个新任务时,算法仍然会忽略任务内训练数据,但这样做将无法解决新任务

本文分享自微信公众号 - AI科技评论(aitechtalk),作者:殷明章

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-04-16

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 包云岗:“Matlab被禁”事件启发:10年时间,我们能做出卡别人脖子的软件么?

    今年6月,哈尔滨工业大学、哈尔滨工程大学因被列入美国商务部实体名单,并被禁用数学基础软件Matlab,引发了关于国产软件的大规模讨论。

    AI科技评论
  • 动态 | 中科院计算所开源Easy Machine Learning系统,用交互式图形界面简化ML开发过程

    AI科技评论按:6.13号上午,中科院计算所研究员徐君在微博中宣布,Easy Machine Learning 系统开源,欢迎大家下载。AI科技评论编辑第一时间...

    AI科技评论
  • 业界|解密Persado背后的秘密武器:机器学习如何创作营销内容

    目前为止,基于机器学习的个性化功能仍集中于行为和偏好,即找到“对的人”、“对的地方”和“对的时间”。现在,新的机器学习技术把情绪因素纳入计算方程,以做到更好的信...

    AI科技评论
  • grpc 检测客户端连接是否存在

    默认情况下,服务端是没有检测客户端连接是否存活的。 如果因为网络抖动,客户端退出,此时客户端会向服务端发送一个Fin_wait2的消息。但这个消息如果丢失,服...

    超级大猪
  • SaaS-常见的认证机制

    HTTP Basic Auth简单点说明就是每次请求API时都提供用户的username和password,简言之,Basic Auth是配合RESTful A...

    cwl_java
  • JS魔法堂:LINK元素深入详解

    一、前言                               我们一般使用方式为 <link type="text/css" rel="styleshe...

    ^_^肥仔John
  • 百度研究院院长林元庆离职,准备进入AI领域创业 | 热点

    镁客网
  • Android-ARouter

    我们上一篇文章是自定义Router,没有看过的小伙伴自定义Router,但今天我们来看一看世面上主流的路由框架-由阿里推出的ARouter.。 参考资料: ...

    android_薛之涛
  • 直播、会员、营销……陌陌未来究竟靠什么赚大钱?

    近日陌陌Q1财报发布,该季净营收达到5090万美元,同比增长93%;归属于陌陌的净利润为1270万美元,同比增长35%,两项关键指标在中概股中都属于上乘表现。我...

    罗超频道
  • Maven

                                                      Maven

    泰斗贤若如

扫码关注云+社区

领取腾讯云代金券