专栏首页人工智能前沿讲习精选论文 | 元学习与增量学习【附打包下载】

精选论文 | 元学习与增量学习【附打包下载】

关注文章公众号 回复"SFFAI26论文"获取本主题精选论文

元学习(Meta Learning)和增量学习(Incremental Learning)是目前机器学习理论中比较火热的研究方向。两位报告嘉宾为大家精选了近期元学习和增量学习领域的代表性文章,同时和大家一起交流分享自己最新的研究工作。

你可以认真阅读,来现场和讲者面对面交流哦。

1

推荐理由:知识蒸馏的开山之作。在实际应用中,为了方便部署,通常需要将一个大网络(或者多个网络)的知识传递给一个小网络,作者提出一种在不同网络之间进行知识传递的方式,称为知识蒸馏。在相同输入的情况下,通过使小网络的输出和大网络的输出尽可能地接近从而模拟大网络的行为。此外,引入了一个参数T(temperature)使得大网络的输入变得平滑,更有利于小网络的学习。

推荐理由来自:侯赛辉

2

推荐理由:首次将知识蒸馏引入多任务增量学习。在多任务增量学习的某一阶段,输入为在旧任务数据上训练的模型(称为Original CNN)和新任务的数据。在训练开始前,首先记录Original CNN以新任务数据作为输入的输出结果。在训练过程中,计算更新后的模型对于新任务数据在旧任务类别上的预测概率,使之接近于所记录的Original CNN的输出,通过这种方式保持在旧任务上的性能。

推荐理由来自:侯赛辉

3

推荐理由:多类别增量学习代表性的工作。多类别增量学习相对于多任务增量学习更具有挑战性,在每个阶段需要在当前阶段观测到的所有类别之间进行判别。iCaRL在Learning without Forgetting的基础上引入了Nearest-Mean-of-Exemplars的分类策略,能够有效避免新旧样本之间的混淆。此外,提出为每个旧类别保留少量的样本,并提出基于Herding的方法在每个类别内选取样本进行保留。

推荐理由来自:侯赛辉

4

推荐理由:将知识蒸馏用于多类别增量学习中新任务的学习。Learning without Forgetting中将知识蒸馏用于旧任务性能的保持,在这篇论文中提出将知识蒸馏用于新任务的学习。当一个新任务到来时,首先仅在新任务的数据训练一个模型称为Expert CNN,然后通过知识蒸馏的方式将新任务的知识从Expert CNN传递给Original CNN。通过这样方式可以使Original CNN学习新任务的知识变得更容易,同时也更有利于旧任务性能的保持。

推荐理由来自:侯赛辉

5

推荐理由:从样本不均衡的角度解决多类别增量学习问题。通过研究发现新旧类别的样本不均衡容易造成判别时新旧类别之间的混淆,是影响多类别增量学习的重要因素。论文所提出的方法主要包含三个模块,从网络正则化以及分离类别边界等角度分别来缓解样本不均衡所带来的负面影响,在每个增量学习阶段都取得了较高的准确率。

推荐理由来自:侯赛辉

6

推荐理由:早期比较要代表性的工作之一,其核心思想是根据当前任务和训练集学习一个最优的优化器,该优化器能够使得神经网络的梯度下降更快更准。

推荐理由来自:胡学财

7

推荐理由:Meta-Learning 来学习一个权重转换函数,该函数使用目标检测子模块的权重来预测掩码预测子模块的权重,这样只需要少数几个类别的掩码(mask)标注(标注成本大)和全部类别的bounding box(标注成本小)就能学习到一个对所有类别都可以进行掩码预测的网络。

推荐理由来自:胡学财

8

推荐理由:Meta-Learning 在目标检测任务上的应用,主要是针对之前的anchor必须预先定义好(不够灵活,当然最近也提出了一些无anchor的目标检测框架),MetaAnchor 可以任意定义anchor,并利用该anchor的信息通过权重预测模块预测出detection head 的权重,实现更加灵活有效的anchor机制。

推荐理由来自:胡学财

本文分享自微信公众号 - 人工智能前沿讲习(AIFrontier),作者:must

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-04-22

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 精选论文 | 生物特征识别【附打包下载】

    生物特征识别是人工智能的重要研究领域,也是近年来人工智能产业实际落地的主要领域,受到了学术界和工业界的高度关注。两位讲者从识别算法和计算成像两个角度,为大家推荐...

    马上科普尚尚
  • 【NSR特别专题】周志华:机器学习的挑战和影响:Thomas Dietterich访谈「全文翻译」

    编者按:《国家科学评论》于2018年1月发表“机器学习”特别专题,由周志华教授组织并撰写文章。专题内容还包括对AAAI前主席Tom Dietterich的访谈,...

    马上科普尚尚
  • 本周精选共读论文《计算机视觉图像分割》六篇

    图像语义分割是目前计算机视觉领域要解决的一个核心问题,属于视觉中场景理解的研究范畴之一,近期受到了越来越多的研究者的关注,现实中许多应用程序需要精确和高效的分割...

    马上科普尚尚
  • CVPR 2018 | 中国科学院大学Oral论文:使用鉴别性特征实现零样本识别

    选自arXiv 机器之心编译 参与:Panda 在将于今年六月举办的 CVPR 2018 会议上,中国科学院大学、英国邓迪大学和中国科学院脑科学与智能技术卓越创...

    机器之心
  • 2017最受欢迎人工智能编程语言:Python第一,R并未上榜

    【新智元导读】人工智能(AI)已经成为一个热门话题,也是一个大的研究领域,每个巨头科技公司以及创业公司都在其中努力。这是一个非常广泛的话题,从基本的计算器、自我...

    新智元
  • Xcode神器-Alcatraz

    2016-08-1300:07:53 发表评论 566℃热度 相关地址 安装方法 使用方法 我的插件 目录 Alcatraz,Xcode上的神器!一个...

    timhbw
  • LeetCode:152_Maximum Product Subarray | 最大乘积连续子数组 | Medium

    题目:Maximum Product Subarray Find the contiguous subarray within an array (contai...

    CloudDeveloper
  • Kylin及数据仓库的技术概念详解

    一 cube 1, Table cube数据源的hive表的定义,在build cube之前需要进行同步。 2, Data Model 这描述了一个星型...

    Spark学习技巧
  • 快速学习-电影推荐系统设计(离线推荐模块)

    cwl_java
  • 前端:CSS选择器优先级计算

    在优先级相同的情况下,后出现的优先级比先出现的优先级更高,可以理解为后出现的覆盖先出现的。

    渔父歌

扫码关注云+社区

领取腾讯云代金券