专栏首页人工智能前沿讲习【源头活水】小样本学习中的比对学习

【源头活水】小样本学习中的比对学习

“问渠那得清如许,为有源头活水来”,通过前沿领域知识的学习,从其他研究领域得到启发,对研究问题的本质有更清晰的认识和理解,是自我提高的不竭源泉。为此,我们特别精选论文阅读笔记,开辟“源头活水”专栏,帮助你广泛而深入的阅读科研文献,敬请关注。

作者:知乎—AD钙奶

地址:https://www.zhihu.com/people/zhao-qing-23-83

来自AAAI 2021的一篇小样本图像分类的文章。

作者:Chen Liu, Li Zhang, Chengming Xu, Siqian Yang, Yanwei Fu, Jilin Li, Chengjie Wang

代码:https://github.com/corwinliu9669/Learning-a-Few-shot-Embedding-Model-with-Contrastive-Learning

论文:https://www.aaai.org/AAAI21Papers/AAAI-2249.LiuC.pdf

01

核心方法思路

1. 对于人来说,通过一部分即可以识别图像,以此进行对比学习正负样本设计。

2. Critically, the inductive bias of source classes may inevitably introduce unexpected information or correlation between instances and classes. 关键的是,源类的归纳偏差可能不可避免地引入意外的信息或实例和类之间的相关性。 例如,如果马的图像与草高度相关,则在此类数据上学习的模型可能倾向于将那些视觉上类似于马图像的目标图像与草相关。作者通过混合来自不同图片的补丁来减轻这个问题,以强制网络来学习更多的分离信息。

02

实现细节

  1. 训练时,为query构建对比对,相同label的support作为正样本,不同的作为负样本
  2. 训练时对比损失(权重0.5)和“原有的监督损失(权重1)”结合(相加)训练。对比损失是每个query的infoNCE损失的均值,每个query的infoNCE损失:

03

主要创新点

1. 训练时加入对比损失,图1左

1. support进行random block。For support images, they are regarded as matching template. So we try to keep them intact. For dropping part of its information, we apply random masks to the support images. This process is illustrated in Fig.1. Using this modification, the support images are harder to recognize than original ones. We call this modification random block. 对于support图像,将其视为匹配模板。所以尽量保持它们完好无损。为了去除部分信息,对支持图像进行随机掩模。该过程如图1所示。使用这种修改,支持图像比原始图像更难识别。作者称之为修改随机块。

2. query分成小块。For query images, we try to match them with support images, we hope that we can get a correct match even if we only have part of the query images. 对于查询图像,尝试将其与支持图像进行匹配,希望即使只有部分查询图像也能得到正确的匹配。

3. 最终的对比损失变成了:

2. 通过PatchMix增强对比学习,图1右

对于FSL,要求在目标类(与训练时的基类是不交叉的)进行泛化。在训练阶段,源类的数据偏差可能会对泛化产生不利影响。数据偏差可能是由于学习不正确的像素之间的相关性造成的。例如,某些特定类的背景可能在颜色或纹理上相似。神经网络可能只是记住了这些“无用”特性,而忽略了目标本身的一些特征。为了缓解这个问题,作者提出可以混合一些补丁。例如,将patch混合后,图像变得更加多样化,一些简单的关联不再有效。然后网络可以学习一些真正的规则。只对query进行增强,见图一右

04

实验结果

三个策略都带了了性能的提升,漂亮的消融实验结果:

图像的相似响应区域热图也更加集中在物体上

本文目的在于学术交流,并不代表本公众号赞同其观点或对其内容真实性负责,版权归原作者所有,如有侵权请告知删除。

本文分享自微信公众号 - 人工智能前沿讲习(AIFrontier)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2021-03-13

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 【源头活水】浅谈图上的自监督学习——对比学习

    “问渠那得清如许,为有源头活水来”,通过前沿领域知识的学习,从其他研究领域得到启发,对研究问题的本质有更清晰的认识和理解,是自我提高的不竭源泉。为此,我们特别精...

    马上科普尚尚
  • 【源头活水】探究小样本学习中等变性与不变性表示的互补优势

    “问渠那得清如许,为有源头活水来”,通过前沿领域知识的学习,从其他研究领域得到启发,对研究问题的本质有更清晰的认识和理解,是自我提高的不竭源泉。为此,我们特别精...

    马上科普尚尚
  • 具有上下文相似性的灵活小样本学习(CS LG)

    现有的小样本学习方法可以处理具有持久、僵化的类概念的任务。通常,学习者在训练时只观察固定数量的类别的数据,并要求在测试时归纳为一组新类别。在同一类中的两个示例在...

    毛艺漩8078803
  • 深度神经网络中的对抗样本与学习

    概述 最近大半年,人工智能领域成为科技领域提到的最多的名词之一。在kdnuggets此前发布的文章 (Deep Learning’s Deep Flaws)...

    AI研习社
  • 深度神经网络中的对抗样本与学习

    概述 最近 大半年,人工智能领域成为科技领域提到的最多的名词之一。在kdnuggets此前发布的文章(Deep Learning’s Deep Flaws)’s...

    xiangzhihong
  • 机器学习中样本比例不平衡的处理方法

    原创干货文章第一时间送达! 推荐阅读时间:5min~12min 主要内容:机器学习中样本比例不平衡的处理方法 在机器学习中,常常会遇到样本比例不平衡的问题,如对...

    企鹅号小编
  • 译文:Python深度学习框架评价

    原文链接https://indico.io/blog/python-deep-learning-frameworks-reviewed/ 麦迪逊月 - 201...

    小莹莹
  • 以撩妹为例,5分钟让你秒懂深度学习!

    深度学习是一个不断磨合的过程 就像谈恋爱一样 如果在这个人工智能的时代,作为一个有理想抱负的程序员,或者学生、爱好者,不懂深度学习这个超热的话题,似乎已经跟时代...

    企鹅号小编
  • 浅谈深度学习中的对抗样本及其生成方法

    深度学习模型被广泛应用到各种领域,像是图像分类,自然语言处理,自动驾驶等。以ResNet,VGG为代表的一系列深度网络在这些领域上都取得了不错的效果,甚至超过人...

    Mezereon

扫码关注云+社区

领取腾讯云代金券