这篇文章『Meta-FDMixup: Cross-Domain Few-Shot Learning Guided by Labeled Target Data』是 ACM Multimedia 2021 上的工作,主要是做 cross-domain few-shot learning,文章主要提出使用极少一部分 target 带标注数据来帮助模型的学习。
具体信息如下:
目前所有需要用到的splits, codes,models都已开源,欢迎大家多多关注!:(点颗star嘻嘻
01
主要内容
1.1 background
首先介绍一个Cross-domain Few-shot Learning (CD-FSL)这个任务,关于Few-shot Learning (FSL),Domain Adaptation(DA),CD-FSL的直观理解图如下所示:
FSL:经典的小样本学习从源域迁移知识到目标域:1)源域和目标域处于同一个domain(分布基本一致);2)源域和目标域的类别集合的交集为空;3)目标域每个类别的可用样本量极少;
DA:领域自适应也是从源域迁移知识到目标域:1)源域和目标域之间存在domain gap;2)源域和目标域的类别集合相同;3)目标域每个类别的可用样本量是足够的;
CD-FSL:在FSL的基础上集合了DA的特点:1)源域和目标域之间存在domain gap;2)源域和目标域的类别集合的交集为空;3)目标域每个类别的可用样本量极少;
可以看到CD-FSL任务是非常challenging的。
从setting上来看,根据模型训练阶段是否可以获取到target数据,我们基本可以将方法分为:1)只有source data用于训练;以Feature-wise Transformation (FWT)为代表 2)source data + 大量unlabeled target data;工作Self-training for Few-shot Transfer Across Extreme Task Differences中提出;
这里的第一种setting自然是最接近真实场景但同样也对算法最具挑战的任务,在这样1)可用样本少;2)存在domain gap的情况下,我们认为没有任何来自target的信息,仅仅通过源域数据来提升模型的生成泛化能力确实能带给模型的性能提升是非常有限的。
这里的第二种setting但某些现实情况下是比较合理的,例如从miniImageNet迁移到医疗图像,这种情况下无标注target数据是比较容易获取的。但是当我们的target数据是fine-grained鸟类或者植物,这个setting就不那么容易实现。
相比之前的两种setting,我们提出了一种更加现实可操作的场景:不管target data是鸟类,植物,还是医疗,获取极少数量的属于target domain标注数据其实并不是一件难事(现有benchamark本身有可以使用的这部分数据,即使没有,人工标注产生极少一部分这样的标注数据代价也不高)。
因此,我们首先提出learning CD-FSL with extremely few labeled target data。为了便于区分,我们将这部分数据成为auxiliary data。
02
learn CD-FSL with extremely few labeled target data 接下来我们介绍我们具体的setting,以及具体如何获取到这部分auxiliary data。
setting
在FWT提出的benchmark中,我们从source datatset迁移知识到target dataset中,而每个dataset都被分成类别不相交的base/eval/novel(具体的原因是因为例如这里的source是mini-Imagenet,mini-Imagenet本身作为FSL的数据集,自然需要disjoint的base/eval以及novel sets,而正如上文所述,现实中我们可以自行进行划分,或者手工标注来实现这样的setting),标准的CD-FSL就是将source base 用于模型训练, source eval 用于模型验证,最终在target novel 上进行模型测试,当然还可以测试模型在source eval 上的性能。
在我们的setting下,我们将未曾被利用起来的target base 做为来自target domain的额外数据,来引导模型的学习。具体而言,对于每个中的类别,我们随机采样个样本 (最终方法中,),这些样本共同构成我们的auxiliary data 。
这里要强调的一点是:由于我们获取的本身与测试集的类别之间就是不存在任何交集的,因此我们并没有破坏基本的CD-FSL setting。
那在我们的定义下,问题变成了:如何利用好以及这两部分数据,使得模型在以及上达到一个不错的效果。
03
方法介绍 Meta-FDMixup 3.1 method motivation
我们刚刚在介绍setting的时候已经把问题提炼出来了,更加直观的解释可以看下图:
这里主要存在的两个难点问题是:
针对以上两个问题,文章给出的思路是:
整体的网络框架图如下所示:
overall framework
文章主要包括以下五个模块:
整体的训练过程分为两个部分:1)pretrain;2)meta-train
pretrain阶段:
meta-train阶段:
在我们的五个模块中,特征提取器和小样本分类器分别是ResNet-10以及GNN。
接下来主要介绍其他的三个。
原始的mixup处理的是同一类别集合内的数据,我们将其扩展到我们的task中,具体的方法为:
形象化的表示如下图:
左半部分展示了mixup的过程,可以看到我们的meta-mixup模块对于输入的source episde和auxiliary episode,会获取到source support set,mixed query set,以及auxiliary support set。其中support set保持原来的不动,而mixed query set是由比例的source query和比例的target query共同构成的,这里的混合比例跟原始mixup一致,每次随机从beta分布中采样,即每一轮的是不一样的,且。
右边展示了后续的小样本分类过程,基本思路在overall framework里都介绍过了,就是分别拿mixed query跟两个support sets进行分类,最后的loss要乘上各自的置信度或者是。
disentangle模块设计:
整个模块的设计参考了VAE的encoder结构,但是我们这里没有用decoder,并且我们会encode出两个latant vector,一个是domain-irrelevant features,另一个是domain specific features。
整个想法是:
监督信息:disentangle模块的学习是由domain classifier监督的。
分别用1和0表示source domain/target domain,具体的loss function构成如下:
loss的构成跟上面的想法是一致的:
04 实验结果 我们在FWT的benchmark上做了实验,主要对比了几个经典的FSL methods,几个simple but reasonable的baselines,以及FWT (当时很多新的CD-FSL方法还没发表)
实验结果:
相比于GNN base,不管是1-shot还是5-shot,在四个target dataset上平均达到了15%以上的性能提升。
用CAM做了可视化,这个图主要是为了说明target dataset带来了什么,所以对比的是在Imagenet pretrain的feature extractor的方法。
可以发现只在mini-Imagenet上训练的模型会对更加接近mini-Imagenet的东西感兴趣,例如树枝/山/背景等,但是会忽略真正对识别target classes有用的区域。而我们的方法在auxiliary data的帮助下能成功关注到那些关键的区域。05
写在最后 这篇文章的setting还是挺现实的,也确实能给模型带来很多的性能提升,希望正在考虑CD-FSL方向的大佬们多多关注呀!!!