复旦大学提出《Meta-FDMixup》解决"跨域小样本学习"中的域偏移问题

CV君

发布于 2021-12-13 14:30:16

2.5K0

发布于 2021-12-13 14:30:16

这篇文章『Meta-FDMixup: Cross-Domain Few-Shot Learning Guided by Labeled Target Data』是 ACM Multimedia 2021 上的工作，主要是做 cross-domain few-shot learning，文章主要提出使用极少一部分 target 带标注数据来帮助模型的学习。

具体信息如下：

论文链接：https://arxiv.org/abs/2107.11978
项目链接：https://github.com/lovelyqian/Meta-FDMixup
论文解读：https://www.bilibili.com/video/BV1xT4y1f7B6?spm_id_from=333.999.0.0

目前所有需要用到的splits， codes，models都已开源，欢迎大家多多关注！:(点颗star嘻嘻

主要内容

1.1 background

首先介绍一个Cross-domain Few-shot Learning （CD-FSL）这个任务，关于Few-shot Learning （FSL），Domain Adaptation（DA），CD-FSL的直观理解图如下所示：

FSL：经典的小样本学习从源域迁移知识到目标域：1）源域和目标域处于同一个domain（分布基本一致）；2）源域和目标域的类别集合的交集为空；3）目标域每个类别的可用样本量极少；

DA：领域自适应也是从源域迁移知识到目标域：1）源域和目标域之间存在domain gap；2）源域和目标域的类别集合相同；3）目标域每个类别的可用样本量是足够的；

CD-FSL：在FSL的基础上集合了DA的特点：1）源域和目标域之间存在domain gap；2）源域和目标域的类别集合的交集为空；3）目标域每个类别的可用样本量极少；

可以看到CD-FSL任务是非常challenging的。

1.2 related work

从setting上来看，根据模型训练阶段是否可以获取到target数据，我们基本可以将方法分为：1）只有source data用于训练；以Feature-wise Transformation (FWT)为代表 2）source data + 大量unlabeled target data；工作Self-training for Few-shot Transfer Across Extreme Task Differences中提出；

这里的第一种setting自然是最接近真实场景但同样也对算法最具挑战的任务，在这样1）可用样本少；2）存在domain gap的情况下，我们认为没有任何来自target的信息，仅仅通过源域数据来提升模型的生成泛化能力确实能带给模型的性能提升是非常有限的。

这里的第二种setting但某些现实情况下是比较合理的，例如从miniImageNet迁移到医疗图像，这种情况下无标注target数据是比较容易获取的。但是当我们的target数据是fine-grained鸟类或者植物，这个setting就不那么容易实现。

1.3 setting motivation

相比之前的两种setting，我们提出了一种更加现实可操作的场景：不管target data是鸟类，植物，还是医疗，获取极少数量的属于target domain标注数据其实并不是一件难事（现有benchamark本身有可以使用的这部分数据，即使没有，人工标注产生极少一部分这样的标注数据代价也不高）。

因此，我们首先提出learning CD-FSL with extremely few labeled target data。为了便于区分，我们将这部分数据成为auxiliary data。

learn CD-FSL with extremely few labeled target data 接下来我们介绍我们具体的setting，以及具体如何获取到这部分auxiliary data。

setting

在FWT提出的benchmark中，我们从source datatset迁移知识到target dataset中，而每个dataset都被分成类别不相交的base/eval/novel（具体的原因是因为例如这里的source是mini-Imagenet，mini-Imagenet本身作为FSL的数据集，自然需要disjoint的base/eval以及novel sets，而正如上文所述，现实中我们可以自行进行划分，或者手工标注来实现这样的setting），标准的CD-FSL就是将source base 用于模型训练， source eval 用于模型验证，最终在target novel 上进行模型测试，当然还可以测试模型在source eval 上的性能。

在我们的setting下，我们将未曾被利用起来的target base 做为来自target domain的额外数据，来引导模型的学习。具体而言，对于每个中的类别，我们随机采样个样本（最终方法中，），这些样本共同构成我们的auxiliary data 。

这里要强调的一点是：由于我们获取的本身与测试集的类别之间就是不存在任何交集的，因此我们并没有破坏基本的CD-FSL setting。

那在我们的定义下，问题变成了：如何利用好以及这两部分数据，使得模型在以及上达到一个不错的效果。

方法介绍 Meta-FDMixup 3.1 method motivation

我们刚刚在介绍setting的时候已经把问题提炼出来了，更加直观的解释可以看下图：

这里主要存在的两个难点问题是：

原本的source training data 和新引入进行的auxilary data 之间是unbalanced并且disjoint的。unbalanced指的是前者每个类别的样本量充足，而后者每个类别的样本量很少；disjoint的意思是这两个数据的类别集合交集为空。
source和target之间依然存在的domain gap问题。

针对以上两个问题，文章给出的思路是：

用mixup模块来混合利用这两个unbalanced并且disjoint的数据；
用disentangle模块来抽取出domain相关的特征和domain无关的特征，最后仅用domain无关的特征进行分类。

3.2 overall framework

整体的网络框架图如下所示：

overall framework

文章主要包括以下五个模块：

feature extractor：用于提取整体视觉特征；
disentangle module：从整体视觉特征中拆解domain-irrelevant以及domain-specific features；
mixup module：对来自source的training data和auxiliary data进行mixup，以便充分使用各个数据；
FSL classifier：根据domain-irrelevant features对episode中的query images进行分类，得到分类结果；
domain classifier：判断输入特征来自哪个domain，进而用于监督disentangle module的学习；

整体的训练过程分为两个部分：1）pretrain；2）meta-train

pretrain阶段：

用从source training data中随机采样出来的mini-batch + 经典cross entropy 分类loss 对模型进行训练优化；
pipeline：minibatch --> feature extractor --> disentangle module，取其中的domain-irrelevant features --> FC classifier --> loss
这个阶段主要是为了获取更好的特征提取器，让第二阶段的meta-train更加容易些；

meta-train阶段：

采用两路episode的采样方式，用meta-learning的方法对模型进行训练优化；
pipeline： 1）随机从source的training data 和auxiliary data 中采样两个episode； 2）用mixup模块对以的比例对这两个episode的query set进行混合，保持各自的support sets不变，得到source support set， auxiliary support set，以及mixed query set； 3）对source support set， auxiliary support set，以及mixed query set这三路都各自依次送入feature extractor以及disentangle module中，获取各自的domain-irrelevant features, domain-specific features; 4） FSL tasks：将source support set和mixed query set送入FSL classifier进行分类，得到小样本分类loss ，由于这里mixed query只包含比例原始的source query set，我们认为mixed query属于原来GT的置信度为，因此这部分的最终loss为。同理，将auxiliary support set和mixed query set送入FSL classifier进行分类，得到loss为（）。最终的小样本分类loss就是（）。 5） domain classification tasks：将三个domain-irrelevant features送入到domain classifier中进行分类，这部分分类希望能够混淆domain classifier，得到loss 。将三个domain-specific features送入到domain classifier中进行分类，这里希望domain classifier能够正确分类feature来自哪个domain，得到loss （具体方法后面会介绍）。最终的domain分类loss就是。 6）用小样本分类loss + domain分类loss共同优化整个model。

3.3 modules

在我们的五个模块中，特征提取器和小样本分类器分别是ResNet-10以及GNN。

接下来主要介绍其他的三个。

3.3.1 meta-mixup model

原始的mixup处理的是同一类别集合内的数据，我们将其扩展到我们的task中，具体的方法为：

由于小样本分类需要依赖可靠的support set来对query set进行分类，所以这里保持source和auxiliary的support set不变，仅仅混合query set。
此外，混合比例不直接用于改变被混合图像的类别标签，而是认为mixed query属于原本类别的置信度有（虽然从数学上是一致的）。

形象化的表示如下图：

左半部分展示了mixup的过程，可以看到我们的meta-mixup模块对于输入的source episde和auxiliary episode，会获取到source support set，mixed query set，以及auxiliary support set。其中support set保持原来的不动，而mixed query set是由比例的source query和比例的target query共同构成的，这里的混合比例跟原始mixup一致，每次随机从beta分布中采样，即每一轮的是不一样的，且。

右边展示了后续的小样本分类过程，基本思路在overall framework里都介绍过了，就是分别拿mixed query跟两个support sets进行分类，最后的loss要乘上各自的置信度或者是。