开放世界下的混合域适应 ——面向真实自然场景下的全新迁移学习范式

Ziwei Liu*, Zhongqi Miao*, Xingang Pan, Xiaohang Zhan, Dahua Lin, Stella X. Yu, Boqing Gong, Open Compound Domain Adaptation,

CVPR 2020 Oral.

(港中文 & 伯克利 & 谷歌)

1 引言

域适应（domain adaptation）旨在将给定训练集上得到的模型迁移到一个数据分布不同的测试集上。这种分布差异现阶段一般用离散的数据域来模拟，比如从自动驾驶中晴天采集的数据迁移到雨天采集的数据。

但是，这种已知且明确区分（a known and clear distinction）的数据域在实际应用中很难被定义。

例如，真实自然场景下的自动驾驶数据往往来自于混合（mixed）、连续变化（continuous）、甚至完全未知（unseen）的天气情况。

因此，传统域适应中利用离散数据域来模拟的方式变得不再适用于真实场景。

2 问题

为了解决真实自然场景下的迁移学习问题，我们提出开放混合域适应（Open Compound Domain Adaptation, OCDA），一种连续（continuous）且更加实际（more realistic）的域适应设定。

如图1所示，我们这里需要迁移的目标域由一系列混合、异质、且没有明确界限的数据域（compound domains）组成。

并且在模型部署阶段（inference stage），我们假设有在训练时从未见过（unknown）的开放数据域（open domains）存在。这样的域适应设定更加贴近于真实自然场景。

图1：在本文中，我们提出一个新的迁移学习范式——开放混合域适应（Open Compound Domain Adaptation, OCDA）。这个新的迁移学习范式融合了混合异质的目标域（compound heterogeneous domains），以及未知的开放域（open unknown domains），更加贴近于真实自然场景。

3 实验方法

为了解决这些挑战，我们提出三个核心模块：

• 域解耦（domain disentanglement）
• 课程学习（curriculum learning）
• 域记忆（domain memory）

首先，我们通过每个目标域（target domain）样本与源数据域（source domain）之间的个体域距离来定义学习课程（schedule curriculum）。

然后，在遇到开放数据域（open domain）时，我们通过记忆机制（memory mechanism）来有效增强分类的语义表示（semantic representation）。

图2：我们提出三个核心模块——域解耦（domain disentanglement），课程学习（curriculum learning）和域记忆（domain memory）。

4 实验结果

我们提出的域解耦（domain disentanglement）能够成功分离混合数据域中的语义特征（class-discriminative factors）与域特征（domain-focused factors），如图3所示。

图3：我们提出的域解耦（domain disentanglement）能够成功分离语义特征与域特征。

5 实验总结

在本文中，我们提出了一个面向真实自然场景下的全新迁移学习范式——开放混合域适应（Open Compound Domain Adaptation, OCDA）。

这个新的迁移学习范式融合了混合异质的目标域（compound heterogeneous domains），以及未知的开放域（open unknown domains），更加贴近于真实自然场景。

我们相信OCDA可以更全面客观地衡量视觉识别系统的泛化能力，并为计算机视觉走向真实自然场景打下坚实基础。论文、数据集和代码均已开源如下，希望能够帮助各位研究者在这个方向上继续探索和拓展。

6 传送门

论文地址：

https://arxiv.org/abs/1909.03403

项目主页：

https://liuziwei7.github.io/projects/CompoundDomain.html

代码地址：

https://github.com/zhmiao/OpenCompoundDomainAdaptation-OCDA

数据集：

https://drive.google.com/drive/folders/1_uNTF8RdvhS_

sqVTnYx17hEOQpefmE2r?usp=sharing

END