ReID：无监督及领域自适应的目标重识别概述

无监督（unsupervised）及领域自适应（domain adaptive）的目标重识别是目标重识别领域中两个重要的研究方向，同时二者又关系密切。本文中部分配图和内容参考葛艺潇：无监督及领域自适应的目标重识别。

Object ReID：

目标重识别（object ReID）是图像检索领域内的一个分支，比较常见的目标重识别任务包括行人重识别，车辆重识别和服饰重识别。

• 人脸识别
  • webface
  • Glint360K
  • WebFace260M
• 行人重识别
  • market-1501
  • DukeMTMC-reID
  • MSMT17
• 车辆重识别
  • Veri776
  • AICity
• 服饰重识别
  • Deepfashion
• 其它
  • Watch and Buy: Multimodal Product Identification Challenge

ReID任务一般为存在一个probe image作为query，多个不同摄像头下拍摄的多种身份标签组成gallery，返回gallery中与query身份一致的图片。 其一般流程为，使用一个预先训练好的模型，对需要检索的图片提取特征embedding，这个特征会用来计算每个pair之间的距离，以排序gallery中不同图像。

在这里插入图片描述

所以，对于基于深度学习的ReID方法，是否能够提取出具有代表性的特征，直接决定了ReID系统的表现。理想状态下该特征应该能够具有足够的鲁棒性对抗角度，光照，姿态等变化。 如下图所示，这个同一个车在不同摄像头下的图像，数据来源于AICity challenge 2021 track3

在这里插入图片描述

Domain Adaptive Object ReID：

task

得益于深度学习能力，ReID任务在部分benchmark上可以取得非常不错的性能，但是这只限于同一个benchmark内，如果用market-1501中训练的模型，用到DukeMTMC中预测（market2duke），性能就会大幅下降，反之亦然。即ReID的跨域表现非常差，对抗领域差异的能力很弱。 领域自适应ReID就是为了解决这个问题，领域自适应ReID要求通过有标注的源域数据预测无标注的目标域数据。

在这里插入图片描述

领域自适应的ReID任务也被成为open-class问题，为了区分分类任务中的domain adaptive问题，因为ReID任务一般情况下是领域间类别不同的，而分类任务领域间类别部分相同或完全相同。

这个比较好理解，ReID的任务即便是同一个domain中，test和train的类别也没有交叉。

solutions

领域自适应ReID任务有两大类解决方法：伪标签类（pseudo-label-based）和域转换类（domain-translation-based），

伪标签类方法通过源域中的训练得到的模型，在目标域中进行特征提取和聚类，聚类后得到的标签就是伪标签，并作为实际标签来使用，进行常规reid模型的训练。并在每个epoch开始前更新标签。伪标签类方法可以有效建模源域和目标域之间的关系，是领域自适应重识别任务中的主流方法。 域转换方法通过一个GAN模型，将目标域的风格转换到源域，利用源域的模型进行预测

伪标签与域转换并不冲突，二者相辅相成。

methods

pseudo-label-based

• MMT
• SpCL

domain-translation-based

• SPGAN
• SDA

Unsupervised Object ReID

task

无监督的目标重识别任务与领域自适应目标重识别任务比较相似，区别在于前者没有source domain，在这里还有一点区分：

一般情况下无监督的目标重识别任务会使用imagenet上的预训练模型，所以也可以理解为imagenet domain向target domain的自适应的问题。

而无监督预训练任务要求不能使用预训练模型。

solutions

无监督ReID任务由于没有被标定的源域，所以只剩下伪标签类（pseudo-label-based）方法，其伪标签类方法与领域自适应的伪标签方法非常相似，

区别就在于前者没有通过源域中的训练得到的模型，而是直接使用imagenet上的预训练模型进行特征提取。

methods

同样的，大多数应用到领域自适应的目标重识别方法，都可以应用到无监督目标重识别上

pseudo-label-based

• MMT
• SpCL
• Cluster Contrast ReID