专栏首页晓飞的算法工程笔记旷世提出类别正则化的域自适应目标检测模型,缓解场景多样的痛点 | CVPR 2020
原创

旷世提出类别正则化的域自适应目标检测模型,缓解场景多样的痛点 | CVPR 2020

论文基于DA Faster R-CNN系列提出类别正则化框架,充分利用多标签分类的弱定位能力以及图片级预测和实例级预测的类一致性,从实验结果来看,类该方法能够很好地提升DA Faster R-CNN系列的性能undefined 

来源:晓飞的算法工程笔记 公众号

论文: Exploring Categorical Regularization for Domain Adaptive Object Detection

Introduction


  由于标注成本大,在训练好检测算法后,面对差异较大的新场景(类别不变),若想获取大量的带标注图片进行再训练是很不方便的。对于这种情况,无监督的域自适应方法能够灵活地自适应新场景,从包含丰富标注信息的源域转移到无标注的目标域。其中,域自适应方法中比较有代表性的是Donamin Adaptive(DA) Faster R-CNN系列,利用对抗训练来对齐图片和实例的分布,使得模型能够做到域不变性,具体可以看上一篇介绍。

  但是这些方法大都把无法转化的背景内容也进行了对齐,而且在实例对齐时,没有从包含较多低质量的proposal集合中识别出难样本。为了解决上面的问题,论文提出类别正则化框架,帮助DA Faster R-CNN专注于对齐跨域中的关键区域和重要目标。

  论文的主要贡献如下:

  • 提出新的类别正则化框架,作为域自适应目标检测算法的插件,不需要额外的标注和超参数。
  • 设计了两个正则化模块,分别用于榨取卷积分类器的弱定位能力以及图像级别预测和实例级别预测间的类别一致性,能够帮助分类器专注于对齐目标相关区域以及难对齐实例。
  • 对多种域转移场景进行实验,验证论文提出的方法的有效性。从实验结果来看,类别正则化框架能够提出DA Faster R-CNN系列方法的性能,并在基础数据集上达到SOTA。

Approach


Framework Overview

  论文方法的整体架构如图2,在DA Faster R-CNN基础上添加了ICR(image-level categorical regularization)和CCR(categorical consistency regularization),能够更好地对齐域间的关键区域和重要实例。

Image-Level Categorical Regularization

  ICR的主要目的是提高主干网络的目标特征提取能力,同时降低背景的激活。结构如图2b所示,ICR使用源域数据进行有监督训练,对主干网络的特征输出进行全局池化,再使用多标签分类器($1\times 1$卷积)进行分类,损失函数使用标准交叉熵多标签损失:

  $C$为类别总数,$y^c$为GT标签,$\hat{y}^c$为预测标签,$y^c=1$表示图片至少包含一个类别$c$物体。

 ICR模块利用多标签分类器的弱定位能力,能够有监督地引导主干网络只激活类相关特征。如图3所示,类相关的特征会有较高的激活值。在图像级对齐时,能够对齐域间关键区域,同时,由于背景没有参与到图像级多标签分类器中,能够有效减少拟合不可对齐的源背景的可能性。

Categorical Consistency Regularization

  CCR负责发现难对齐实例,调整实例级对齐损失的权重,基于两点考虑:

  • 由于不能区分前景和后景,实例对齐模块可能被低质量背景proposal占据。
  • 添加的图像级分类器和实例检测head是互补的,前者负责获取所有图像级上下文信息,后者使用精确的RoI特征,当两者预测不一致时,该实例就是难样本。

  基于以上考虑,论文采用图像级预测和实例级预测的类别一致性作为目标分类难易程度的判断,并在目标域中使用该一致性作为正则因子,调节难对齐样本在实例对齐中的权重。假定$\hat{p}^{c}_j$为预测第$j$个实例为类别$c$的概率,$\hat{y}^c$为实例预测包含类别$c$的概率,类别一致性的计算为

  使用公式5来加权实例级对抗损失

  需要注意,仅对目标域的检测head预测为前景的实例使用公式5加权,源域的所有实例和目标域的背景实例均使用$d_j=1$,前者因为是有监督的,而后者则是因为不重要。

Integration with DA Faster R-CNN Series

  将论文提出的方法加入到DA Faster R-CNN中,ICR为直接加入,CCR为对原损失的修改,最终的损失函数为

  论文也对比了另外一种主流的DA -Faster改进SW-Faster,该方法使用弱全局对齐模型来提升DA-Faster的强图像对齐模块,直接加入ICR和CCR,最终的损失函数为

Experiments


Comparison Results

  Faster R-CNN(Source)仅使用源域训练,Faster R-CNN(Oracle)仅使用目标域训练。

  • Weather Adaptation

  这里对比模型对天气的自适应性。

  • Scene Adaptation

  这里对比模型对不同城市的场景的自适应性。

  • Dissimilar Domain Adaptation

  这里对比模型对真实图片和卡通图片的自适应性。

Visualization and Analyses

  对前面对比实验的目标域测试图片进行了可视化。

  将特征降维并可视化,蓝点为源域样本,红点为目标域样本,可以看到论文的方法能够让域间的同分类实例距离更近。

  论文也计算了域间距离,使用Earth Movers Distance (EMD) 测量,SW-Faster, SW-Faster-ICR and SW-FasterICR-CCR的结果分别是8.84、8.59和8.15。

CONCLUSION


  论文基于DA Faster R-CNN系列提出类别正则化框架,充分利用多标签分类的弱定位能力以及图片级预测和实例级预测的类一致性,从实验结果来看,类该方法能够很好地提升DA Faster R-CNN系列的性能。

如果本文对你有帮助,麻烦点个赞或在看呗~undefined更多内容请关注 微信公众号【晓飞的算法工程笔记】

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • AAAI 2020 | 反向R?削弱显著特征为细粒度分类带来提升

    论文:Fine-grained Recognition: Accounting for Subtle Differences between Similar C...

    VincentLee
  • 实用,小物体检测的有监督特征级超分辨方法 | ICCV 2019

    **论文: Better to Follow, Follow to Be Better: Towards Precise Supervision of Feat...

    VincentLee
  • 增量学习不只有finetune,三星AI提出增量式少样本目标检测算法ONCE | CVPR 2020

    论文: Incremental Few-Shot Object Detection

    VincentLee
  • 蜂鸟E203系列——Windows开发工具

    MCU JTAG 驱动安装下载地址安装验证是否安装成功工具链JDK 简介JDK 下载JDK 安装环境变量测试是否安装成功启动Eclipse

    瓜大三哥
  • IDC海量运营资产的管理实践

    腾讯拥有海量IDC资产的互联网企业,其中服务器、网络设备等IDC运营资产的数量巨大,资产种类繁多,仅服务器就有几十个品牌,几百种型号,同时在日常运营中对于资产的...

    腾讯数据中心
  • vim中的翻页命令

    zz 让光标所杂的行居屏幕中央 zt 让光标所杂的行居屏幕最上一行 t=top zb 让光标所杂的行居屏幕最下一行 b=bottom

    用户2965768
  • 碉堡了!一小时爬取百万知乎用户信息的Python神器曝光

    本文转载自简书,由马哥教育Python运维班3期学员推荐,原文作者为志朋,经小编编辑而成,如有漏洞,欢迎指正,并最后致谢作者的辛苦付出。 知乎是一个真实的网络...

    小小科
  • 如何在Ubuntu 18.04上安装和配置VNC

    虚拟网络计算(VNC)是一种连接系统,允许您使用键盘和鼠标与远程服务器上的图形桌面环境进行交互。它使得对于不熟悉命令行的用户更容易管理远程服务器上的文件,软件和...

    独木桥先生
  • 如何在Debian 9上安装和配置VNC

    虚拟网络计算(VNC)是一种连接系统,允许您使用键盘和鼠标与远程服务器上的图形桌面环境进行交互。它使得对于不熟悉命令行的用户更容易管理远程服务器上的文件,软件和...

    物花无语
  • 985校训中的频繁词

    本篇通过爬虫和Fp-growth的简单应用,从网页上记载的985校训中发现频繁词。

    用户6021899

扫码关注云+社区

领取腾讯云代金券