【RGB-D显著性目标检测】开源 | 川大&南开&武汉大学--Siamese架构适用于多模态检测任务，鲁棒性和泛化性强！

论文地址： http://arxiv.org/pdf/2008.12134v1.pdf

代码： https://github.com/kerenfu/jldcf/

来源： 四川大学，南开大学，武汉大学，中国电子科技大学

论文名称：Siamese Network for RGB-D Salient Object Detection and Beyond

原文作者：Keren Fu

内容提要

现有的RGB-D显著性目标检测(SOD)模型通常将RGB和深度作为独立的信息，设计单独的网络对其进行特征提取。这种方案很容易受到有限的训练数据量的限制，或者过度依赖精心设计的训练过程。在观察到RGB和depth模式在区分显著的目标时实际上呈现某些共性后，一种新的联合学习和密集合作融合(JL-DCF)架构被设计，用于通过共享的网络中枢从RGB和depth输入中学习，称为Siamese架构。在本文中，我们提出了两个有效的组成部分:联合学习(JL)和密集合作融合(DCF)。JL模块通过Siamese网络利用跨模态共性，提供了健壮的显著特征学习，而DCF模块则用于发现互补特征。使用五种常用指标进行了实验，结果表明，所设计的框架具有良好的鲁棒性和泛化性。同时，JLDCF在七个具有挑战性的数据集上显著提高了SOTA模型的平均2.0% (F-measure)。此外，我们表明，JL-DCF很容易适用于其他相关的多模态检测任务，包括RGB-T(热红外)SOD和视频SOD (VSOD)，性能SOTA。这进一步证实了所提出的框架可以为各种应用提供一个可能的解决方案，并为跨模态互补任务提供了更多的解释。

主要框架及实验结果