浙江理工 & 谷歌开源 CFMW | 挑战恶劣天气，Mamba 引领目标检测新风向！

集智书童公众号

发布于 2024-05-10 14:03:30

2970

发布于 2024-05-10 14:03:30

跨模态图像融合了可见光-红外光谱线索，可以为目标检测提供更丰富的互补信息。尽管如此，现有的可见光-红外目标检测方法在恶劣天气条件下严重退化。这种失败源于可见图像对环境扰动的显著敏感性，如雨、雾和雪，这些常常导致检测中的假阴性和假阳性。为了解决这个问题，作者引入了一项新颖且具有挑战性的任务，称为恶劣天气条件下的可见光-红外目标检测。为了促进这一任务，作者构建了一个新的恶劣天气可见光-红外数据集（SWVID），其中包含了多样化的恶劣天气场景。此外，作者提出了带有天气去除（CFMW）的跨模态融合曼巴，以增强恶劣天气条件下的检测准确性。得益于所提出的天气去除扩散模型（WRDM）和跨模态融合曼巴（CFM）模块，CFMW能够挖掘跨模态融合中行人特征的更基本信息，从而能够高效地转移到其他更罕见的场景，并在计算能力较低的平台上有足够的可用性。据作者所知，这是首次针对改进并在跨模态目标检测中同时集成扩散和曼巴模块的研究，成功提高了这类模型的实用性和更先进的架构。在公认的和作者自行创建的数据集上的大量实验都明确证明了作者的CFMW达到了最先进的检测性能，超越了现有的基准。数据集和源代码将在https://github.com/lhy-zjut/CFMW上公开提供。

1. Introduction

在开放和动态的环境中，目标检测面临如雨、雾和雪等具有挑战性的天气条件。基于深度学习的目标检测方法的快速发展显著提高了识别和分类物体的能力。得益于先进的特征提取和融合策略，跨模态目标检测方法已达到高精度，例如CFT（杨等人，2017年）、GAFF（杨等人，2017年）和CFR

{}_{\lambda}

(杨等人，2017年)。

然而，如图1所示，这些方法的表现往往受到不利天气条件的挑战，这会严重影响视觉数据的可见性和质量。尽管红外图像在一定程度上可以提供补充线索，但它无法修复视觉图像的外观扭曲或信息丢失。因此，在不利天气条件下，传统的跨模态目标检测方法仍然面临严重的性能下降。

现有方法不能直接应用于不利天气条件，因为环境干扰削弱了可见图像的色彩范围，而现有的融合方法难以充分融合可见光和红外光谱，也没有在相应的数据集上进行充分的训练。为了填补这一研究领域的空白，作者构建并发布了一个名为严重天气可见-红外数据集（SWVID）的新数据集，并提出了一种名为带天气消除的跨模态融合曼巴（CFMW）的新框架。

为了促进该领域的研究，作者提出了一种新的可见-红外数据集，名为SWVID，它通过在图像上数学形式化各种天气现象的影响，旨在涵盖多样化的严重天气场景。具体来说，SWVID包含了

20,000

对齐的可见-红外图像对，涵盖了三种天气条件和两种场景，每种条件和场景均匀分布。

受到图1中强调的关键研究缺口的启发，即在不利天气条件下，当前方法表现不佳，作者引入了CFMW，用于在不利天气条件下的多光谱目标检测。作者的CFMW利用天气消除扩散模型（WRDM）和跨模态融合曼巴（CFM）来提高不利天气条件下的检测精度。

图1。作者提出的方法可以在不利天气条件下实现高精度的跨模态目标检测。顶部两个示例来自CFT（杨等人，2017年），而底部两个示例来自CFMW（作者的）。

在最小化计算负担的同时。具体来说，在融合红外对应图像之前，使用WRDM来恢复受影响的可见图像，为图像融合网络提供即插即用的兼容性。基于学习逆转来增加噪声的顺序并破坏数据样本的过程，WRDM模型有利于最小化不利天气条件的影响。此外，CFM可以集成到特征提取的主干中，有效地整合来自不同模态的全局上下文信息。最近的研究表明，曼巴（Mamba，2019年）比等效规模的 Transformer 实现了更高的推理速度和整体指标。据作者所知，本研究代表首次尝试将扩散模型和曼巴用于多光谱目标检测。

在既有的和自创的数据集上的大量实验表明，作者的CFMW方法与现有基准相比，取得了卓越的检测性能。具体来说，与当前的图像恢复方法相比，作者实现了大约17%的性能提升。与CFT（杨等人，2019年）这种最先进的跨模态目标检测方法相比，作者提出的方法在节省51.2% GPU内存的同时，实现了大约8%的准确度提升。

概而言之，作者总结以下主要贡献：

作者引入了一个关注不利天气条件下可见-红外目标检测的新任务，并开发了一个名为严重天气可见-红外数据集（SWVID）的新数据集，该数据集模拟现实世界条件。SWVID包含了

60,000

对可见-红外图像和标签，涵盖了如雨、雾和雪等天气条件；

作者提出了一种新方法，带天气消除的跨模态融合曼巴（CFMW），用于不利天气条件下的多光谱目标检测；
作者引入了天气消除扩散模型（WRDM）和跨模态融合曼巴（CFM）模块，以同时解决图像去天气化和可见-红外目标检测任务；
大量实验表明，这种整合实现了最佳的任务迁移能力，为这两个任务带来了最先进的性能。

2. Related Work

在本节中，作者简要回顾了关于跨模态目标检测、状态空间模型和多天气图像恢复的先前相关研究。

跨模态目标检测 现有的跨模态目标检测方法可分为两类：特征级和像素级融合，通过特征融合方法和时机来进行区分。最近，基于卷积神经网络的双流目标检测模型在提高识别性能方面取得了很大进展（Chen等人，2019；Wang等人，2019；Wang等人，2019；Wang等人，2019；Wang等人，2019），而像素级融合方法也取得了良好的性能（Chen等人，2019；Wang等人，2019；Wang等人，2019）。其他采用诸如GAN等方法进行有效融合的工作也取得了良好结果（Wang等人，2019；Wang等人，2019；Wang等人，2019）。这些工作可以整合到如下游目标检测等任务中。传统的卷积神经网络具有有限的感受野，在使用卷积运算符时，信息只集成到局部区域，而 Transformer 的自注意力运算符可以学习长距离依赖（Wang等人，2019）。因此，提出了一种基于 Transformer 的名为Cross-Modality Fusion Transformer（CFT）（Yang等人，2019）的方法，并取得了最先进的检测性能。与这些工作不同，作者首先将Mamba引入跨模态目标检测中，通过门控机制学习长距离依赖，同时实现高准确度和低计算开销。

状态空间模型 状态空间模型的概念最初在S4模型（Shen等人，2017）中引入，提出了一种与传统卷积神经网络和 Transformer 相比能更有效建模全局信息的独特架构。基于S4，S5模型（Wang等人，2019）将复杂性降低到线性水平，而H3（Wang等人，2019）将其引入语言模型任务中。Mamba（Mamba，2019）引入了输入激活机制以增强状态空间模型，与同等规模的 Transformer 相比，实现了更高的推理速度和整体指标。随着Vision Mamba（Wang等人，2019）和Vnamba（Vnamba，2019）的引入，状态空间模型的应用已扩展到视觉任务中。目前，现有研究尚未考虑将状态空间模型有效地泛化到跨模态目标检测中。

多天气图像恢复 最近，一些尝试已经在一个单一的深度学习框架中统一了多个恢复任务，包括生成建模解决方案以恢复叠加噪声类型（Chen等人，2019），在未知测试时间恢复叠加噪声或天气损害，尤其是多天气图像退化（Chen等人，2019；Wang等人，2019；Wang等人，2019）。All in One（Wang等人，2019）采用多编码器和解码器架构统一了天气恢复方法。值得注意的是，基于扩散的条件生成模型在各种任务中显示出最先进的表现，例如带分类器引导的类条件数据合成（Chen等人，2019），图像超分辨率（Wang等人，2019），图像去模糊（Wang等人，2019）。针对一般线性逆图像恢复问题，提出了去噪扩散恢复模型（DDRM）（Dwork等人，2019），利用预训练的去噪扩散模型进行无监督后验采样。总的来说，到目前为止，扩散模型尚未被考虑在跨模态图像融合领域泛化到不利天气场景中。与现有工作不同，作者将多天气恢复扩展到跨模态融合领域。

3. Proposed Framework

Overview

如图2所示，CFMW包括两个主要阶段。在多天气图像恢复阶段，作者的目标是实现三种不利天气条件（雨、雪、雾）的图像恢复，并使用只有一个预训练权重的统一框架来实现。在跨模态融合阶段，作者旨在整合不同模态的独特特征。受到CFT（Yang等人，2019）的启发，为了展示作者提出的CFM融合模型的有效性，作者将YOLOv5的框架扩展到支持多光谱目标检测。作者在最后一个子节中介绍了为WRDM和CFM精心设计的损失函数和训练过程。

Weather Removal Diffusion Model (WRDM)

去噪扩散模型（Denoising, 1983; Wang et al., 2019）是一类生成模型，它们学习一个马尔可夫链，逐渐将高斯噪声分布转化为由模型训练的数据分布。最初的去噪扩散概率模型（DDPMs）(Shi et al., 2017) 的扩散过程（数据到噪声）和生成过程（噪声到数据）基于一个马尔可夫链过程，导致步骤繁多且耗时巨大。因此，提出了去噪扩散隐式模型（DDIMs）(Shi et al., 2017) 以加速采样，提供了一类更高效的迭代隐式概率模型。DDIMs 通过一类非马尔可夫扩散过程定义生成过程，这些过程与DDPMs具有相同的训练目标，但可以产生确定的生成过程，从而加快样本生成速度。在DDIMs中，隐式采样指的是以确定性的方式从模型的潜在空间生成样本。使用噪声估计网络进行隐式采样可以通过以下方式执行：

\begin{split} X_{t-1}=\sqrt{\bar{a}_{t-1}}\cdot(\frac{X_{t}- \sqrt{1-\bar{a}_{t}}\cdot\epsilon_{\theta}(X_{t},t)}{\sqrt{\bar{a}_{t}}})\\ +\sqrt{1-\bar{a_{t-1}}}\cdot\epsilon_{\theta}(X_{t},t).\end{split} \tag{1}

其中

X_{t}

和

X_{t-1}

表示在不同扩散时间步中的数据（

X_{0}\sim q(X_{0})

），

\bar{a}_{t}=1-\beta_{t}

，

\bar{a}_{t}=\frac{1}{t}\alpha_{t}

，而

\epsilon_{\theta}(X_{t},t)

可以优化为：

\mathbb{E}_{X_{0},t}

，

\epsilon_{t}\sim N(\mathbf{0},\mathbf{I})

，

||\epsilon_{t}-\epsilon_{\theta}(\sqrt{\bar{a}_{t}}X_{0}+\sqrt{1-\bar{a}_{t}} \epsilon_{t},t||^{2}]

条件扩散模型已展现出先进的图像条件数据合成与编辑能力（Shi等人，2017；Goodfellow等人，2014）。其核心思想是学习一个条件逆过程，而不改变扩散过程。作者提出的WRDM是一个条件扩散模型，在采样过程中加入参考图像（清晰图像），以指导重建图像与参考图像相似。如图3所示，作者引入了一个新参数

\widetilde{X}

，它表示天气退化的观测。将马尔可夫链定义为扩散过程，并逐渐加入高斯噪声，模拟数据样本的逐渐退化，直至达到时间点

。作者基于WideResNet（He等人，2016）的U-Net架构来确定模型超参数。对于输入图像的条件反射，作者将 Patch

x_{T}

和

\widetilde{x}

连接起来，以获得六维输入图像通道。将逆过程条件化在

\widetilde{X}

上可以保持其与隐式采样的兼容性，因此作者可以将方程(1)扩展为：

\begin{split} X_{t-1}=\sqrt{\bar{a}_{t-1}}\cdot(\frac{X_{t}- \sqrt{1-\bar{a}_{t}}\cdot\epsilon_{\theta}(X_{t},\widetilde{X},t)}{\sqrt{\bar {a}_{t}}})\\ +\sqrt{1-\bar{a_{t-1}}}\cdot\epsilon_{\theta}(X_{t},\widetilde{X},t).\end{split} \tag{2}

采样过程从

X_{T}\sim N(\mathbf{0},\mathbf{I})

开始，沿着一条确定的逆路径向

X_{0}

以忠实度进行。更多推导细节请参见补充材料。

作者提出的WRDM是一个基于 Patch 的条件扩散模型，引导逆采样过程在相邻 Patch 之间实现平滑。在训练过程中，作者随机在图像尺寸内为

P_{t}

采样

pxp

Patch 位置。在任何给定的时间步

下，作者根据图3反转采样每个像素在重叠 Patch 区域的平均估计噪声，这有效地控制了逆采样过程，确保所有相邻 Patch 具有更高的忠实度。

此外，WRDM可以被视为一个插件，嵌入到其他工作中，例如可见光与红外图像融合中，以消除多天气条件的影响，这在图5的实验中得到了证明。

Cross-modality Fusion Mamba (CFM)

跨模态融合曼巴（CFM）的目标是将先进的态空间模型（SSM）或曼巴（Mamba, 2017）引入到跨模态目标检测中。结构化的态空间序列模型（S4）和曼巴受到连续系统的启发，通过隐藏状态

h(t)\in\mathbb{R}^{N}

将一个一维函数或序列

x(t)\in\mathbb{R}\to y(t)

进行映射。这个系统使用

\mathbf{A}\in\mathbb{R}^{N\times N}

作为演化参数，以及

\mathbf{B}\in\mathbb{R}^{N\times 1}

和

\mathbf{C}\in\mathbb{R}^{1\times N}

作为投影参数，使得

y(t)

可以如下演化：

\begin{split}& h^{\prime}(t)=\mathbf{A}h(t)+\mathbf{B}x(t),\\ & y(t)=Ch^{\prime}(t).\end{split} \tag{3}

注意，S4和曼巴是连续系统的离散版本，包括一个时间尺度参数

\Delta

将连续参数

A,B

转换为离散参数

\bar{\mathbf{A}},\bar{\mathbf{B}}

如下：

\begin{split}&\bar{\mathbf{A}}=exp(\Delta\mathbf{A}),\\ &\bar{\mathbf{B}}=(\Delta\mathbf{A})^{-1}(exp(\Delta\mathbf{A})-\mathbf{I})\cdot \Delta\mathbf{B}.\end{split} \tag{4}

之后，方程（3）可以重写为：

\begin{split}& h_{t}=\mathbf{A}h_{t-1}+\mathbf{B}x_{t},\\ & y_{t}=Ch_{t}.\end{split} \tag{5}

图2. 跨模态融合曼巴（CFM）的框架。它有三个部分：一个天气消除扩散模型（WRDM），一个双流特征提取网络（作者的 Baseline ），以及三个跨模态融合曼巴（CFM）模块。

\bigoplus

表示逐元素加法，

\bigotimes

表示逐元素乘法，C1是1维卷积的简写。

最后，模型通过以下全局卷积计算输出：

\begin{split}&\mathbf{K}=C\mathbf{B},C\bar{\mathbf{A}}\bar{\mathbf{B}},...,C\bar{ \mathbf{A}}^{\mathbf{M-1}}\mathbf{B},\\ & y=x*\bar{\mathbf{K}}.\end{split} \tag{6}

其中

\mathbf{M}

是输入序列 x 的长度，

\bar{\mathbf{K}}\in\mathbb{{R}^{M}}

是一个结构化的卷积核。

标准的Mamba设计用于一维序列。如Vision Mamba（Vim）所示，二维多光谱图像

t\in\mathbb{R}^{H\times W\times C}

可以转换为扁平化的二维图像块

x_{\mathbf{p}}\in\mathbb{R}^{J\times(P^{2}\cdot C)}

，其中

(H,W)

表示输入图像的大小，

是通道数，

是图像块的大小。同样，作者将

x_{\mathbf{p}}

线性投影到大小为

的向量，并添加位置嵌入

E_{pos}\in\mathbb{R}^{(J+1)\times D}

，如下所示：

\begin{split} T_{0}=[t_{cls};t_{\mathbf{p}}^{1}\mathbf{W};t_{\mathbf{p}}^{2} \mathbf{W};...;t_{\mathbf{p}}^{J}\mathbf{W}]+E_{pos}.\end{split} \tag{7}

其中

t_{\mathbf{p}}^{j}

是

\mathbf{t}

的第

个路径，

\mathbf{W}\in\mathbb{R}^{(P^{2}\cdot C)\times D}

是可学习的投影矩阵。

以下是所提出CFM的更多细节。如引言部分所述，在不同的光照和天气条件下，RGB模态和热成像模态表现出不同的特征，这些特征是互补且冗余的。因此，作者旨在设计一个模块来抑制冗余特征并融合互补特征，以便在恶劣天气条件下有效地获取必要的跨模态线索进行目标检测。受到跨注意力机制[1]的概念启发，作者引入了一种新的跨模态Mamba模块来融合来自不同模态的特征。如图2所示，为了促进RGB和热成像模态之间的特征交互，作者使用了通道交换Mamba模块（CS）[12]，它融合了来自不同通道的信息并增强了跨模态的相关性。给定RGB特征

F_{R_{t}}

和热成像特征

F_{T_{I}}

，将

F_{R_{t}}

的前半部分通道与

F_{T_{I}}

的后半部分通道连接起来，并通过Mamba模块进行特征提取。得到的特征被加到

F_{R_{t}}

上，创建了一个新的特征

F_{R_{t}}

。同时，

F_{T_{I}}

的前半部分与

F_{R_{t}}

的后半部分连接起来，然后通过Mamba模块。得到的特征被加到

F_{T_{I}}

上，创建了一个新的特征

F_{T_{I}}

'。

随后，在特征融合过程中，作者将特征

F_{R_{t}}

'和

F_{T_{I}}

'投射到共享空间中，并使用门控机制以鼓励互补特征学习的同时抑制冗余特征。如图2所示，作者首先使用Norm模块对

F_{R_{t}}

'和

F_{T_{I}}

'中的每个标记序列进行归一化，这有助于提高模型的收敛速度和性能。然后将输入序列通过线性层并应用SiLu作为激活函数。

\bar{\mathbf{A}}_{\mathbf{o}},\bar{\mathbf{B}}_{\mathbf{o}}

和

\mathbf{C}_{\mathbf{o}}

可以通过参数函数生成：

\begin{split}\bar{\mathbf{A}}_{\mathbf{o}},\bar{\mathbf{B}}_{\mathbf{o}},\mathbf{C}_ {\mathbf{o}}=ParametersFunction(x_{\mathbf{o}}\prime),\end{split} \tag{8}

其中

x_{\mathbf{o}}^{\prime}=\mathbf{Linear}(x_{\mathbf{o}}^{x}\mathbf{Norm}(F_{t}^{\rho^{\prime}}))

。之后，作者应用状态空间模型（SSM）：

图3：WRDM训练和推理过程的示意图。左侧是WRDM的框架。作者使用配对数据分布（

\widetilde{X},X_{t}

），将其拆分为（

\widetilde{X}^{(d)},X_{t}^{(d)}

）进行模型训练。右侧是基于 Patch 的扩散图像恢复流程的说明（这里以4个 Patch 为例）。

然后作者将门控操作应用于残差连接：

z=\mathbf{Linear}^{\mathbf{z}}(F_{T_{i}}{}^{\prime}), \tag{10}

y_{R}{}^{\prime}=y_{R}\odot SiLU(z), \tag{11}

y_{T}{}^{\prime}=y_{T}\odot SiLU(z), \tag{12}

F_{i}=\mathbf{Reshape}(\mathbf{Linear}^{T}(y_{R}{}^{\prime}+y_{T}{}^{\prime})+F_{i}{} ^{\prime}). \tag{13}

最后，作者成功地获得了融合的二维特征

F_{i}

。

与CFT（Zhu等人，2017年）不同，作者的融合块在提高计算效率的同时继承了全局感受野和动态权重的组件。将作者CFM块中的状态空间模型（SSM）与CFT（Zhu等人，2017年）中的 Transformer 自注意力机制进行比较，两者都在自适应地提供全局上下文方面发挥着重要作用，但自注意力与序列长度成二次关系，而SSM与序列长度成线性关系（Zhu等人，2018年）。为了在处理长序列工作时实现更低的内存使用，CFM选择了与Mamba相同的重新计算方法。在SWVID和LLVID数据集上进行实验，其分辨率为

1080\times 720

，结果显示CFT需要

21.88

GB的GPU内存，而CFM只需要

10.72

GB，节省了

11.16

GB，在相同配置下。

Loss Functions

作为两阶段预训练模型，作者精心设计了训练损失函数，以产生最小模糊度且与真实图像细节最接近的增强结果，并提取RGB和热成像模态之间的差异。

在训练WRDM时，这一阶段损失函数的目标是最大化数据对数似然

log_{\rho_{0}(x_{0})}

。由于直接最大化这一目标非常具有挑战性，作者使用变分推理来近似这一目标。变分推理通过引入变分分布

q(x_{1}:T|x_{0})

来近似真实后验分布

p_{\theta}(x_{0}:T)

，然后最小化这两个分布之间的差异。在这里作者定义

\mathcal{L}_{\theta}=-log_{p_{\theta}}(x_{0})

，作者有：

\mathcal{L}_{\theta}=\sum_{t=1}^{T}\mathbb{E}_{q}[log_{p_{\theta}}(x_{0}|x_{ T})]-\sum_{t=1}^{T-1}\mathbb{E}_{q(x_{t-1}|x_{t})} \tag{14}

其中第二项是

q(x_{t-1}|x_{t})

和

p_{\theta}(x_{t-1}|x_{t})

之间的Kullback-Leibler散度的期望值。

与该领域普遍的做法一致，总体损失函数 (

\mathcal{L}_{total}

) 是边界框回归损失 (

\mathcal{L}_{box}

)、分类损失 (

\mathcal{L}_{cls}

) 和置信度损失 (

\mathcal{L}_{conf}=\mathcal{L}_{noobj}+\mathcal{L}_{obj}

) 的总和。

\mathcal{L}_{total}=\mathcal{L}_{box}+\mathcal{L}_{cls}+\mathcal{L}_{noobj}+ \mathcal{L}_{obj}. \tag{15}

关于CFMW的损失函数细节在补充材料中阐明。

4. Experiments

实验部分的开头。

Established SWVID benchmark

数据集。在动态环境中，可见图像的色彩范围受到环境干扰的影响而减弱，现有的融合方法由于在相应数据集下缺乏足够的训练，难以充分融合可见光与红外光谱。如图4所示，作者建立了基准数据集SWVID，它是从真实场景中收集的公共数据集（即LLVIP（Kumar等人，2017年）、M3FD（Zhu等人，2017年）、MSRS（Zhu等人，2017年））构建的。它包含了多种均匀分布的场景（白天、夜晚、雨天、雾天和雪天），通过结合不同场景模拟真实环境。此外，作者为受到恶劣天气条件影响的每个可见图像提供了相应的 GT 图像，用于图像融合和图像恢复网络的训练。如表1所示，与先前的可见光-红外数据集相比，SWVID是第一个考虑天气条件的数据集。具体来说，作者从公共的可见光-红外数据集中构建了以下数据集：

\mathcal{D}_{rain}(J(x))=J(x)(1-M_{r}(x))+R(x)M_{r}(x), \tag{16}

\mathcal{D}_{smow}(J(x))=J(x)(1-M_{g}(x))+S(x)M_{g}(x), \tag{17}

\mathcal{D}_{foggy}(J(x))=J(x)e^{-\int_{0}^{d(x)}\beta dl}+\int_{0}^{d(x)}L_ {\infty}\beta e^{-\beta l}dl. \tag{18}

表1. SWVID基准与现有可见光-红外数据集的比较。

\mathbf{\checkmark}

表示可用，而

\mathbf{\checkmark}

表示不可用。

图4. 建立的SWVID基准概览。该数据集包括三种天气条件（即雨、雾和雪），两种场景（即白天和夜晚），总共提供

60,000

张图像。

其中

代表图像中的空间位置，

\mathcal{D}_{rain}(J(x))

，

\mathcal{D}_{snow}(J(x))

和

\mathcal{D}_{foggy}(J(x))

表示将清晰图像映射到带有雨、雪和雾粒子效果的图像的函数，

J(x)

代表没有天气效果的清晰图像，

M_{r}(x)

和

M_{8}(x)

分别表示雨和雪的等价物，

R(x)

表示雨 Mask 图，

S(x)

表示雪粒子色差图。考虑到散射效应，

d(x)

表示从观察者在像素位置

处的距离，

\beta

是大气衰减系数，而

L_{\infty}

是光亮度。

作者将SWVID分为训练集（

34,280

张图像），验证集（

17,140

张图像）和测试集（

8,570

张图像），每个文件夹包含三部分：可见光-红外图像对以及相应的受天气影响的可见光图像。请注意，受天气影响的可见光图像包含三种天气条件，分为SWVID-snow，SWVID-rain 和 SWVID-foggy。在训练期间，作者使用图像对（受天气影响和 GT ）在第一阶段训练WRDM，然后使用图像对（ GT 和红外）以及相应的标签在第二阶段训练CFM。在验证和测试期间，作者直接使用图像对（受天气影响和红外），以验证和测试CFMW在实际条件下的性能。在进行比较实验评估其他网络时，作者也采用了同样的方式。

图5：多模态融合与目标检测可视化的白天和夜间场景示例，包括三种不利天气条件（雨、雾和雪）。作者将WRDM嵌入到两种最先进的可见光-红外融合方法中（即 CDDFuse [59] 和 DeFusion [25]），以减轻天气条件的不利影响。

评估指标。作者采用常规的峰值信噪比（PSNR）[15] 和结构相似性（SSIM）[47] 对 GT 和恢复图像之间的量化评估。PSNR 主要用于评估图像处理后失真的程度，而SSIM 更关注图像的结构信息和视觉质量。

在目标检测定量实验方面，作者引入了三种目标检测指标：平均精度均值（mAP、mAP50 和 mAP75）以评估目标检测模型的准确性。有关更多计算细节，请参阅补充材料。

PSNR=10\times lg\left(\frac{(2^{n}-1)^{2}}{MSE}\right), \tag{19}

SSIM=\left\{\{l(x,y)\}^{\alpha}\cdot[c(x,y)]^{\beta}\cdot[s(x,y)]^{Y}\right\},

Implantation Details

对于WRDM，作者在特定天气条件以及多天气条件下的图像恢复设置中都进行了实验。作者将特定天气条件下的恢复模型分别表示为去雨、去雪和去雾，以验证在特定天气条件下通用WRDM模型的性能。作者训练了所有模型的大小为

128\times 128

的 Patch 版本。作者使用NVIDIA RTX 4090显卡进行所有实验。在比较的所有模型训练中，作者都使用Adam作为优化器。在训练过程中，作者训练了WRDM

3\times 10^{6}

次迭代。至于CFM，作者没有进行针对特定任务的参数调整或网络结构的修改。为了获得更好的性能，作者选择了YOLOv5模型的公开权重初始化（yolov5s.pt），该权重在COCO数据集（Lin等人，2014年）上进行预训练。

Comparative Experiments

在本节中，作者分别与几种最先进的图像去雪、去雨和去雾方法以及跨模态目标检测方法进行比较。在表2中，作者进行了与以下图像去雪方法（如SPANet (Yang et al., 2017)，DDMSNet (Chen et al., 2017)，DesnowNet (Chen et al., 2017)，RESCAN (Liu et al., 2017)）的比较，去雨（如pix2pix (Liu et al., 2017)，CycleGAN (Liu et al., 2017)，PCNet (Liu et al., 2017)，MPRNet (Wang et al., 2017)），以及去雾（如pix2pix (Liu et al., 2017)，DuRN (Liu et al., 2017)，Attentive-GAN (Liu et al., 2017)，IDT (Liu et al., 2017)）方法的比较，同时还与两种最先进的多天气图像恢复方法：All in One (Huang et al., 2016)和TransWeather (Liu et al., 2017)进行了比较。在表3和表4中，为了证明CFMW的持续改进，作者与几种基础的单一模态目标检测方法（例如，Faster R-CNN (Ren et al., 2015)，SDD (Ren et al., 2015)，YOLOv3 (Liu et al., 2017)，YOLOv5 (Liu et al., 2017)，YOLOv7 (Liu et al., 2017)）以及几种多模态目标检测方法（例如，作者的 Baseline ，标准的双流YOLOv5目标检测网络，以及CFT (Liu et al., 2017)）进行了比较。

表4. 在LLVIP (Liu et al., 2017)数据集上与其他网络的性能比较。

表2. 在PSNR和SSIM（越高越好）方面与最先进的图像去雨、去雾和去雪方法的定量比较。为了公平起见，作者统一使用建立的SWVID数据集的可见光部分作为评估数据集。

表3. 在SWVID-snow数据集上与其他网络的性能比较。

图像去雪效果比较。 如表2所示，作者使用SWVID数据集的单一RGB模态（包括雨、雾和霾等天气条件）作为比较数据集，以衡量不同模型在不同天气条件下的性能。表格顶部展示了特定天气图像恢复的结果，作者展示了

S=50

的采样时间步。对于图像去雨、图像去雾和图像去雪任务，所提出的方法在这些任务上一致取得了最佳结果（在SWVID-rain上为36.78/0.9464，SWVID-foggy上为36.53/0.9795，在SWVID-snow上为42.23/0.9821）。特别是在图像去雨任务中，与当前最先进的方法（MPR-Net [53]）相比，性能提高了大约24%。对于多天气图像恢复，尽管由于任务复杂性的原因，结果不如特定天气模型好，但与All in One [23] 和 TransWeather [42]相比，所提出的方法也取得了最佳结果（在SWVID-rain上为35.02/0.9322，SWVID-foggy上为35.88/0.9602，在SWVID-snow上为40.98/0.9578），与TransWeather [42]相比性能提高了大约17%，与All in One [23]相比性能提高了大约25%。

跨模态目标检测比较。如表3和表4所示，作者使用LLVIP [18] 和 SWVID-snow 作为比较数据集。与 SWVID-rain 和 SWVID-foggy 相比，这两个数据集中行人的大小更符合一般目标检测标准。这两个数据集中行人重叠的复杂情况更多，这可以更好地衡量目标检测网络的准确性。表格顶部展示了单模态网络的检测结果，每个网络使用 RGB 模态或热成像模态进行检测。表格底部显示了多模态网络的检测结果，包括作者的 Baseline 模型 CFT [34] 和所提出的 CFMW。根据表3，可以观察到，通过集成 WRDM 和 CFM，CFMW 在每个指标（mAP50:2.3↑, mAP75:4.3↑, mAP:3.0↑）上相对于每种指标上现有的最佳网络在 SWVID-snow 上都取得了压倒性的性能提升，这表明在恶劣天气条件下它具有更好的适应性。同时，如表4所示，CFMW 可以在较低的计算消耗下实现更准确的检测（mAP50:98.8, mAP75:77.2, mAP:64.8），这表明 CFWM 的普遍性。

Ablation Study

在本节中，作者分析了CFMW的有效性。首先通过详细的消融实验以参数形式验证了WRDM和CFM模块在性能改进中的重要性，然后从视觉上展示了WRDM在跨模态融合和目标检测任务中的作用，以突出其作为天气恢复插件的通用性。

消融实验 为了理解作者方法中每个组件的影响，作者进行了一系列全面的消融实验。如表5所示，作者将CFM和WRDM与其他经典检测器结合使用，例如YOLOv7 [45]，YOLOv5 [20]和Faster R-CNN [36]，以展示作者CFMW的普遍有效性。在复杂天气条件下，所提出的CFMW改进了一阶段或两阶段检测器进行跨模态目标检测的性能。具体来说，CFM在mAP50上实现了11.3%的提升，在mAP75上实现了81.6%的提升，在mAP（基于YOLOv5 [20]）上实现了78.3%的提升。在加入WRDM后，作者在mAP50上实现了12.1%的提升，在mAP75上实现了88.2%的提升，在mAP上实现了80.4%的提升。CFM和WRDM为所有考虑的评价指标提供了不可忽视的提升。

视觉解释 为了直观地验证WRDM作为插件的适用性，作者从视觉上展示了WRDM在可见光-红外图像融合和目标检测领域的应用场景。如图5所示，作者与可见光-红外图像融合方法（例如CDDFuse [59]，DeFusion [25]）进行了比较。从图中可以看出，与原始图像相比，使用WRDM前后两种方法的图像融合效果相差很大，经过去天气处理后，可以成功检测到图像远端更多的人。在跨模态目标检测中，丰富的图像细节可以为特征提取和融合提供极大的帮助，直接融合而不去除天气影响会导致图像细节的损失和干扰。

5. Conclusion

在本工作中，作者提出了一种在恶劣天气条件下进行可见光-红外目标检测的新方法，即严重天气可见光-红外数据集（SWVID）。作者为在真实和具有挑战性的环境中训练和评估模型提供了宝贵资源。具有天气消除的跨模态融合Mamba（CFMW）模型，在提高检测准确性的同时，也能很好地管理计算效率。作者的大量实验表明，CFMW在多天气图像恢复和跨模态目标检测两项任务上都超过了现有基准，达到了最先进水平。这项工作为在恶劣天气下的跨模态目标检测开辟了新的可能性。

表5. 在SWVID-snow数据集上进行消融实验。为了展示作者CFMW的普遍有效性，作者进一步将WRDM和CFM模块与其他经典检测器（例如，YOLOv7, YOLOv5, Faster R-CNN）结合。

Appendix A Derivation of Denoising Diffusion Models

前向过程是一个固定的马尔可夫链，通过根据方差计划

\beta_{1}\sim\beta_{T}

注入高斯噪声，在

个时间步中腐蚀数据

x_{0}\sim q(x_{0})

，可以用以下公式表达：

q(x_{t}|x_{t}-1)=N(x_{t};\sqrt{1-\beta_{t}}x_{t}-1,\beta_{t}\mathbf{I}), \tag{21}

q(x_{1:T}|x_{0})=\prod\limits_{t=1}^{T}q(x_{t}|x_{t-1}). \tag{22}

由联合分布

p_{\theta}(x_{0:T})

定义的反向过程是一个具有学习到的的高斯去噪转换的马尔可夫链，从标准正态先验

p(x_{T})=N(x_{T};O;I)

开始，可以用以下公式表达：

p_{\theta}(x_{0}:T)=p(x_{T})\prod\limits_{t=1}^{T}p_{\theta}(x_{t-1}|x_{t}), \tag{23}

p_{\theta}(x_{t-1}|x_{t})=N(x_{t-1};\mu_{\theta}(x_{t},t),\sum\limits_{\theta}( x_{t},t)). \tag{24}

反向过程由一个估计

\prod\limits_{t=1}^{T}

和

\sum\nolimits_{\theta}(x_{t},t)

的神经网络参数化。

去噪扩散隐式模型提供了一种加速预训练扩散模型的确定性采样的新方法，该方法可以生成一致且质量更高的图像样本。接下来的隐式采样利用了广义非马尔可夫前向过程公式：

q_{\lambda}(x_{1:T}|x_{0})=q_{\lambda}(x_{T}|x_{0})\prod\limits_{t=2}^{T}q_{ \lambda}(x_{t-1}|x_{t},x_{0}), \tag{25}

q_{\lambda}(x_{T}|x_{0})=N(\sqrt{1-\beta_{T}}x_{0},\beta_{T}\mathbf{I}). \tag{26}

对于

t\geq 2

：

q_{\lambda}(x_{t-1}|x_{t},x_{0})=N(x_{t-1};\sqrt{1-\beta_{t-1}}+ \tag{27}

\sqrt{\beta_{t-1}-\sigma_{t}^{2}}\cdot\frac{x_{t}-\sqrt{1-\beta_{ t}}x_{0}}{\sqrt{\beta}},\sigma_{t}^{2}\mathbf{I}).

其中

\sigma_{t}^{2}

是一个实数。作者可以通过数学归纳法证明对于所有的

：

q_{\lambda}(x_{T}|x_{0})=N(x_{t};\sqrt{1-\beta_{T}}x_{0},\beta_{T}\mathbf{I}). \tag{28}

因此，作者可以将(24)中的分布根据其标准差

\lambda_{t}

的一个特定选择重写为：

p_{\lambda}(x_{t-1}|x_{t},x_{0})=N(x_{t-1};\overline{\mu}_{t}(x_{t},x_{0}), \lambda_{t}^{2}\mathbf{I}), \tag{29}

\overline{\mu}_{t}=\sqrt{\alpha_{t-1}}\cdot x_{0}+\sqrt{1-\alpha_{t-1}-\lambda_ {t}^{2}}\cdot\epsilon_{t}. \tag{30}

其中

\alpha_{t}=1-\beta_{t},\alpha_{t}=\prod\limits_{i=1}^{t}\alpha_{i},\epsilon_{t} \sim N(\mathbf{0},\mathbf{I})

。它们都具有与数据

x_{0}

和潜在变量

x_{t}

相同的维度。

Appendix B More Details of Loss Functions

在训练WRDM时，特别是对于每个时间步

，作者有：

\begin{split}&\mathcal{L}_{\theta}=\mathbb{E}_{q}[log_{p_{\theta}}(x_{ 0}|x_{T})]-\mathbb{E}_{q}(x_{t-1}|x_{t})\\ &[D_{KL}(q(x_{t-1}|x_{t},x_{0}))]|p_{\theta}(x_{t-1}|x_{t})|x_{t}), \end{split} \tag{31}

其中第一项是在变分分布

q(x_{T})

下

log_{p_{\theta}}(x_{0}|x_{T})

的期望值，第二项是

q(x_{t-1}|x_{t})

与

p_{\theta}(x_{t-1}|x_{t})

之间的Kullback-Leibler散度的期望值。Kullback-Leibler散度衡量了两个概率分布之间的差异。将所有时间步的变分界累加起来，作者得到了整个扩散过程的变分界：

\begin{split}&\mathcal{L}_{\theta}=\sum\limits_{t=1}^{T}\mathbb{E}_{q}[ log_{p_{\theta}}(x_{0}|x_{T})]-\sum\limits_{t=1}^{T-1}\mathbb{E}_{q(x_{t-1}|x_{t})}\\ &[D_{KL}(q(x_{t-1}|x_{t},x_{0}))||p_{\theta}(x_{t-1}|x_{t})].\end{split} \tag{32}

然后作者展示了关于

\mathcal{L}_{total}

，

\mathcal{L}_{box}

，

\mathcal{L}_{cls}

，

\mathcal{L}_{noobj}

和

\mathcal{L}_{obj}

的更多计算细节：

\mathcal{L}_{total}=\mathcal{L}_{box}+\mathcal{L}_{cls}+\mathcal{L}_{noobj}+ \mathcal{L}_{obj}, \tag{33}

\mathcal{L}_{box}=\sum\limits_{i=0}^{S^{2}}\sum\limits_{j=0}^{N}t_{i,j}^{obj} \cdot[1-GIoU_{i}], \tag{34}

\mathcal{L}_{cls}=\sum\limits_{i=0}^{S^{2}}\sum\limits_{j=0}^{N}t_{i,j}^{obj} \cdot\sum\limits_{c\in classes}p_{i}(c)log(\hat{p}_{i}(c)), \tag{35}

\mathcal{L}_{noobj} =\sum_{i=0}^{S^{2}}\sum_{j=0}^{N}t_{i,j}^{noobj}\cdot(c_{i}-\hat{c}_{i })^{2}, \tag{36}

\mathcal{L}_{obj} =\sum_{i=0}^{S^{2}}\sum_{j=0}^{N}t_{i,j}^{obj}\cdot(c_{i}-\hat{c}_ {i})^{2}. \tag{37}

其中广义交并比（GIoU）被用作预测回归损失。

S^{2}

和

分别表示预测期间图像网格的数量和预测框的数量。

p(c)

和

\hat{p}(c)

分别表示真实样本属于类别 c 的概率和网络预测样本为类别 c 的概率。

t_{i,j}^{obj}

表示第

个网格的第

个预测框是否为正样本，

t_{i,j}^{noobj}

表示第

个网格的第

个预测框是否为负样本。

Appendix C More Details of Metrics Calculation

PSNR 可以按如下方式计算：

PSNR=10\times lg(\frac{(2^{n}-1)^{2}}{MSE}), \tag{38}

MSE=\frac{1}{H\times W}\sum_{i=1}^{H}\sum_{j=1}^{W}(X(i,j)-Y(i,j))^{2}. \tag{39}

其中

和

分别代表图像的高度和宽度，

是每个像素的比特数（通常取8），

X(i,j)

和

Y(i,j)

分别代表相应坐标下的像素值。

SSIM 可以按如下方式计算：

SSIM=[I(x,y)]^{a}\cdot[c(x,y)]^{\beta}\cdot[s(x,y)]^{Y}, \tag{40}

I(x,y)=\frac{2\mu_{x}\mu_{y}+C1}{\mu_{x}^{2}+\mu_{y}^{2}+C1}, \tag{41}

c(x,y)=\frac{2\sigma_{x}\sigma_{y}+C2}{\sigma_{x}^{2}+\sigma_{y}^{2}+C2}, \tag{42}

s(x,y)=\frac{\sigma_{xy}+C3}{\sigma_{x}\sigma_{y}+C3}. \tag{43}

其中

l(x,y)

衡量亮度，

c(x,y)

衡量对比度，

s(x,y)

衡量结构，

\mu

和

\sigma

分别表示均值和标准差。

mAP, mAP50 和 mAP75 可以按如下方式计算：

mAP=\frac{1}{n}\sum_{i=1}^{N}AP_{i}, \tag{44}

AP_{i}=\int\limits_{0}^{1}Precision\ d(Recall). \tag{45}

mAP50 在 IoU=0.50 的条件下计算所有类别所有 AP 值的平均值，而 mAP75 在 IoU=0.75 的条件下进行计算，同理。

参考

[1].CFMW:Cross-modality Fusion Mamba for Multispectral Object Detection under Adverse Weather Conditions.

本文参与腾讯云自媒体分享计划，分享自微信公众号。

原始发表：2024-05-01，如有侵权请联系 cloudcommunity@tencent.com 删除

性能

本文分享自集智书童微信公众号，前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体分享计划，欢迎热爱写作的你一起参与！