遥感顶刊TGRS小目标检测论文分享：基于FFCA-YOLO的遥感图像小目标检测

遥感顶刊TGRS小目标检测论文分享：FFCA-YOLO for Small Object Detection

in Remote Sensing Images

动动您的小手指，关注一下吧！

01 摘要

由于特征表示不足、背景混淆等问题，使得遥感小目标检测任务十分艰巨。特别是，当算法将部署到船上进行实时处理时，这需要在有限的计算资源下对精度和速度进行广泛的优化。为了解决这些问题，本文提出了一种高效的特征增强、融合和上下文感知YOLO (FFCA-YOLO)检测器。FFCA-YOLO包括三个创新的轻量级即插即用模块:特征增强模块(FEM)、特征融合模块(FFM)和空间上下文感知模块(SCAM)。这三个模块分别提高了网络的局部感知能力、多尺度特征融合能力和跨通道、跨空间的全局关联能力，同时尽量避免增加复杂度。从而增强小目标的弱特征表征，抑制易混淆的背景。利用VEDAI和AI-TOD两个公共遥感小目标检测数据集和USOD一个自建数据集验证了FFCA-YOLO的有效性。FFCA-YOLO的准确率达到0.748、0.617和0.909(以mAP50计算)，超过了几个基准模型和最先进的方法。同时，在不同的模拟退化条件下验证了FFCA-YOLO的鲁棒性。此外，为了在保证效率的同时进一步减少计算资源消耗，基于部分卷积(PConv)对FFCA-YOLO的主干和颈部进行重构，优化了精简版FFCA-YOLO (L-FFCA-YOLO)。与FFCA-YOLO相比，L-FFCA-YOLO速度更快，参数规模更小，计算能力要求更低，精度损失小。

02 拟解决的问题

1. 特征表示不足：遥感图像中的小型物体可能在输出特征图上仅占据一个像素点，导致特征提取困难。

2. 背景混淆：在复杂背景下，小型物体与背景的区分变得更加困难。

3. 实时处理需求：在机载实时处理应用中，需要在有限的计算资源下优化检测算法的准确性和速度。

03 本文的创新之处

1. 三个创新模块

特征增强模块（FEM）：通过多分支结构和扩张卷积增强小型物体的局部上下文信息。

特征融合模块（FFM）：改进了多尺度特征融合策略，通过通道信息重新加权不同特征图，以减少计算复杂性。

空间上下文感知模块（SCAM）：使用全局平均池化和全局最大池化来指导像素学习空间和通道之间的关系，实现跨通道和空间的上下文特征交互。

2. 轻量级版本L-FFCA-YOLO

为了进一步减少计算资源消耗，提出了基于部分卷积（PConv）的FFCA-YOLO轻量级版本，通过重构FFCA-YOLO的骨干网络和颈部，在保持效率的同时减少参数规模和计算能力需求。

3. 数据集构建

构建了一个新的小型物体数据集（USOD），该数据集基于航空遥感图像，具有超过99.9%的小型物体比例，并包含在低照明和阴影遮挡条件下的实例。

04 方法论

1. 整体架构

FFCA-YOLO基于YOLOv5框架，引入了三个特别设计的模块来增强网络对小型物体特征的表示和背景的区分能力。这三个模块分别是：

特征增强模块（Feature Enhancement Module, FEM）

特征融合模块（Feature Fusion Module, FFM）

空间上下文感知模块（Spatial Context Aware Module, SCAM）

图1 网络整体结构。

2. 特征增强模块（FEM）

图2 FEM结构

FEM通过多分支卷积结构增强小型物体的局部上下文信息。它包括：

使用标准卷积和扩张卷积（atrous convolution）的多分支结构，以获取丰富的局部上下文信息。

每个分支对输入特征图执行1×1卷积操作，以调整通道数，为后续处理做准备。

通过不同尺寸的卷积核（1×3、3×1和3×3）进行级联标准卷积操作，并在中间两个分支中添加扩张卷积层。

3. 特征融合模块（FFM）

图3 FFM结构

FFM旨在改善多尺度特征图的融合策略，通过通道信息重新加权不同特征图，而不增加计算复杂性。FFM的结构基于BiFPN，但进行了改进：

使用CSPBlock对高级别特征图进行处理，然后上采样以与低级别特征图尺寸一致。

通过CRC（一种通道重权策略）融合特征图，并通过CSPBlock进一步处理。

重复上述操作，实现从深层到浅层的语义信息流动。

4. 空间上下文感知模块（SCAM）

SCAM利用全局池化操作（全局平均池化GAP和全局最大池化GMP）来指导像素学习空间和通道之间的关系，实现跨通道和空间的上下文特征交互：

第一分支使用GAP和GMP整合全局信息。

第二分支使用1×1卷积生成特征图的线性变换结果（称为value）。

第三分支使用1×1卷积简化query和key的乘法。

通过广播Hadamard积将两个分支的输出结合起来，得到SCAM的最终输出。

图4 GCBlock，SCP和SCAM结构

5. 轻量级版本L-FFCA-YOLO

为了进一步减少计算资源消耗，作者提出了FFCA-YOLO的轻量级版本L-FFCA-YOLO。该版本通过使用部分卷积（PConv）重构了FFCA-YOLO的骨干网络和颈部：

PConv考虑了特征图中的冗余，仅对输入通道的一部分应用标准卷积。

通过这种方式，L-FFCA-YOLO在保持效率的同时减少了参数规模和计算能力需求。

图5 L-FFC-YOLO结构

05 实验结果

作者在两个公共遥感数据集VEDAI和AI-TOD以及自建的USOD数据集上验证了FFCA-YOLO的有效性。FFCA-YOLO在这些数据集上达到了0.748、0.617和0.909的mAP50精度，超过了多个基准模型和现有最佳方法。此外，L-FFCA-YOLO在保持准确性的同时，提供了更快的速度和更低的计算资源需求。

图6 FFCA-YOLO在USOD、VEDAI和AI-TOD中对港口、高速公路、建筑物等典型场景的检测结果。(a) USOD数据集的结果。(b) VEDAI数据集的结果。(c) AI-TOD数据集的结果。

图7 YOLOv5m、TPH-YOLO和FFCA-YOLO对低照度和阴影遮挡场景的检测结果。红色边界框表示模型输出的检测框，黄色圆圈表示未检测到的检测。

图8 FEM和SCAM对特征提取的影响。较亮的颜色表示模特更关注那个区域。

图9 模拟USOD的退化图像。

表1 FFCA-YOLO的对比实验结果。

尽管FFCA-YOLO在小型物体检测任务中取得了良好的结果，但作者指出仍存在一些局限性，包括速度和内存利用率需要进一步优化，以及目前仅在space-based数据集上进行了验证。未来的研究方向可能包括多源数据融合，以提高小型物体检测的性能。

版权说明

本文中的内容全部来自论文《FFCA-YOLO for Small Object Detection in Remote Sensing Images》，分享文章的目的是为了让更多刚入门的同学能够快速了解最前沿的科研动态，进而快速筛选出对自己有帮助的文献，助力科研。如有侵权，请联系本公众号立即删除。