💡💡💡问题点:在检测不同尺寸的图像时,传统方法常因无法有效融合多尺度信息而漏检小型或远距离目标 。
💡💡💡加强不同尺度特征提取能力:多尺度注意力网络(HSAN)通过分组卷积和联合通道-空间注意力机制,增强多尺度特征表达能力
💡💡💡如何使用:替换YOLO11中的 C2PSA,降低参数量
Ultralytics YOLO11是一款尖端的、最先进的模型,它在之前YOLO版本成功的基础上进行了构建,并引入了新功能和改进,以进一步提升性能和灵活性。YOLO11设计快速、准确且易于使用,使其成为各种物体检测和跟踪、实例分割、图像分类以及姿态估计任务的绝佳选择。
结构图如下:
C3k2,结构图如下
C3k2,继承自类C2f,其中通过c3k设置False或者Ture来决定选择使用C3k还是Bottleneck
实现代码ultralytics/nn/modules/block.py
借鉴V10 PSA结构,实现了C2PSA和C2fPSA,最终选择了基于C2的C2PSA(可能涨点更好?)
实现代码ultralytics/nn/modules/block.py
分类检测头引入了DWConv(更加轻量级,为后续二次创新提供了改进点),结构图如下(和V8的区别):
实现代码ultralytics/nn/modules/head.py
论文:Detecting infrared UAVs on edge devices through lightweight instance segmentation | PLOS One
HSAN 模块:集成于主干网络之中,用于替代传统的特征提取模块。HSAN 通过分组卷积和联合通道-空间注意力机制,增强多尺度特征表达能力,从而提升针对小目标的特征判别性能。
在红外图像中检测不同尺寸的无人机时,传统方法常因无法有效融合多尺度信息而漏检小型或远距离目标 [46–47]。为此,我们提出了异尺度注意力网络(HSAN)。
HSAN 针对红外无人机检测的根本难题:小型无人机可能仅为几个像素的微弱热源,而大型无人机则占据较大图像区域。我们用高效的 HSAN(29.29 GFLOPs)取代计算量巨大的 C2PSA 模块(129.7 GFLOPs),在运算开销降低 77.4% 的同时,显著提升了多尺度特征融合能力(见表 3)。不同尺寸的目标需要差异化的特征提取策略。HSAN 如同并行运行多个专用检测器——有的专注捕捉微小热斑,有的聚焦较大热图——再智能融合各尺度结果,实现全尺度鲁棒检测。
其核心创新在于特征处理方式。不同于 CBAM 的顺序通道-空间注意力或 YOLOv7-tiny 的极化注意力(对所有尺度一视同仁),HSAN 的分组多尺度卷积(1×7 & 7×1–1×21 & 21×1 核)专门针对红外无人机热特征的多尺度特性。网络将特征分组后,以不同感受野处理各组,同步捕捉远距离微型无人机的微弱热信号与近距离无人机的显著热图。提取多尺度特征后,HSAN 通过注意力机制突出关键信息,抑制背景噪声和干扰。
HSAN,
分组多尺度卷积(1×7 & 7×1,1×11 & 11×1,1×21 & 21×1 核)
HSAN_improve
分组多尺度卷积(1×7 & 7×1,1×11 & 11×1,1×15 & 15×1 核)
class HSAN(nn.Module):
def __init__(self, c1, c2, shortcut=True, g=4, reduction=16):
super().__init__()
# 卷积层
self.cv1 = nn.Conv2d(c1, c2, 1, 1, groups=g)
self.cv2 = nn.Conv2d(c2, c2, 1, 1, groups=g)
# 特殊张量分解
self.num_groups = g
self.group_channels = c2 // g
# 全局池化
self.avg_pool_h = nn.AdaptiveAvgPool2d((1, 1))
self.max_pool_h = nn.AdaptiveMaxPool2d((1, 1))
self.avg_pool_w = nn.AdaptiveAvgPool2d((1, 1))
self.max_pool_w = nn.AdaptiveMaxPool2d((1, 1))
# 多尺度卷积模块
self.multi_scale_attention = nn.ModuleList([
self.MSCM(self.group_channels)
for _ in range(g)
])
# 共享卷积层
self.channel_attention = nn.ModuleList([
nn.Sequential(
nn.Conv2d(self.group_channels, self.group_channels // reduction, 1, 1),
nn.ReLU(inplace=True),
nn.Conv2d(self.group_channels // reduction, self.group_channels, 1, 1)
) for _ in range(g)
])
# 注意力权重计算
self.coord_reduce_h = nn.Conv2d(2, 1, kernel_size=7, padding=3)
self.coord_reduce_w = nn.Conv2d(2, 1, kernel_size=7, padding=3)
self.sigmoid_h = nn.Sigmoid()
self.sigmoid_w = nn.Sigmoid()
self.sigmoid_channel = nn.Sigmoid()
# 注意力应用
self.shortcut = shortcut and c1 == c2
# Ultralytics YOLO 🚀, AGPL-3.0 license
# YOLO11 object detection model with P3-P5 outputs. For Usage examples see https://docs.ultralytics.com/tasks/detect
# Parameters
nc: 80 # number of classes
scales: # model compound scaling constants, i.e. 'model=yolo11n.yaml' will call yolo11.yaml with scale 'n'
# [depth, width, max_channels]
n: [0.50, 0.25, 1024] # summary: 319 layers, 2624080 parameters, 2624064 gradients, 6.6 GFLOPs
s: [0.50, 0.50, 1024] # summary: 319 layers, 9458752 parameters, 9458736 gradients, 21.7 GFLOPs
m: [0.50, 1.00, 512] # summary: 409 layers, 20114688 parameters, 20114672 gradients, 68.5 GFLOPs
l: [1.00, 1.00, 512] # summary: 631 layers, 25372160 parameters, 25372144 gradients, 87.6 GFLOPs
x: [1.00, 1.50, 512] # summary: 631 layers, 56966176 parameters, 56966160 gradients, 196.0 GFLOPs
# YOLO11n backbone
backbone:
# [from, repeats, module, args]
- [-1, 1, Conv, [64, 3, 2]] # 0-P1/2
- [-1, 1, Conv, [128, 3, 2]] # 1-P2/4
- [-1, 2, C3k2, [256, False, 0.25]]
- [-1, 1, Conv, [256, 3, 2]] # 3-P3/8
- [-1, 2, C3k2, [512, False, 0.25]]
- [-1, 1, Conv, [512, 3, 2]] # 5-P4/16
- [-1, 2, C3k2, [512, True]]
- [-1, 1, Conv, [1024, 3, 2]] # 7-P5/32
- [-1, 2, C3k2, [1024, True]]
- [-1, 1, SPPF, [1024, 5]] # 9
- [-1, 2, HSAN, [1024]] # 10
# YOLO11n head
head:
- [-1, 1, nn.Upsample, [None, 2, "nearest"]]
- [[-1, 6], 1, Concat, [1]] # cat backbone P4
- [-1, 2, C3k2, [512, False]] # 13
- [-1, 1, nn.Upsample, [None, 2, "nearest"]]
- [[-1, 4], 1, Concat, [1]] # cat backbone P3
- [-1, 2, C3k2, [256, False]] # 16 (P3/8-small)
- [-1, 1, Conv, [256, 3, 2]]
- [[-1, 13], 1, Concat, [1]] # cat head P4
- [-1, 2, C3k2, [512, False]] # 19 (P4/16-medium)
- [-1, 1, Conv, [512, 3, 2]]
- [[-1, 10], 1, Concat, [1]] # cat head P5
- [-1, 2, C3k2, [1024, True]] # 22 (P5/32-large)
- [[16, 19, 22], 1, Detect, [nc]] # Detect(P3, P4, P5)
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。