YOLOv8改进：全网原创首发 | 新颖的多尺度卷积注意力（MSCA），即插即用，助力小目标检测 | NeurIPS2022
原创YOLOv8改进：全网原创首发 | 新颖的多尺度卷积注意力（MSCA），即插即用，助力小目标检测 | NeurIPS2022
原创
💡💡💡本文全网首发独家改进：多尺度卷积注意力（MSCA），有效地提取上下文信息，新颖度高，创新十足。
1）作为注意力MSCA使用；
推荐指数：五星
MSCA | 亲测在多个数据集能够实现涨点，多尺度特性在小目标检测表现也十分出色。
1.MSCAAttention介绍
论文：https://arxiv.org/pdf/2209.08575.pdf
摘要：介绍了一种用于语义分割的简单卷积网络体系结构SegNeXt。由于在编码空间信息时自我注意的效率，最近基于Transformer的模型已主导语义分割领域。在本文中，我们证明了卷积注意比Transformer中的自注意机制更有效地编码上下文信息。本文对已有成功分割方案进行了重审视并发现了几个有助于性能提升的关键成分，进而促使我们设计了一种新型的卷积注意力架构方案SegNeXt。在没有任何花哨的成分下，我们的SegNeXt显着改善了以前在流行基准测试 (包括ADE20K，Cityscapes，COCO-Stuff，Pascal VOC，Pascal Context和iSAID) 上最先进的方法的性能。值得注意的是，SegNeXt的性能优于EfficientNet-L2 w/ NAS-FPN，并且仅使用其1/10参数在Pascal VOC 2012测试一下排行榜上实现90.6% mIoU。与ad20k数据集上具有相同或更少计算的最新方法相比，SegNeXt平均实现了约2.0% mIoU改进。
设计了一种新的多尺度卷积注意（MSCA）模块。如图2 (a)所示，MSCA包含三个部分：深度卷积聚合局部信息，多分支深度条卷积捕获多尺度上下文，以及1×1卷积建模不同通道之间的关系。
2.MSCAAttention引入到YOLOv8
2.1 MSCAAttention加入ultralytics/nn/attention/MSCA .py
核心代码：
class MSCAAttention(nn.Module):
# SegNext NeurIPS 2022
# https://github.com/Visual-Attention-Network/SegNeXt/tree/main
def __init__(self, dim):
super().__init__()
self.conv0 = nn.Conv2d(dim, dim, 5, padding=2, groups=dim)
self.conv0_1 = nn.Conv2d(dim, dim, (1, 7), padding=(0, 3), groups=dim)
self.conv0_2 = nn.Conv2d(dim, dim, (7, 1), padding=(3, 0), groups=dim)
self.conv1_1 = nn.Conv2d(dim, dim, (1, 11), padding=(0, 5), groups=dim)
self.conv1_2 = nn.Conv2d(dim, dim, (11, 1), padding=(5, 0), groups=dim)
self.conv2_1 = nn.Conv2d(dim, dim, (1, 21), padding=(0, 10), groups=dim)
self.conv2_2 = nn.Conv2d(dim, dim, (21, 1), padding=(10, 0), groups=dim)
self.conv3 = nn.Conv2d(dim, dim, 1)
def forward(self, x):
u = x.clone()
attn = self.conv0(x)
attn_0 = self.conv0_1(attn)
attn_0 = self.conv0_2(attn_0)
attn_1 = self.conv1_1(attn)
attn_1 = self.conv1_2(attn_1)
attn_2 = self.conv2_1(attn)
attn_2 = self.conv2_2(attn_2)
attn = attn + attn_0 + attn_1 + attn_2
attn = self.conv3(attn)
return attn * u详见：
https://cv2023.blog.csdn.net/article/details/134032386
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。