YOLOv8改进全网首发：DCNv4更快收敛、更高速度、更高性能，效果秒杀DCNv3、DCNv2等 ，助力检测
原创YOLOv8改进全网首发：DCNv4更快收敛、更高速度、更高性能，效果秒杀DCNv3、DCNv2等 ，助力检测
原创
💡💡💡本文独家改进：DCNv4更快收敛、更高速度、更高性能，完美和YOLOv8结合，助力涨点
DCNv4优势：(1) 去除空间聚合中的softmax归一化，以增强其动态性和表达能力；(2) 优化存储器访问以最小化冗余操作以加速。这些改进显著加快了收敛速度，并大幅提高了处理速度，DCNv 4实现了三倍以上的前向速度。
💡💡💡难点：如何编译DCNv4，提供windows编译环境。
1.DCNv4介绍
论文： https://arxiv.org/pdf/2401.06197.pdf
摘要：我们介绍了可变形卷积v4 (DCNv4)，这是一种高效的算子，专为广泛的视觉应用而设计。DCNv4通过两个关键增强解决了其前身DCNv3的局限性:去除空间聚合中的softmax归一化，增强空间聚合的动态性和表现力;优化内存访问以最小化冗余操作以提高速度。与DCNv3相比，这些改进显著加快了收敛速度，并大幅提高了处理速度，其中DCNv4的转发速度是DCNv3的三倍以上。DCNv4在各种任务中表现出卓越的性能，包括图像分类、实例和语义分割，尤其是图像生成。当在潜在扩散模型中与U-Net等生成模型集成时，DCNv4的性能优于其基线，强调了其增强生成模型的可能性。在实际应用中，将InternImage模型中的DCNv3替换为DCNv4来创建FlashInternImage，无需进一步修改即可使速度提高80%，并进一步提高性能。DCNv4在速度和效率方面的进步，以及它在不同视觉任务中的强大性能，显示了它作为未来视觉模型基础构建块的潜力。
图1所示。(a)我们以DCNv3为基准显示相对运行时间。DCNv4比DCNv3有明显的加速，并且超过了其他常见的视觉算子。(b)在相同的网络架构下，DCNv4收敛速度快于其他视觉算子，而DCNv3在初始训练阶段落后于视觉算子。
为了克服这些挑战，我们提出了可变形卷积v4 (DCNv4)，这是一种创新的进步，用于优化稀疏DCN算子的实际效率。DCNv4具有更快的实现速度和改进的操作符设计，以增强其性能，我们将详细说明如下: 首先，我们对现有实现进行指令级内核分析，发现DCNv3已经是轻量级的。计算成本不到1%，而内存访问成本为99%。这促使我们重新审视运算符实现，并发现DCN转发过程中的许多内存访问是冗余的，因此可以进行优化，从而实现更快的DCNv4实现。 其次，从卷积的无界权值范围中得到启发，我们发现在DCNv3中，密集关注下的标准操作——空间聚合中的softmax归一化是不必要的，因为它不要求算子对每个位置都有专用的聚合窗口。直观地说，softmax将有界的0 ~ 1值范围放在权重上，并将限制聚合权重的表达能力。这一见解使我们消除了DCNv4中的softmax，增强了其动态特性并提高了其性能。 因此，DCNv4不仅收敛速度明显快于DCNv3，而且正向速度提高了3倍以上。这一改进使DCNv4能够充分利用其稀疏特性，成为最快的通用核心视觉算子之一。
我们进一步将InternImage中的DCNv3替换为DCNv4，创建FlashInternImage。值得注意的是，与InternImage相比，FlashInternImage在没有任何额外修改的情况下实现了50 ~ 80%的速度提升。这一增强定位FlashInternImage作为最快的现代视觉骨干网络之一，同时保持卓越的性能。在DCNv4的帮助下，FlashInternImage显著提高了ImageNet分类[10]和迁移学习设置的收敛速度，并进一步提高了下游任务的性能。
图2。(a)注意力(Attention)和(b) DCNv3使用有限的(范围从0 ~ 1)动态权值来聚合空间特征，而注意力的窗口(采样点集)是相同的，DCNv3为每个位置使用专用的窗口。(c)卷积对于聚合权值具有更灵活的无界值范围，并为每个位置使用专用滑动窗口，但窗口形状和聚合权值是与输入无关的。(d) DCNv4结合两者的优点，采用自适应聚合窗口和无界值范围的动态聚合权值。
图3。说明我们的优化。在DCNv4中，我们使用一个线程来处理同一组中的多个通道，这些通道共享采样偏移量和聚合权重。可以减少内存读取和双线性插值系数计算等工作负载，并且可以合并多个内存访问指令。
2.如何将DCNV4将入到YOLOv8
2.1 源码下载
下载链接：https://github.com/OpenGVLab/DCNv4
将 DCNv4_op文件夹放入ultralytics\nn目录下
编译通过
2.2 yolov8_C2f_DCNv4.yaml
# Ultralytics YOLO 🚀, AGPL-3.0 license
# YOLOv8 object detection model with P3-P5 outputs. For Usage examples see https://docs.ultralytics.com/tasks/detect
# Parameters
nc: 80 # number of classes
scales: # model compound scaling constants, i.e. 'model=yolov8n.yaml' will call yolov8.yaml with scale 'n'
# [depth, width, max_channels]
n: [0.33, 0.25, 1024] # YOLOv8n summary: 225 layers, 3157200 parameters, 3157184 gradients, 8.9 GFLOPs
s: [0.33, 0.50, 1024] # YOLOv8s summary: 225 layers, 11166560 parameters, 11166544 gradients, 28.8 GFLOPs
m: [0.67, 0.75, 768] # YOLOv8m summary: 295 layers, 25902640 parameters, 25902624 gradients, 79.3 GFLOPs
l: [1.00, 1.00, 512] # YOLOv8l summary: 365 layers, 43691520 parameters, 43691504 gradients, 165.7 GFLOPs
x: [1.00, 1.25, 512] # YOLOv8x summary: 365 layers, 68229648 parameters, 68229632 gradients, 258.5 GFLOPs
# YOLOv8.0n backbone
backbone:
# [from, repeats, module, args]
- [-1, 1, Conv, [64, 3, 2]] # 0-P1/2
- [-1, 1, Conv, [128, 3, 2]] # 1-P2/4
- [-1, 3, C2f, [128, True]]
- [-1, 1, Conv, [256, 3, 2]] # 3-P3/8
- [-1, 6, C2f, [256, True]]
- [-1, 1, Conv, [512, 3, 2]] # 5-P4/16
- [-1, 6, C2f, [512, True]]
- [-1, 1, Conv, [1024, 3, 2]] # 7-P5/32
- [-1, 3, C2f, [1024, True]]
- [-1, 1, SPPF, [1024, 5]] # 9
# YOLOv8.0n head
head:
- [-1, 1, nn.Upsample, [None, 2, 'nearest']]
- [[-1, 6], 1, Concat, [1]] # cat backbone P4
- [-1, 3, C2f_DCNv4, [512]] # 12
- [-1, 1, nn.Upsample, [None, 2, 'nearest']]
- [[-1, 4], 1, Concat, [1]] # cat backbone P3
- [-1, 3, C2f_DCNv4, [256]] # 15 (P3/8-small)
- [-1, 1, Conv, [256, 3, 2]]
- [[-1, 12], 1, Concat, [1]] # cat head P4
- [-1, 3, C2f_DCNv4, [512]] # 18 (P4/16-medium)
- [-1, 1, Conv, [512, 3, 2]]
- [[-1, 9], 1, Concat, [1]] # cat head P5
- [-1, 3, C2f_DCNv4, [1024]] # 21 (P5/32-large)
- [[15, 18, 21], 1, Detect, [nc]] # Detect(P3, P4, P5)
by AI小怪兽
https://blog.csdn.net/m0_63774211?type=lately
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
腾讯云开发者
