YOLOv8小目标检测介绍

原创

AI小怪兽

修改于 2023-11-11 14:11:58

4.5K0

文章被收录于专栏：YOLO大作战YOLO大作战

Yolo小目标检测，独家首发创新（原创），适用于Yolov5、Yolov7、Yolov8等各个Yolo系列，专栏文章提供每一步步骤和源码，带你轻松实现小目标检测涨点

重点：通过本专栏的阅读，后续你可以结合自己的小目标检测数据集，在网络不同位置（Backbone、head、detect、loss等）进行魔改，实现小目标涨点和创新！！！

1.小目标检测介绍

1.1 小目标定义

1）以物体检测领域的通用数据集COCO物体定义为例，小目标是指小于32×32个像素点（中物体是指32*32-96*96，大物体是指大于96*96）； 2）在实际应用场景中，通常更倾向于使用相对于原图的比例来定义：物体标注框的长宽乘积，除以整个图像的长宽乘积，再开根号，如果结果小于3%，就称之为小目标；

1.2 难点

1）包含小目标的样本数量较少，这样潜在的让目标检测模型更关注中大目标的检测；

2）由小目标覆盖的区域更小，这样小目标的位置会缺少多样性。我们推测这使得小目标检测的在验证时的通用性变得很难；

3）anchor难匹配问题。这主要针对anchor-based方法，由于小目标的gt box和anchor都很小，anchor和gt box稍微产生偏移，IoU就变得很低，导致很容易被网络判断为negative sample；

4）它们不仅仅是小，而且是难，存在不同程度的遮挡、模糊、不完整现象；

等等难点

2. 本专栏小目标数据集

数据集下载地址：

Single-frame InfraRed Small Target

数据集大小：427张，进行3倍数据增强得到1708张，最终训练集验证集测试集随机分配为8：1：1

3.2.2 BiFPN高效双向跨尺度连接和加权特征融合

3.2.3 小目标到大目标一网打尽，轻骨干重Neck的轻量级目标检测器GiraffeDet

3.2.4 多分支卷积模块RFB

3.2.5 GOLD-YOLO，遥遥领先

3.3 loss优化

3.3.1 Wasserstein Distance Loss

3.4 注意力机制

3.4.1SEAM注意力机制

3.4.2 即插即用的多尺度融合模块EVC

3.4.3 微小目标检测的上下文增强和特征细化网络ContextAggregation

3.4.4 EMA跨空间学习的高效多尺度注意力 | ICASSP2023

3.4.5 动态稀疏注意力BiFormer | CVPR 2023

3.4.6 LSKblockAttention | ICCV 2023

3.4.7 TripletAttention注意力

3.4.8 通道优先卷积注意力（CPCA）| 中科院 2023.6

3.4.8 多尺度MultiSEAM

3.4.9 轻量级注意力MobileViTAttention | ECCV2022

3.4.10 感受野注意力卷积运算

3.4.11 Dual-ViT：一种多尺度双视觉Transformer

3.5 卷积变体

3.5.1 SPD-Conv

3.5.2 DCNv3可形变卷积 | CVPR2023

3.5.3 新的Partial卷积(PConv) | CVPR2023 FasterNet

3.5.4 ODConv | ICLR 2022

3.5.5 动态蛇形卷积（Dynamic Snake Convolution） | ICCV2023

详见：https://blog.csdn.net/m0_63774211/article/details/132322340

	layers	parameters	GFLOPs	kb	mAP50
yolov8	168	3005843	8.1	6103	0.755
Wasserstein loss	168	3005843	8.1	6103	0.784
yolov8_smallob	207	2921172	12.2	6137	0.878
yolov8_SEAM	219	3109331	8.3	6331	0.785
yolov8_SPD	174	3598739	49.2	7394	0.875
yolov8_EVC	217	7293523	11.5	14513	0.779
yolov8_BiFPN	168	3005849	8.1	6104	0.766
yolov8_ContextAggregation	195	3008092	8.1	6121	0.759
yolov8_EMA	192	3006739	8.1	6114	0.766
yolov8_DCNV3	264	2892317	7.9	5892	0.765
yolov8_MCALayer	209	2545659	7.2	5194	0.769
yolov8_BiFormerBlock	204	3356179	22.4	6800	0.758
yolov8_LSKblockAttention	201	3343333	8.7	6784	0.775
yolov8_GPFN	216	2986131	8.1	6079	0.766
yolov8_C2f_Pconv	177	2716883	7.6	5537	0.758
yolov8_ODConv	179	3012110	7.9	6121	0.76
yolov8_TripletAttention	201	3006443	8.2	6120	0.79
yolov8_ChannelAttention	171	3137427	7.8	6428	0.815
yolov8_DySnakeConv	229	3356287	8.5	6822	0.77
yolov8_MultiSEAM	325	5742291		11711	0.87
yolov8_MobileViTAttention	241	3957659	11.1	7992	0.799
yolov8-RFA	258	3019439	8.2	6166	0.765
yolov8_BasicRFB	303	3440235	8.9	7040	0.762
yolov8_RepViTBlock	186	3338387	7.9	6771	0.791
yolov8-goldyolo	359	6015123	11.9	12123	0.768
yolov8_DualAttention	186	4604819	8.3	9236	0.766