💡💡💡本文创新:魔改SimAM注意力,引入切片操作,增强小目标特征提取能力
💡💡💡问题点:SimAM计算整张特征图的像素差平均值时加权可能会忽略小目标的重要性,同时与整体平均值相比可能和背景信息相似,导致加权增强较弱,进而使得SimAM对小目标的增强能力较差。
💡💡💡本文解决对策:引入了切片操作,当特征图被切成不同的块后,大目标由于其纹理特征明显会影响所在块的平均值,导致其获得的额外加权减少,而合并特征图后,大目标依然可以保持高可识别度甚至获得进一步增强;而小目标的特征与局部平均值差距更大,从而获得更多加权,小目标特征得到增强,即sws模块保证了大、小目标都获得了公正的关注和增强。
💡💡💡Mask mAP50 从原始的0.926 提升至0.932
改进结构图如下:
Ultralytics YOLO11是一款尖端的、最先进的模型,它在之前YOLO版本成功的基础上进行了构建,并引入了新功能和改进,以进一步提升性能和灵活性。YOLO11设计快速、准确且易于使用,使其成为各种物体检测和跟踪、实例分割、图像分类以及姿态估计任务的绝佳选择。
添加图片注释,不超过 140 字(可选)
Segmentation 官方在COCO数据集上做了更多测试:
包裹分割数据集是一个精选的图片集合,专门为计算机视觉领域中与包裹分割相关的任务量身定制。这个数据集旨在帮助研究人员、开发者和爱好者们进行与包裹识别、分类和处理相关的项目。
该数据集包含了一系列展示不同背景和环境下各种包裹的多样化图片,是训练和评估分割模型的宝贵资源。无论您从事的是物流、仓库自动化还是任何需要精确包裹分析的应用,包裹分割数据集都提供了一个针对性强且全面的图片集,以提高您的计算机视觉算法的性能。
数据集结构
包装分割数据集的数据分布结构如下:
应用
由包装分割数据集(Package Segmentation Dataset)推动的包装分割对于优化物流、加强最后一英里配送、改进制造质量控制以及促进智能城市解决方案至关重要。从电子商务到安全应用,该数据集是一项关键资源,促进了计算机视觉领域的创新,实现了多样化和高效的包装分析应用。
YOLO11-seg summary (fused): 265 layers, 2,834,763 parameters, 0 gradients, 10.2 GFLOPs
Class Images Instances Box(P R mAP50 mAP50-95) Mask(P R mAP50 mAP50-95): 100%|██████████| 6/6 [00:10<00:00, 1.79s/it]
all 188 693 0.875 0.921 0.925 0.839 0.9 0.902 0.926 0.809
Mask mAP50 为0.926
MaskPR_curve.png
预测结果如下:
摘要:SimAM是一个无神经网络的特征增强模块,具有轻量级的优点,且在提升识别性能方面有潜力,基于此我们设计了新模块sws,之所以加入切片操作是因为SimAM计算整张特征图的像素差平均值时加权可能会忽略小目标的重要性,小目标在航拍图像中占比比较小,与整体平均值相比可能和背景信息相似,导致加权增强较弱,进而使得SimAM对小目标的增强能力较差。
因此我们引入了切片操作,当特征图被切成不同的块后,大目标由于其纹理特征明显会影响所在块的平均值,导致其获得的额外加权减少,而合并特征图后,大目标依然可以保持高可识别度甚至获得进一步增强;而小目标的特征与局部平均值差距更大,从而获得更多加权,小目标特征得到增强,即sws模块保证了大、小目标都获得了公正的关注和增强。
性能如下:
结合YOLO11结构图:
Mask mAP50 从原始的0.926 提升至0.932
YOLO11-seg-SimAMWithSlicing summary (fused): 271 layers, 2,834,763 parameters, 0 gradients, 10.2 GFLOPs
Class Images Instances Box(P R mAP50 mAP50-95) Mask(P R mAP50 mAP50-95): 100%|██████████| 6/6 [00:08<00:00, 1.44s/it]
all 188 693 0.867 0.922 0.929 0.838 0.871 0.924 0.932 0.811
4) 原创自研 | 一种新颖的跨通道交互的高效率通道注意力EMCA
5) SPPF原创自研 | SPPF_attention,能够在不同尺度上更好的、更多的关注注意力特征信息
7)全局到局部可控感受野模块GL-CRM ,量身为为多尺度变化而设计
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。