YOLO11实战：GC10-DET缺陷检测 |多级特征融合金字塔（HS-FPN），助力缺陷检测（2）

原创

AI小怪兽

发布于 2024-12-27 13:48:02

1.1K0

文章被收录于专栏：毕业设计毕业设计 YOLO大作战

💡💡💡本文独家改进：高层筛选特征金字塔网络（HS-FPN），能够刷选出大小目标，增强模型表达不同尺度特征的能力，助力小目标检测

💡💡💡涨点情况：GC10-DET缺陷检测，原始mAP50为0.633 提升至0.641

1.YOLO11介绍

Ultralytics YOLO11是一款尖端的、最先进的模型，它在之前YOLO版本成功的基础上进行了构建，并引入了新功能和改进，以进一步提升性能和灵活性。YOLO11设计快速、准确且易于使用，使其成为各种物体检测和跟踪、实例分割、图像分类以及姿态估计任务的绝佳选择。

结构图如下：

1.1 C3k2

C3k2，结构图如下

C3k2，继承自类C2f，其中通过c3k设置False或者Ture来决定选择使用C3k还是Bottleneck

实现代码ultralytics/nn/modules/block.py

1.2 C2PSA介绍

借鉴V10 PSA结构，实现了C2PSA和C2fPSA，最终选择了基于C2的C2PSA（可能涨点更好？）

实现代码ultralytics/nn/modules/block.py

1.3 11 Detect介绍

分类检测头引入了DWConv（更加轻量级，为后续二次创新提供了改进点），结构图如下（和V8的区别）：

实现代码ultralytics/nn/modules/head.py

2.如何训练GC10-DET数据集

2.1 数据集介绍

数据集大小，训练集1833张，验证集459张

下载地址：

https://download.csdn.net/download/m0_63774211/89991499?spm=1001.2014.3001.5501

标签可视化：存在大小缺陷，缺陷类别不均衡等特点

2.2 GC10.yaml

# Ultralytics YOLO 🚀, AGPL-3.0 license
# COCO 2017 dataset https://cocodataset.org by Microsoft
# Documentation: https://docs.ultralytics.com/datasets/detect/coco/
# Example usage: yolo train data=coco.yaml
# parent
# ├── ultralytics
# └── datasets
#     └── coco  ← downloads here (20.1 GB)

# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: D:/YOLOv11/data/GC10-DET # dataset root dir
train: images/train # train images (relative to 'path') 118287 images
val: images/val # val images (relative to 'path') 5000 images
#test: test-dev2017.txt # 20288 of 40670 images, submit to https://competitions.codalab.org/competitions/20794

# Classes
names:
  0: chongkong
  1: hanfeng
  2: yueyawan
  3: shuiban
  4: youban
  5: siban
  6: yiwu
  7: yahen
  8: zhehen
  9: yaozhe

2.3 如何训练

import warnings
warnings.filterwarnings('ignore')
from ultralytics import YOLO

if __name__ == '__main__':
    model = YOLO('ultralytics/cfg/models/11/yolo11.yaml')
    #model.load('yolov8n.pt') # loading pretrain weights
    model.train(data='data/GC10.yaml',
                cache=False,
                imgsz=640,
                epochs=200,
                batch=8,
                close_mosaic=10,
                device='0',
                optimizer='SGD', # using SGD
                project='runs/train',
                name='exp',
                )

2.4 原始训练结果可视化

原始mAP50为 0.633

YOLO11 summary (fused): 281 layers, 2,827,814 parameters, 0 gradients, 6.3 GFLOPs
                 Class     Images  Instances      Box(P          R      mAP50  mAP50-95): 100%|██████████| 15/15 [00:21<00:00,  1.44s/it]
                   all        459        747       0.67      0.615      0.633      0.327
             chongkong         53         54       0.78      0.944      0.934      0.639
               hanfeng          7         10      0.395        0.8       0.48      0.178
              yueyawan        138        171      0.656      0.524      0.556      0.231
               shuiban         71         91      0.799      0.648       0.71      0.385
                youban        105        106      0.826      0.764      0.817      0.449
                 siban         45         92      0.522      0.154       0.26     0.0919
                  yiwu         43        104      0.678      0.471      0.553      0.258
                 yahen         10         21      0.176     0.0476      0.119     0.0251
                zhehen         71         71      0.941      0.905      0.948      0.545
                yaozhe         27         27      0.926      0.889      0.949      0.467

预测结果如下：

3.MFDS-DETR原理介绍

论文： https://arxiv.org/pdf/2401.00926.pdf

摘要：在标准的医院血液检测中，传统的过程需要医生手动分离白细胞。用显微镜观察病人血液的显微图像。然后将这些分离的白细胞通过自动白细胞分类器进行分类，以确定不同的比例和体积血液样本中存在的白细胞类型，有助于疾病诊断。这种方法不是但由于以下因素，它也有很高的出错倾向作为图像质量和环境条件，这可能潜在地导致不正确的后续分类与误诊。当代白细胞检测方法表现出局限性。在处理具有较少白细胞特征的图像和不同尺度之间的差异时白细胞，在大多数情况下导致不满意的结果。为了解决这些问题，本文提出了一种创新的白细胞检测方法：多层次特征融合与变形。自我注意力检测（MFDS-DETR）。为了解决白细胞规模差异的问题，我们设计了高级筛选特征融合金字塔（HS-FPN），实现多级融合。这个模型使用高级特征作为权重以经由信道关注模块过滤低级特征信息，以及然后将筛选后的信息与高级特征合并，从而增强模型的特征表达能力。此外，我们通过合并A来解决白细胞特征缺乏的问题。在编码器中使用多尺度可变形自注意模块，在解码器中使用自注意和交叉可变形注意机制，有助于全局特征的提取。白细胞特征图。通过与其他前沿白细胞检测模型的比较，证实了所提出的MFDSDETR方法的有效性、优越性和可推广性使用私有WBCDD、公共LISC和BCCD数据集。

该架构名为MFDS-DETR（多级特征融合与可变形自注意力DETR），旨在解决检测尺度不同且在图像中可能特征有限的白细胞的挑战。

以下是MFDS-DETR架构四个部分的分解：

骨干网：这是从输入图像中提取特征的基础网络。通常，像ResNet或VGG这样的预训练卷积神经网络（CNN）被用作骨干网。

高层筛选特征金字塔网络（HS-FPN）：这个组件旨在处理不同白细胞之间的尺度差异问题。它很可能是一个特征金字塔网络（FPN），创建了一个多尺度特征层次结构，允许模型检测不同大小的白细胞。高层特征用于筛选（或权衡）低层特征，然后与高层特征融合，以增强模型表达不同尺度特征的能力。

编码器：编码器负责对骨干网和HS-FPN提取的特征进行编码。它可能结合多尺度可变形自注意力模块，以进一步增强特征提取过程。可变形卷积网络可以自适应地调整其感受野，以关注图像中更多信息丰富的区域，这对于检测形状和大小变化的对象特别有用。

解码器：解码器获取编码后的特征，并使用它们来预测图像中白细胞的位置和类别。它可能使用自注意力和交叉可变形注意力机制，通过考虑特征图中的全局上下文来细化检测。

HS-FPN的结构如图2所示，包括两个主要组成部分：

特征选择模块；
特征融合模块。

4.HS-FPN二次创新到YOLO11

4.1 改进结果可视化

实验结果如下：

原始mAP50为0.633 提升至0.641

YOLO11-HSFPN summary (fused): 280 layers, 1,860,758 parameters, 0 gradients, 5.6 GFLOPs
                 Class     Images  Instances      Box(P          R      mAP50  mAP50-95): 100%|██████████| 15/15 [00:21<00:00,  1.45s/it]
                   all        459        747      0.601      0.617      0.641      0.316
             chongkong         53         54      0.748      0.963      0.872      0.618
               hanfeng          7         10      0.287        0.5      0.564       0.21
              yueyawan        138        171      0.606      0.526      0.555      0.243
               shuiban         71         91      0.788      0.703      0.726      0.401
                youban        105        106      0.609      0.934      0.862      0.308
                 siban         45         92      0.452      0.196      0.313      0.105
                  yiwu         43        104      0.579      0.475      0.534      0.237
                 yahen         10         21      0.146     0.0952      0.154     0.0407
                zhehen         71         71      0.929      0.921      0.947       0.54
                yaozhe         27         27      0.868      0.852      0.878      0.452

源码免费获取：

私信免费获取源码

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

腾讯技术创作特训营S11#重启人生

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

腾讯技术创作特训营S11#重启人生

登录后参与评论

0 条评论

热度