《深度学习工业缺陷检测》介绍
原创
💡💡💡深度学习工业缺陷检测
1）提供工业小缺陷检测性能提升方案，满足部署条件；
2）针对缺陷样品少等难点，引入无监督检测；
3）深度学习 C++、C#部署方案；
4）实战工业缺陷检测项目，学习如何选择合适的框架和模型；
layers | parameters | GFLOPs | mAP50 | mAP50-95 | |
|---|---|---|---|---|---|
YOLOv8n | 168 | 3006038 | 8.1 | 0.679 | 0.322 |
YOLOv8n_smallobject | 207 | 2977720 | 12.5 | 0.702 | 0.359 |
Wasserstein loss | 168 | 3006038 | 8.1 | 0.714 | 0.342 |
YOLOv8n_CSPStage | 232 | 2982742 | 8.1 | 0.727 | 0.339 |
YOLOv8n_smallobject _CSPStage | 303 | 2953528 | 12.5 | 0.734 | 0.376 |
YOLOv8n_smallobject _CSPStage+Wasserstein loss | 303 | 2953528 | 12.5 | 0.814 | 0.416 |
1.基于Yolov8的工业小目标缺陷检测
1.工业油污数据集介绍 三星油污缺陷类别：头发丝和小黑点，["TFS","XZW"]
数据集大小：660张，包括部分良品图像，提升背景检测能力。
数据集地址：https://download.csdn.net/download/m0_63774211/87741209
缺陷特点：小目标缺陷，检测难度大，如下图所示；
1.1 动态蛇形卷积（Dynamic Snake Convolution），实现暴力涨点 | ICCV2023
Dynamic Snake Convolution | 亲测在工业小目标缺陷涨点明显，原始mAP@0.5 0.679提升至0.743
主要的挑战源于细长微弱的局部结构特征与复杂多变的全局形态特征。本文关注到管状结构细长连续的特点，并利用这一信息在神经网络以下三个阶段同时增强感知：特征提取、特征融合和损失约束。分别设计了动态蛇形卷积（Dynamic Snake Convolution），多视角特征融合策略与连续性拓扑约束损失。
YOLOv8-C2f-DySnakeConv summary: 249 layers, 3425894 parameters, 0 gradients, 8.7 GFLOPs
Class Images Instances Box(P R mAP50 mAP50-95): 100%|██████████| 2/2 [00:04<00:00, 2.15s/it]
all 66 187 0.722 0.668 0.743 0.342
TFS 66 130 0.582 0.6 0.638 0.2951.2 微小目标检测可能存在检测能力不佳的现象，添加一个微小物体的检测头
多头检测器 | 亲测在工业小目标缺陷涨点明显，原始mAP@0.5 0.679提升至0.702
OLOv8n_4 summary (fused): 207 layers, 2977720 parameters, 0 gradients, 12.5 GFLOPs
Class Images Instances Box(P R mAP50 mAP50-95): 100%|██████████| 3/3 [00:04<00:00, 1.64s/it]
all 66 187 0.68 0.612 0.702 0.359
TFS 66 130 0.486 0.487 0.52 0.228
XZW 66 57 0.875 0.737 0.885 0.491.3 SPD-Conv，低分辨率图像和小物体涨点明显
SPD-Conv | 亲测在工业小目标缺陷涨点明显，原始mAP@0.5 0.679提升至0.775
SPD- conv由一个空间到深度(SPD)层和一个非跨步卷积层组成。SPD组件推广了一种(原始)图像转换技术[29]来对CNN内部和整个CNN的特征映射进行下采样：
YOLOv8n_SPD summary (fused): 174 layers, 3598934 parameters, 0 gradients, 49.2 GFLOPs
Class Images Instances Box(P R mAP50 mAP50-95): 100%|██████████| 3/3 [00:13<00:00, 4.51s/it]
all 66 187 0.741 0.693 0.775 0.415
TFS 66 130 0.593 0.562 0.629 0.314
XZW 66 57 0.89 0.825 0.92 0.5161.4大缺陷小缺陷一网打尽的轻量级目标检测器GiraffeDet
GiraffeDet | 亲测在工业小目标缺陷涨点明显，原始mAP@0.5 0.679提升至0.727
YOLOv8n_4_CSPStage summary: 303 layers, 2953528 parameters, 0 gradients, 12.5 GFLOPs
Class Images Instances Box(P R mAP50 mAP50-95): 100%|██████████| 3/3 [00:04<00:00, 1.56s/it]
all 66 187 0.689 0.68 0.734 0.376
TFS 66 130 0.523 0.554 0.571 0.267
XZW 66 57 0.855 0.807 0.896 0.4861.5 多检测头结合小缺陷到大缺陷一网打尽的轻量级目标检测器GiraffeDet
多头检测器+ GiraffeDet | 亲测在工业小目标缺陷涨点明显，原始mAP@0.5 0.679提升至0.734
YOLOv8n_4_CSPStage summary: 303 layers, 2953528 parameters, 0 gradients, 12.5 GFLOPs
Class Images Instances Box(P R mAP50 mAP50-95): 100%|██████████| 3/3 [00:04<00:00, 1.56s/it]
all 66 187 0.689 0.68 0.734 0.376
TFS 66 130 0.523 0.554 0.571 0.267
XZW 66 57 0.855 0.807 0.896 0.4861.6 Wasserstein Distance Loss，助力工业缺陷检测
Wasserstein Distance Loss | 亲测在工业小目标缺陷涨点明显，原始mAP@0.5 0.679提升至0.727
Wasserstein distance的主要优点是：
- 无论小目标之间有没有重叠都可以度量分布相似性;
- NWD对不同尺度的目标不敏感，更适合测量小目标之间的相似性。
NWD可应用于One-Stage和Multi-Stage Anchor-Based检测器。此外，NWD不仅可以替代标签分配中的IoU，还可以替代非最大抑制中的IoU(NMS)和回归损失函数。在一个新的TOD数据集AI-TOD上的大量实验表明，本文提出的NWD可以持续地提高所有检测器的检测性能。
YOLOv8n summary (fused): 168 layers, 3006038 parameters, 0 gradients, 8.1 GFLOPs
Class Images Instances Box(P R mAP50 mAP50-95): 100%|██████████| 3/3 [00:04<00:00, 1.45s/it]
all 66 187 0.673 0.649 0.714 0.342
TFS 66 130 0.573 0.579 0.615 0.283
XZW 66 57 0.772 0.719 0.813 0.4011.7 1.7 工业部署级解决方案： 多头检测器+小缺陷到大缺陷一网打尽的+Wasserstein Distance Loss
YOLOv8_4_CSPStage summary: 303 layers, 2953528 parameters, 0 gradients, 12.5 GFLOPs
Class Images Instances Box(P R mAP50 mAP50-95): 100%|██████████| 2/2 [00:04<00:00, 2.19s/it]
all 66 187 0.783 0.705 0.814 0.416
TFS 66 130 0.647 0.619 0.693 0.317
XZW 66 57 0.919 0.792 0.935 0.514
2.工业缺陷检测全流程解决方案
2.1 工业无监督缺陷检测，提升缺陷检测能力，解决缺陷样品少、不平衡等问题
2.2 工业无监督缺陷检测，提升缺陷检测能力，解决缺陷样品少、不平衡等问题（二）
2.3 工业缺陷检测全流程解决方案，提供检测+后处理、分割+后处理、检测+RoI分割+后处理解决方案
3.深度学习部署
3.1 Opencv DNN + C++部署
3.2 C++ GPU部署方式介绍：ONNX Runtime
3.3 YOLOV8 Onnxruntime Opencv DNN C++部署
4.深度学习工业项目分享
4.1 基于yolov5的缺陷检测算法（工件缺陷）
4.2 手机背板缺陷分割
4.3 小目标摄像头镜头缺陷检测
4.4 划痕缺陷检测
4.5 玻璃瓶盖缺陷检测
4.6 菌落(colony)计数
详见：
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
评论
登录后参与评论
推荐阅读
目录
腾讯云开发者
