金耀初团队&郑锋团队 | 综述: 深度工业图像异常检测

深度学习的迅速发展为工业图像异常检测(IAD)领域奠定了里程碑。欧洲科学院院士金耀初教授联合南方科技大学郑锋团队从神经网络架构、监督级别、损失函数、评价指标和数据集的角度全面审视了基于深度学习的图像异常检测技术。此外，团队提取了该技术在工业制造中可适用的场景，并回顾了在本文提出的场景下可用的IAD方法。同时还指出了图像异常检测技术当前面临的若干挑战。本文在不同监督级别下分析了集中有代表性的网络架构的优缺点。最后对研究发现进行总结，并指出未来的研究方向。

更多资料详见:

https://github.com/M-3LAB/awesome-industrial-anomaly-detection。

图片来自Springer

全文下载：

Deep Industrial Image Anomaly Detection: A Survey

Jiaqi Liu, Guoyang Xie, Jinbao Wang, Shangnian Li, Chengjie Wang, Feng Zheng & Yaochu Jin

https://link.springer.com/article/10.1007/s11633-023-1459-z

https://www.mi-research.net/en/article/doi/10.1007/s11633-023-1459-z

全文导读

深度学习的快速发展将图像异常检测技术引入了工厂车间，本文回顾了自深度学习的迅猛发展以来基于深度学习的图像异常检测的最新进展。在现代制造业中，图像异常检测(IAD)通常用于制造过程的结束阶段，旨在识别产品缺陷。产品缺陷的严重程度会显著影响产品价格。此外，如果缺陷达到一定阈值，产品将被淘汰。从历史上来看，大多数异常检测任务是由人工执行的，其弊端有如下几点：

1) 无法避免因人的疲劳而导致的虚假阳性现象(即实际情况异常，但人工判断为正常)。

2) 长时间、高强度的异常特征检测工作可能导致人的健康问题，如视力受损。

3) 定位异常特征需要大量人力，运营成本较高。

可见，IAD算法的目标是减少人力劳动，提高生产效率和产品质量。在深度学习技术诞生之前，IAD的性能无法满足工业制造的要求。如今，深度学习技术在此领域取得了良好效果，大多数方法的准确率超过97%。然而在实际应用中，IAD仍然存在许多问题。为了全面探讨当前方法的有效性和适用场景，有必要进行更为细致的IAD分析。

表1清楚地展示了本文的调查在数据集、评价指标、神经网络架构、监督级别和可适用的工业制造场景方面的优点。

表1 此前及本文对于IAD的相关研究

IAD研究作为一个新兴领域，必须充分考虑工业制造的要求。以下总结了一些有待进一步研究的挑战性问题：

1)IAD数据集应从实际制造线上而非实验室中进行收集。由于隐私权限，公众无法访问真实的异常数据集。大多数开源的IAD数据集会从无异常的产品中生成异常特征。换句话说，开源IAD数据集中的异常可能在实际生产线中并不存在，这对IAD在工业制造中的实际应用造成了很大困难。

2)在缺乏多领域IAD数据集的情况下，创建统一的IAD模型也是很大的挑战。最近，有学者提出了一个适用于多类对象的统一IAD模型。但其忽视了一点，即在同一工厂生产的商品应该属于同一类型。例如，汽车制造商生产多种类型的工件，但不生产水果。像MVTec AD和MVTec LOCO等当前流行的IAD数据集，涵盖了大量类别，但没有覆盖多个领域。为了模拟真实的制造过程，我们必须创建一个能够从多个领域收集样本的新IAD数据集。

3)建立统一的IAD性能图像级和像素级评估标准是当务之急。大多数IAD评价指标将异常掩模(实际情况)缩小到特征图的大小进行评估，这难免会降低评估的精度。此外，本文发现某些IAD方法在图像级AUROC上表现良好，但在像素级AP上表现不佳，反之亦然。因此，有必要创建一个统一的评价指标，以便更好地评估IAD的图像级及像素级性能。

4)应该设计一种更高效的损失函数，既能利用标记数据进行指导，又能探索未标记数据。在实际制造场景中，可用的异常样本数量有限。然而，大多数无监督的IAD方法优于半监督的IAD方法。鉴于我们观察到的半监督IAD中的失败现象，本文呼吁学界更加关注特征提取和损失函数，它们可以高效利用标记的指导和未标记数据。关于上述提到的关键问题，改进异常样本中的特征提取技术并重新设计偏差损失函数有助于充分利用已标记的异常特征，并切分异常样本与正常样本的特征空间。

本文将不同方法分为几种范式，并清晰地分析了其优缺点。本文使读者能够快速了解最新技术，并为选择实际应用所需的算法提供可靠建议。更重要的是，本文分析了不同范式的缺点及当前面临的主要挑战。接下来的研究人员可以快速找到推动该领域发展的方向。

作者团队

全文下载：

Deep Industrial Image Anomaly Detection: A Survey

Jiaqi Liu, Guoyang Xie, Jinbao Wang, Shangnian Li, Chengjie Wang, Feng Zheng & Yaochu Jin

https://link.springer.com/article/10.1007/s11633-023-1459-z

https://www.mi-research.net/en/article/doi/10.1007/s11633-023-1459-z

BibTex:

@Article {MIR-2023-03-040,

author={Jiaqi Liu, Guoyang Xie, Jinbao Wang, Shangnian Li, Chengjie Wang, Feng Zheng, Yaochu Jin},

journal={Machine Intelligence Research},

title={Deep Industrial Image Anomaly Detection: A Survey},

year={2024},

volume={21},

issue={1},

pages={104-135},

doi={10.1007/s11633-023-1459-z} }