干货 | 零样本工业缺陷检测方法概览

基于CNN与特征比对的缺陷检测方法

以PatchCore为代表的正样本学习方法是当前零样本工业缺陷检测的主流技术之一。该方法基于预训练的卷积神经网络（CNN），通常在ImageNet等大规模数据集上进行特征提取器的训练。

其核心思想是仅使用正常样本构建一个高维特征记忆库，将待检测图像划分为多个局部图像块（patches），并通过CNN提取每个图像块的特征向量。在推理阶段，同样提取测试图像的特征，并与记忆库中存储的正常特征进行比对，计算特征间的距离或相似度。

图像来自AI缺陷检测大师软件

当某个图像块的特征与正常特征库差异显著时，即被判定为缺陷区域。PatchCore方法利用多尺度特征聚合和最近邻搜索等技术，有效提升了检测的准确性和稳定性。这种方法不需要缺陷样本进行训练，适应性强，尤其适用于纹理规则、背景一致的产品表面检测，如金属、织物、半导体芯片等。然而，它对特征提取的质量和记忆库的构建要求较高，且在处理复杂结构或高变异性的正常模式时可能存在一定的误检风险。

Transformer特征比对缺陷检测方法

随着Transformer架构在视觉领域的成功，基于自监督学习的视觉Transformer（ViT）模型，如DINO和CLIP，也被应用于零样本缺陷检测。这类方法利用Transformer强大的全局上下文建模能力，直接从图像中学习丰富的语义特征。

以DINO为例，它通过自蒸馏训练策略，使模型能够在不使用人工标注的情况下学习到图像的密集特征表示。在缺陷检测中，正常样本的特征被提取并构建参考特征集，测试图像通过同一Transformer网络提取特征后，与参考集进行相似性比对，异常区域会表现为特征不一致。

CLIP模型则通过对比学习将图像与文本描述对齐，但在纯视觉缺陷检测中，可仅利用其视觉编码器提取特征。基于Transformer的方法通常能捕获更全局和语义化的特征，对形状和结构缺陷较为敏感，适用于复杂产品或组件的外观检测。不过，这类模型计算开销较大，且需要足够的正常样本以覆盖其外观变化，对数据要求相对较高。

多模态网络的文本提示指导方法

以CLIP、InternVL等为代表的多模态网络，为工业缺陷检测提供了新的零样本思路。这类方法不仅利用视觉特征，还引入了文本提示（text prompt）作为指导信息。例如，用户可以通过自然语言描述缺陷的类型（如“划痕”、“凹陷”、“污渍”等），CLIP模型将文本提示编码为文本特征，同时将待检测图像编码为视觉特征，然后计算图像区域与文本提示之间的相似度。若某区域与缺陷描述的特征相似度高，则被判定为缺陷。InternVL等更大规模的多模态模型进一步增强了跨模态对齐能力，支持更精细的提示设计。这种方法的最大优势是灵活性和可解释性：无需训练即可根据不同的文本提示检测多种缺陷，实现“开箱即用”的检测。它适用于多品类、小批量的生产场景，能够快速适应新产品或新缺陷类型。然而，其性能依赖于预训练模型的质量和提示词设计的准确性，在工业细微缺陷或高精度要求下可能面临挑战，需要结合领域知识进行优化。