PA-CLIP|伪异常感知增强的零样本工业缺陷检测最新天花板

在工业缺陷检测领域，面临着样本数目跟缺陷类别的考验，工业缺陷异常检测方法已经从传统的卷积神经网络方法演化到更高级的零样本检测模型。

PA-CLIP作为零样本异常缺陷检测模型通过提取多尺度特征实现局部与整体特征聚合；通过两个记忆银行（正常样本与伪装异常）策略实现背景信息与真实样本特征区分；通过要给决策模块实现因环境因素影响导致的假阳性降低到最小。

在MVTec AD、VisA等基准数据集上PA-CLIP性能完全超越已经存在的其它零样本缺陷检测模型，证明它是一种工业缺陷异常检测稳定解决方案。

PA-CLIP架构详解

PA-CLIP模型架构包括三个关键组件：多尺度特征聚合模块、伪异常意识记忆模块和伪异常感知决策模块。

首先，多尺度特征聚合模块使用专用的编码器分别处理视觉和文本输入，通过在多个尺度（r=1, 3, 5）提取视觉特征，并计算它们与文本嵌入特征的相似性，该模块综合了细粒度细节和整体上下文信息。

其次，伪异常意识记忆模块实现了双存储库架构，包括特定于背景的和综合的存储库。通过系统化的数据增强和战略核心集采样，该模块促进了背景特征和异常模式之间稳健的区分。这种架构设计有效地实现了特征解纠缠，增强了系统从环境变化中隔离真缺陷的能力。

最后，伪异常感知决策模块实现了自适应融合机制，以整合来自两个记忆银行的信息。通过计算背景诱导的和综合异常图之间的差异响应，该模块有效地抑制了环境引起的伪像（由光照变化和视角变换引起），同时保留了对真实结构缺陷的高度敏感性。

实验与数据对比

实验都在H100上进行，我们采用VIT-L 14-336作为骨干架构，输入图像的大小调整为518×518。该模型包括24个特征层，我们选择第5、11、17和23层，这些层对应于VIT的线性投影层，以执行我们的任务。实验结果

消融实验证明伪装异常决策（PAD）模块与多尺度特征模块（PAM）可以有效提升工业异常检测的准确率。

学习OpenVINO2025

上位机与机器视觉开发者必备技能