PromptAD | 告别训练！用文本提示“教”AI实现缺陷检测

我们描述PromptAD框架，首先概述整体结构，再详细说明各个组件。PromptAD基于共享的CLIP模型构建了两个互补的分支，异常分支直接对可用异常样本的分布进行建模，而正常分支则对正常样本的分布进行建模，直接衡量查询图像与正常描述的一致性。为促进双视角间的互补知识迁移，本文提出跨视角对比学习（CCL）方法，通过引入互补视角的参考信息来规范视角内训练。此外，两个分支还通过跨视角相互交互机制，显式地探索彼此的知识。

模型架构

该框架采用双分支网络设计，旨在分别从正常性（图上部分）和异常性（图下部分）两个视角检测异常。正常分支通过建立以图像和正常文本提示为条件的正常数据模型，学习检测分布外模式。异常分支则尝试通过以图像和异常文本提示为条件直接识别异常。我们提出跨视角对比学习（CCL）方法，通过融入对向视角的互补信息来提升各分支的异常定位能力。两个分支还通过跨视角相互交互机制进一步探索彼此的知识。

跨视角对比学习（CCL）流程示意图

以正常分支为例：为生成视角内正常性分数，对qintra_nor的每个空间位置应用线性分类器，进行逐点正常性分数预测。为生成跨视角异常性分数，将正常感知特征qintra_nor与异常视角的语义原型φabn进行内积相似度比较。最终通过逐元素减法将双视角分数融合，实现无偏异常检测sn。

实验结果

零样本异常检测设置下，MVTec数据集与AITEX数据集的平均AUC性能表现。最佳成绩已用红色标出

划重点：

想要学会无监督先搞懂深度学习跟大模型部署推理是第一步!

学习OpenVINO2025