AI Talk | AI工业质检之以图搜图引擎

作者：maopengwang

伴随人工智能的极速发展，AI工业也随之大放异彩，工业质检是整个制造中一个非常重要的环节，传统人工工业质检缺乏统一性标准，人工质检效率低，人工质检失误多，制造企业招工难，AI智能质检也随之被各大AI公司看好，AI质检具有天然优势，成本低，效率高等，但如何工业AI质检有效落地是我们面临的一个巨大挑战，工业有本身行业的特殊性，质量标准，生产工艺，产品多样性都给AI质检系统带来阻力。

今天一篇“AI工业质检之以图搜图引擎”带大家如何解决工业漏检问题，如何回溯漏检历史现场。

01产品功能/使用

工业质检主要指标问题：过杀与漏检， 过杀是指工业产品是完好样品被AI质检系统判定为缺陷样品，漏检是指工业产品是缺陷样品被AI质检系统判定为完好样品，漏检的分析问题定位也是整个AI质检系统最难课题之一，例如AI质检系统检测了上万甚至百万样品为完好样品，在人工复查时发现个别样品是缺陷样品，这样情况如何解决问题，样品没有编号就无法还原到漏检现场，不能复现漏检现场就无法真正解决问题，为了回溯漏检历史现场，项目起初采用人工肉眼搜查，根据漏检样品特别的纹路或斑点搜索历史图片确定漏检样品拍摄图像，这样做效率低，耗时长，成本高。以图搜图引擎就是以这样背景情况设计出来，终极目的回溯漏检历史现场。

02挑战与困难

目的 一：工业环境可以多项目迁移 二：高性能，短时间回溯漏检现场 三：高命中率，快速定位问题

以图搜图发展历史悠久，目前市面流行方案绝大部分就是采用深度学习，基于训练模型方向进行图片特征提取，再根据图片特征进行比对得到余弦距离或者欧氏距离，例如使用最广泛的人脸比对，人脸聚类等，在工业该方案太过复杂，成本太高，模型训练，特征比对都是大工程，还考虑多项目迁移问题。如果使用传统opencv matchTemplate可以做到降低成本，多项目迁移，但是matchTemplate性能太低，耗时太长，该如何技术选择，方案设计？

图片

图片

03解决方案

结合工业环境特征性，搜图算法采用传统matchTemplate方案，在该算法基础内聚多项核心策略解决matchTemplate性能低，命中率低问题，核心策略围绕目标图像筛选，搜索图片选中关键区域，图像模板匹配，多任务并发。

图片

目标图像筛选：工业产品90%都是多角度成像，利用多角度成像实现产品2维化平面检测，多角度通常称多点位设计，成像严格按照点位设计固定拍摄，无论机台复制多少实例，成像都使用一套点位黄金模板，以图搜图目的是回溯漏检历史现场，这时就可以利用点位设计，把漏检样品二次拍摄，挑选样品特征明显的点位，根据单点位图像搜图漏检历史现场，这样可以节省巨大搜图时间，也同时提高搜图命中率。

关键区域与图像模板匹配：上述讲到根据点位设计可以达到目标图像筛选，从而减少搜图量，节省时间，但是传统matchTemplate算法对全图计算还是耗时极大，为了缩短耗时，以图搜图支持人工框选关键位置，根据框选的关键区域进行对比可以提升十几倍甚至上百倍性能，核心思路：搜索图片与目标图片通过黄金模板矫正得到中心偏移坐标，根据偏移坐标计算人工框选的关键区域坐标，使关键区域换算后的坐标在相应图像上的相对位置尽量相同，以便达到关键区域高效比对。

图片

模板匹配顾名思义就是给定一幅影像(模板)然后在另一幅 图像中寻找这个模板的操作。它是一种用来在一幅大图中 寻找模板图像位置的方法。在OpenCV中有cv2.matchTemplate() 函数供我们方便调用。它的工作原理与2D卷积函数一样， 将模板图像在输入图像(大图)上滑动，并且在每一个位置对 模板图像和与其对应的输入图像的子区域进行比较。返回 的结果是一个灰度图像，每一个像素值表示了此区域与模板 的匹配程度。

匹配步骤 1.输入原图像(I)和模板图像(T)。在原图像中我们希望找到一块和模板匹配的区域。 2.通过将模板在原图像上滑动来寻找最匹配的区域。这里所谓的滑动是指模板图像块一次移动一个像素(从左往右，从上往下)。在每一个位置，都进行一次度量计算，来判断该像素对应的原图像的特定区域 与模板图像的相似度。 3.对于模板T覆盖在I上的每个位置，把上一步计算的度量值保存在结果图像矩阵R中。在R中每个位置都包含对应的匹配度量值。 4.在结果图像矩阵中寻找最值(最大或最小，根据算法不同而不同)。最值所对应的像素的位置即认为是最高的匹配。以该点为顶点，长宽和模板大小图像一样的矩阵认为是匹配区域。在OpenCV中可以用cv2.minMaxLoc()函数获得最值坐标。

04案例分享

图片

腾讯云-工业AI+解决方案

从数据到服务的一站式工业智能集成化应用实施环境，推动人工智能技术在制造企业的落地，助力制造企业提质增效降本。

点击此处了解更多

降低门槛 持续迭代

通过自动化的模型迭代训练、测试评估、一键部署、服务调度、和运行监控等功能，实现零代码开发、技术门槛降低、运维效率提升。

四大系统 交付快捷

打造4大系统覆盖从数据到应用服务的端到端需求，实现模型全生命周期管理，帮助企业快速搭建工业智能平台的一站式解决方案，算法模型交付即可用。

灵活部署 弹性扩容

整体技术架构是基于腾讯的大数据和人工智能PaaS平台，可实现灵活的部署模式，以及系统的高可用性、负载均衡和弹性扩缩容能力。

主流框架 高扩展性

预置支持业界主流和腾讯自研的AI学习框架，以及腾讯多个AI实验室自研的通用和行业级算法服务，开放接口支持用户自定义算法模型。