专栏首页深度学习和计算机视觉如何使用3D立体视觉检查焊接线?

如何使用3D立体视觉检查焊接线?

3D立体成像技术通常用于焊线(bonding wire)检查,但存在许多挑战。其中挑战之一是难以使用块匹配算法来解决对应问题,因为某些焊线可能具有无纹理的水平结构。对于这样的对象,对应搜索可能失败或执行低效,因为算法的图像内容对于水平方向上的多个块是相同的。

图1:此示意图显示了成像系统组件的定位方式。

其他挑战还包括平行垂直线间距和阴影效应。

幸运的是,这些限制是有可能被克服的,要克服这些挑战,要从“优化用于焊线检查的3D立体成像系统”开始。

由于焊线直径可以从几微米到几百微米,光学分辨率高度依赖于应用。在选择用于焊线检查的合适的工业相机时,开发人员必须仔细考虑高度分辨率、高度范围和视场。

管灯通常是用于焊线检查应用的最合适的光源。这类装置提供均匀的空间照明,具有出色的时间稳定性和光谱稳定性,有助于保持图像的外观不随时间而改变。

为确保优化设置,用户必须考虑工作距离,从而将相机和光源安装在离扫描表面合适的距离(见图1)。将相机相对于表面法线(扫描线)以大约5°的角度安装(不是0°安装),使得物体在场景照明更强的位置处成像。

考虑到相机的倾斜角度,为了从中心角度精确测量高度,数值要乘以倾斜角的余弦值(见图2)。

图2:高度测量中相机倾斜角的校正可以用公式完成。

水平线及相应问题

立体成像应用使用基于相关的块匹配算法来求解对应关系。沿着传感器线,在水平方向上执行一对立体图像的左图像和右图像之间的对应搜索。

如前所述,在焊线检查中,对应搜索可能失败或执行低效,因为块匹配的图像内容对于水平方向上的多个块是相同的。

图3给出了该问题的图示,其中视差图像显示了非水平线的有效视差值(均匀灰色),以及水平线的可能错误或不相关的值(不均匀的灰色和黑色区域)。

图3:从视差图像中,我们看到非水平线的有效视差值(均匀灰色),以及水平线的可能错误或不相关的值(不均匀的灰色和黑色区域)。

该问题的三种可能解决方案包括:

•如果可能,在图像平面中旋转扫描对象,使水平线不会出现。

•如果可能,旋转相机使扫描线不垂直于扫描方向。

•使用图案投影仪在焊线上创建独特的图像纹理。

相对于扫描方向旋转相机,使得焊线和传感器线不再平行,有助于防止跨多个水平块的相同图像内容,并且避免潜在的不匹配或不相关的值。

使用线扫描相机时,由此旋转产生的剪切图像内容在进行2D几何测量时,可能会导致不准确。因此,使用几何校准和后续的图像后处理来补偿这种图像剪切是很重要的。小的旋转角度通常不会影响RGB图像质量。然而,随着角度的增加,可能需要单通道3D计算以减少红色、绿色和蓝色像素在传感器方向上移位,以及所得到的彩色图像的光学低通滤波的影响。

平行垂直线的间距

扫描场景中对象的高度范围通常确定用于3D计算工作所需要的平行垂直线的最小距离,该关系取决于基于相关的块匹配算法如何工作。

例如,图4显示了一对立体图像的左右图像。左侧相机图像中的红色标记区域显示给定窗口大小的参考块。块匹配算法在预定义的视差搜索范围内,搜索右侧相机图像中的对应块,并以黄色标识出来。

注意,中间图像中相当小的视差搜索范围仅包括一条线,即与参考块匹配的线。相反,右侧图像中显示了具有覆盖多条线的视差搜索范围的情况,其中块匹配可能由于模糊的对应而失败。

图4:图中显示了一对立体图像的左右图像。左相机图像中的红色标记区域是给定窗口大小的参考块。中间图像显示较小的视差搜索范围。右图显示了覆盖多条线的视差搜索范围。

因为视差搜索范围决定着3D测量的高度范围,并且通常取决于检查任务的感兴趣区域中的最小和最大物体高度,所以限制范围以确保唯一匹配并不总是可能的。对于此类应用,开发人员应考虑使用其他方法,例如在立体图像对中分割左右图像中的单独的焊线,以及通过标准2D图像处理算法标记相应的焊线。如果已知焊线或焊点的起点和终点的图像位置,则标记任务应该相对简单。

在此之后,可以创建仅包含焊线的人工图像对,其中在视差搜索范围内可以实现唯一匹配,并且将对应的视差图像合并到单一高度图中。使用这种方法的折衷是:增加计算需求,计算量会随着要求处理的单一焊线的图像对数量的增加而增加。加速系统的一种方法是:使用并行多个场景的分布式计算,以及每个场景至少一个GPU。

通过Chromasens 3D-API的rawImageCoordinatesTo3D功能,还可以从立体图像对的相应图像点计算3D坐标。基于此,通过使用图像处理来提取右侧和左侧立体图像的线上的对应点,可以解决垂直线问题。将得到的离散3D坐标合并到3D图像中焊线的全局表示也是可能的。通过使用该方法,基于特定应用图像处理的焊线探测方法,取代了基于图像相关的块匹配方法。

阴影效应

在扫描场景中,定向照明通常会导致焊线投射到背景上的阴影。管灯能减少这种效应。但是,在检查某些背景材料和焊线时,可能会残留阴影效应(见图5)。

当左侧图像和右侧图像的相关窗口的图像内容,在对应区域中包含不同的阴影时,这种阴影就会带来问题。在这种情况下,块不匹配并且相关值低。

图5:立体图像对的左侧图像和右侧图像中的阴影效应。

左右相机之间的透视差异使得阴影出现在立体图像的不同位置。改善场景照明(这并不总是可能的,并且可能需要复杂的定制光源)是克服该问题的一种方法。

减少相关窗口块尺寸是另一种方法。但是,有必要选择所需的最小尺寸,同时确保在相应的窗口中保留足够的独特纹理特征以进行3D计算。通过图像处理技术从立体图像对中去除阴影也是可能的,例如从包含阴影效应的背景中分离焊线。通过设置为零值删除背景区域后,Chromasens的3D API-through通过配置可以在计算中忽略这些区域。

虽然存在水平线、平行垂直线间距和阴影效应的挑战,为成功实现用于焊线检查应用的3D立体视觉系统带来了困难,但是也存在一些方法能够克服这些障碍。

本文分享自微信公众号 - 小白学视觉(NoobCV)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-05-29

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • CVPR2019 | 港中文&腾讯优图等提出:暗光下的图像增强

    论文地址:http://jiaya.me/papers/photoenhance_cvpr19.pdf

    小白学视觉
  • 【从零学习OpenCV 4】图像距离变换

    图像中两个像素之间的距离有多种定义方式,图像处理中常用的距离有欧式距离、街区距离和棋盘距离,本节中将重点介绍这三种距离的定义方式,以及如何利用两个像素间的距离来...

    小白学视觉
  • 细说目标检测中的Anchors

    今天,我将讨论在物体检测器中引入的一个优雅的概念 —— Anchors,它是如何帮助检测图像中的物体,以及它们与传统的两阶段检测器中的Anchor有何不同。

    小白学视觉
  • CVPR2020 | BidNet:在双目图像上完成去雾操作,不用视差估计

    论文地址:http://openaccess.thecvf.com/content_CVPR_2020/papers/Pang_BidNet_Binocular...

    AI算法修炼营
  • 清华大学提出:ColorNet 研究颜色空间对图像分类的重要性

    【导读】今天分享一篇清华大学刚出的论文,研究思路很新颖。现在很多论文都是改模型,但本文介绍的论文更多的是从数据角度(颜色空间)来分析,也有点像数据增广的意思。在...

    Amusi
  • TensorFlow 图像处理和解码操作函数概述

    TensorFlow提供提供了42个图像处理相关的函数,主要涉及解码编码,简单的图像几何变换等等。比较有特点的一个方面是有很多随机性的操作,主要增加模型的泛化能...

    chaibubble
  • CVPR2019 | 港中文&腾讯优图等提出:暗光下的图像增强

    论文地址:http://jiaya.me/papers/photoenhance_cvpr19.pdf

    小白学视觉
  • 一文教你在Python中打造你自己专属的面部识别系统

    人脸识别是用户身份验证的最新趋势。苹果推出的新一代iPhone X使用面部识别技术来验证用户身份。百度也在使“刷脸”的方式允许员工进入办公室。对于很多人来说,这...

    AiTechYun
  • 计算机视觉路线图

    如今,计算机视觉(CV)已成为人工智能的一项重要应用(例如,图像识别、对象跟踪、多标签分类)。本文将引导你完成搭建计算机视觉系统的一些主要步骤。

    人工智能小咖
  • IQ1: 怎么定义图像的质量?如何评价图像的质量?

    我的这个专栏叫做图像质量评价,但是什么叫做图像的质量呢? 图像质量是一个非常宽泛的概念,在不同情况下有不同的理解。

    HawkWang

扫码关注云+社区

领取腾讯云代金券