视觉传感技术在机器人焊接中的研究现状

近年来，随着我国劳动力成本的逐渐提升，以廉价劳动力为支撑的“中国制造”经济模式难以为继，越来越多的加工制造企业关注以焊接机器人为代表的焊接自动化技术。根据国际机器人联合会（IFR）2015年的统计数据，截止2020年，工业机器人将达到26.8万台，大约有30%的工业机器人被应用到焊接领域，对应的将有超过240亿左右的系统集成和焊接智能化市场。随着我国《中国制造2025》战略实施，焊接制造领域经过“两化”融合的推动，正朝数字化、网络化、智能化制造转型。焊接产品正经历着“性能高端化”“结构大型化”“服役环境极限化”以及“长寿命、高可靠性”等发展变化，进而使焊接制造过程的信息需求量显著增加。以信息技术为牵引的智能化焊接技术，是一类融合人的感官信息（焊接过程视觉、听觉、触觉）、经验知识（熔池行为、电弧声音、焊缝外观）、推理判断（焊接先验知识学习、推理与决策）、焊接过程控制以及工艺优化各方面专门知识的交叉学科。突破机器人焊接智能化关键技术，在未来不仅是发展方向，已成为一种现实、迫切的需要。显然，视觉传感是现有焊接机器人从自动化设备转变为智能化焊接机器人的关键因素之一，目前广泛应用的焊接机器人和焊工不一样，没有智力、不能思维、尚不具备焊接工艺知识也不能自主地进行焊接过程优化，结合2016年IFWT国际焊接论坛宋天虎研究员提出的“热市场、冷思考”问题，引申出了机器人焊接智能化和视觉相关的系列“瓶颈”问题。

（1）焊接顺序：针对非预期工况变化（变形、错边、间隙等），焊接机器人难以“自适应”动态调整焊接顺序。

（2）初始焊位识别：焊接初始焊位识别，易受环境变化影响，可靠性不够。

（３）焊接动态过程：焊接过程调整响应较慢、效果欠佳。

（４）焊缝跟踪：视觉跟踪易受弧光干扰，存在视觉“死角”和跟踪“盲区”。

（５）焊缝多层多道规划：对焊接坡口适应性较差，自适应规划焊道及调整工艺参数尚显不足。

（６）焊接缺陷预防：抑制和预防焊接缺陷的产生缺乏主动干预的手段。

（７）焊接质量一致性：缺乏可靠在线表征的传感手段。

诚然，焊接过程中环境、条件的变化是不可避免的，上述提到的焊接工件加工、装配误差，焊缝间隙、错边等尺寸分散性、焊接过程的热变形和夹具不稳定性等因素均会引起焊接质量的波动，并导致焊接缺陷的产生。如何克服焊接过程中各种不确定性因素对精密焊接质量的影响，迫切需要信息反馈、智能控制等技术提高现行焊接机器人的适应性或智能化水平，是实现“焊接智造”不可回避的现实问题和瓶颈难题。

本研究结合上海交通大学机器人焊接智能化技术实验室近年来在机器人焊接智能化视觉传感领域所开展的研究，阐述机器视觉在焊接目标环境识别、精确跟踪、动态过程监控及焊接质量控制等方面研究成果和应用现状。

初始焊位识别与焊缝跟踪

+

视觉信息因其方便直观、信息量大、易于处理等优点，是焊缝识别和跟踪传感技术中的研究热点和重点，成为机器人焊接领域最有应用前景的传感手段。作为机器人外围辅助智能单元，视觉传感器对提高机器人柔性和对工作环境的反馈发挥了重要的作用，随着计算机技术、光电传感器和图像处理技术的快速发展，视觉传感器将对实现机器人焊接过程决策、预判等功能，构建焊接机器人的智能系统起主导作用。

1.1　基于视觉传感的初始焊位识别及路径规划

为了增强机器人自主焊接的能力并使具有一定自我感知学习和决策能力，基于FANUC弧焊机器人平台，构建了一套具有视觉传感和激光测量功能的弧焊机器人系统，如图1所示。

图1　基于视觉寻位和路径规划的弧焊机器人系统

该系统由机器人控制与执行模块、视觉传感反馈模块及Interface通讯模块等组成，借助数字图像处理技术，进行待焊工件焊缝特征角点识别及焊缝信息三维重构，实现焊接起始点机器人自主寻位和焊缝特征智能识别。

为了实现机器人的初始焊接位置导引及焊缝识别工作，需要建立图像像素坐标与目标点空间坐标系的转换关系，即视觉系统标定，具体涉及摄像机内参数标定、线结构光参数标定及手眼标定三个环节。相机标定主要建立图像平面二维像素点与空间三维立体特征点对应关系，确定摄像机内部成像参数：焦距、畸变参数、成像平面单位距离像素个数等；手眼标定的目的是确定摄像机坐标系与工具坐标系之间的相对位置关系H，用旋转矩阵R和平移矩阵T来描述。线结构光标定是为了描述线结构光平面在摄像机坐标系下的位置关系，用光平面方程AX+BY+CZ+D=0描述，求解平面方程参数。

以平板对接为例，采用边缘相交法定义初始焊接位置，具体算法步骤：采用两步法对初始焊接位置进行定位，然后针对初始焊接位置局部区域进行滤波、图像分割、像素点分离、直线拟合等获取初始焊接位置点图像坐标，如图2所示。

图2　初始焊位识别流程

接下来，通过对激光条纹图像的处理获得焊缝边缘特征点坐标，以平板对接（折线、S形）焊缝识别为例，结合前文所述的视觉系统参数求解结果获得焊缝特征点在TCS及WCS下的三维坐标。焊接机器人处于A点时，其位姿参数为[XA，YB，ZB，WB，PB，RB]T，处于B点时，其位姿参数为[XB，YB，ZB，WB，PB，RB]T，机器人移动速度为v0（单位：mm/s），相邻图像的采集时间间隔为Δt，机器人由A运动到B，期间相机共采集n幅图像。设第i幅图像（i=1~n）中某个焊缝特征点的坐标为[ui，vi]T，结合摄像机内参数K以及线激光结构光平面的方程AX+BY+CZ+D=1，求得特征点在CCS下的坐标[Xci，Yci，Zci]T，根据手眼标定及机器人位姿参数求得特征点在TCS下的三维信息[Xti，Yti，Zti]T及WCS下的三维信息[Xwi，Ywi，Zwi]T。

图3是机器人TCP平移速度为20 mm/s、相邻拍照时间间隔是40 ms的折线焊缝和S形焊缝激光扫描三维重构图。

图3　激光扫描焊缝三维重构

1.2　基于主动视觉的焊缝跟踪

基于构建的机器人激光视觉平台，需要对采集的激光条纹进行视觉处理，是激光跟踪的关键环节。主要涉及到激光条纹图像预处理（ROI选取、滤波处理、形态学处理及自适应阈值分割）、激光条纹中心线特征提取及典型焊缝试验验证。图4给出了完整图像或图像受电弧光干扰很小的情况下图像处理结果，可以看出针对弧焊常见的几种焊接坡口和焊缝形式，通过研制的视觉传感系统能够较好地获取焊缝中心特征点。

图4　焊缝特征提取试验验证

然而实际的焊接过程中由于强烈的电弧光和飞溅的影响，导致部分图像噪声很大，上述算法不能稳定、可靠的获取焊缝特征信息，如图5所示。

图5　受弧光及飞溅干扰的激光条纹

针对实际焊接过程中干扰图像，为了保证焊缝跟踪的连续性及可靠性，工程上通常采取两种方式处理，一是增大激光传感器的前视距离或加遮挡板，另外一种是从图像处理软件算法上进行改善，对这类图像记性筛选过滤。具体算法设计流程为：

（1）计算图像的平均灰度值，如果图像灰度值大于正常图像的一定比例（在此选取30%作为阈值）放弃该幅图像处理，进行下一幅图像处理。

（２）针对V型坡口的焊缝，设定焊缝宽度阈值，针对焊缝宽度特征尺寸小于设定阈值的情况下，舍弃当前处理图像，进行下一幅处图像处理。

（3）焊缝偏差具有连续性，相邻图像之间计算的偏差值比较接近，对于偏差值突变点（设定一定的阈值），舍弃当前处理图像，进行下一幅图像处理。

计算出的焊缝偏差，一方面可设计控制器进行焊缝纠偏，另一方面针对工业机器人，结合机器人厂家提供的通讯协议，交给机器人控制器进行插补、轨迹纠偏。另外，ROS（Robot Operating System，机器人操作系统）作为一种分布式处理框架，能接收和发布各种传感信息，鉴于ROS制定了目前“四大家族”机器人开发的统一接口标准。

在上述研制的视觉传感基础上，进一步针对摆动、变间隙的对接焊缝，基于FANUC机器人可识别的通讯协议，进行询问—回答的开发模式，询问内容包括：偏移量（X、Y、Z）、焊缝宽度（如间隙、gap）、错边（Mismatch）和面积等，跟踪结果如图6所示。

图6　变间隙自适应摆动跟踪

焊接液态熔池特征视觉表征

+

借助视觉传感系统可获取清晰焊接液态熔池图像，液态熔池的几何形状参数如熔宽、面积等。熔池的几何尺寸特征与焊缝成形密切相关，以变极性等离子弧焊（VPPAW）为例，焊接电流、电弧电压对液态熔池特征尺寸存在一定关联性，如图7所示，随着焊接电流的增加，背面小孔面积和宽度不断增大。

图7　VPPAW小孔图像

采用部件树模型的图像识别算法完成对背面小孔特征的自适应提取，分别提取小孔左右边缘的特征点，然后利用椭圆拟合法得到小孔完整边缘，其完整步骤如图8所示。将小孔左右边缘特征点经过椭圆拟合变成完整的边缘曲线，为了能够通过背面小孔视觉特征信息来描述实际的熔透状态，定义小孔图像特征：宽度L和面积A，VPPAW背面的小孔与焊接热输入量有良好的对应关系。当焊接热输入量很小，背面不能形成小孔，随着热输入量增加，背面形成穿孔并趋于稳定，当热输入量进一步增大，背面出现“切割”现象。

图8　VPPAW小孔图像处理及边缘拟合

热门推荐