基于线结构光传感的T型角焊缝跟踪方法

孔 萌 ，张 杰 ，张纶昭 ，侯 震，陈华斌 ，陈善本

（1.上海发那科机器人有限公司，上海 201206；2.上海交通大学 材料科学与工程学院，上海200240）

0 前言

工业机器人经多年的发展先后经历了“示教再现”与“离线编程”阶段，目前正在向“智能”化阶段发展[1]。根据国际机器人联合会（IFR）数据统计，约30%的工业机器人已应用到焊接领域。传统的示教再现型机器人尚不具备对外部环境的自主感知，特别是焊接轨迹基于外部环境变化（加工差异性、夹具定位误差及热变形等）的自主修正和纠偏[1-3]。

近几年，随着计算机视觉、模式识别、图像处理等技术的发展，机器人焊接智能化应用研究得到逐步推广并大规模应用，而激光结构光传感器具有结构简单、体积小等特点，广泛应用于机器人焊接的焊缝跟踪、轨迹规划等，逐渐成为焊接过程自动化和智能化中的关键技术之一。相比于被动视觉直接使用焊接电弧光作为图像采集的光源，基于线结构光的激光跟踪传感器受焊接过程强烈弧光干扰相对较小，在前视距离设定合理的条件下获取的激光条纹图像质量稳定、焊缝形貌特征明显、适应性强且处理算法相对简单，目前主要应用于焊缝坡口形貌焊前扫描、初始焊位识别和焊缝跟踪等领域[4-5]。

基于视觉的焊缝跟踪目前以线结构光传感器为主流方向。线式激光结构光传感器是由激光二极管产生特定形状的激光投射到工件表面，形成反映焊缝形貌的激光条纹图像，反射投影到CCD图像传感器，进行三维信息恢复重建，可实现初始焊位识别、焊缝导引及跟踪等[6-7]。本研究基于FANUC弧焊机器人（Fanuc M-20ia）平台，自主研制一套激光视觉传感器并开发FANUC机器人控制器的通讯模块，开展线结构光参数标定、激光条纹特征提取及角焊缝跟踪试验系统测试与验证。

1 线结构光焊缝跟踪传感器研制

基于FANUC弧焊机器人平台（见图1），研制一套激光视觉传感单元，包括传感器驱动与图像采集模块、图像处理与三维重建模块及弧焊机器人通讯模块。其中，图像采集装置由传感器保护壳体、CCD感光元件、线激光发射器、减光及滤光片等组成。

图1 弧焊机器人系统示意Fig.1 Scheme of arc welding robotic system

为了有效抑制焊接过程强弧光干扰，针对低碳钢机器人MAG设计了滤光系统。Q345钢GMAW焊接电弧光谱信息如图2所示，除去金属Fe元素谱线，电弧区域Ar谱线中心波长主要分布在600～700 nm区间，可选取中心波长相近的激光器作为光源，滤光片中心波长选择660 nm窄带滤光片，通过窄带滤光系统可有效减少强弧光干扰，增加图像信噪比。

图2 低碳钢GMAW滤光系统比较Fig.2 Comparative analysis of optical filter

通讯模块借助Fanuc M20-ia通用传感器接口R691 Universal Interface，相关配套软件基于通讯协议实现基于TCP/IP焊缝跟踪接口，以固定频率（50 Hz）将工具坐标系下的焊缝中心点发送至机器人控制器。

1.1 视觉系统标定

线结构光视觉系统传统标定方法基于三角测距理论将图像坐标系下的二维像素点转换为相机坐标系下的三维坐标，最后建立相机坐标系和机器人TCP坐标系的“手眼”关系矩阵。基于已知激光平面参数[A，B，C，D]T和单应性变换矩阵 HK，通过激光转换矩阵CTi将图像中的激光条纹中心点转换至三维相机坐标系FC，具体流程如下：

（1）在多个任意角度对圆点标定板采集标定数据，每个位置分别采集标定板图像、激光图像和机器人姿态数据，进行相机标定，获得外参矩阵Hj。

（2）单幅图像选择多组共线的圆心坐标gi，直线方程拟合激光条纹。

（3）对第j张图像，计算激光直线与圆心直线的交点，作为Fi（图像平面坐标系）下的激光点坐标p。根据交比不变求出Fg（标定板中心为原点的世界坐标系）下的激光点坐标P。已知Hj，根据公式计算激光点在FC（相机坐标系）坐标MC，不同角度采像重复步骤（3）和（4）。

（4）使用奇异值分解（SVD）优化得到激光平面方程，计算坐标系下的点转至二维坐标系对应的点）和mi（坐标系下的点在图像坐标系下的点）拟合单应性矩阵，给出激光转换矩阵CTi，结合相机标定结果，给出手眼矩阵tHC。

完成上述标定后，任意图像中的激光条纹中心点都可以通过激光转换矩阵计算出其在机器人TCP下的坐标，完成三维重建的过程。进而通过计算出相对焊枪尖端点的距离，如图3所示。

图3 线结构光标定流程Fig.3 Calibration procedure of line structured light vision sensor

1.2 激光条纹特征提取算法

线激光投射到工件表面，形成反映焊缝形貌的激光条纹图像，反射至CCD靶面。激光条纹图像包含焊缝截面形貌特征，为进一步确定激光条纹几何信息，需要提取激光条纹中心坐标。鉴于机器人GMAW焊接过程电弧光、飞溅及焊接烟尘等干扰，本研究基于Hessian矩阵线的特征及其角度值提取算法，将其与噪声进行分割，获得激光条纹中心点。Hessian矩阵是图像处理中广泛使用的一种特征提取办法，对于一张二维灰度图像，每个像素点的灰度值可以用L（x，y）表示，而该像素点的Hessian矩阵表示为

式中 Lxy为灰度值在x，y方向上的偏导数；Lxx为灰度值在x方向上的二阶偏导数；Lyy为灰度值在y方向上的二阶偏导数。

Hessian矩阵中各元素可以由图像的二维卷积计算出，计算出Hessian矩阵后，利用其特征值与特征向量可以近似计算图像灰度在该像素位置的主曲率与主方向。而线特征的中心坐标是法向上灰度梯度为0、灰度值最大的位置，得到线法向截面上灰度值的一阶导数过零点，以此作为激光条纹中心的亚像素坐标[8]。另外，针对特定的焊接接头形式如角焊缝，通过事先定义焊接接头形式的形貌模型对接头形式进行分区划分。对于两工件互相垂直的T型接头角焊缝，可以分两个子区定义其形貌模型，并且根据激光条纹点方向定义各子区的角度范围，如图4所示。每个子区有两个参数，坐标范围表示图像的列区间，角度表示图像中激光条纹线段应有的角度范围（根据实际采集到的图像经验确定）。

图4 角焊缝激光条纹特征点提取Fig.4 Feature point extraction for fillet weld

虽然Hessian矩阵特征值提取的激光条纹滤去了大量噪声点数据，但仍然存在一部分异常点,接下来采用随机采样一致性（RANSAC）算法，通过大量迭代，每次迭代选择所需最少的数据点拟合模型，并与点集数据进行比较，去除异常点，最后用最小二乘法拟合激光条纹直线方程，其中交点为角焊缝的特征点。

2 T型接头角焊缝跟踪试验

在设计焊缝跟踪试验时，预先机器人会有一条示教轨迹，在执行搜索-跟踪环节，计算实际轨迹与示教轨迹的偏差，调整焊枪TCP位置。对于T型接头角焊缝，只有一个焊缝特征点，将其视为焊缝中心点，焊缝跟踪过程便是不断传输焊缝中心点在工具坐标系中的坐标给机器人控制器，控制机器人移动焊枪至下一个跟踪点的过程。

实际焊接过程跟踪结果如图5所示。由图5可知，x和z方向的误差范围为±0.69 mm、±0.53 mm，假设平均误差为误差曲线中所有点的绝对值的平均，则x，z以及二维平均误差分别为（0.40 mm、0.33 mm、0.52 mm）。

3 结论

图5 T型接头角焊缝跟踪试验及误差Fig.5 Experiment and error of seam tracking for fillet weld

针对FANUC弧焊机器人自主开发了一套激光视觉传感系统，并在此基础上完成了视觉系统标定、通讯协议和激光条纹图像处理算法开发等。针对T型接头角焊缝进行了焊缝跟踪试验验证，轨迹跟踪精度平均误差控制在0.52以内，满足机器人GMAW焊缝跟踪实际需求。