三维模型驱动的双目视觉机器人焊接技术

刘岩，刘丽霞，黄宁，王文超，李永强

(1.北京卫星制造厂有限公司，北京 100094；2.北京市航天器焊接技术与装备工程技术研究中心，北京 100094；3.哈尔滨工业大学，黑龙江 哈尔滨 150001)

0 引言

多分支管路作为空间站、卫星等航天器的重要组成部分，是实现各单机设备、阀体之间连接的关键部分，直接关系航天器功能实现、使用寿命和航天员在轨安全[1]。其接口关系复杂且形状各异，通用化程度低，同时长寿命、在轨不可维修等要求增大了管路高精度、高质量研制的难度[2-3]。随着航天器研制需求急剧增长，亟需一种高效、可靠性好的自动管焊技术替代传统的手工焊装，提高生产效率和一次合格率[4]。信息传感技术与控制技术的日趋成熟，使得实现管路自动焊接成为可能。

目前，基于机器人离线编程技术，弧焊机器人已初步实现焊缝自主规划，但多分支管路系统构成复杂，焊缝位置、导管姿态与理论模型存在一定误差，仅依靠机器人离线编程难以实现复杂空间管路的精确定位。因此，在进行多分支管路系统高精度自动焊接时需要进一步对焊缝位置、导管姿态进行检测并计算。目前的图像处理技术已经较为完善，将机器人与视觉结合，可使机器人拥有感知和判断的能力，使实现多分支管路系统高精度智能焊接成为可能[5]。

1 系统设计

管路系统由多组多分支焊接导管通过接头螺纹连接组成。首先，本系统从管路系统中提取一组多分支导管模型并进行离线编程仿真，得出导管组件的理论焊缝位置信息及机器人运行轨迹。其次，通过控制系统驱动焊接机器人，按照仿真轨迹依次到达每一个焊缝的预焊接位置，以满足双目视觉系统的测量范围。然后，系统利用双目视觉系统对预焊接位置进行拍照检测，再运用图像处理技术计算出导管组件中精确的焊缝空间位置及焊缝两侧导管姿态。最后，机器人系统根据计算结果到达精确焊接位置并完成焊接工装夹持焊缝的动作，进而完成导管焊缝的焊接。

2 模型信息提取及路径规划

目前，航天管路采用Pro/E、CATIA和UG等三维模型软件进行设计，为管路信息的提取与输出打下了坚实的基础。导管焊缝与通用类零件的相对空间位姿为已知，机器人焊接系统以管路组件中一个通用类零件的空间位姿为基准，根据管路信息通过离线编程手段规划焊接轨迹，使系统到达每条焊缝的预焊接位置并确保焊缝处于双目视觉系统的视场内。

3 视觉系统的图像处理与计算

为保证钨极与焊缝的完美对中以及管焊钳准确夹持导管，需要利用双目视觉系统准确地获得焊缝管子边缘，并计算出焊枪与焊缝及导管的精确相对关系。

3.1 焊缝管子边缘识别算法

获取焊缝管子边缘是计算焊接工装与焊缝、导管相对位置的前提，本文采用先通过图像定位分割法获得焊接导管轮廓，再通过特征区域识别最终获得导管及焊缝的轮廓信息。

1)图像分割定位导管区域

图像分割只对物体轮廓区域进行分割，其他细节不作考虑。本文通过滤波的图像平滑方法来完整留存导管及焊缝的轮廓信息，其公式如下：

(1)

其中：K(k,l)为卷积核；f(i+k,j+l)为输入像素值；g(i,j)为输出像素的值。使用卷积核的不同，产生不同的图像平滑方式。由于双边滤波平滑方法同时考虑空间临近度和像素值相似度两个变量计算的权值，去噪效果良好，因此本文采用双边滤波平滑方法进行数据处理[6]。

将导管较亮和较暗区域分离的方法为二值化，可准确地将导管初步提取出来。再通过形态学处理的方式找到图像中强度变换明显的位置，利用边缘检测算法提取出图像的边缘，采用Canny算子保证边缘的准确性。最后根据边缘检测输出图像，采用拓扑结构分析法计算图像中所有的轮廓区域。图1为不同导管外径在不同空间位置下的实验结果。由图1可见，本文的算法能够准确地提取出导管的边缘。

图1 导管区域算法测试图

2)导管特征区域识别

本文通过立体匹配对导管特征区域进行识别，进行立体匹配的前提是先进行立体校正，将实际的双目系统校正为理想的双目系统，实现共面对准，即两摄像机图像平面在同一平面上，且同一物理点投影到像素坐标系的同一行。立体矫正基于Bouguet校正原理，其具体思想为：

1)先进行双目系统标定，得到两相机之间的旋转矩阵R和平移向量T[7]。

2)左右相机两个图像平面均旋转一半的R，实现摄像机图像平面共面。其中rl=R1/2和rr=R-1/2。

3)构建一个旋转矩阵Rrect实现行对准，Rrect由3个相互正交的单位向量e1、e2和e3组成。构造e1时以图像主点为原点，方向与两相机之间的平移向量相同；e2选择主光轴方向与e1叉积；向量e3与向量e1和e2正交，可直接通过叉乘得到。

综上，两相机共面且行对准的旋转矩阵如下：

Rl=Rrectrl
Rr=Rrectrr

(2)

立体矫正后，就可以通过深度差异矩阵实现对视差信息的空间恢复，将图像像素坐标系映射到三维空间。本文使用结构光人工构造特征的方式，即将一个字线激光器在通电之后拍摄到的图像与没有激光器拍摄到的图像作差，从而得到特征区域的算法结果。图2为不同规格导管的多组实验结果，其特征区域可通过立体匹配算法精确导出。

图2 双目立体视觉立体匹配验证图

3.2 管路空间姿态计算及焊缝点坐标计算

为使钨极对中焊缝及焊接工装能够准确夹紧焊接导管，需要计算相机与导管的空间位置夹角及焊缝中心点的空间坐标。

1)管路空间姿态计算

需知道焊缝两侧的管路空间位置信息与相机空间位置信息之间的关系才能确保钨极对中焊缝、焊钳夹紧焊缝两端管路，进而可知最关键的是计算出相机与导管在一个面上的相对旋转角度及在一个平行方向的旋转角度(图3)。

图3 焊缝两侧管路与双目系统的相对位置图

计算共面旋转角度时是通过计算反光直线的斜率来间接计算，将每一条反光直线都看作是包含有该直线两端点横纵坐标4个元素的数组，计算斜率的总公式如下：设任意一条直线一个端点的坐标为(x1i,y1i)，另一个端点坐标为(x2i,y2i)，将所有筛选出的反光直线的斜率求和再取平均数，得到最终的共面旋转角度，其中斜率求解公式为

(3)

经共面旋转后，双目系统基线与导管中心轴线共面，再求出平行旋转角度，即可使得双目相机正对导管。将检测到的反光直线按其纵坐标大小分为上、下两类，这两类反光直线分别与一个字线激光器投影点相交，得其交点用作立体匹配的二维特征点，通过重投影矩阵计算其在三维空间中的坐标位置。以上反光直线为例，设上反光直线与激光器左投影点交点的三维世界坐标为(X1,Y1,Z1)，上反光直线与激光器右投影点的交点的三维世界坐标为(X2,Y2,Z2)，其平行方向的旋转角θ也被认为是导管的俯仰角，可通过下式得到：

(4)

2)焊缝点坐标计算

钨极对中焊缝及焊钳精准夹紧导管的前提是准确地计算出导管焊缝轮廓中心点的空间位置信息[8]。本文通过控制光源位置，使反光的直线在导管轴的两边分布。分别计算出上、下两条反光直线与焊缝直线的交点，再计算出上、下反光直线到达中心轴线的距离与权值，最终得出导管焊缝中点的像素值。

解算出导管焊缝中点的像素值，还需要将其还原到三维空间。假设得到的导管焊缝中点二维坐标为(x，y)，该点的关联视差为d，可通过重投影矩阵Q映射到三维空间，该深度差异映射矩阵公式如下：

(5)

在该公式中除c′x的所有参数都来自于左图像，c′x是主点在右图像上的x坐标，基于重投影矩阵Q的像素位姿转换关系如下：

(6)

其中焊缝中点的三维空间坐标为(X/W，Y/W，Z/W)。通过图像处理核心算法模块找到焊缝中点的二维坐标后，就可以作以上转换得到其三维位姿，使机械臂末端焊钳能够准确夹持导管焊缝。

4 工艺验证

为验证双目视觉机器人自动焊接系统，本文采用Φ4×0.8 mm、Φ6×1 mm、Φ8×0.8 mm 3种钛合金导管试验件进行焊接试验。测试结果满足以下要求：

1)双目立体视觉可精确识别<0.05 mm的焊缝装配间隙，且能精确计算出导管空间位置及焊缝点位置，并引导焊接机器人完成焊接工装位姿的调整、钨极对中及工装夹紧。钨极对中精度高达0.2 mm，优于人工对中精度，整个过程用时仅15 s，仅为人工操作用时间的1/20。

2)3种试验件外观及内部质量均优于QJ2865中I级焊缝要求，且3种试验件焊缝的拉伸强度达到母材的90%以上。

5 结语

本文将三维模型驱动的双目立体视觉系统工业机器人应用到多分支管路焊接，利用离线编程手段找到预焊接位置，利用双目立体视觉系统计算出待焊接导管相对于焊接卡钳的空间姿态和焊缝的空间位置坐标信息，引导机器人到达精确焊接位置，最终使用末端焊接执行器夹持导管，配合焊接系统完成焊接工作。该系统可以提高多分支管路焊接效率30%以上，提高管路焊接质量，保证焊接质量的一致性，降低焊接工作人员的劳动强度，满足国家重大工程专项的研制需求。