基于结构光的角焊缝空间位置检测系统

马泽润　蔡艳　孔谅　顾春浩　仇小刚

摘要：自主研发了一种基于结构光图像的角焊缝空间位置检测系统。通过调节相机和标定板的相对位置进行多次拍摄，采用L-M算法开展标定数据最优化拟合，标定相机内参和外参。在结构光图像上，逐列提取灰度主峰，并基于迭代端点拟合法进行平滑处理，利用渐进霍夫变换方法确定结构光图像的角点。基于标定获得了空间转换关系，计算角焊缝空间位置坐标并反馈给焊接机器人。测试结果显示，该方法较好地完成了三面体结构工件角焊缝的机器人位置调整，机器人焊接系统的实测最大位置偏差小于±0.15 mm。

关键词：角焊缝定位;机器视觉;图像处理;相机标定;空间坐标转换

中图分类号：TH122 文献标志码：A 文章编号：1001-2303（2020）02-0001-05

DOI：10.7512/j.issn.1001-2303.2020.02.01

0 前言

普通的示教再现型机器人焊接只赋予了机器人以手臂，使其可以代替操作者执行空间位置固定的焊接生产。在实际应用中，工件变形或装配偏差往往导致焊缝实际位置偏离预设轨迹。当焊缝位置发生偏差时，为了保证焊缝质量，需要机器人根据工件位置偏差来调整运动轨迹[1]。目前，机器人轨迹调整包括焊前位置校正和焊接过程中的在线跟踪[2-3]，其中焊前位置校正注重解决装配偏差所导致的焊偏问题，对于已点焊固定的长直焊缝具有较好效果。非接触式的工件位置信息提取方法可分为单目或多目相机图像分析、激光单点扫描、结构光扫描和干涉条纹法等[4-5]。华南理工大学李春等人[6]使用单目相机和基于几何形状的金字塔分层模板匹配方法检测工件的位置偏差情况，试验室条件下的定位精度可达0.081 5 mm，但在生产环境中的抗干扰能力较低。Liu等人[7]针对角焊缝提出了一种基于最优化方法的激光轮廓角点检测方法，但工件装配的间隙波动会降低该方法的稳定性。陈思豪等人[8]研发了一种基于结构光的角焊缝三维视觉定位系统，平均误差小于0.15 mm，试验结果显示该定位精度可以满足焊接生产要求，但系统标定过程和图像处理算法较复杂。

本文提出一种基于结构光图像进行角焊缝空间位置检测的构建方法。通过调节相机和标定板的相对位置进行多次拍摄，采用L-M算法开展标定数据最优化拟合，得到相机内参和外参。在结构光图像上，逐列提取灰度主峰，并基于迭代端点拟合法进行平滑处理，利用优化的渐进霍夫变换方法解决了多线段合并问题，准确计算了角焊缝的空间位置。测试结果显示，该方法较好地完成了三面体结构角焊缝的机器人位置调整，机器人焊接系统的实测最大位置偏差小于±0.15 mm。

1 成像系统设计与标定

成像系统由线激光、相机、镜头和点激光组成，如图1所示。所有元器件封装在金属屏蔽盒内，作为一个整体安装在机器人手臂上。

成像系统中世界坐标xyz和相机坐标x'y'z'的转换关系如图2所示。采用最为常见的小孔成像模型，C是相机光心，近似认为空间点P、相机光心O'与成像点Q共线。将世界坐标系的xy平面作为基准面，x轴则为结构光在基准面上的投影;xz平面是结构光所在平面，z轴则为相机主光轴在结构光平面的投影，原点O是相机主光轴与结构光所在平面的焦点。f表示焦距，υ表示世界坐标原点距光心C的距离。

采用本文标定装置和算法进行标定，结果如表1所示。结果显示，该标定方法不仅操作方便，而且参数标定结果具有较好的一致性，倾角几乎无变化，焦距极差小于0.1 mm，物距极差小于0.3 mm，均达到焊接机器人引导功能的需求。

2 角焊缝轮廓提取

结构光轮廓扫描时，工件表面形貌和位置信息反映在结构光图像中，因此结构光图像的轮廓提取是保证测量效果的基础。在实际生产中，工件表面通常存在油污、锈迹等干扰，造成结构光轮廓图像的灰度值并不均匀。采用单一阈值进行轮廓提取时，易发生局部轮廓丢失或被背景淹没等问题。为此，本文提出了逐列阈值法，即根据图像每列灰度值的均值和标准差自动确定分割阈值，具体算法如式（6）所示

式中 Gy（x）为第x列像素灰度值的均值;σy（x）为第x列像素灰度值的标准差;μ和k为手动设定的参数，μ越大则去除干扰力度越大，k越大，则临近区域亮度对阈值的影响越大。该方法不仅可以去除大部分干扰点，还能将不同区域的线结构光图像进行中心均衡化。

结构光图像及轮廓中心点提取如图4所示，可以看出，逐列提取结构光图像灰度值主峰，采用灰度重心法确定峰中心，较好地克服了结构光灰度不均匀的影响。此外，使用迭代端点拟合法[9]对中心点进行平滑处理，得到结构光中心点的完整轮廓。

对角焊缝而言，其轮廓特征反映在结构光图像上为两条直线，由于试样装配时可能存在间隙或工件边缘缺损，结构光图像的两条直线并不一定连续。在该情况下，采用传统霍夫变换提取直线轮廓，会发生将一条长线段标识为多条短线段的问题。渐进霍夫变换（PPHT）算法是霍夫变换的一种改进形式[10]，本文在该方法基础上进一步进行了优化，在检测到若干线条后，计算任意两条线段起点和终点的线性相关系数，相关系数大于阈值的视为邻接，从而形成一张无向图。提取图中所有连通分量，将每个连通分量中所有直线拟合成一条直线，最终实现短线段的合并，如图5所示。

完成直线合并后，选取长度最大的两条线段，并验证其长度和夹角均在指定范围内，计算其交点Q，并按式（2）将其从图像坐标映射到空间坐标P，即结构光平面与角焊缝的交点。

3 位置校正效果

测试采用型号MOTOMAN-MA1400的机器人，重复定位精度为±0.08 mm。相机型号为Basler acA 1600-20gc，图像尺寸1 624 pixel×1 234 pixel，单像素尺寸为4.4×4.4 μm。检测系统实物如图6所示。检测过程中，机器人沿三面体结构的角焊缝连续移動，每移动10 mm触发相机拍摄一次。为提高检测效率，机器人在相机拍摄时并不停止，检测系统在拍摄间隙完成计算，单幅图像处理时间小于20 ms。检测过程流程如图7所示。如果焊缝出现较为严重的非线性特征，或连续出现2个测量点偏差量超标，则认为工件边缘状态或装配质量异常，校正系统将发出报警，提示需要人工干预。

從理论计算分析，本文试验条件下的角焊缝位置计算误差小于0.334 pixel，根据式（2）计算可知对应的空间坐标误差小于0.06 mm。为了分析实际应用过程的误差水平，在检测系统内设置了与机器人手臂同轴的导向点激光。测量系统输出位置偏差量后，机器人按调整后的空间坐标完成移动，通过导向点激光实测机器人位置调整效果，即计算导向激光斑点中心与角焊缝的偏差量，该偏差量由校正系统误差和机器人定位误差叠加产生。对三面体结构工件的3条角焊缝分别进行50次测试，结果表明，位置校正后，机器人焊接系统的最大位置偏差小于±0.15 mm，重复定位误差小于0.2 mm。

4 结论

（1）采用结构光扫描方法搭建了角焊缝的机器人位置调整装置，测量了三面体结构角焊缝的空间位置，并将焊缝实际位置与预制轨迹的偏差反馈给机器人，实现了机器人位置的动态调整，机器人焊接系统的实测最大位置偏差小于±0.15 mm。

（2）利用标定板、激光位移传感器搭建了结构光位置检测系统的标定平台，采用L-M算法完成标定数据最优化拟合，得到相机内参和外参。该方法具有装置简单、计算快速、标定精度高的特点。

（3）在结构光图像轮廓提取中，提出了逐列提取灰度主峰的方法，采用迭代端点拟合法实现了主峰中心点平滑处理，利用渐进霍夫变换方法解决了多线段合并问题，较好地提取了结构光图像的焦点位置。

参考文献：

[1] 邢艳荣，秦佳伟，韩素贤，等. 基于纠偏与示教相结合的机器人自动焊接跟踪[J]. 电焊机，2014，44（10）：61-64.

[2] 吴斌，张放. 基于单目视觉的焊接螺柱位姿参数测量技术研究[J]. 光电子.激光，2014（10）：1931-1935.

[3] 郭志鹏，于治水，张培磊，等. 基于视觉传感的焊缝跟踪系统研究现状[J]. 轻工机械，2016，34（5）：95-100.

[4] 冯进良，曹晨鸣，孙铭，等. 基于双目视觉的焊缝跟踪系统研究[J]. 长春理工大学学报（自然科学版），2019，42（1）：63-67.

[5] 金振扬，孟正大. 基于线结构光视觉传感的焊缝跟踪系统研究[J]. 工业控制计算机，2008（4）：66-68.

[6] 李春. 基于机器视觉的焊接工件识别与焊接轨迹校正方法研究[D]. 广东：华南理工大学，2015.

[7] Liu F Q，Wang Z Y，Ji Y. Precise initial weld position identification of a fillet weld seam using laser vision technology[J]. The International Journal of Advanced Manufacturing Technology，2018，99（5-8）：2059-2068.

[8] 陈思豪，余震，王中任. 基于结构光三维视觉角焊缝定位系统的研究[J]. 激光与红外，2019，49（3）：303-308.

[9] Usamentiaga R，Molleda J，García D F. Fast and robust laser stripe extraction for 3D reconstruction in industrial en-vironments [J]. Machine Vision and Applications，2012，23（1）：179-196.

[10] Matas J，Galambos C，Kittler J. Robust detection of linesusing the progressive probabilistic Hough transform[J]. Co-mputer Vision and Image Understanding，2000，78（1）：119- 137.