基于深度学习的机械臂位姿高精度视觉监测*

蒋周翔，秦鹏举，苏 瑞，龙忠杰，宋 宝，唐小琦

(1.北京信息科技大学机电工程学院，北京 100192；2.华中科技大学机械科学与工程学院，武汉 430074)

0 引言

机械臂末端绝对定位精度是评价机械臂技术水平的重要指标，是机械臂否能准确完成抓取、装配、加工等作业任务的主要决定因素[1]。DH参数标定是提高机械臂绝对定位精度的最有效方式，而其中的关键问题之一是如何精确测量机械臂末端位置和姿态的误差[2]。

目前，工业界常采用基于Faro或Leica激光跟踪仪的位姿测量手段，即将若干靶球安装在机械臂末端，并使激光跟踪仪基座与机械臂基座相对固定，然后操作机械臂末端抵达运动空间若干点位，与此同时用激光跟踪仪采集所有靶球的空间三维坐标，最后由此推算出机械臂末端的实际位姿，与名义位姿对比即可得到误差值[3]。这类方法得益于测量设备高采样精度，在学术界也被广泛使用[4-5]。

此外，学者们还依托于其他商业化或自制测量设备提出了一系列有效的位姿误差获取方法。例如将Renishaw双球杆仪[6]或触发式测头[7]装卡于机械臂末端用于位姿采集。还有部分学者为了降低设备成本，选择机器视觉作为位姿测量手段[8-10]，或是基于造价相对较低的绳传感器自主搭建了位姿测量系统[11]，均获得了较为准确的测量结果并成功用于机械臂标定。

激光跟踪仪虽然测量精度具备明显优势，但其购置成本非常高昂，而如果通过租借设备进行测量也会产生较高的累计成本。这是由于机械臂在首次标定后虽然绝对定位精度达标，但长期作业后该指标仍会衰减到较低水平，因此需要多次使用激光跟踪仪进行标定[3]。另外，工业相机安装简单，测量效率高，使用成本低，但受制于镜头畸变、相机参数标定不准确、图像分辨率不足等因素[12]，导致其测量精度比激光跟踪仪、双球杆仪以及触发式测头要低1-2个数量级，限制了该方法在高精度场合的应用[13]。用激光跟踪仪测量机械臂位姿时，靶球的安装阻碍了机械臂继续作业，而费时费力的测量设备装卸也会极大影响产线生产效率。此外，靶球镜面对激光的可视范围较小，当机械臂作业范围较大时，激光光束可能无法持续直射靶球镜面，难以实现位姿实时监测。

新方法以绝对定位精度经过首次标定且还未衰减的机械臂为对象，选择双目视觉实时采集机械臂末端关节靶标的位姿，并基于深度学习方法建立了双目视觉“不精确”测量结果与机械臂“精确”位姿数据间的映射关系，使低成本的机器视觉方法也能够实现高精度测量。新方法将神经网络强大学习能力与视觉系统复杂误差来源深度融合，克服了视觉采集方法各类误差对位姿测量精度的影响。

1 机械臂位姿视觉监测系统设计

双目相机的安装位姿应满足两个要求：①相机视场范围包含机械臂末端整条作业轨迹；②相机能够拍摄到作业轨迹上指定监测点处的完整靶标。监测系统如图1所示，双目相机传输靶标图像给上位机，解算出靶标采集位姿，再由神经网路预测末端实际位姿；机械臂控制系统将当前关节指令实时传输给上位机，计算出末端名义位姿；将二者进行比较得到末端位姿误差，该误差可进一步用于机械臂标定。

图1 视觉监测系统示意图

2 末端关节名义位姿计算

机械臂坐标系分布如图2所示，{Xi,Yi,Zi}表示第i关节坐标系的3个坐标轴，i=1,2,…,6。{X0,Y0,Z0}表示基坐标系，{Xt,Yt,Zt}表示靶标坐标系。

图2 6自由度机械臂关节坐标分布

机械臂末端关节(第6关节)名义位姿通过正运动学计算，首先是计算末端关节齐次变换矩阵：

(1)

式中，0T6表示机械臂基座标系到机械臂第6关节坐标系的齐次变换矩阵；i-1Ti表示第i-1关节坐标系到i关节坐标系的齐次变换矩阵。

i-1Ti=Rx(αi)Tx(ai)Rz(θi)Tz(di)

(2)

式中，Rx(*)、Rz(*)表示旋转矩阵；Tx(*)、Tz(*)表示平移矩阵；{αi,ai,θi,di}为第i关节的DH参数[2]，其参数值通过标定得知。若假设0T6表征为：

(3)

则由0T6矩阵中各元素通过式(4)可得到对应末端关节位姿向量P6，作为神经网络的输出标签进行有监督的神经网络训练。

(4)

式中，atan2(y,x)是双变量反正切函数；{θx6,θy6,θz6}是末端关节坐标系绕基坐标系X、Y、Z轴的旋转欧拉角。

3 末端靶标实际采集位姿计算

靶标采集位姿是在相机坐标系中描述的。首先假定第6关节坐标系到靶标坐标系的变换矩阵恒为6Tt，由此可得基坐标系到靶标坐标系的变换为：

(5)

结合假定的相机坐标系到基坐标系变换矩阵cT0可得到相机坐标系到靶标坐标系变换矩阵：

(6)

相机坐标系下的靶标名义位姿向量Pt=[xt,yt,zt,θxt,θyt,θzt]T则参照与式(3)和式(4)类似的方法从cTt的元素求得。

受各种系统误差影响，视觉系统采集的靶标位姿与真实值存在不可忽略的偏差[14-15]。例如：镜头畸变虽可通过相机内参标定被部分补偿，但残余畸变仍导致测量结果无法达到高精度要求；相机内外参标定准确性不够，也会制约位姿测量精度；视场内光照强度的不均匀性也会导致不同位置的靶标位姿采集精度存在差异，在光照不充足的区域可能无法满足高精度测量要求。

为复现真实的视觉采集靶标位姿以用于后续的仿真验证，现根据上述典型影响因素建立如下靶标采集位姿综合误差模型。首先需要分析三种典型误差来源对采集位姿的影响。

(1)残余畸变对采集位姿的影响。假定采用广角短焦距镜头，则仅存在桶形畸变，其影响具体表现为：越靠近视场边缘，采集的靶标坐标系位置在X方向上越向Y轴偏移，在Y方向上越向X轴偏移，在Z方向上越远离相机坐标系；在XOY平面上越靠近视场边缘，采集的靶标坐标系绕Z轴的附加旋转越明显，具体旋转方向与坐标系坐落的区域有关；在XOZ平面上越靠近+X视场边缘，采集的靶标坐标系绕Y轴的正向附加旋转越明显，反之附加旋转则为负向；在YOZ平面上越靠近+Y视场边缘，采集的靶标坐标系绕X轴的负向附加旋转越明显，反之附加旋转则为正向；采集的靶标坐标系越靠近相机坐标系，上述绕X、Y轴的附加旋转畸变越明显。

据此，假设残余畸变所致位姿采集误差表征为Ptd=[xtd,ytd,ztd,θxtd,θytd,θztd]T，残余畸变系数为{kd1,kd2,kd3}，相机坐标系下的视场上、下边界分别为{xmax,ymax,zmax}和{xmin,ymin,zmin}，实际采集靶标坐标系在视场中绕X、Y、Z轴最大附加旋转角分别为{αmax,βmax,γmax}，可得：

(7)

(2)相机标定误差对采集位姿的影响。由视觉系统各坐标系之间的变换关系[13-14]可知，当相机内、外参标定存在误差时，实际采集靶标坐标系cTte与名义坐标系cTt间将产生如式(8)所示恒定坐标变换矩阵Tce：

(8)

式中，Tce各元素值可在仿真中假定。相机标定误差所致采集位姿误差Pte=[xte,yte,zte,θxte,θyte,θzte]T可参照与式(3)和式(4)类似方法由Tce元素求取。

(3)视场内光照差异对采集位姿的影响。假设机械臂作业现场采用与相机光轴同向的平行光源，且靶标与光源间无遮挡，则靶面与光向量夹角减小时，靶面光照度减小导致图像变暗，使实际采集图像面积增大[15]。值得注意的是，在相机坐标系中，靶标各边缘在图像坐标系中向外扩张相同尺寸时，视觉系统解算所得相机坐标系下的远端边缘位置变化量要略大于近端。据此，假设残余畸变所致位姿采集误差表征为Ptl=[xtl,ytl,ztl,θxtl,θytl,θztl]T，靶标可视面在基坐标系中的法向量为[xn,yn,zn]T，光照误差系数为{kl1,kl2,kl3,kl4,kl5,kl6}，则由此导致的靶标位姿采集误差可模拟为：

(9)

最后，由Ptd，Pte，Ptl中的欧拉角和位置坐标可求得对应的变换矩阵Ttd，Tte，Ttl。将其按式(10)依次右乘cTt可得靶标实际采集坐标系矩阵：

cTta=cTtTtdTteTtl

(10)

再参照与式(3)、式(4)类似方法由cTca元素求取在综合误差下模拟得到的靶标实际采集位姿向量Pta=[xta,yta,zta,θxta,θyta,θzta]T作为神经网络的输入特征进行有监督神经网络训练。

4 神经网络结构与训练样本

新方法旨在由实际采集的靶标位姿反推出机械臂末端关节位姿，以用于实时监测机械臂绝对定位精度并进行后续的误差标定。然而从上文分析结论可知，受多种误差来源干扰，视觉系统实际采集的靶标位姿准确性较低。鉴于上述误差难以在实际场景中精确辨识并建模，因此通过神经网络强大学习能力建立视觉系统采集的“不精确”靶标位姿与机械臂正运动学计算出的“精确”末端位姿间的映射关系。具体分为如下两个步骤进行。

步骤1：设计网络结构。拟选用BP神经网络结构，随着隐层数和节点数增多，网络预测精度会有所提高，但训练时间增加且容易出现“过拟合”现象。通常参考如式(11)所示经验公式来初定最佳隐层节点数的范围[16]：

(11)

式中，n表示输入层节点数；m表示输出层节点数；a=1,2,…,10。由于输入和输出分别是靶标位姿向量和末端位姿向量，故令n=m=6，隐层节点数可选L=5,6,…,14。由于采集所得靶标坐标系到末端关节位姿坐标系的映射中包含了6Tt的12个未知元素、3个残余畸变系数以及6个光照误差系数，而隐层节点数建议上限为14，因此隐层数初选为2。

步骤2：生成训练样本。选择机械臂末端作业轨迹上k个监测点，将各点对应的关节指令q={θ1,θ2,…,θ6}代入式(1)可得对应的末端关节坐标系矩阵0T6。以每个监测点位置(px,py,pz)为中心、边长w的临域立方体内分别均匀取j3个训练点，如图3所示。

图3 训练点分布方案 图4 神经网络及其训练样本

然后在±e角度范围内均匀取j个值，由三组j个角度值交叉组合生成j3个不同的角度组合(δα6,δβ6,δγ6)。令末端关节坐标系0T6依次绕X6、Y6、Z6轴旋转δα6，δβ6，δγ6角度，得到j3个训练点对应的末端坐标系集合{0T6}。将{0T6}分别代入式(5)和式(6)求得训练点对应的靶标名义坐标系集合{cTt}。然后综合式(3)～式(10)可计算出训练点对应的实际采集靶标位姿集合{Pta}和末端关节名义位姿集合{P6}。将{Pta}作为神经网络输入特征，后者作为输出标签{P6}，由此训练所得神经网络可根据监测点临域内某点的靶标实际采集位姿预测出对应的机械臂末端实际关节位姿{P6a}，如图4所示。

5 仿真验证

(1)神经网络训练。首先依照表1～表4所示假定机械臂结构、视觉系统、靶标安装位姿以及相机位姿的有关参数值。

表1 机械臂DH参数赋值

表2 视觉系统各项参数赋值

表3 末端坐标系到靶标坐标系的变换矩阵赋值

表4 相机坐标系到基坐标系的变换矩阵赋值

在靠近视场中心、边界以及二者中间选3个监测点，并使各点处的靶面与光向量夹角具有明显差异，以检验神经网络对不同程度镜头畸变及光照影响的学习能力，关节指令如表5所示。再采用前文第3、4节方法生成训练样本{Pta}和{P6}。监测点邻域训练样本如图5所示，不同监测点处的靶标点阵与末端关节点阵存在不同程度差异，说明训练样本融合了靶标安装偏置、光照差异以及视觉系统导致的测量误差。

表5 所选监测点对应的关节指令 (°)

(a) 监测点1处的训练样本 (b) 监测点2处的训练样本

训练参数设定如表6所示，可知各监测点对应训练样本数量为j3=1000。当神经网络隐层节点数为[14,14]时，3个监测点处的网络训练精度均可达到regression=1，因此图6仅展示了监测点1对应的regression曲线，可见神经网络能够非常准确的学习视觉系统误差到靶标位姿采集误差的映射关系。

图6 监测点1的神经网络训练精度

表6 神经网络训练参数值设定

(2)神经网络测试。为保证测试样本不包含于训练样本，且与训练样本没有重复，以提高测试结果的可信度，取j=23，e=7.5°，据此在监测点相同邻域内(w=100 mm)随机生成更为密集、方位角范围更加离散的测试样本。3个监测点邻域的测试样本如图7所示，可见采集的靶标坐标与计算的末端关节坐标间的偏差程度与图5一致。

(a) 监测点1处的测试样本 (b) 监测点2处的测试样本

(3)验证结果与分析。将测试样本中的靶标位姿采集值输入监测点对应的神经网络中，得到末端关节位姿的预测值{P6a}。由于满足位置预测精度时，方位角预测精度也一定满足，因此只检验末端关节位置预测精度即可。将{P6a}的位置坐标与末端关节位姿假定值的位置坐标(图7所示黑点)进行比较，可通过距离公式求得预测点与假定点之间的距离误差，作为神经网络预测误差。

三个监测点处的预测误差分布如图8所示。可见在超过99%测试样本处，神经网络对末端关节位置预测精度能达到0.025 mm。由于主流激光跟踪仪，如FaroVantage在1 m以内测距误差一般不超过0.025 mm，因此新方法可以满足对机械臂末端位姿预测精度的需求。

(a) 监测点1处的预测误差分布 (b) 监测点2处的预测误差分布

机械臂绝对定位精度不足时，末端实际位姿与名义位姿偏差通常较小，即监测点实际末端坐标仅集中在临域中心附近，不会接近临域边界。因此，为进一步验证监测方法在标定领域实用价值，将预测误差按照与测试点到监测点距离从小到大重新排列，观察预测误差与测试样本分布间的关系，如图9所示。

(a) 监测点1处的影响关系 (b) 监测点2处的影响关系

图中，深色线条为2次多项式拟合后的预测误差曲线，可见更靠近监测点的测试样本具有更高预测精度，表明新方法面向机械臂标定中的微小位姿误差时(其中位置误差为毫米级)，具有优于0.025 mm的测量精度。

6 结束语

新方法通过引入神经网络对视觉系统测量误差进行学习，使机械臂位姿实时高精度视觉监测具有了可行性，为机械臂不停工标定中的位姿测量环节提供了良好的技术支撑，能有效改善现有标定方法高成本、低效率的问题。

仿真结论验证了该方法具有实现机械臂位姿高精度测量的潜力，但由于实际的视觉采集过程还存在一些其他因素干扰，因此下一步是搭建实验平台验证新方法在现实场景下的测量精度，以对其神经网络结构和训练样本做进一步优化与完善。