挖掘机操作臂姿态非接触式实时测量系统

蒋 毅，王海波，钱 宇

（西南交通大学 机械工程学院，四川 成都 610031）

1 引言

挖掘机操作臂姿态信息是挖掘机机器人化作业控制系统的关键参数之一，准确、实时地获取操作臂姿态信息至关重要。一般地，接触式测量方式使用旋转编码器[1]、拉线位移传感器[2-3]等对挖掘机操作臂姿态进行测量，但挖掘机操作臂在作业过程中经常与工作对象发生碰撞而极易造成接触式传感器的损坏。针对此问题，可使用基于机器视觉的非接触式测量系统获取挖掘机操作臂姿态。基于机器视觉的非接触式测量系统一般可分为立体视觉测量系统、单目视觉测量系统。立体视觉测量[4-5]系统结构复杂，测量视场小、距离短，不适用于运动范围广的挖掘机操作臂姿态的测量。相较而言，单目视觉测量系统结构简单、量程大[6-8]。但测量过程中工业相机捕获的图像元素多、复杂且挖掘机的操作臂与工作背景融合度大，导致图像的噪点多、处理耗时长和难以有效地检测到操作臂姿态特征信息等问题。

针对如上问题，提出了一种基于具有X角点特征结构的人工靶标和分组跟踪策略的挖掘机操作臂姿态非接触式实时测量系统。首先，将人工靶标安置在挖掘机各操作臂上表征其姿态信息；其次，以人工靶标中各X角点的空间距离作为约束条件，实时获得靶标X角点坐标，最后，计算得到操作臂姿态；在此测量过程中，分组跟踪策略的应用，大幅缩减图像的处理范围大小，提高测量实时性，减弱噪声干扰。

2 人工靶标

挖掘机工作环境复杂多变，且操作臂不存在明显的区别于环境背景的特征信息，导致一般测量系统无法准确快速识别出操作臂得到姿态信息。因此需要为操作臂布置表征操作臂姿态信息的人工靶标（以下简称靶标）。首先靶标应具有明显区别于操作臂的工作背景，并表征操作臂姿态的特征信息，再者人工靶标特征结构应该足够简单，易于被准确快速识别以保证测量系统的准确性和实时性。靶标结构，如图1所示。靶标具有三个共线的点特征，称为X角点A、O、B。BOA所在直线的指示方向与各操作臂铰点连线相同，如图2所示。此时靶标即可表征操作臂姿态，并规定顺时针为正，逆时针为负。为区别三个操作臂的靶标，各操作臂的靶标中的各X角点间距，如表1所示。

图1 靶标Fig.1 The Target

图2 姿态测量系统硬件布置图Fig.2 Apparatus of Attitude Measurement System Laying

表1 靶标X角点距离Tab.1 Distances of X-Corner in Target

3 操作臂姿态测量系统

挖掘机操作臂非接触式姿态实时测量系统基本组成，如图2所示。主要由操作臂，靶标，测量平面、工业相机、计算机等构成。工业相机安装在挖掘机机架上，其光束中心与操作臂所在的测量平面存在恒定夹角，靶标布置在各操作臂上表征其姿态。系统算法首先得到X角点的图像坐标值，然后通过坐标变换将X角点图像坐标变换为世界坐标，再利用X角点空间距离约束条件确定各靶标3个X角点的具体世界坐标，最后计算出操作臂姿态。具体测量步骤为：首先，使用软件Halcon标定相机，并获得相机内部参数 Sx，Sy，cx，cy，k，f，外部参数 R，T[9]；其次，系统算法检测相机获取的图像，得到图像中所有X角点的图像坐标值（xi，yi）；然后，利用相机内部参数、外部参数将图像坐标值变换为世界坐标值（xw0，yw0），据表1中各X角点的间距约束条件，筛选出各操作臂上的靶标的3个X角点；最后，实时计算得到操作臂姿态。

4 操作臂姿态测量

4.1 X角点检测

假设工业相机采集的数字图像为I（x，y），经高斯平滑滤波算子g（x，y）处理后得到的图像为r（x，y）：r（x，y）=I（x，y）⊗g（x，y）（1）

利用Hessian矩阵法计算得到图像r（x，y）中X角点的图像坐标（x0，y0）后，可先假设 X 角点精确亚像素级坐标为（x0+s，y0+t），其中（s，t）∈［-0.5，0.5］×［-0.5，0.5］。则图像 r（x，y）在该点（x0+s，y0+t）处二次泰勒展开式为：

式中：r—图像r（x，y）在X角点（x0，y0）处的函数值；rx，ry—图像r（x，y）在X角点（x0，y0）处的一阶偏导；rxx，ryy，rxy—图像r（x，y）在X 角点（x0，y0）处的二阶偏导。

对于图像r（x，y），图中的X角点附近的灰度分布为双曲抛物面，X角点处于曲面中心位置，故（2）中rx=0，ry=0，则式（2）简化为：

4.2 计算姿态

由4.1节所述方法可从图像中检测计算得到n个X角点的亚像素图像坐标（xi，yi），现需从中筛选出各靶标A、O、B三个X角点。具体过程如下，首先将个X角点的图像坐标（xi，yi）转为世界坐标（xwi，ywi），再计算各X角点的实际距离aij，得到距离矩阵L：

由各靶标X角点距离约束条件，据式（6）可筛选出各靶标的X角点：

得到操作臂靶标O、A、B三个X角点世坐标后，再计算线段AO、BO、AB 所指方向的绝对角度 α1，α2，α3：

最后取三者平均值为操作臂k姿态α以减小误差，即：

4.3 X角点分组跟踪策略

挖掘机工作范围广，相机捕获的图像背景元素多、复杂并且图像噪点多。若每次测量都对整幅图像进行X角点检测将耗费无谓的处理时间，影响测量系统的实时性。为此，考虑到挖掘机操作臂在有限的时间内运动距离短，基于领域搜索原理[10]，提出X角点分组跟踪测策略以缩小检测区域，降低每帧图像的处理耗时并减弱噪点对测量的干扰。把各靶标的3个X角点分成一组作为独立的跟踪目标，如图3所示。则X角点的检测区域缩小为与操作臂的三个靶标当前位置相关联的三个独立矩形区域。以动臂为例，由靶标3个X角点在时刻t的坐标（xi，yi）（i=1，2，3）确定的矩形区域的两对角点C1，C2的坐标为：

式中：Tx，Ty—dt时间间隔内靶标X角点在x，y方向运动的最大距离。

X角点分组跟踪测策略将X角点检测区域分为三个独立部分，能够有效减少图像检测面积，提高系统检测的实时性，并减弱噪点对测量结果的干扰。

图3 X角点分组跟踪测策略Fig.3 Method of Tracking X-Corner in Group

5 试验与分析

5.1 试验主要设备与参数

以玉柴YC13-6型液压挖掘机为试验硬件平台，非接触式测量系统的测量结果以操作臂各液压缸活塞杆上安装的接触式传感器—拉线位移传感器所测数据为基准进行对比评价。工业相机型号：MV-1300UM，分辨率：12801024，帧率：10fps；镜头型号：AFT-0814MP，焦距：8mm。工业相机曝光时间为10ms，高斯平滑因子为1.3，Hessian矩阵特征值阀值为7。使用VB编程语言结合Halcon软件开发一套实时测量软件。

5.2 X角点分组跟踪

挖掘机以正常工作方式动作，应用X角点分组跟踪测策略，靶标的X角点的检测、匹配结果，如图4所示。由图可知，测量系统正确识别各靶标A、O、B三个X角点。图中三个矩形框为操作臂三个靶标的X角点的独立检测区域，其面积总和占图像总面积的20%。试验表明，应用X角点分组跟踪测策略减少了80%的图像检测面积，提高了系统姿态测量的实时性，并减弱了噪点对检测结果的影响。

图4 分组跟踪测策略的试验结果Fig.4 Result of Tracking X-Corner in Group

5.3 动态测量试验

操作臂以正常的工作方式动作，测得动臂姿态，如图5所示。非接触式测量系统在背景元素复杂、噪点多的条件下进行姿态动态测量试验。动臂姿态测量结果表明非接触式测量结果与接触式传感器测量结果基本吻合，斗杆姿态的测量结果同动臂，在此不做赘述。而挖掘机在正常工况下，铲斗有正、负两种姿态，其动态测量结果，如图6所示。非接触式测量系统测得铲斗的正、负姿态，且测量结果与接触式传感器测量结果基本一致。动臂、铲斗的动态测量误差，如图7所示。由图可知动臂、铲斗的测量误差分别在（±0.5）°、（±1）°内。受限于工业相机分辨率、景深等硬件条件，操作臂在姿态方向突变的工况下，相机捕获的图像清晰度受到影响，导致测量误差增大。对于铲斗而言，铲斗与相机镜头的距离相对较远，图像相对模糊，所以铲斗的测量结果与动臂的测量结果相比，波动性和误差相对较大。未来可通过选用高质量CCD相机或增加镜头的景深来改善此状况。

图5 动臂姿态测量结果Fig.5 Result of Boom’s Attitude

图6 铲斗姿态测量结果Fig.6 Result of Bucket’s Attitude

5.4 实时性

工业相机以10fps的帧率工作，非接触式测量系统测量耗时，如图8所示。在100s的测量时间长度内，每帧图像处理耗时均小于75ms，平均耗时63ms/帧。试验表明基于X角点特征的靶标，应用X角点分组跟踪测策略能够有效提高系统实时性，测量系统的实时性满足挖掘机机器人化控制要求。由试验结果可知，提出的非接触式测量系统能够准确、实时地测量出操作臂姿态。

图8 测量耗时Fig.8 Time Consuming

6 结论

（1）应用特征信息为三个共线X角点的靶标表征操作臂姿态，并利用各X角点的空间距离作为约束条件，从图像中筛选出各靶标的X角点，实时计算出挖掘机操作臂姿态。动态测量试验表明，动臂和铲斗误差范围分别在±0.5°，±1°内。（2）基于以 X 角点为特征信息的靶标，应用X角点分组跟踪策略将各操作臂的靶标的X角点在图像中的检测范围分别限定在3个独立的矩形区域内，缩减了80%的检测面积。动态测量试验表明，测量平均耗时63ms/帧，实时性较好，满足工程实际应用。（3）挖掘机操作臂姿态非接触式实时测量系统，解决了传统接触式测量系统和一般基于机器视觉的非接触式测量系统无法适用于实时测量挖掘机操作臂姿态等问题，为挖掘机机器人化开拓一条新途径。

［1］Le Duc-hanh，Kyoung Kwan-ahn，Bao Kha-nguyen.Trajectory control of electro-hydraulic excavator using fuzzy self tuning algorithm with neural network［J］.Journal of Mechanical Science&Technology，2009，23（1）：149-160.

［2］KwonSoon-kwang，KimYong-seok，Lee Chang-don.Development and evaluation of simulator for field robot［C］//Smart Manufacturing Application，2008.ICSMA 2008.International Conference on.IEEE，2008：419-423.

［3］Plonecki L，Trampczyński W，Cendrowicz J.A concept of digital control system to assist the operator of hydraulic excavators［J］.Automation in Construction，1998，7（5）：401-411.

［4］Cao Wan-peng，Bi Wei，Che Ren-sheng.6-DOF motion and center of rotation estimation based on stereo vision［J］.Chinese Journal of Mechanical Engineering，2008，21（2）：87-92.

［5］Masaki Maeda，Takefumi Ogawa，Kisyoshi Kiyokawa.Tracking of user position and orientation by stereo measurement of infrared markers and orientation sensing［C］.Wearable Computers，2004.ISWC 2004.Eighth International Symposium on.IEEE，2004（1）：77-84.

［6］Liu Su-yi，Wang Guo-rong，Zhang Hua.Design of robot welding seam tracking system with structured light vision［J］.Chinese Journal of Mechanical Engineering，2010，23（4）：436-442.

［7］王德麾，袁中凡，樊庆文.基于计算机视觉的平面角度测量方法［J］.西南交通大学学报，2010，45（5）：775-779.（Wang De-hui，Yuan Zhong-fan，Fan Qing-wen.Planar angle measurement based on computer vision［J］.Journal of Southwest Jiaotong University，2010，45（5）：775-779.）

［8］包加桐，宋爱国，唐鸿儒.基于视觉目标跟踪的侦察机器人导航方法［J］.东南大学学报：自然科学版，2012，42（3）：399-405.（Bao Jia-tong，Song Ai-guo，Tang Hong-ru.Navigation method for reconnaissance robot based on vision object tracking［J］.Journal of Southeast University：National Science Edition，2012，42（3）：399-405.）

［9］杨博文，张丽艳，叶南.面向大视场视觉测量的摄像机标定技术［J］.光学学报，2012，32（9）：159-167.（Yang Bo-wen，Zhang Li-yan，Ye Nan.Camera calibration technique of wide-area vision measurement［J］.Acta Optica Sinica，2012，32（9）：159-167.）

［10］Mladenovic N，Hansen P.Variable neighborhood search［J］.Computers&Operations Research，1997，24（11）：1097-1100.