基于眼固定的机器人视觉定位

白蕾，杨宁宁

（1.陕西工业职业技术学院 陕西 咸阳 712000；2.西安理工大学 陕西 西安 710048）

基于眼固定的机器人视觉定位

白蕾1，杨宁宁2

（1.陕西工业职业技术学院 陕西 咸阳 712000；2.西安理工大学 陕西 西安 710048）

针对眼固定型机器人的视觉定位问题，提出了一种基于kalman滤波的机器人无标定视觉定位方法。在摄像机和机器人坐标系不标定的情况下，采用kalman滤波算法对眼固定的图像雅克比矩阵进行在线辨识，并建立基于图像特征的最优反馈控制。利用机器人Matlab仿真工具箱建立了基于眼固定的机器人无标定视觉定位Simulink模型，实现了6自由度机器人的视觉定位，实验结果表明了该方法的可行性和有效性。

眼固定型机器人；视觉定位；kalman滤波；无标定；图像雅克比矩阵

视觉定位是机器人视觉伺服领域的一个热点和难点问题[1-2]。机器人的手眼系统可分为眼在手上构型和眼固定构型[3]，由于后者具有视场范围固定、图像分辨率固定、系统稳定可靠的特点，因而获得广泛应用[4]。传统的机器人视觉定位系统采用基于标定的方法来实现机器人的手眼协调关系[5-6]，这种方法需要根据已知模型和预先标定好的摄像机内外参数建立图像空间和机器人运动空间的映射。但是一旦标定好的参数发生微小变化，计算结果就会有很大误差，必须重新标定。为了克服基于标定方法的弊端，无标定方法被提出[7-8]，它是指在不预先标定机器人和摄像机参数的情况下，直接利用图像上的系统状态误差设计控制律，以驱动机器人运动的机器人手眼协调方法。

目前，对图像雅克比矩阵进行在线辨识并实现直接图像反馈控制是解决无标定手眼协调问题的有效途径之一[9]，其关键是如何实现图像雅克比矩阵的在线辨识[10]。文中根据系统辨识原理，将图像雅克比矩阵的在线辨识转化为系统的状态观测问题，并设计了相应的Kalman滤波估计算法来实现。文中设计的这种基于Kalman滤波的眼固定机器人手眼无标定视觉定位方法，可以使机器人准确定位到目标位置，且定位精度较高。

1 固定摄像机的图像雅克比矩阵

将摄像机固定于机器人工作平面的上方，可以同时观察机器人手爪和目标的运动。设手爪在机器人基坐标系中的坐标为p（t）=[x（t）y（t）]T，同时定义手爪在固定摄像机图像平面上的投影位置为f（t）=[u（t）v（t）]T。图像雅克比矩阵反映的是图像特征空间与机器人运动空间的微分关系[11]，即

其中J（P）∈R2×2为固定摄像机观察手爪平面运动的图像雅克比矩阵。从式（1）可知，图像雅克比矩阵J与手爪位置p有关，在定位过程中是时变的，因此需设计图像雅克比矩阵J的在线估计算法。

2 眼固定图像雅克比矩阵的在线kalman估计

基于眼固定的图像雅克比矩阵在机器人的运动过程中是不断变化的，因此在应用图像雅克比矩阵建立图像反馈控制器时，为了保证控制性能，需要对其进行实时地辨识[12]。文中使用Kalman滤波算法实现图像雅克比矩阵 的在线估计。定义图像雅克比矩阵的观测向量x为一个四维向量：

由图像雅克比矩阵的定义，有

可写成如下状态方程：

其中η（k）为状态噪声，v（k）为图像观察噪声。

建立Kalman滤波递推估计[13-14]：

其中Rη，Rv为噪声方差阵，P（k）为状态估计误差方差阵。（0）可采用如下方法获得：

在初始位置任意给定两步线性无关的试探运动Δp1，Δp2，而在固定摄像机中观察手爪相应图像平面上位置的变化为Δf1，Δf2，从而获得初始图像雅克比矩阵的估计值：

3 眼固定的视觉反馈控制

对于眼固定的视觉反馈而言，控制的任务就是使手爪准确定位任意位置的目标，本文通过建立最优反馈控制率[15]实现。假定图像上观察到的目标位置为fmb（t）=[umb（t） vmb（t）]T，机器人手爪位置为fsz（t）=[usz（t） vsz（t）]T，定义系统误差为：

将控制量离散化，有

k时刻最优控制量为：

4 仿真实验

利用机器人 Matlab仿真工具箱对文中所提出的基于kalman滤波的眼固定机器人手眼无标定视觉定位系统进行仿真。仿真模型如图1所示。

图1 基于kalman滤波的眼固定机器人手眼无标定视觉定位仿真模型

在眼固定条件下，Kalman滤波估计算法中的Rη、Rv分别取为0.5I4，0.5I2，P矩阵的初始值可取为P（0）=105I4。图像雅克比矩阵的初值（0）通过任意做两步试探运动得到：设手爪在机器人基坐标系下的初始位置为 p0=[0.5 0]，p1=[0.4855 0.0056]，p2=[0.4719 0.0109]， 所 以 Δp1=p1-p0=[-0.0145 0.0056]，Δp2=p2-p1=[-0.0136 0.0053]。手爪对应在图像平面的坐标为 f0=[102.8863 279.8150]，f1=[104.9358 278.5422]，f2= [106.8826 277.3330]，可得 Δf1=[2.0495 -1.2728]，Δf2= [-0.0136 0.0053]，则初始J矩阵的估计值为：

实验中手爪在世界坐标系下的起始位置为：[0.5 0 0]，对应的图像平面坐标为[217.72 261.95]（单位：像素）；目标在世界坐标系下的位置为：[0.1 0.1 0.1]，对应的图像平面坐标为fmb=[230.05 259.51]（单位：像素）。图像平面误差定义为e=fmbfsz，整个定位过程结束后，机器人手爪在图像平面上的坐标为fsz=[230.00 260.43]（单位：像素），与目标位置对应的图像平面坐标之间的差值为e=[0.05-0.92]（单位：像素）。将误差e取其二范数，得到整个机器人视觉定位系统的图像误差为E==0.9211（单位：像素）。机器人定位结果如图2所示；图3为机器人分别沿x轴、y轴的定位误差曲线；图4为机器人在图像平面中的定位误差曲线，误差最终收敛到0.9211像素。

图2 手爪在图像平面上的运动轨迹

图3 x，y方向定位误差曲线

图4 图像平面定位误差曲线

以上实验结果表明，文中所设计的kalman滤波器能准确地在线估计出眼固定的图像雅可比矩阵，使机器人到达目标位置，且定位精度较高。

5 结论

文中根据系统辨识原理，在眼固定的条件下，将图像雅克比矩阵的在线辨识问题转化为系统的状态观测问题，并设计了相应的kalman滤波估计算法来实现机器人的视觉定位。本文设计的这种基于kalman滤波的眼固定机器人手眼无标定视觉定位方法，可以使机器人准确定位任意位置的目标，且定位精度较高。

[1]贾丙西，刘山，张凯祥，等.机器人视觉伺服研究进展:视觉系统与控制策略[J].自动化学报，2015，41（5）:861-873.

[2]王麟琨，徐德，谭民.机器人视觉伺服研究进展[J].机器人，2004，26（3）:277-282.

[3]Chaumette F，Hutchinson S.Visual servo control，part I: basic approaches[J].IEEE Robotics&Automation Magazine，2006，13（4）:82-90.

[4]陈锡爱，黄孝明，徐方.基于眼固定安装方式的机器人定位系统[J].微计算机信息，2006（8）:182-184.

[5]胡鹏.基于标定技术机器人视觉伺服控制研究 [D].南京：南京航空航天大学，2011.

[6]段坚，张少鹏，王现康.工业机器人视觉系统的摄像机标定[J].机械工程与自动化，2013（1）:97-98.

[7]H Wang，M Jiang，W Chen.Visual servoing of robots with uncalibrated robot and camera parameters[J].Mechatronics，2012，22（6）:661-668.

[8]J Armstrong Piepmeier，PA Morgan.Uncalibrated Vision-Based Mobile Robot Control[J].Space&Robotics，2014: 388-395.

[9]张捷.机器人图像雅可比矩阵在线估计算法研究 [D].西安：西安理工大学，2010.

[10]刘广瑞，黄真，韩莉莉，等.基于Kalman滤波的图像雅克比矩阵在线估计 [J].郑州大学学报:工学版，2013，34（1）: 95-98.

[11]钱江，苏剑波.图像雅可比矩阵的在线Kalman滤波估计[J].控制与决策，2003，18（1）:77-80.

[12]刘伟，于振中，惠晶.基于卡尔曼滤波器的图像雅克比在线估计[J].江南大学学报:自然科学版，2015，14（5）:606-609.

[13]时也，吴怀宇，徐文霞，等.基于扩展卡尔曼滤波器的移动机器人SLAM研究[J].电子设计工程，2012，20（1）:104-106.

[14]辛菁，白蕾，刘丁.基于自适应kalman滤波的机器人6DOF无标定视觉定位[J].系统仿真学报，2014，26（3）:586-591.

[15]陈秦睿，滕祥飞.基于图像的机器人视觉伺服方法[J].文摘版:自然科学，2015（6）:184.

The robot vision positioning based on fixed eye

BAI Lei1，YANG Ning-ning2
（1.Shanxi Polytechnic Institute，Xianyang 712000，China；2.Xi’an University of Technology，Xi’an 710048，China）

An un-calibrated robot vision positioning method based on kalman filter is proposed focus on the robot with fixed eye.Kalman filter algorithm is adopted to on-line identify the image Jacobian matrix in the un-calibrated hand-eye coordination systems，and build the optimal feedback control based on the image features.The simulink model for robot uncalibrated vision positioning system using eye-fixed configuration is built with the robotics toolbox for Matlab.Finally，Experimental results testify the feasibility and validity of this method.

eye-fixed robot；vision positioning；kalman filter；uncalibrated；image Jacobian matrix

TN06

A

1674－6236（2016）15-0025-03

2016-01-17 稿件编号：201601130

国家自然科学基金资助项目（51507134）

白 蕾（1988—），女，陕西咸阳人，硕士。研究方向：工业机器人、电力电子技术、图像处理、自动控制。