基于立体视觉的摄像机运动分析

许 竞，姜 波

（新疆大学 电气工程学院，乌鲁木齐 830047）

0 引言

针对摄像机本身的运动分析在机器人视觉自主导航等领域有重要的作用[1]，因为机器人所处的环境中存在各种随机出现的动态和静态障碍物，机器人必须对各种障碍物的性质作出快速和准确的判断才能进行有效的避障行为。而机器人若要分析障碍物体的运动情况，首先需要对自己的运动有准确的认识。由于在机器人视觉导航中，摄像机本身随着机器人发生运动，这将引起了图像发生全局性的运动。传统上通过图像来定量描述全局运动参数的方法主要是基于光流场分析的方法[2～4]，但是这种方法对噪声、大位移量及遮挡背景和运动不连续而引起的界外值都非常敏感，如何利用双目视觉技术来解决传统方法对全局运动参数估计的精度与计算量是本算法的特点。

1 算法的基本描述

双目立体视觉系统针对场景中的某一个空间点p(Xw, Yw, Zw)在左右平面的投影可以用如下的投影变换模型来描述：

其中(u1,v1)、(ur,vr)分别为空间点p于左右平面的投影点，M1、M2分别为左右相机的投影矩阵。在下一帧，由于相机发生了运动，点p于左平面的投影点变为(u'l,v'r)，可以用如下的投影变换模型描述。

其中，R是3×3坐标系旋转矩阵，T为3×1平移矩阵。由于机器人所处的环境为室内，运行地面平坦，坐标系旋转变化只会发生绕Y轴旋转的情况，所以R可简化为如式(4)所示，其中Cφ , Sφ是φ的sin和cos值将其带入式(3)。通过一系列特征点求解式(3)即可得到相机运动参数R、T。

基于以上分析，提出一种基于立体视觉的摄像机运动分析算法，主要包括三个部分：

1）特征点匹配。左右相机同一时刻帧之间的点匹配与左相机前后两帧之间的点匹配。考虑到不同帧之间不同的性质，对特征点的匹配分别采用不同算法。

2）利用卡尔曼滤波预测与投影变换分析去除外点。

3）用除掉外点之后的点集来求解运动参数，并采用迭代法进一步优化提高参数的精确度。

2 相机运动参数估计

2.1 卡尔曼滤波模型

为了预测相机坐标系与空间中一点p之间的相对运动，选取p点在相机坐标系三个轴方向的相对运动位移与速度为状态变量建立卡尔曼滤波模型。由于在室内环境中，移动机器人运行平稳，而且在两帧之间旋转角度很小，故可将其视为干扰。选取的状态变量记为：

考虑到相机采样间隔较短，故在两帧之间假设点p的运动速度保持不变，故可用匀速直线运动模型来逼近实际情况，引入的偏差用系统噪声序列W (k)来补偿。令dt为采样间隔, k为采样顺序,则该离散系统的状态方程为：

式中A为状态转移矩阵，且是一个临界稳定系统; w (k)为系统噪声, 认为其为零均值的高斯白噪声,且其方差阵为cov(w)=Q, 它主要反映了匀速模型和实际轨迹间的偏差。

本系统的观测方程反映了点p的图像坐标与状态变量之间的关系，记为：

其中H为系统观测方程，为零均值且有cov(w)=Г的高斯白噪声，该噪声主要来源于成像过程中的几何失真、图像的离散化误差及角点提取误差等原因。根据相机投影变换模型式(3)，将式(7)展开可以得到H的表达式，推导过程如式(8)所示。

2.2 特征点提取与匹配

最常用的提取特征点的方法是在图像中提取Harris角点[6,7]。Harris定义的角点位于图像二阶导数的自相关矩阵存在两个最大特征值的地方。实际情况中图像可能发生平移和旋转，而Harris算子在这些因素的影响下比较稳定。

提取到了特征点之后需要在同一时刻的左右两幅图像之间与在不同时刻的同一相机的图像之间进行特征点匹配。由于两个相机已经进行了立体标定，也就是说两个相机的光轴在数学意义上严格平行，所以在同一时刻的左右两幅图像之间进行点匹配只需要在同一行之内进行搜寻即可。

在同一相机的不同帧之间搜寻特征点时，首先采用2.1节中提到的卡尔曼滤波模型对点的运动进行轨迹预测，然后以预测出来的点为中心，构建一个矩形框Ω，复制至左相机第二帧中，在第二帧新构造出的矩形框Ω'中寻找与待匹配点最相似的点。定义相似性度量准则为：

为了减少计算量，预先设定好阀值Th，首先于Ω'中寻找与待匹配点灰度值差小于Th的点集，进而计算点集中所有点的SAD，值最小所对应的点即为需要找的匹配点。具体的算法包括以下三个步骤。

1）选取Harris角点作为特征点，利用立体视觉知识在左右两幅图像中搜索对应点，并计算出该点此刻位于相机坐标系中的三维坐标。

2）利用卡尔曼滤波对点的运行轨迹进行预测，并以预测值为中心在下一时刻的左图像中构建搜索矩形框，利用式(9)提出的相似性度量准则在矩形框中搜索特征点。

3）继续利用卡尔曼滤波对点的运行轨迹进行预测，如果该点有运行处图像范围的趋势，则返回至(1)，若无，则返回(2)继续搜索。图1(a)至(d)给出了对一个特征点进行跟踪的结果。其中矩形框是进行卡尔曼滤波预测后得到的待选区域，可见该区域将待选点包围在内。

图1 左相机跟踪特征点结果

2.3 摄像机运动参数估计

将式(3)展开，可得关于的线性方程组如式(10)所示，可整理为关于( cφ, sφ, x , y , z)的线性方程组如式(11)所示。

3 实验过程及结果分析

为了验证本文提出的算法对相机运动估计结果的准确性，实验用摄像机为维视公司生产的AFT-808HC工业相机，在PC(Inter Core2 E8400,1G内存)上对实验数据(324x240图像)利用VC++6.0进行验证实验。根据机器人实际运动情况，在参考帧与当前帧之间摄像机的运动情况为：绕y轴旋转5°，向前平移10cm。故R、T如式(12)所示。

按照Zhang[10]的方法为两台摄像机分别进行标定与立体标定，得到左相机、右相机的内参数。图2为选取左相机运动前后两帧的实验数据，图中亮点为选取的15对特征点。经过2.2以及2.3中所叙述的步骤，求得相机运动参数向量( cφ, sφ, x , y , z )为 ( 0.9924 , 0.0954 , 7 , 5 , 112 )。 从 实验所得的数据中可以看出，求得的相机运动参数具有较高的精度。

图2 左相机不同帧图像以及特征点

4 结论

本文提出了一种基于立体视觉技术的摄像机运动分析方法。在特征点追踪方面，基于摄像机投影变换原理提出了一种卡尔曼滤波模型用来预测被追踪点的运动情况，同时规定了相似性度量准则，可以有效的排除外点对结果的干扰。得到帧间的匹配特征点后，利用立体视觉对特征点进行三维坐标测量，将测量数据与追踪结果代入相机运动模型中，利用最小二乘法求解出相机运动参数。从实验结果中可以看出，这种方法的精度完全可以满足要求，由于在两帧之间只需要对15个特征点进行三维测量、预测和匹配，所以也能满足系统实时性的要求。

[1] 胡华梅, 肖晓明, 蔡自兴.移动机器人视觉避障技术研究现状与未来[C].中国人工智能第11届全国学术年会, 北京: 北京邮电大学出版社, 2005.

[2] Nagel H.On a constraint equation for the estimation of displacement rates in image sequences [J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 1989, 11 (1):13-30.

[3] 黄赞, 张宪民.改进的基于光流的鲁棒多尺度运动估计算法[J].华南理工大学学报(自然科学版), 2009, 37(11):118-122.

[4] 朱兴全, 罗哉, 薛向阳等.基于运动矢量的摄像机运动定性分类方法[J].计算机研究与发展, 2001, 38(4), 495-501.

[5] Hsu C T, Tsan Y C.Mosaics of video sequences with moving objects[C]//Proceedings of the IEEE International Conference on Image Processing(ICIP), Greece, 2001, 2: 387-390.

[6] Harris C G,Stephens M J.A Combined Corner and Edge Detector.Proceedings Fourth Alvey Vision Conference,Manchester, 1988: 147～151.

[7] 谢东海, 詹总谦, 江万寿.改进Harris算子用于点特征的精确定位[J].测绘信息与工程, 2003, 28(2): 22-23.

[8] Lippiello V, Siciliano B, Villani L.Position and orientation estimation based on Kalman filter of stereo images[C].Proceedings of the 2001 IEEE International Conference on Control App lication.2001: 702-707.

[9] 付梦印, 邓志红, 张继伟.Kalman滤波理论及其在导航系统中的应用[M].北京:科学出版社, 2003.

[10] ZHANG Zhengyou, MEMBER S.A flexib le new technique for camera calibration[J].IEEE Trans on Pattern Analysis And Machine Intelligence, 2000, 22(11): 1330- 1334.