基于双目会聚型立体摄像机的目标深度测量

宋晓炜,杨 蕾,吴源昭,杨满意,刘洲峰

(中原工学院电子信息学院,河南 郑州 451191)

·光电技术与系统·

基于双目会聚型立体摄像机的目标深度测量

宋晓炜,杨 蕾,吴源昭,杨满意,刘洲峰

(中原工学院电子信息学院,河南 郑州 451191)

目标物体的三维测量是双目立体视觉的一项重要任务。基于视差的平行摄像机模型是最常见的用于三维重建的双目摄像机模型。一般双目立体摄像机不是严格平行的,所以采用上述方式进行三维重建时需要进行极线校正。提出了一种新的用于三维测量的双目摄像机模型,该模型针对一般常见的非平行的会聚立体摄像机模型。采用该模型进行目标物体的三维测距时,根据摄像机标定得到的相对外参,即可快速得到目标物体的深度信息。同时,本文从分辨率的角度对提出的深度测量方法进行了精度分析。实验结果验证了提出方法的有效性和可靠性。

双目会聚；立体摄像机；三维重建；相对外参；目标深度测量

1 引 言

当前基于单目视觉进行目标深度测量面临多帧图像的角点检测、特征提取、模型训练等问题[1-2],其处理速度受到较大影响,而利用双目立体图像来实现场景深度信息计算的相关技术日趋成熟[3]。双目立体视觉是基于视差原理,由两幅图像获取目标物体三维几何信息的方法。在一般的双目立体视觉系统中,由双摄像机从不同角度同时获取目标景物的两幅图像,并基于如图1所示的双目平行摄像机视差原理测量出目标物体的三维距离信息[4],得到目标的世界坐标。

图1中的三维模型是基于两个光轴平行的摄像机,而用于双目视觉及立体视频拍摄的多数立体摄像机都是两个光轴会聚型的摄像机[5-6]。即使有些场合用到光轴平行的双目立体摄像机,也无法在现实中保证左右摄像机的光轴严格平行。因此,基于以上原因,若采用图1的模型进行三维目标测距就必须先对双目摄像机进行极线校正[7],将双目摄像机获取的左右图像由会聚型和非严格平行型校正为严格平行型。传统三维重建模型的使用离不开极线校正,其有以下两点不足:首先,摄像机的标定和左右图像的立体匹配是三维重建中的两个必要步骤,而极线校正是在上述两步之间进行的,这样就增加了三维重建的运算步骤,增大了运算量。其次,极线校正是对立体图像对进行几何变换,其在一定程度上改变了立体摄像机获取的原始图像信息。

图1 平行摄像机的三维模型

基于上述原因,提出了一种新的用于三维目标深度测量的双目摄像机模型,该模型针对一般非平行的会聚立体摄像机模型。采用该模型进行目标的三维测距时,根据摄像机标定得到的相对外参,即可快速得到目标物体的世界坐标,不用进行极线校正。

2 相对外参和会聚点

如图2所示,对于一个双目立体摄像机系统,可以用相对外参表示右摄像机坐标系(CCS)相对于左CCS的空间位姿,相对外参由旋转和平移两个变换构成。通常,平移由一个三参量的平移向量T表示,旋转由一个三维旋转矩阵R表示或者由一个三参量的旋转向量V表示。通过引用Rodrigues旋转公式[8]可实现R和V之间的自由转换。本文规定平移向量和旋转向量为:

(1)

我们已在前期工作[9]中提出了一种双目立体摄像机的会聚点定位方法。其中,会聚点的空间位置信息可由左右摄像机之间的相对外参进一步计算得到。也就是说,由基线长度B和光轴夹角ε可以计算出会聚点到基线之间的距离,其中基线长度B和夹角ε可由公式(2)得到:

图2 相对外参及双目立体摄像机的会聚点

(2)

3 基于变换相对外参的深度测量模型

3.1 目标夹角

本文提出的是一种新的不用进行极线校正的目标点三维测量方法。由前述可知:会聚点到基线的距离可以由基线的长度B和光轴夹角ε计算得到。同样,目标物体的深度信息也可以用基线长度和变换后的角度计算得到,这里将变换后的夹角称之为目标夹角(图3中角c)。图3中,会聚立体摄像机光轴将光轴平面上的空间分为4个区域,下面将以一个位于区域1的目标物体为例,说明如何得到目标夹角。

图3 目标夹角的变换模型

如图3所示,目标物体上的同一特征点在左、右摄像机内的映射点分别称为左对应点(LCP)和右对应点(RCP)。左、右摄像机光轴与图像平面的交点分别称为左主点(LPP)和右主点(RPP)。在左右图像中,对应点与主点在u方向上的像素差值为a′ 和b′,并规定:当对应点位于主点左边时,差值小于0；当对应点位于主点右边时,差值大于0。而当目标点位于区域1时,a′ 和b′都小于0。因为每条光轴都垂直于各自的图像平面,并将从光心到目标点的直线称为目标点的对应轴,所以光轴与目标点的对应轴之间的夹角a、b可由下式得到:

(3)

式中,fl和fr为以像素为单位的左右摄像机焦距[4]。如图3所示,可以得到位于区域1中目标点的目标夹角c:

(4)

类似地,对于图3中的另外三个区域:区域2(a<0,b>0 & >0)、区域3(a>0,b>0 &ε>0)以及区域4(a>0,b<0 &ε>0),同样也可以推导出目标点的目标夹角为:c=ε-b+a。

3.2 基于变换外参的目标点测量模型

下面介绍所提出的基于变换外参的目标点三维测量方法。图4示出了会聚型双目立体摄像机在光轴平面上的一般模型。左右CCS的Z轴方向与各自光轴方向重合,并设世界坐标系与左CCS重合。类似公式(1),左右CCS之间的相对外参为:

(5)

式中,平移向量的具体含义为:右CCS原点在左CCS内的坐标；式(5)中的旋转向量的具体含义为:该旋转由3个旋转角度来定义,其中α、β、γ分别为x、y、z轴各自轴向角的旋转角度并符合右手定则[10-11],当右CCS中的每一条坐标轴按照各自轴向角的方向旋转之后将与左CCS姿态相同。因此,光轴夹角ε与β相同[9,12]。

如图4所示,待测目标点P位于区域1,该点的世界坐标为(x,y,z),则:

图4 基于变换外参的深度计算模型

(6)

图4三角形PAR中,角a在区域1内为负值,有:

(7)

联立式(4)、(6)和(7),可得到区域1内的目标点的深度计算公式为:

(8)

同理可证明式(8)对于位于区域2至区域4中的目标点的深度计算同样有效。

由式(6)和(8)可得到世界坐标中的X和Z的值,目标点的世界坐标中Y坐标值的计算方法如图5所示。在左图像坐标系中,LCP与LPP在v方向上的像素差值为v′,当对应点位于主点下方时,v′大于0。

(9)

图5 目标点的Y坐标值计算模型

综上可得,基于会聚型立体摄像机的目标点坐标测量计算公式为:

(10)

4 实 验

本文中的实验主要分为两个部分:首先在3ds Max三维虚拟场景和真实拍摄场景验证所提出的目标点深度测量方法的正确性和有效性。最后分析摄像机分辨率对目标点深度值测量精度(本文简称为深度分辨率)的影响。所有实验中的标定过程均采用了由Jean-Yves Bouguet提供的双目立体摄像机标定工具箱[13]。

4.1 基于3ds Max的验证实验

摄像机的标定对于双目立体视觉系统有着重要的意义,其主要为了获取实际中摄像机本身参数及姿态等信息。目前摄像机标定的方法多种多样,并且标定的精度已达到了较高的水平,这为我们利用现有的标定技术获得立体摄像机相对外参的精确近似值提供了途径[14]。这里,首先利用3ds Max建模软件建立了虚拟的双目立体摄像机系统,然后在该仿真平台下验证方法的正确性。先采用虚拟的仿真平台是因为这样可以避免一些实际因素的误差影响,在理想模型下以较高精度验证所提出的方法。

虚拟的双目立体摄像机实验平台如图6所示,在摄像机前方设置4个不同深度的平面,该实验中的长度和角度单位分别为毫米(mm)和弧度(rad)。如图4所示,首先将虚拟的立体摄像机系统中的世界坐标系设为与左CCS重合。在世界坐标系中,右CCS的原点坐标为(20,0,0),会聚点的坐标为(0,0,200)。则可以得到左右摄像机坐标系之间的相对外参为:平移向量T为(20,0,0),旋转向量V为(0,0.09967,0)。

图6 基于3ds Max的虚拟实验环境

然后,对3ds Max中的虚拟摄像机进行标定,得到左右摄像机的焦距fl和fr都为995个像素宽度。左右摄像机拍摄到的图像如图7所示。左右图像的分辨率为1024×768,各自的主点坐标均为(511.5,383.5)。实验结果如表1所示,可以看出:与虚拟目标点的坐标真值相比,本文提出的深度测量方法是正确的。

图7 虚拟立体摄像机拍摄的左右图像

表1 基于3ds Max的验证实验结果

4.2 真实目标深度测量实验

本文将所提出的目标深度测量方法进一步用于实际的双目立体摄像机,并与深度摄像机Kinect进行了对比。实验平台如图8所示。

图8 双目立体摄像机实验平台

双目立体摄像机由安装在双视点云台上的两台flea2工业摄像机[15]构成。将Kinect放置在左摄像机上方,使Kinect深度镜头与左摄像机镜头光心纵切面近似位于同一平面。由式(6)和式(9)可知,目标点的测量关键在于目标点的深度值Z的确定,所以我们的实验以目标点深度值的测量作为重点,说明本文提出方法的有效性。

首先将五个玩偶放置在立体摄像机前方,作为待测目标,采集到的图像如图9所示。

图9 采集到的左右图像

然后,通过摄像机的标定获取双目摄像机的内参和相对外参,得到的相关参数如表2所示。

表2 双目立体摄像机标定参数

我们分别对五个玩偶目标进行深度距离测量,采用了SNDWAY激光测距仪来获取每个目标的深度真值,并将本文方法的实验结果与Kinect方法的深度测量值进行了对比,总体实验结果如表3所示。

表3 不同深度测量方法的对比

两种方法的深度测量值的对比和测量误差的对比如图10所示。

图10 两种方法的对比曲线

从该实验的对比结果可以看出:1)本文提出的深度测量方法是有效的；2)在目标深度距离为1 m到2 m时,所提出的方法比Kinect具有更高的精度；3)当目标深度超过4 m时,Kinect无法测出目标的深度信息；虽然有一定的误差,但本文提出的方法仍可测出目标深度值,误差主要是由有限的图像分辨率等因素造成的。

4.3 图像分辨率对深度测量精度的影响

二维平面图像的最小单位是像素,对于同一拍摄场景,摄像机获得图像的分辨率越高,则对场景的表达也就越细腻,但同时所包含的像素个数也就越多。双目视觉对目标的深度测量同样是基于图像像素的,可以预见:对于同一场景,双目摄像机的分辨率越高,则对场景内目标点的深度识别能力也就越强。不仅如此,对于场景内不同深度的目标点,双目立体视觉对各个目标点的深度分辨能力也不同,即存在同样一个图像分辨率中的一个像素,其对深度值分辨能力是变化的,本文将这种分辨能力称为像素的深度分辨率。下面基于4.2节实验中的数据来讨论深度分辨率的变化规律。

4.2节实验中玩偶1的目标点在左右图像中的对应点为(311,627)和(204,610),这里设置左对应点不变,右对应点变为(205,610)即右对应点向右偏移一个像素单位,然后重新计算新对应点的深度值,并求出新深度值与原深度值之间的差值。差值即为双目摄像机对玩偶1的目标点所处空间位置的深度分辨率。

对4.2节实验中五个目标点进行类似实验可得出五个不同的深度分辨率。计算结果如表4所示,深度分辨率变化曲线如图11所示。

图11 深度分辨率变化曲线

从表4和图11可知:随着深度的增加,双目摄像机的一个像素的深度分辨率增大,其分辨精度下降,目标越远则误差也越大。因此,对于这种因有限的图像分辨率引起的误差,可采用更大的图像分辨率或采用像素插值等亚像素技术来改善重建精度。

5 结 论

基于双目摄像机模型提出了一种新的用于三维重建的目标深度测量方法,该方法适用于常见非平行的会聚立体摄像机模型。采用该模型进行目标物体的三维测量时,根据摄像机标定得到的相对外参,即可快速得到目标物体的世界坐标及深度值。实验结果证明了所提出方法的有效性和可靠性,并且从摄像机图像分辨率的角度讨论了其对深度测量精度的影响。在真实场景下采用本文方法进行目标点三维测量时,可以考虑尽量增大图像分辨率,提高目标点测量精度以及三维重建的准确性。

表4 深度分辨率对比

[1] ZHANG Yuedong,LI Li,LIU Xiaobo,et al.Obstacle detection for unmanned aerial vehicle based on monocular vision[J].Laser & Infrared,2009,39(6):673-676.(in Chinese) 张跃东,李丽,刘晓波,等.基于单目视觉的无人机障碍探测算法研究[J].激光与红外,2009,39(6):673-676.

[2] XI Lin,SUN Shaoyuan,LI Linna,et al.Depth estimation from monocular infrared images based on SVM model[J].Laser & Infrared,2012,42(11):1311-1315.(in Chinese) 席林,孙韶媛,李琳娜,等.基于SVM模型的单目红外图像深度估计[J].激光与红外,2012,42(11):1311-1315.

[3] SHAN Jie,TANG Yao,JIANG Hui.Real-time matching algorithm in binocular stereo camera and its implementation with FPGA[J].Laser & Infrared,2013,43(12):1406-1410.(in Chinese) 单洁,唐垚,姜晖.双目立体相机中实时匹配算法的FPGA实现[J].激光与红外,2013,43(12):1406-1410.

[4] Steger C,Ulrich M,Wiedemann C.Machine vision algorithms and applications[M].Weinheim:Wiley-VCH,2008.

[5] Song X,Yang L Liu Z.An Improved two-view convergent-style-based disparity estimation algorithm[C].International Conference on Audio,Language and Image Processing,2012:698-704.

[6] Eslami M,Rzasa J,Davis C C.A stereo PTZ tracking and surveillance system with two dynamic cameras operating in a master-slave relationship[C].Proc.SPIE,2012,8517:851704.

[7] Bradski G,Kaehler A.Learning OpenCV:computer vision with the OpenCV library[M].Sebastopol:O’Reilly Media,2008.

[8] Lorenzo Solrgi.Two-view geometry estimation using the rodrigues rotation formula[C].18th IEEE International Conference on Image Processing (ICIP),2011:1009-1012.

[9] Song X,Yang L,Wu Y.Convergent point positioning methods for dual-view stereo camera[C].Proc.SPIE,2013,8878:88780K.

[10]Lee J.Representing rotations and orientations in geometric computing[J].IEEE Computer Graphics and Applications,2008,28(2):75-83.

[11]Taubin G.3D rotations[J].IEEE Computer Graphics and Applications,2011,31(6):84-89.

[12]Song X,Wu Y,Yang L.Object position measuring based on adjustable dual-view camera[C].The 2nd International Workshop on Emerging Multimedia Systems and Applications,(In conjunction with ICME 2013),2013.

[13]Bouguet J Y.Camera calibration toolbox for matlab[DB/OL].(2013-12-2)[2013-12-28].http://www.vision.caltech.edu/bouguetj/calib_doc/index.html.

[14]Zhang Z.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(11):1330-1334.

[15]Point Grey Research,Inc[EB/OL].[2013-12-28].http://www.ptgrey.com/products/flea2/flea2_firewire_camera.asp.

Object depth measurement based on convergent binocular stereo camera

SONG Xiao-wei,YANG Lei,WU Yuan-zhao,YANG Man-yi,LIU Zhou-feng

(School of Electronic and Information Engineering,Zhongyuan University of Technology,Zhengzhou 451191,China)

The object 3D measurement is an important task of the binocular stereo vision.The parallel binocular stereo camera model based on disparity is the most general 3D reconstruction model.Actually,the regular binocular stereo camera is not strictly parallel.Therefore,it is required to carry on a correction based on the epipolar geometry.A new model of the binocular stereo camera for 3D measurement was presented,and the model is suitable for the non-parallel convergent stereo camera.The depth information of the object can be rapidly obtained by the proposed method based on the relative extrinsic parameters from the stereo camera calibration.Furthermore,the accuracy analysis of the proposed depth measurement method from the resolution was discussed.The validity and the reliability are verified by the experimental results.

binocular convergence;stereo camera;three-dimensional reconstruction model;relative extrinsic parameters;object depth measurement

国家自然科学基金(No.60902063,No.61379113,No.61440031);河南省基础与前沿技术研究计划项目(No.092300410175);河南省国际科技合作项目(No.144300510062);河南省科技创新人才计划杰出青年项目(No.124100510015)资助。

宋晓炜(1978-)，男，副教授，博士，主要研究方向为立体图像，视频处理。E-mail:sxw-tju@163.com

2015-01-18;

2015-02-09

1001-5078(2015)07-0844-06

TN911.74

A

10.3969/j.issn.1001-5078.2015.07.024