基于双目相机的光学高度测量系统

王修文　李志伟　李宏伟　田智源　胥震宇　田燕青

摘要：根据双目立体视觉模型，搭建一个实验室专用的高度测量系统。首先使用Matlab自带的工具箱对双目相机进行多次标定，获取实验所需的诸多参数，然后通过立体校正技术建立修正后的世界坐标与像素坐标之间的关系方程。在VS2015结合OpenCV的编程环境下，利用立体匹配算法和视差理论获取目标表面的三维空间信息。最后通过选定同一目标的2个特征点获取其空间坐标，达到高度测量的目的。实验结果显示，该系统能够有效实现真实场景下的三维信息测量。

关键词：双目立体视觉;相机标定;视差图;高度测量

【Abstract】Accordingtothebinocularstereovisionmodel，thispaperbuildsalaboratory-specificheightmeasurementsystem.ByusingtheMatlabtoolboxtocalibratethebinocularcameratoobtainmanyparametersrequiredbytheexperiment，thepaperestablishestherelationshipequationbetweenthecorrectedworldcoordinatesandthepixelcoordinatesthroughimagecorrectiontechnology.UndertheprogrammingenvironmentofVS2015combinedwithOpenCV，thestereomatchingalgorithmandtheparallaxtheoryareusedtoobtainthethree-dimensionalspatialinformationofthetargetsurface.Finally，thespacecoordinatesofthesametargetareobtainedbyselectingtwocharacteristicpointstoachievethepurposeofheightmeasurement.Theexperimentalresultsshowthatthesystemcanachieve3Dinformationmeasurementofrealsceneswell.

【Keywords】binocularstereovision;cameracalibration;disparitymap;heightmeasurement

作者简介：王修文（1997-），男，硕士研究生，主要研究方向：图像识别与处理;李志伟（1982-），男，副教授，硕士生导师，主要研究方向：光电子、图像处理、机器视觉等。

0引言

从古至今，人类一直在尝试使用工具描绘看见的任何事物，现代科技不斷向前发展的同时，新的高度测量技术也被不断提出。对于各所高校而言，在实验室内更加准确快速地获得周围物体的尺寸有助于验证阶段性的实验成果，相比于费时、费力且效率低下的普通测量方法，双目视觉测高技术有着多目标同时检测，非接触式、高精度、高效率的优势。

在双目视觉测量这一领域，国内外许多学者做了大量研究与实践。1966年，最小二乘法首次被Hallert用于标定观察数据的处理上，在野外立体坐标测量仪上的应用更是取得突破性的精确结果。周科杰等人[1]推出了一种采用双目相机结合编码结构光的三维测量系统，该系统能通过移动测量仪获得三维点云矩阵，进而完成对大型曲面的测量。虽然目前对立体视觉技术的理论研究已经逐渐趋于完善，但由于在不同的场景下的需求也不相同，这就对整个立体视觉系统的鲁棒性和稳定性提出了更高的要求。

为提高获得的相机相关参数的准确性，主要对双目视觉的标定方法进行了改良，开创性地使用预标定+单目标定+双目标定的方式进行立体标定，实验结果最终也论证了该方法行之有效。

1双目测高的原理

作为机器视觉的一类重要分支，双目视觉测量技术采用一对双目模块来模拟人眼的视觉机制，从而获取同一场景2个不同视角下的2幅图像，再依据视差原理建立相应数学模型来还原该场景下的深度信息，最后利用相似原理，计算出目标物体同一面上最高最低点的空间三维坐标[2]。

双目立体视觉模型如图1所示。图1中，PL与PR分别是点P（x，y，z）在左右相机成像平面上的投影，OR、OL分别为左右相机光心，n为相机主光轴向量，f为相机焦距。若已知空间点P在左右像平面的投影坐标PL和PR以及相机标定参数，即可计算出点P的三维空间坐标[3]。

1.1双目标定

双目相机标定要求测定参照物上每个特征点相对于世界坐标系（XW，YW，ZW）的位置，图像平面坐标与三维空间坐标间的对应关系，这个映射关系主要由双目相机的内、外参数确定[4-5]。换句话说，双目相机标定的主要目的就是求取相机内外参数以及相应的畸变系数，因为这会直接影响到双目测量的结果。

标定方法采用由张正友教授提出的单平面棋盘格法，以下简称张氏标定法[6]，标定板如图2所示。张氏标定法直接将世界坐标系与标定板平面融合，即ZW=0，标定板平面上任意一点P的齐次坐标为（XW，YW，0，1），在图像像素坐标系下表示为（u，v，1）、图像物理坐标系（x，y，1）、相机坐标系（XC，YC，ZC），用矩阵形式表示为：

由于诸多参数都是在标定这一阶段获得，因此为了使标定结果更加准确，创造性地使用预标定+单目标定+双目标定的方式。

预标定如图3所示。在预标定阶段，首先利用Matlab的自动标定工具箱—StereoCameraCalibrator对采集的24组棋盘格图像来进行筛选标定，再根据MeanErrorPixels指标来剔除标定过程中误差较大的图像对。

单目标定如图4所示。角点选取见图4（a）。在第二阶段，使用calib工具箱分别对筛选后的左/右视图进行手动标定，这一过程主要包括手动设置角点以及自动提取角点，由此得到2组单目标定的参数，见表1。图4（b）中则展示了单目镜头与标定板之间的相对三维空间图。

1.2立体校正

想要通过2幅图像对一个点的深度信息进行估计，就必须严格保证能在2幅图像中匹配到该点。同时，为了提高匹配的效率，左右相机的成像平面应处于同一平面上。但是在实际操作中，仅仅通过平放摄像头无法保证光心OR与OL保持在一条轴上，参見图1。此时就需要使用图像立体校正技术，把2个不同的图像平面重新投影到同一平面上，使得2幅图像满足匹配条件[7-8]。

进行校正后的双目立体视觉模型如图6所示。由图6可以看到，进行立体校正后，图像畸变消除，2台相机的X轴重合，左右相机光心OR，OL之间为基线B，光轴与相机成像平面垂直，左右成像面上的每一行都严格水平对齐，满足极线约束条件，匹配点的搜索范围也从二维降到了一维上，在这种结构下寻找P点在左右成像面上的投影uL，uR之间的匹配关系将会十分便捷[9]。

2实验与结果分析

2.1实验平台搭建

实验室用双目立体视觉系统的特点之一是成本低、操作简单，其核心组成为一个双目视觉模块、专用支架和一台计算机。使用一根USB数据线连接计算机与双目相机，双目视觉模块的实物图如图9所示，主要参数见表2。

平台的搭建也是十分快捷，只需将双目相机固定在支架上，再将支架固定在实验桌上，最后使用USB数据线与笔记本连接就完成了。整个双目测距系统的软件平台基于Win10桌面操作系统，相机标定使用Matlab2010b的标定箱工具，立体匹配算法运行环境为MicrosoftVisualStudio2013，整个系统的具体运作流程如图10所示。

2.2实验结果

使用半全局匹配算法中的SGBM算法与局部立体匹配算法中的BM（BlockMatching）算法进行对比。

使用BM算法对图7进行立体匹配后输出的视差图如图11所示。可以从视差图中看出整个场景的大致轮廓被基本还原，但由于错误匹配点较多，信息缺失十分严重，视差图整体识别度比较差，因此不具备参考价值。

使用SGBM算法对图7进行立体匹配后输出的视差图如图12所示。虽然信息也有缺失，但整体轮廓较为完整，分辨率较高，且与BM算法的结果相比，不正确的匹配点更少。

由于实验条件有限，暂时只使用了2种匹配算法。误差结果见表3，本系统测量结果较为准确，误差控制在1%左右。

3结束语

利用Matlab来研发真实场景图像对的采集和实验所用双目相机的标定，并在双目标定这一阶段结合了多种标定方法，从而保证了所得相机内置与外置参数的精确性。在VS2013编程环境中结合OpenCV，完成对双目图像的校正，在双目匹配阶段对BM和SGBM两种算法生成的视差图进行比较。最终得到的实验结果表明该系统可以很好地实现真实场景的三维高度测量。

参考文献

[1]周科杰，冯常.基于双目视觉的三维测量技术研究[J].计算机测量与控制，2019，27（1）：22-25，31.

[2]曾劲松，薛文凯，徐博凡，等.双目视觉引导机器人定位抓取技术的研究[J].组合机床与自动化加工技术，2019（1）：131-133，137.

[3]孔繁淇.基于双目视觉的无人机测距与避障方法研究[J].科技风，2019（1）：101.

[4]王晓宁，宋晓炜，杨蕾，等.双目视觉下交通路标的立体匹配算法研究[J].中原工学院学报，2018，29（6）：56-60.

[5]刘锐，陈凤翔，陈科羽，等.基于双目视觉的障碍物检测方法研究[J].计算机测量与控制，2018，26（12）：67-71.

[6]陶凯.基于双目视觉室内环境的机器人导航和避障算法研究[D].南京：南京邮电大学，2018.

[7]李薇.基于双目视觉的特定运动目标跟踪和实时测距方法研究[D].西安：西安理工大学，2018.

[8]朱平，甄子洋，覃海群，等.基于立体视觉和光流的无人机避障算法研究[J].电光与控制，2017，24（12）：31-35.

[9]贾宁.基于双目视觉的家庭机器人的目标识别与检测[J].现代电子技术，2017，40（23）：51-54，58.

[10]刘维.基于双目立体视觉的物体深度信息提取系统研究[D].长沙：中南大学，2009.