基于双目立体视觉的规则物体体积测量方案

摘  要：基于双目立体视觉与图像处理，文章提出一种对于长方体体积测量的方案。首先对双目相机进行标定，拍摄目标物体得到左右两张图像，通过半全局匹配算法进行图像匹配，从而得到视差以及深度信息。将图片的深度信息转化为灰度信息并对灰度图进行处理，提取出目标的上表面外接矩形面积以及相对于地面的高度信息，从而得到目标物体积。实验结果表明，提出的体积测量方法在一定范围内达到了精度标准。

关键词：双目立体视觉;立体匹配;图像处理;体积测量

中图分类号：TP391.41       文献标识码：A 文章编号：2096-4706（2020）18-0112-04

Abstract：This paper presents a scheme for cuboid volume measurement based on binocular stereo vision and image processing. First，the binocular camera was calibrated，and the target was photographed to obtain the left image and right image. Semi-global matching algorithm was used for image matching to obtain the disparity and depth information. The depth information of the image is converted into gray information. The gray image is processed to extract the upper surface area of the target and the height information relative to the ground，and the volume of the target can be get. The experiments show that this volume measurement method can be effect within a certain range.

Keywords：binocular stereo vision;stereo matching;image processing;volume measurement

0  引  言

近些年由于相關算法的发展，利用相机对实际物体相关数据三维重建的研究大量涌现[1]，主要因为视觉测量方法有着非接触、精度高的特点，能够自动、高效地获取目标信息。类似于各种手机自带的测距仪功能，就是利用手机摄像头对物体进行长度和面积的测量。其中，与人类双眼类似的双目视觉系统得到了很高的关注度[2]，其在实际应用方面也有着非常广阔的前景。基于实验室对双目视觉的研究，为了实现双目立体视觉的功能性应用，将进行关于双目立体视觉测量效果的简单实验。

由相机拍摄左右两张照片，对两张照片的局部信息进行特征匹配，利用双目三角测距原理[3]，实现对实际物体与相机相对距离的测量。针对规则的长方体，通过双目立体视觉测得深度信息，对比样例，结合根据物体图像中上表面外接矩形的像素占比计算得出的上表面面积，得到实际体积的参数。

1  相机标定

1.1  坐标系转换

两台相机测量目标三维信息的原理，理想的小孔成像如图1所示。

P（x，y，z）是空间中某一点，左右视图是相机的两个前置的成像平面，Ol（a，0，0）、Ol（0，0，0）、Or（a，0，0）是左右两台相机的光心，Xl（xl，yl，zl）、Xr（xr，yr，zr）是P点映射到左右成像平面上的两点。OlF线段为焦距f。根据相似三角可得：

从而可以得出：

上述参与计算的部分参数需要对两台相机进行标定，在标定结果的内、外参数以及畸变参数当中获取。

标定相机的目的是需要确定世界空间中物体某点位置与图像当中的像素点的一一对应关系，建立成像的几何模型，其中的工作也就是将世界坐标系转化为摄像机坐标系，再转化为图像坐标系，最后转化为像素坐标系[4]。世界坐标系中一点（X，Y，Z）T与像素坐标系中对应点（u，v）T的关系为：

其中，s为尺度因子;M1是相机内参矩阵;，，dx、dy是每个像素在x、y轴方向上的物理尺寸;（u0，v0）为图像坐标系的原点在像素坐标系的坐标;M2为外部参数矩阵;摄像机坐标系和世界坐标系的位置关系由旋转矩阵R和平移向量  决定。

1.2  畸变校正

相机内参包含畸变参数，一般分为径向畸变以及切向畸变。径向畸变表现为光线在越靠近边缘的地方弯曲得越明显，光学中心的畸变为0，随着向边缘的推移，畸变越来越严重;切向畸变的产生原因是制造缺陷等因素导致的透镜与成像平面不平行，所以内参还需要计算相机的畸变参数。畸变校正后的点（x1，y1）与校正前点（x0，y0）的数学关系为：

其中，k1、k2、k3为径向畸变参数，p1、p2为切向畸变参数，r为点（x0，y0）与成像中心的距离。

1.3  标定结果

左右相机标定结果如下：

其中，Ml、Mr为左右相机的内参;Dl、Dr为左右相机的畸变参数;R为左右相机间的旋转矩阵;Rl、Rr为左右相机各自的旋转矩阵;为平移向量。确定了相机的内外参数矩阵以及对图像进行畸变矫正之后，也就可以顺利计算出图像上每一点对应于世界坐标系的三维坐标，从而实现文章目标——物体体积的计算。

2  立体匹配

立体匹配的目标就是找到左右两张图片中对应世界坐标系同一点的像素点。Semi-Global Matching（SGM）是一种较为常用的计算视差的半全局匹配算法[5]，在OpenCV中的实现为Semi-Global Block Matching（SGBM），没有实现基于互信息的匹配代价计算，而是采用BT算法[6]。整个SGBM算法主要分为四个步骤：

（1）图像预处理：采用水平Sobel算子[7]对原图进行水平梯度滤波，得到图像梯度信息。

（2）匹配代价计算：将原图与其梯度信息分别进行基于采样的代价计算[8]，并将两种代价相融合作为每个像素的初始代价。为了提高匹配的鲁棒性，再利用每个像素周围像素的代价和来代表每个像素的最终代价。

（3）设置能量函数：通过选取每个像素点视差，设置一个与其相关的能量函数[8]，在能量函数最小化的情况下，将二维图像问题转化为多个方向上的一维问题，利用动态规划求取最优解。

（4）去除错误匹配：初始匹配一般在右图中搜寻左图每个像素的匹配点;之后右图点匹配左图点，若两次匹配结果不同，则去除。

3  体积测量实现

本次的实验测试采用小觅双目相机在Visual Studio 2017平台上利用OpenCV 4.1.2进行左右图像的采集，再进行后续图像信息处理与物体体积的计算。

3.1  测量步骤

将相机放置于固定高度H，拍摄放置在地面位置的物体图像，之后通过SGBM算法计算出图像的视差信息，结合内外参数得到的深度图。之后对深度图进行以下步骤处理：

（1）将深度图片转化为灰度图片，去除边缘10%的区域，减少干扰。

（2）根据相机距地高度H，删除数值在（H±2） cm范围的图像信息，即删除地面的图像信息，只留下需要测量的目标信息。

（3）求取图像中深度值不为0点的区域深度平均值Ave，同时测出其最小外接矩形在图像中所占像素点个数，即其最小外接矩形的面积S1。

（4）实际测量一个目标的上平面的面积Sr，将其作为样例，同时再按照上述（1）～（3）步骤测出另一目标的最小外接矩形面积S1。

（5）此目标的体积V为：

图2所示为相机拍摄样例的左图和右图，图3所示为深度图像和提取出最小外接白色虚线矩形框内的样例目标。样例实际测量长34.5 cm，宽24.8 cm，高11.5 cm，实际体积9 839.40 cm3，相机距地高度100.0 cm。系统测试外接矩形占22 487个像素，样例上表面深度平均值Ave为88.5 cm，即测试高度（H-Ave）为11.5 cm。

3.2  测量结果

结合样例数据测试其他8组不同体积物体数据，结果如表1所示。体积误差主要由高度与上表面面积共同决定，根据表1的测量结果对比可知，总体体积测量误差在±4%以内，测量体积较小的物体误差会偏大。

5  结  论

本文主要研究利用双目视觉的方法提取图像深度信息，在Visual Studio 2017平台上利用OpenCV通过SGBM算法计算出图片深度后，在深度图片中提取出目标的深度信息和上表面外接矩形面积。先测试样例，之后依据案例得到实际体积与目标所占像素的比例，测试其他不同目标体积。实验结果的误差达到了实验要求，但是通过深度图片与原始图片的对比，发现方案对于反光处的处理存在一定缺陷，后续工作将会在光线处理的部分开展研究。

参考文献：

[1] 佟帅，徐晓刚，易成涛，等.基于视觉的三维重建技术综述 [J].计算机应用研究，2011，28（7）：2411-2417.

[2] 隋婧，金伟其.双目立体视觉技术的实现及其进展 [J].电子技术应用，2004（10）：4-6+12.

[3] 王玉翰，金 波.基于双目立体视觉的深度信息测量 [J].机电工程技术，2015（3）：34-38+49.

[4] 曲学军，张璐，张凌云.基于新的成像模型的摄像机标定与三维重建 [J].仪器仪表学报，2011，32（8）：1830-1836.

[5] HIRSCHM?LLER H. Accurate and efficient stereo processing by semi-global matching and mutual information [J].2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition（CVPR05）.San Diego：IEEE，2005：807-814.

[6] BIRCHFIELD S，TOMASI C. Depth Discontinuities by Pixel-to-Pixel Stereo [J].International Journal of Computer Vision，1999，35（3）：269-293.

[7] 王月新，劉明君.sobel算子与prewitt算子分析与研究 [J].计算机与数字工程，2016，44（10）：2029-2031+2042.

[8] 牛颖，李丽宏.基于双目视觉的人脸追踪方法 [J].科学技术与工程，2019，19（27）：224-229.

作者简介：吴琪波（1995—），男，汉族，安徽桐城人，本科，研究方向：图像处理。