多视几何无人机影像堆体体积量算

张春森 张奇源 南轲

摘 要：针对形态不规则、大规模或不便于近距离实测的堆体体积的计算问题，借助低空无人机（Unmanned Aerial Vehicle，UAV）搭载非量测的普通数码相机对堆体进行倾斜摄影，获取堆体多视角的倾斜影像。利用运动恢复结构和基于面片的多视角立体视觉（SfM PMVS）技术处理由无人机获取的倾斜影像。在引入地面像控点后，首先对影像进行特征点提取和基于最近邻距离比率（Nearest Neighbor Distance Ratio，NNDR）算法的SIFT粗匹配，采用随机抽样一致算法（Random Sample Consensus，RANSAC）剔除误匹配点对进而精确求得影像的基本矩阵F完成影像匹配。引入经相机检校得到的相机内参数精确求解本质矩阵E，恢复相机运动姿态后由投影矩阵P计算稀疏点云在物方坐标系下的坐标，采用PMVS算法进行点云密集匹配，经光束法平差后得到堆體在物方坐标系下精确的三维密集点云。对三维密集点云做点云分割，剔除非堆体表面点后构建Delaunay三角网，利用数字地面模型（Digital Terrain Model，DTM）法计算堆体的体积。与用GNSS RTK均匀测得堆体表面三维坐标点采用DTM法计算堆体体积的结果对比证明，所给方法计算堆体的体积在准确性上能满足实际生产中的要求。

关键词：摄影测量计算机视觉;低空无人机;运动恢复结构;密集点云;体积量算

中图分类号：P 231

文献标志码：ADOI：10.13800/j.cnki.xakjdxxb.2019.0118文章编号：1672-9315（2019）01-0124-06

Volumetric calculation of multi vision

geometry UAV image volume

ZHANG Chun sen1，ZHANG Qi yuan1，NAN Ke2

（1.College of Geomatics，Xi’an University of Science and Technology，Xi’an 710054，China;

2.Faculty of Geosciences and Environmental Engineering，Southwest Jiaotong University，Chengdu 610000，China）Abstract：For the calculation of stack volume with irregular shape，large scale or inconvenient close range measurement，this paper studies the tilt photography of the stack by using a non measured ordinary digital camera with UAV.A tilted image of the multi view of the stack is obtained.The tilted image acquired by the drone is processed using the structure from motion and patch based multi view stereo（SfM PMVS）technique.After the introduction of the ground image control point，the feature point extraction and the SIFT rough matching based on the nearest neighbor distance ratio（NNDR）algorithm are firstly applied，and the random sample consensus（RANSAC）is used to eliminate the mismatched point and then accurately obtain the basic matrix F of the image to complete image matching.The in camera parameters introduced into the calibration are used to accurately solve the essential matrix E.After the camera pose is restored，the coordinates of the sparse point cloud in the object coordinate system are calculated by the projection matrix P，and the point cloud is closely matched by the PMVS algorithm.Obtain a precise three dimensional dense point cloud of the stack in the object coordinate system，conduct point cloud segmentation on the 3D dense point cloud，and build a Delaunay triangulation after the non stacked surface point of the stack is eliminated.The volume of the pile is calculated by the Digital Terrain Model（DTM）method.The calculation results of this method are compared with that of using DTM method to calculate the volume of the pile byGNSS RTK for uniformly measuring the three dimensional coordinates of the surface of the stack.It is found that the volume of the pile canmeet the accuracy of the actual production.

Key words：

photogrammetrycomputervision;unmanned aerial vehicle;structure from motion;dense point cloud;volume calculation

0 引 言

针对堆体体积的计算问题，常规的方法是采用全站仪或GNSS RTK在堆体表面测一定密度的三维坐标点，然后利用方格网法或DTM法计算堆体的体积。但在实际中，很多待测物体规模大或不便于近距离实测，故常规方法在此时很难适应。另外，用常规方法获取的坐标点的密度较低影响计算结果的准确性，且效费比低。用传统的航空摄影测量办法进行体积计算是通过立体测图直接量测等高线后進行高程内插得到数字高程模型（Digital Elevation Model，DEM）来进行体积计算，或对数字表面模型（Digital Surface Model，DSM）进行滤波去除非地面点得到DEM后计算土方量或堆体的体积。该方法的过程复杂，得到DEM的精度较低（高程中误差一般大于5 cm），常用于大范围和精度要求低的体积或土石方量的计算，无法满足小范围高精度体积计算的需求。近年来，三维激光扫描技术也被用于堆体体积的量算[1]，但因其设备昂贵、数据后处理难度大等缺点限制了该技术设备的广泛应用。

在计算机视觉领域，运动恢复结构和多视角立体视觉（SfM PMVS）技术是一种低投入、高效率地获取三维地形数据的有效手段[2]，近年来被广泛应用于三维地形数据获取[3-5]和城市建筑物三维模型的构建[6-7]。无人机技术在近年来发展迅速，因其使用成本低和获取数据便捷的优点，被广泛应用于近景摄影测量领域。于海洋等采用SfM MVS的技术处理由无人机获取高海拔低植被覆盖区的影像，分析了地面控制点的数量与生成DEM的精度关系，为借助无人机进行高海波低植被覆盖区的DEM生产提供了可靠的技术依据[8];许志华等利用无人机在近景摄影测量中可快速获取数据的特点，采用SfM技术动态监测了某露天矿区的煤炭开采量[9];董建伟等利用多视图立体几何的方法对某港口煤堆进行三维重建，为港口煤炭的储运及信息化港口建设提供了基础数据[10]。

针对传统方法对于体积量算存在精度低、费效比低下的问题，文中提出将计算视觉领域中的PMVS点云密集匹配技术应用于体积量算，用于获取堆体的密集点云。借助无人机在近景摄影测量领域获取数据便捷、成本低的优点和SfM PMVS技术可获得影像中物体的高精度、高密度三维点云的特性[11]，研究利用低空多旋翼无人机搭载非量测数码相机对陕西省铜川市某矿区的TX01号煤堆进行倾斜摄影，获得该煤堆在多个视角的倾斜影像。基于采集的倾斜影像，引入地面像控点，运用运动恢复结构和多视角立体视觉的方法获取TX01号煤堆在物方坐标系下的高精度的三维密集点云，对密集点云进行分割去噪处理后，构建Delaunay采用DTM法计算煤堆的体积。最后将文中方法计算的结果和传统GNSS RTK测点DTM法计算煤堆的结果对比发现，利用文中方法进行堆体体积量算精度可靠、处理过程简单、适用性强。

1 实现框架

基于无人机影像进行堆体体积量算及可靠性验证的技术环节为：①特征提取、影像匹配，获取堆体在物方坐标系下的稀疏点云。即首先在倾斜影像中刺点，加入像控点坐标后提取影像中的特征点并进行基于最近邻距离比率的SIFT粗匹配，采用RANSAC算法剔除误匹配点对后精确求解影像对的基本矩阵F，进而完成影像匹配[12-15]。引入经相机检校得到的相机内参数，进一步求得本质矩阵E，对本质矩阵分解得到像方到物方的映射关系，投影矩阵P.最后由特征点的像点坐标和投影矩阵P求得特征点在物方坐标系下的坐标，进而得到堆体在物方坐标系下的稀疏点云;②用PMVS算法进行点云密集匹配，得到堆体的密集点云[16-18];③做光束法平差，得到堆体在物方坐标系下高精度的密集点云;④基于密集点云构建Delaunay三角网采用DTM法计算TX01号煤堆的体积;⑤利用GNSS RTK在堆体表面均匀采点并利用采集的坐标点数据用DTM法计算TX01号煤堆的体积;⑥比较文中方法和用GNSS RTK测量计算结果的差值并分析得出结论。文中方法的技术流程如图1所示。

2 基于SfM PMVS的点云密集匹配

基于SfM PMVS点云密集匹配的主要步骤为：①采用SfM方法恢复相机的运动姿态[19]，获得堆体在物方坐标系下的稀疏点云;②采用PMVS算法进行点云密集匹配;③光束法平差，精确求解密集点云在物方坐标系下的坐标。

具体为第一步引入像控点，对影像进行特征点提取并采用最近邻距离比率算法进行SIFT特征点粗（稀疏）匹配[20]，经RANSAC算法剔除误匹配点对后精确求解影像对的基本矩阵F.由基本矩阵F和经相机检校得到的准确相机内参数矩阵K，求得本质矩阵E，分解本质矩阵得到相机在拍照瞬间的位置和姿态。在进一步解得从像方到物方坐标系的映射，投影矩阵P后，将特征点云从像方转换到物方坐标系下，恢复堆体在物方的三维空间结构。第二步将SfM处理所获取的相机运动参数和点云稀疏匹配得到的匹配点对（f，f′）作为起算数据，对匹配点对使用三角化方法生成一系列的三维空间点。然后将生成的三维空间点按与光心的距离O（I）从小到大顺序进行排列，在局部光度一致性和全局可见度一致性的约束下迭代执行面元扩展和面元过滤进而完成点云密集匹配。其中，局部光度一致性是指任何面元patch至少在γ幅影像中被可见（文中γ取3）;全局可见度一致性是指面元patch不能被其他影像的其他面元遮挡（基于PMVS算法进行点云密集匹配的过程如图2所示）。最后，对PMVS密集匹配获取的密集点云进行光束法平差，获得堆体在物方坐标系下高精度的密集点云[21-23]，为构建Delaunay三角网进行堆体体积计算提供基础数据。

3 實验与分析

实验利用大疆 M600六旋翼无人机搭载索尼ILCE6000型相机采集铜川某煤矿TX01号煤堆的倾斜影像。TX01号煤堆总体形状呈台体状，底面长宽约为160 m×45 m（TX01号煤堆如图3所示）。为了在像对中提取更多可靠的特征点用于后续的影像匹配，故在获取影像时要保证影像在航向和旁向具有足够的重叠度（本次实验分别为60%与50%）。航飞的高度可根据实验要求的影像像素分辨率的大小与搭载相机CCD尺寸的关系计算得到。本次实验详细数据见表1.

在获取的倾斜影像中刺点加入像控点坐标，经SfM方法进行处理后得到TX01号煤堆在物方坐标系下的稀疏三维点云（图4），经PMVS点云密集匹配，光束法平差后得到煤堆在物方坐标系下的三维密集点云（图5）。

为了检核在物方坐标系下密集点云坐标的精度，文中进行了2组对比实验。在处理时，第一组实验中设置了6个像控点（5个平高点和1个高程点）和2个检查点，第二组中设置了5个像控点（均为平高点）和3个检查点。最后经SfM PMVS和光束法平差处理后，检查点的坐标误差见表2和表3.

由表2和表3可知，第一组实验中由于地面控制点比第二组实验中多一个，增加了多余观测，检查点的坐标误差总体上优于第二组。点云坐标的平面精度优于4 cm，高程精度优于5 cm，高于传统航测方法得到点位坐标的精度，且满足《城市测量规范》（CJJ/T 8 2011）在土石方测量时检查点的平面和高程较差不大于100 mm的要求，故文中实验得到的密集点云满足基于点云构建三角网进行DTM法体积计算的精度要求。

由于检查点的坐标误差总体上优于第二组实验，故选择第一组实验中获取的密集点云进行后续TX01号煤堆的体积计算。在对密集点云进行分割处理，剔除非煤堆表面点后构建Delaunay三角网采用DTM法计算煤堆的体积。测得堆煤场地面高程为670.5 m，以670.5 m高程所在平面为基准面计算得TX01号煤堆的体积为30 384.8 m3.为了比较文中方法体积计算结果的可靠性，利用GNSS RTK在煤堆表面均匀采点（约3个/m2）后利用DTM法算得煤堆的体积为30 514.3 m3，两者差值约129 m3，相对差值为0.42%.从最终体积计算的结果上分析，文中方法在精度上能满足实际生产中的要求。

本实验是在Visual SFM软件中加载经编译好的PMVS文件对影像进行SfM PMVS处理，将获取的点云导入CASS软件中构网并计算体积。由于需要编译调试PMVS算法的程序，过程较为复杂。为达到生产中处理过程要简单高效的需求，用几款商用软件，如Pix4D Mapper，Photoscan和Context Capture去获取密集点云并用于后续的体积计算（见表4）。不同软件在算法的优化方面有所差别，

但基本的原理都很接近。由表4可知，在处理速度上Context Capture最快，Photoscan较慢，但Context Capture软件的操作更为复杂。Pix4D Mapper软件在处理速度和软件操作上都较为适中，用三款软件获取的点云分别进行体积计算的结果都很接近。

4 结 论

1）采用运动恢复结构和多视立体视觉（SfM PMVS）技术处理由非量测数码相机获取的影像，可以获得被拍摄物体的三维密集点云，点云的密度能满足后续构三角网用DTM法计算堆体体积的要求;

2）对密集点云进行光束法平差，平差后密集点云在物方坐标系下的平面精度优于4 cm，高程精度优于5 cm.密集点云的点位精度能满足实际生产中土方量计算的精度要求;

3）采用文中方法进行堆体体积计算的相对差值为0.42%，综合计算精度优于传统用GNSS RTK采集堆体表面三维坐标点的计算精度，并在成本、效率和可适用性上优于传统测坐标点的方法;

4）在引入相机POS数据后是会进一步提高获取点云的精度和加快影像的处理速度，这是文中后续进一步研究的内容。

参考文献（References）：

[1] 王解先，侯东亚，段兵兵.三维激光扫描仪在堆积物体积计算中的应用[J].测绘通报，2013（7）：54-56.

WANG Jie xian，HOU Dong ya，DUAN Bing bing.Application of 3D laser scanner in calculation of accumulation volume[J].Bulletin of Surveying and Mapping，2013（7）：54-56.

[2]魏占玉，Ramon，何宏林，等.基于SfM方法的高密度点云数据生成及精度分析[J].地震地质，2015，37（2）：636-648.WEI Zhan yu，Ramon，HE Hong lin，et al.High density point cloud data generation and accuracy analysis based on SfM method[J].Seismology and Geology，2015，37（2）：636-648.

[3] Glendell M，Mcshane G，Farrow L，et al.Testing the utility of structure from motion photogrammetry reconstructions using small unmanned aerial vehicles and ground photography to estimate the extent of upland soil erosion[J].Earth Surface Processes & Landforms，2017，42（12）：1860-1871.

[4]Yan X，Meng F，Zha H.Simplification of fan meshes models for fast rendering of large 3D point sampled scenes[C]//International Conference on Image Analysis and Processing.Springer Berlin Heidelberg，2005：99-106.

[5]Lorensen W E，Cline H E.Marching cubes：a high resolution 3D surface construction algorithm[J].AcmSiggraph Computer Graphics，1987，21（4）：163-169.

[6]萬国伟.面向建筑物的三维点云生成、增强和重建技术研究[D].长沙：国防科学技术大学，2011.WAN Guo wei.Research on 3D point cloud generation，enhancement and reconstruction for buildings[D].Changsha：National University of Defense Technology，2011.

[7]齐 南.基于图像序列的目标三维重建技术研究[D].北京：北京工业大学，2013.QI Nan.Research on 3D reconstruction of target based on image sequence[D].Beijing：Beijing Polytechnic University，2013.

[8]于海洋，曾春伟，马慧慧，等.基于SfM MVS的高山区无人机航摄数据处理[J].河南城建学院学报，2017，26（2）：83-87.YU Hai yang，ZENG Chun wei，MA Hui hui，et al.Aerial image processing of UAVs in high mountainous area based on SfM MVS[J].Journal of Henan Institute of Urban Construction，2017，26（2）：83-87.

[9]许志华，吴立新，陈绍杰，等.基于无人机影像的露天矿工程量监测分析方法[J].东北大学学报（自然科学版），2016，37（1）：84-88.XU Zhi hua，WU Li xin，CHEN Shao jie，et al.Monitoring and analysis method of opencast mine project based on UAV images[J].Journal of Northeastern University（Natural Science），2016，37（1）：84-88.

[10]董建伟，李海滨，孔德明，等.基于多视图立体视觉的煤场三维建模方法研究[J].燕山大学学报，2016，40（2）：136-141.DONG Jian wei，LI Hai bin，KONG De ming，et al.Three dimensional modeling method of Coalfield based on multiview stereo vision[J].Journal of Yanshan University，2016，40（2）：136-141.

[11]何豫航，岳 俊.基于CMVS/PMVS多视角密集匹配方法的研究与实现[J].测绘地理信息，2013，38（3）：20-23.HE Yu hang，YUE Jun.Research and implementation of multiview intensive matching method based on CMVS/PMVS[J].Surveying and Mapping Geographic Information，2013，38（3）：20-23.

[12]许佳佳，张 叶，张 赫.基于改进Harris SIFT算子的快速图像配准算法[J].电子测量与仪器学报，2015，29（1）：48-54.XU Jia jia，

ZHANG Ye，ZHANG He.Fast image registration algorithm based on improved harris SIFT operator[J].Electronic Measurement & Instrumentation Journal of Engineering，2015，29（1）：48-54.

[13]孙 浩，王 程，王润生.局部不变特征综述[J].中国图象图形学报，2011，16（2）：141-151.SUN Hao，WANG Cheng，WANG Run sheng.A review of local invariant features[J].Chinese Journal of Image and Graphics，2011，16（2）：141-151.

[14]Zhang J.Image based 3D photography using opacity hulls[J].Acm Transactions on Graphics，2002，21（3）：427-437.

[15]陳 敏.基于多尺度的图像特征提取与匹配研究[D].长沙：中南大学，2011.CHEN Min.Research on image feature extraction and matching based on multi scale[D].Changsha：Central South University，2011.

[16] Furukawa Y，Ponce J.Accurate，dense，and robust multiview stereopsis[J].IEEE Transactions on Pattern Analysis & Machine Intelligence，2010，32（8）：1362-1376.

[17]贾 毅，李 振.利用空间小面元模型重构序列影像密集点云[J].武汉大学学报信息科学版，2014，39（12）：1430-1434.JIA Yi，LI Zhen.Reconstructing sequence image dense point clouds using spatial facet model[J].Geomatics and Information Science of Wuhan University，2014，39（12）：1430-1434.

[18] Ke Y，Sukthankar R.PCA SIFT：a more distinctive representation for local image descriptors[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition.IEEE Computer Society，2004：506-513.

[19]Westoby M J，Brasington J，Glasser N F，et al.Structure from motion’ photogrammetry：a low cost，effective tool for geoscience applications[J].Geomorphology，2012，179：300-314.

[20] Lowe D G.Distinctive image features from scale invariant keypoints[J].International Journal of Computer Vision，2004，60（2）：91-110.

[21]安维华，付永刚，张习文.基于图像的点云建模及其真实感绘制[J].计算机工程与应用，2010，46（20）：4-8.AN Wei hua，FU Yong gang，ZHANG Xi wen.Image based point cloud modeling and realistic rendering[J].Computer Engineering and Applications，2010，46（20）：4-8.

[22]张 平.基于全景相机连续影像的三维重构研究[D].合肥：安徽工业大学，2015.ZHANG Ping.Research on 3D reconstruction of continuous image based on panoramic camera[D].Hefei：Anhui University of Technology，2015.

[23]Azevedo T C S，Tavares J M R S，Vaz M A P.3D object reconstruction from uncalibrated images using an off the shelf camera[J].Lancet，2009，1（7694）：348-9.