基于SFM算法的机载应急侦测视频三维场景重建方法研究

李朝亮，于海洋，江一帆，周春元,2

(1.河南理工大学 自然资源部矿山时空信息与生态修复重点实验室，河南 焦作 454000；2.同济大学 测绘与地理信息学院，上海 200092)

近年来，机载光电侦测技术快速发展，为灾害的应急救援和评估提供了一种快速的数据获取方式，其在森林防火侦察、地质灾害调查、灾害应急指挥救援等公共安全领域的应用需求不断提高，其获取的侦测视频数据能够通过卫星通信设备实时传回地面指挥中心，用于灾害应急分析，但是缺乏有效的数据快速处理方法。当前，广泛使用的区域网平差方法对于影像数据采集有着严格的要求：摄像机事先要进行几何校准，地面必须具有一定数量的合理分布的控制点[1-3]。由于地形和区域的限制，很难满足上述条件，常规的光束法区域网平差方法不能完全适用于机载侦测视频影像数据的快速处理。如何快速处理机载侦测视频数据、实现视频影像的三维场景重建与高精度定位以及及时获取应急灾情信息是目前亟须解决的关键问题。

在计算机视觉领域，利用运动恢复结构[4](Sructure From Motinon,SFM)的算法处理视频影像数据能够快速恢复三维场景，该方法主要利用一系列重叠的图像通过特征提取和匹配来恢复相机的姿态参数及三维几何信息，该算法对图像采集的要求低，自动化程度高，通用性好，在无人机影像处理[5-6]、无序照片集地形重建[7]、倾斜影像重建、近景摄影测量[8]等领域得到了大量应用。尽管目前SFM发展迅速，但是大多数采用无人机搭载光学传感器用于灾害监测和灾害调查，而采用机载视频影像用于灾害应急测量及灾场三维重建方面鲜有研究。因此，本文以机载侦测系统获取的视频影像为数据源，利用SFM算法对研究区进行三维重建并对定位精度开展研究。

利用机载侦测系统进行视频数据获取，基于SFM点云重建的方法，建立了一种机载侦测视频三维重建的方法，具体技术流程如图1所示。

1 机载侦测视频系统及数据预处理

1.1 机载视频侦测系统

实验所用机载视频影像侦测系统以运输飞机为飞行平台，搭载MOES-350HD 载人飞行器两轴伺服稳定吊舱，能够低空获取大区域、高分辨率可见光视频影像。系统主要有机载平台及吊舱系统、机载卫星通讯系统、音频传输及实时系统、VPN数据传输系统、地面成图分析系统5部分组成，系统工作原理如图2所示。

图2 系统工作原理图

1.2 数据预处理

关键帧提取是处理视频影像的一个重要步骤，如何快速获取关键帧是实现机载视频影像快速三维重建的关键问题之一。根据机载吊舱的航向、航高、飞行速度和摄像机参数等先验知识，在参考航向重叠度，通过计算相邻关键帧的时间间隔，按时间间隔实时提取关键帧，计算公式见式(1)：

(1)

式中：t为所求得时间间隔；p为航向重叠度；fps为摄像机帧率；H为飞行航高；W、uw分别是视频帧航向像素点个数和像素物理尺；f为摄像机的焦距；v为摄像机像对与拍摄物体的速度；Integer()为向下取整数。

2 基于SFM算法的多视图三维重建

2.1 基本原理

SFM是计算机视觉中多视图三维重建的核心技术，通过多幅不同视角的序列图像来匹配特征点，并根据匹配点计算出相对应的三维点位置和解算相机参数的过程[9]。

按照姿态和初始位置的计算方式，SFM分为增量式SFM和全局式SFM。增量式SFM是一个影像与三维点数量逐渐增长的过程。首先需要获取所有影像的匹配信息，利用匹配信息从所有待重建影像中选取两张合适的影像作为“种子”，求解“种子”影像相对位姿并恢复匹配点的三维坐标作为初始的三维点云，然后迭代式增加一幅或多幅影像，并计算其相机绝对位姿以及新的三维点坐标。在每次新加入影像并重建完成后都需要进行一次光束平差以减少误差累积，增加SFM的鲁棒性[10]。全局式SFM不需要迭代优化重建框架，只需一次优化即可完成三维重建，即利用约束条件一次性求解影像的旋转和平移。全局式 SFM 处理效率相对于增量式 SFM 大大提高，但这种方法对外点尤其敏感，有时一个外点可能导致解算失败[11]，因此全局SFM具有一定的局限性。

2.2 增量式SFM主要步骤

2.2.1 特征点检测

利用特征点检测算法检测影像中的特征点，通过在图像中寻找局部极大值点，提取这些极值特征点的相关信息作为描述子，对提取的特征点进行描述，以备后续的匹配。特征的描述信息应当具有旋转、缩放以及平移保持不变性，以减少影像视角、光照变化对匹配的干扰并提高匹配的鲁棒性。常用的特征检测算法以SIFT算法和其改进的算法最具有代表性[12]。

2.2.2 特征匹配

特征匹配是为了求得物方点在不同影像上对应的特征点，通过在两张或者是多张影像上提取特征点并进行匹配。在摄影测量中采用增量式SFM进行重建时，大多数算法常常采用穷举的搜索方法进行匹配，这种方法计算效率较低。许志华、郭复胜等[11,13]利用SFM方法处理无人机数据时，利用已知的影像位置和姿态进行匹配，有效地提高了匹配的效率。完成匹配以后，为了提高模型参数的鲁棒性，采用RANSAC(random sample and consensus,RANSAC)算法[14]剔除掉最近邻匹配(nearest neighbor,NN)产生的误匹配。通过特征匹配获得影像间在空间中的相对关系和影像的同名特征点，这对后续的迭代求解具有重要的意义。

2.2.3 迭代求解

影像的姿态和位置通过迭代增加求解，主要过程如下：

(1)选择影像之间的匹配点最多的作为初始化像对即求出影像间的本质矩阵，通过本质矩阵可以分解求得位置信息(旋转矩阵R和平移向量T)，根据同名光线相交求得物方的空间初始化模型。

(2)根据影像的已知信息，将特征匹配的点添加到求得的初始化模型中，然后计算新添加影像的平移向量T和旋转矩阵R，得到新的模型点，并重新优化影像的位置和姿态。

(3)通过不断增加新的影像并迭代优化模型点坐标以及内部和外部相机参数，所有影像添加完之后再统一进行优化平差，获得所有影像内外参数和模型点经过优化后的3D坐标。

3 实验区数据处理及结果分析

3.1 研究区概况及实验数据获取

研究区由两部分组成：研究区一位于河南省焦作市博爱县，该区域地形起伏较大，属于山地丘陵地区；研究区二地处河南省郑州市上街区，地势平坦，属于平原地区。实验采用MOES-350HD载人飞行器两轴伺服稳定吊舱进行采集，该吊舱的视场角35.1°～1.1°，搭载识别距离为5 km的可见光摄像机。采用山区和平原两个不同地形的实验区以及不同飞行高度的机载视频影像数据进行实验，山区飞行高度为2 500 m(研究区一)，获取面积为3.08 km2，平原飞行高度为500 m(研究区二)，获取面积为1.47 km2。实验利用机载卫星链路将获取的视频影像进行实时传输，影像获取时间为2018年12月25日，天气晴朗，风力2级左右。

选用徕卡GS14型RTK进行检查点数据的采集。为保证精度，以水平方向和垂直方向20 mm为收敛阈值，两个实验区分别采集10个检查点。

3.2 实验数据处理

实验平台为台式计算机，处理器为Intel Core i9-9900k，GPU为NVIDIA RTX2080，运行环境为Window10系统。在本次实验中，为提高后期特征点匹配与三维重建效率，设定提取帧之间的影像重叠度为95%，满足视图重建的需求，研究区一和研究区二分别提取了37张、100张关键帧影像。对视频影像进行处理得到部分关键帧的数据(如图3所示)。实验中分别采用SFM方法，通过对视频影像进行特征提取与匹配、迭代求解，完成两个研究区的场景重建。

图3 研究区部分关键帧数据

3.3 实验结果分析

3.3.1 研究区一精度分析

研究区一处理总耗时为6 min 56 s，完成场景重建(如图4所示)，其中特征提取与匹配时间31 s，光束法平差6 min 4 s，生成模型21 s。检查点点位误差如表1所示，无地面控制点条件下，在y方向上误差高达752.49 m。当添加1个控制点后，模型误差显著降低(如图5所示)。通过适当增加控制点的数量，检查点的平面中误差明显减少。当选取控制点数量为7个时，平面中误差为0.92 m。

表1 检查点点位中误差表

图4 研究区一场景重建

图5 控制点数与误差变化趋势图

3.3.2 研究区二精度分析

研究区二进行场景重建总耗时4 min 35 s(如图6所示)，其中特征提取与匹配时间1 min 30 s，光束法平差时间2 min 35 s，生成模型30 s。无地面控制点的情况下，检查点的点位中误差(如表2所示)在y方向上误差最大为29.72 m，平面中误差为35.71 m。

表2 检查点点位中误差表

图6 研究区二场景重建

控制点数与误差变化趋势如图7所示，通过图7的对比效果能够直观地发现，随着控制点数量的增加，各个指标的误差整体上呈现减小趋势。在加入5个控制点后，各指标误差趋于平稳，检查点的x、y坐标中误差分别为0.71 m、0.67 m，平面中误差为0.98 m。

图7 研究区二控制点数与误差变化趋势图

3.3.3 实验结论分析

通过研究区一与研究区二的实验结果对比分析可以得出：

(1)无控制点辅助下，研究区一的定位精度误差较大(如图8(a)所示)，生成DOM与高精度地图匹配效果较差，在x方向上误差为557.28 m，在y方向上误差高达752.49 m，平面中误差为936.38 m；研究区二在无控制点的情况，在x方向上误差为19.79 m，在y方向上误差为29.72 m，平面中误差为35.71 m。这是由于研究区一飞机飞行高度较高、地形起伏较大造成的。

(2)研究区一的地形起伏较大(如图9(a)所示)，最大起伏差达到450 m，在添加控制点的数量为7个时(如图8(b)所示)，生成DOM与高精度地图匹配效果基本一致，检查点的平面中误差为0.92 m；研究区二的地形起伏较小(如图9(b)所示)，地形最大起伏差为145 m，在布设5个控制点时(如图8(d)所示)，生成的DOM与高精度地图匹配一致，此时检查点的平面中误差为0.98 m。采用SFM方法处理机载视频影像数据生成的DOM，在不同地形条件的区域，通过布设较少的控制点，定位精度均优于1 m，参考《低空数字航空摄影测量内业规范》和《数字航空摄影测量空中三角测量规范》中12 000成图精度要求[16-17]，该定位精度远优于规范要求，可满足应急定位的需求。

图8 正射影像图与谷歌地图匹配效果图

图9 研究区DEM数据

4 结论

以SFM算法为基础，建立了机载视频影像的三维重建与定位的技术流程，分别选取不同飞行高度的平原和山区两种地形实验区，分析了在无控制点和添加少量控制点情况下的定位精度。在应急定位精度要求不高的情况下，控制点可通过已有地形图获取平面坐标和高程坐标，实现控制点数据的快速获取与添加。结果表明：利用机载视频影像通过SFM算法，重建研究区的三维模型，在时间效率上有明显优势，通过添加少量控制点，其定位精度能够满足应急侦测的需要。