一种基于海冰场景图像分类的三维重建方法

赵春晖，赵若晨，冯 收

(哈尔滨工程大学 信息与通信工程学院，哈尔滨 150001)

0 引 言

受极地自然环境的恶劣条件影响，获取极地数据具有较高的作业难度，这一特点使航空拍摄成为获取信息的一个重要途径。通过搭载的光学成像传感器对地成像是尤为重要的一种形式，其具有成本低、使用灵活、作业周期短等特点，在军事和民用领域成为不可替代的测绘手段。在图像处理方面，通过序列图像分析对目标三维重建已成为近年来研究的方向之一[1-2]。

图1 预处理和三维重建阶段基本流程图Fig.1 Basic flow chart for pre-processing and 3D reconstruction

通过序列图像进行三维重建的方法，主要分为基于光流的三维重建方法、基于机器学习方法和基于特征的运动恢复结构方法[3-7]。其中光流法对变化的光线敏感[8]，而机器学习的方法对数据要求较高。因此基于特征的运动恢复结构是目前用于场景三维重建的主流方法。

航拍海冰场景图像由于视场范围大，飞行速度快，使得拍摄图像尺度变化大，相似区域少；同时由于海冰场景自身成像特点，使得海冰图像具有很高的相似性。这对场景重建造成了很大的困难，难以应用现有的三维重建方法。

为解决这一问题，本文提出了一种基于海冰场景分类的三维重建方法，利用神经网络自动筛选分类后，分割待重建区域，最后实现海冰场景三维重建。相比于传统的重建方法，该方法大幅提高了重建速度，同时降低了重建流程中累积的误差。通过利用NSIDC格陵兰岛附近海域真实航拍数据进行测试，验证了该方法的优越性。

1 本文方法

本文提出的海冰航拍场景的三维重建方法，分为预处理与三维重建两个阶段。预处理阶段基本流程见图1(a)，后续三维重建流程见图1(b)。在预处理阶段，通过结合海冰自身物理性质及特征分布特点，制定了一种分类标准，将全部海冰数据分为5类来训练一个VGG[9]分类模型，以实现可自动筛选可重建的海冰图像这一目的。在得到同一类序列图像后，将待处理图像进行8邻域填充算法分割，得到候选重建区域。

在三维重建阶段，采用主流的基于特征的SFM[10](Structure from motion，运动恢复结构)方法，首先通过对预处理获取的候选重建区域图像依次提取SIFT[11]特征并进行两两匹配，在匹配后利用RANSAC[12](Random Sample Consensus，随机抽样一致)以获得匹配的内点集，之后经BA[13](Bundle Adjustment，光束平差)平差后得到这组图像的相对位姿和相机参数，最后通过PMVS[14](Patch-based MVS，基于面片的三维多视角立体视觉算法)算法，利用多视匹配原理得到可利用的稠密点云数据，从而完整实现海冰场景的三维重建。

2 海冰场景航拍图像的分类与筛选

通过SFM进行三维重建的第一步，是找到合适的一组序列图像。这一组图像数据需在保证隶属于同一海冰场景的同时具有一定重合区域，从而得到图像的匹配特征对。而海冰场场景航拍图像受限于极地环境及自身物理属性的影响，重合区域的图像相似度较高，给人工筛选带来了较高的难度，本文结合特征点分布特性，综合海冰物理特性，将总体海冰数据分为5大类，通过训练并测试几种分类神经网络模型，最终选定VGG模型用做海冰的筛选分类。

2.1 海冰自身特性及场景分类依据

海冰分类方式依照研究问题的不同有多种分类方法，常见的有依其发展阶段分类、运动状态分类等。这里结合海冰的发展过程及SIFT特征分布情况，将其分为：厚冰(a)、薄冰(b)、混合冰(c)、陆生冰(d)、海水(e)5大类，这5类不同种类的海冰图像见图2。

2.2 海冰场景分类方法

在光学图像场景分类任务上，基于VGG及其改进型模型表现出了极高的准确度。VGG网络模型是由牛津大学视觉小组于2014年提出，相比于传统卷积神经网络模型，它具有小卷积核、小池化核、特征图宽的特点。在海冰航拍图像分类任务上，由于数据量较大，小运算核可以在保证参数量基本持平的情况下降低卷积计算量。同时较宽的特征图也保证了特征的丰富性。VGG网络结构模型见图3。

由图3可见，输入为下采样后224×224×3的RGB海冰图像，卷积层步长(Stride)及卷积核的填充(Padding)均设为1像素。白色部分为有修正单元的卷积层；红色部分为池化层，采用最大池化(Max Pooling)；蓝色部分为具有修正单元的全连接层(Fully Connected Layer)。最后的橙色部分为Soft Max逻辑回归函数，以实现多分类的目的。其中修正单元为非线性修正激活函数ReLU，函数见图4，函数表达式为：

(1)

图4 ReLU激活函数Fig.4 Activation function ReLU

3 候选重建区域的分割

通过对筛选归类后的海冰场景依次进行特征提取，发现针对于本文所使用的数据集，可靠特征点的分布呈现连通域稀疏的特性，而不利于三维重建的离群特征点也多分布于短连通域中。几种典型的场景特征分布情况见图5。因此，若能在三维重建的预处理过程中，剔除短连通域，可以降低后续去除离群点时的计算量，从而保证在不影响重建准确性的情况下，提升后续降噪过程的效果。

图5 几类海冰场景特征分布Fig.5 Features distribution of sea-ice scenes

图6 8邻域填充过程Fig.6 Eight neighborhood filling’s process

针对这一问题，本文采用了基于8邻域填充算法的图像分割，以去除海冰图像数据集的短连通域。通过查找目标像素点的上，下，左，右，左上，左下，右上，右下8个临近像素点，是否被填充，若已被填充则填充它们，并且继续寻找它们的8邻域像素，直到封闭区域完全被填充为止。填充过程见图6。

设目标像素点的坐标为p(x,y)，则递归填充过程可表示为：

N4(p)=∪ (x,y+1),(x,y-1),(x-1,y),(x+1,y)

(2)

N8=N4∪ (x+1,y+1),(x+1,y-1),(x-1,y+1),(x-1,y-1)

(3)

其中，式(2)为4邻域填充，目标像素点p的上下左右填充过程，式(3)为在4邻域基础上的8方向填充过程。

4 海冰场景的三维重建

海冰三维场景重建的根本任务是求解空间中点间的相对位姿关系。其核心步骤是通过求解二维图像中特定点间的关系，建立匹配的特征点对。由于二维特征点空间关系与其对应三维点相对位姿间存在非线性映射。如何提取每幅二维图像中的特征点是重建过程的重要工序。在SFM流程中，进行到特征提取这一步时，现阶段最常用且成熟的方法是提取待处理图像的SIFT特征。

4.1 SIFT特征提取与匹配

SIFT(Scale Invariant Feature Transform)即尺度不变特征变换，由加拿大学者David G.Lowe 2004年提出。该算法通过对所有尺度空间上的图像进行高斯微分以形成一个尺度连续变化的高斯差分空间。在检测到尺度空间中极值点后，生成极值点的128维特征描述子。通过对描述子的匹配以实现特征点的匹配。匹配过程采用K-D树最近邻域搜索算法[15-16]，通过迭代比较与目标匹配点欧式距离最近两点，小于阈值的点即视为可接受匹配点。同样，阈值设置过高会导致误匹配点增加；过低会使匹配点数减少，使后续的重建过程由于匹配对数量过少而无法进行。

经多类不同海冰数据匹配结果验证，设置参数param_p3p_inlier_ratio_min 0.4即阈值为0.4时可获得较好的特征匹配结果。

4.2 离群点的去除

受限于三维重建工作的长流程特性，每一子环节累积的误差是不可避免的。由于所选取的特征提取与匹配的方法存在目标特异性，上一步得到的粗匹配结果必然存在较多的误匹配特征对。对于海冰场景图像，离群点问题较为显著，几种典型的离群点误匹配结果见图7。为了获得更稳定可靠的内点集，在此流程本文采用了RANSAC算法来自动去除误匹配点，结果表明，针对海冰场景图像，该方法可有效去除离群点，提高匹配效果。详细参数设置见表1。

图7 海冰图像特征点外点集Fig.7 Exterior feature points of sea ice image

4.3 海冰场景的稀疏重建

在建立稀疏点云过程中，最后一步是解决区域平差问题。通过前面一系列工作得到的二维点间的相对关系，对空间中同一点而言，从每个对应的相机光心发射并经过图像中该点对应的像素的光线，都将交汇于这一点。全部的三维空间点形成大量的光束(bundle)，由于实际应用中存在噪声等问题，每条光线不可能汇聚于一点，因此在求解过程中需不断对信息进行调整(adjustment)，使最终光线能交汇于同一点来得到更准确的空间点位姿。为了解决这一问题，本文采用结合Levenberg-Marquardt(简称LM)的稀疏光束平差法(Sparse Bundle Adjustment,简称SBA)[17]。对于m幅序列图像中存在n个具有多相机成像的点进行光束平差的目标函数可表示为：

表1 RANSAC算法详细参数Table 1 Detailed parameters of RANSAC

(4)

式中，xij为n个空间点中第i个点投影到m幅图像上存在对应成像点时的第j幅图像；aj为图像的投影矩阵；bi为空间点；Q(aj,bi)为第i个空间点到第j幅图像的投影函数；d(x,y)为观测点和估计点的欧式距离。

将式(4)中的向量am，bn，xmn归一化并整合为两个单一向量，可得参数向量P及观测向量X：

(5)

(6)

X=f(P)

(7)

(8)

为求解上述提到的最小二乘问题，这里采用了LM算法。设J为式(7)的雅可比矩阵，δ为最佳参数的迭代步长，由于投影矩阵互不相关，必然存在一个具有更快迭代速度的稀疏结构式:

JT∑x-1Jδ=JT∑x-1ε

(9)

这一稀疏性特征提高了迭代运算的速度并在这一步获得更可靠的三维空间内点的坐标及相机参数。

4.4 海冰场景的稠密重建

经过上述一系列重建工作后，得到的是一组稀疏的点云数据。这并不利于观察重建效果，也很难满足实际应用的需要。为了更加直观地恢复海冰场景的三维结构，还需要进行稠密重建。

图8 PMVS基本流程图Fig.8 Basic flow chart for PMVS

近年来基于多视图的稠密重建(Multi-View Stereo，简称MVS)在三维重建任务上取得了良好的效果。本文采用了Furukawa等人提出的PMVS算法，相比于更鲁棒的SIFT特征，PMVS在初始化特征匹配的过程中，使用高斯差分金字塔和Harris角点特征代替这一过程。在获得更多特征点的同时，使用极线几何约束生成种子点。结合稀疏重建过程获取的鲁棒性较高的相机参数，并以种子点为中心向邻域进行扩散从而得到稠密的点云数据。

最后，利用以稀疏重建时得到的第一个相机坐标为世界坐标系，建立稠密点云和世界坐标系间的位姿关系，其后用离散的稠密点云数据生成三角网表面模型，得到目标海冰场景的三维模型。PMVS流程见图8。

5 实验结果与分析

本文实验数据来源为NISDIC航拍海冰场景光学图像数据，数据详细信息见表2。

实验主要分为：①验证所制定的分类标准，及在此标准下海冰场景航拍图像分类筛选方案的准确性；②分析海冰场景SIFT特征分布情况及分割后区域的三维重建。通过对真实数据使用上述完整过程进行仿真，验证三维重建效果。

5.1 海冰场景分类筛选

选用了VGG网络模型及其衍生的VGG-16，VGG-19共3种模型进行对比实验。笔者从总体数据集中，将每类海冰场景分为若干子场景，对一个特定的子场景，抽取一定数量的连续时间拍摄的序列图像。这些图像要尽量保证时间上的连续性，以减少光照条件变化对实验结果造成的干扰。

在此条件下，共选取每类500张，5类共计2 500张航拍海冰图像作为训练集；不同于这2 500张的，另外选取每类100张，5类共500张作为测试集。

测试3种不同的网络模型，更改相关参数并比较分类效果，结果见表3。

表2 数据源详细参数Table 2 Detailed parameters of data

表3 分类筛选实验参数和结果Table 3 Parameters and result of classification

由表3可见，在分类筛选的过程中，选用VGG模型在合理的参数设置下，可以取得较好的图像分类结果。同样，为了便于后续的三维重建工作，结合海冰特征分布的特点，所选取的分类方案达到了整体精度90.4%的成绩。验证了所指定海冰场景航拍图像分类标准并以场景类别作后续工作约束的可行性。

5.2 场景重建过程特征点的处理

上述过程已经得到了归类好的序列图像，通过依次对一子类序列图像进行SIFT特征提取和匹配可以发现匹配点数量决定了该场景是否可以进行三维重建，不同场景部分粗匹配过程结果见图9。

通过上述实验，可直观的得到结论，相比于其他3类场景，混合冰和陆生冰场具有更多的匹配特征对。在多级降噪后，三维重建的结果更具可靠性。

图9 部分场景粗匹配结果Fig.9 Sample rough matching result of scenes

传统的特征提取和匹配过程，存在大量的冗余计算。由于SIFT特征要对整幅图像进行特征提取，而三维重建工作前期需将大量的序列图像两两匹配，以获取相机位姿等参数。

图10 图像分割后结果Fig.10 Result of image segmentation

这里结合海冰的成像特点和任务目标需求，在特征提取前将海冰光学图像通过8邻域填充法进行分割，以陆生冰场景为例分割后的结果见图10。原始图像使用RANSAC算法去除误匹配后的结果和分割后去除误匹配的结果见图11。

匹配结果表明，在特定海冰场景三维重建任务特征匹配步骤上，使用图像分割算法可以降低由RANSAC算法固定参数设置带来的局限性。

5.3 海冰场景三维重建

经过以上几步后，最后将各子步骤整合为一个完整的流程。

选取两组不同场景的海冰航拍图像作为重建数据来源，以其对应的机载激光雷达数据为真值。以在前步工序中表现良好的陆生冰和混合冰为例，重建后的结果见图12和图13。

图12(a)为陆生冰航拍图像，(b)为重建的稀疏点云，(c)和(d)分别为稠密重建后生成的三角网表面模型。

图13(a)为混合冰航拍图像，(b)为重建的稀疏点云，(c)和(d)为生成的表面模型。

为了验证所生成模型的准确性，本文使用了同一架次飞行任务上同一海冰场景的激光雷达数据作为真实值。由于SFM算法得到的模型没有绝对的尺度关系，所得模型为相对模型，而场景边界范围很难界定，同时真实数据为激光雷达传感器采集的密集点云数据。所以，这里采用了将三维点云数据二维化的方法，把两组点云数据转化为散点图，通过比较两幅图像的相似度，以结构相似性作为评价重建精度的指标，航拍图像和与其对应激光雷达信息所生成散点图间关系见图14。选取3组不同场景，进行重建，实验所得结果见表4。

图11 去除误匹配后结果Fig.11 Removal of mismatched features

图12 三维重建结果Fig.12 Result of 3D reconstruction

图13 三维重建结果Fig.13 Result of 3D reconstruction

图14 三维重建结果Fig.14 Result of 3D reconstruction

表4 三维重建结果Table 4 Result of 3D reconstruction

6 结 论

本文设计了一种基于海冰场景图像分类的三维重建方法。相比于传统方法，该方法通过先分类后分割的预处理思想，大幅提高筛选图像序列时的准确性，减少三维重建前的准备工作。同时，在三维重建的流程中，通过分割重建区域的方法有效去除了离群点，改善了重建流程中筛选匹配特征的效果，降低了各子流程中的累积误差，提高了重建的精度。通过真实的航拍海冰数据仿真实验对所提方法的精度进行了验证，实验结果表明，自动分类的海冰数据是可靠的，可用于后续的三维重建工作，且运动恢复结构方法不仅可用在小场景范围，也可在特定情况下应用于极地遥感测绘领域。