一种基于多源数据融合的滑坡地形深度学习识别模型研究

黄 坚，李 鑫，陈 芳，崔 茹，李慧敏，杜博文

（1.北京航空航天大学软件学院,北京 100191；2.北京航空航天大学计算机学院,北京 100191）

0 引言

高位远程滑坡因其隐蔽性强，致灾效应严重等特点，对人民生命财产安全产生巨大威胁，对潜在滑坡隐患进行识别监测成为关系人民生活的重大需求。传统滑坡监测方法依赖地质领域专家进行人工识别判定，准确性高，但工作效率较低，难以支持对我国广袤国土上的地质灾害隐患点做系统性排查的工作[1]。

近年来，随着卫星遥感、InSAR[2]、GNSS[3]等先进观测手段的充分应用，地质调查领域构成了天-空-地联合的立体动态对地观测网络，积累了全面综合的地质观测大数据。以深度学习为代表的人工智能技术日渐发展成熟，可以在大规模样本数据的帮助下提取领域对象的特征，进行自动化识别判定。因此应用数据驱动的深度学习建模分析思想对地质观测大数据进行自动化的解译，成为滑坡隐患快速筛查识别的有效途径。

目前，许多研究基于滑坡在视觉特征上与周边区域的差异性，以遥感影像为数据源，应用计算机视觉分析技术进行滑坡地形的定位和分割，获得较好识别效果[4−6]。然而滑坡的影像特征具有形态不定、局部模糊、阴影云层遮挡等缺点，仅使用光学遥感影像对滑坡灾害进行识别与定位具有一定的局限性，识别准确性所能达到的上限较低。

滑坡识别的影响因素众多，视觉特征仅是其中一种，因此，采集分析滑坡区域的地形地貌、地质水文等多角度观测数据，可以提取更加全面立体的滑坡特征，降低数据模糊性，提升整体的检测能力[7]。基于多维数据进行多源数据融合分析来实现滑坡识别，已成为当前的研究热点。

多源融合分析方法早期针对数据特点相似的数据进行融合，如Pradhan 等[8]以机载激光雷达（LiDAR）提取的DEM 数据和QuickBird 卫星图像为基础，通过小波变换对2类数据进行融合；Ma 等[9]提出了一种使用Wordview2 图像自动检测浅层滑坡的方法，选择土壤亮度和植被指数作为滑坡遥感的指标。这些方法融合的数据类型少，大多只融合2、3 种数据，而近年来滑坡观测数据集内容日益丰富，包含了低层传感数据、高层语义信息乃至先验知识，其融合已经不能满足需求，融合效果不够完善。同时在融合方法上，早期的融合分析多采用基于概率、基于证据理论、基于知识等的融合方法[10−11]，也存在着难以处理高维复杂数据，数据噪声和缺失敏感等问题，工程实施难度大，融合效率低。

针对上述问题，本文提出了一种基于多源数据融合的滑坡地形深度学习识别模型，该模型具有以下特点：（1）提出了基于深度学习的端到端多源数据融合识别框架，实现了不同领域、不同形式的数据的自动化融合分析，尤其是地貌、水系、断裂带等地质信息的加入，丰富了模型所能处理的信息类型；（2）加入分组机制和和注意力机制，在缩短模型计算时间，提高融合效率的同时保证了识别的准确率；（3）实现了特征分支网络，提高了数据的利用率，改善了模型的识别效果。最终得到的结果具有像素级别精确度，可以划分滑坡具体发生范围，为地质研究人员的进一步研究提供更高的参考价值。

1 数据的采集与处理

文章所使用的数据包括金沙江流域的87 处滑坡和其它区域（延安、北川、黑方台、映秀、黄茨和舟曲等地）的40 处滑坡。金沙江位于扬子江上游，流经中国西部的青海省、四川省和云南省。金沙江流域滑坡作为主要滑坡样本，其它区域的滑坡作为补充样本，以提高模型泛化能力。同时为了增加样本数量，降低过拟合带来的风险，根据数据的质量，每处滑坡选取5～10 张遥感图像作为训练样本，在完成了对所选样本的标注之后，最终得到的遥感图像与标注信息如图1所示。

图1 光学遥感影像的标注与叠加Fig.1 Annotation and superimpose of optical remote sensing image

除了光学遥感图像，我们还采集到了地质、地貌水系、断裂等诸多对滑坡的形成有重要作用的数据。由于所采集、保存的数据都遵循着不同的协议，无法直接作为模型的输入。对于多源异构数据，首先要建立数据一致性关系，将不同来源的数据通过数据标准化、几何纠正、投影变换、影像裁剪与位图生成等方法，得到范围与分辨率相等的png 格式的图像，如图2所示。

图2 数据一致性构建成果图Fig.2 Data consistency construction result map

2 多源数据融合识别模型框架

在收集到的所有数据中，光学遥感图像包含了滑坡识别中最重要的纹理、形状、颜色等特征，对滑坡的识别起着主要作用。但同时影响滑坡形成的原因是多方面的，地质构造、气候水文、生物活动等内容都会不可避免的对地质环境的变化造成影响。为了充分利用各种数据，建立多源数据融合识别模型，实现了端到端的训练模式，从数据到特征再到决策，分阶段逐次融合，模型框架如图3所示。该模型不需要像传统数据融合方法那样手工设计融合规则，既降低了工作量，又保证了识别的精度。

图3 基于数据融合思想的滑坡识别系统框架Fig.3 The framework of landslide recognition system based on data fusion idea

该框架中的重点在于光学遥感图像特征的提取，以及其他专题数据特征的提取与融合

2.1 基于单视角的高位滑坡光学遥感数据识别模型

光学遥感图像特征的提取，可以作为多源数据融合识别模型的一部分。在无法获取除遥感图像外的其他数据的情况下，也可以加入上采样模块单独构成光学遥感图像识别模型。作为语义分割技术在地质监测领域的实际应用，利用图像数据，在其中找出滑坡区域的范围要求模型具有高召回率，避免出现漏报的情况；同时大面积国土排查又需要识别模型具有极高的计算效率。识别精度与计算效率这二者是矛盾的，精度的提升往往伴随着模型复杂程度的提高，更多的层数，更复杂的连接方式，模型具有更大的参数量，模型在运算时要花费更多的时间。为了能找到二者之间的平衡点，文章基于U 型结构[12]与全卷积网络，结合金字塔池化与自注意力机制，提升模型识别效果；利用局部连接、权重共享以及分组机制，降低模型的参数量，从而同时满足模型的高召回率与高时效性需求（图4）。

图4 基于机器视觉的滑坡识别模型结构框架Fig.4 Structural framework of landslide recognition model based on machine vision

文章采用ResNet 作为特征提取网络[13]，用于原始图像的特征提取；ASPP 作为图像信息恢复网络，来完成上采样还原图像。其中，ResNet 比传统的CNN 网络具有更深的学习层次、更优的学习效率、更快的收敛速度。网络的基本残差块在普通卷积层的基础上，加入了额外的支路——跨层连接，将网络的映射关系变为了如图5所示的结构。

图5 残差学习单元Fig.5 Residual learning unit

该结构可以学习更加简单的F(x)特征映射函数，缓解了退化问题，提升了网络性能。本文还引入空间金字塔池化模块（ASPP）[14]来进一步提取多尺度信息，控制感受野的大小。ASPP 模块总共一个卷积核尺寸为1×1 的卷积层，以及三个3×3 的空洞卷积，卷积层后都跟有Batchnorm 层，输出通道为256 维。经过这一部分之后再经过一个1×1 的卷积层，然后采用双线性插值的方法扩充到原始输入大小。ASPP 中的空洞卷积是在离散卷积的基础上改进得到的，传统离散卷积的公式为：

空洞卷积在此基础上加入了空洞系数l，将公式转变为：

式中：kl——空洞系数为λ 的空洞卷积核。

地质专家在识别滑坡时通常先观察整体，忽略不可能存在滑坡的区域，寻找疑似滑坡的地点，然后集中注意力，精细地判别滑坡是否存在并勾勒滑坡的边缘。本文参考这一模式，对ResNet 网络进行了优化，修改了网络中的Bottleneck 结构。首先进行一次1×1 的卷积，然后加入注意力模块（Attention Block），最后再以一次1×1 的卷积结尾。其结构如图6所示。

图6 引入注意力机制的Bottleneck 结构Fig.6 The Bottleneck structure introducing the attention mechanism

对于分组机制，Krizhevsky 等[15]证明了用分组方式可以在不增加模型复杂度的前提下提高模型准确率，它将网络分为两组，一组主要学习黑白信息，另一组主要学习彩色信息，这在当时GPU 计算能力还不强的情况下有效兼顾了模型的深度与训练的速度。因此本项目在ResNet 的基础上，引入Cardinality 结构，将网络分为若干分支，作为不同的子空间来增加网络宽度，由此得到的ResNeXt 网络将作为ResNet 的优化版本完成对遥感图像的特征提取。

综合注意力机制与分组机制，可以得到本项目优化后的ResNet50-SA 网络的完整结构，如图7所示，其中S 代表分组机制（Split），A 代表注意力机制（Attention）。

图7 基于改良ResNet50-SA 的语义分割网络架构图Fig.7 Semantic segmentation network architecture diagram based on improved ResNet50-SA

2.2 基于多源数据融合的滑坡精准识别模型

光学图像的特征提取之后,要完成的就是其他专题数据的特征提取与融合工作。

根据对现有数据的调查，可以确定除了光学遥感影像必定存在外，其他专题数据都存在一定缺失，为了避免根据输入变化频繁调整网络结构，根据数据融合的思想，在输入前将除光学遥感影像外的专题数据进行拼接，得到一张维度更大的灰度图，同时利用全卷积网络处理输入，可以实现单个模型处理不同输入。

地质大数据集中的数据包含的信息量各不相同，如果输入到同一网络结构中进行处理，会产生严重的过拟合和欠拟合的问题，导致融合结果出现偏差。为了解决这一问题，本课题研究实现了具有分支的特征提取网络，对不同的数据采用不同深度、广度的残差网络，来适应提取特征向量过程中的不同需求。对于光学遥感影像，采用上文提到的ResNet50-SA 网络架构，对于其他专题数据，采用ResNet34 网络架构，分别提取特征向量，然后再进行融合。为了使根据特征得到决策具有可比较性，将专题数据得到的特征向量进行特征融合：

式中：T(Xt)—融合后的特征向量；

H(Xt)——海拔特征；

D(Xt)——地貌特征；

Z(Xt)——地质特征；

R(Xt)——河流分布特征；

L(Xt)——活动断裂分布特征。

将融合后的专题特征向量与光学特征进行融合，这一过程分为三步，流程如图8所示：

图8 模型融合过程图Fig.8 Model fusion process diagram

第一步，Feature Map 融合。将光学特征C(Xi) 和专题特征S(Xi) 通过 element-wise product 的方法初步融合得到I(Xi)。

第二步，通道关系构建。对I(Xi) 进行特征重标定，分别进行通道抽取FAvg(IC)、通道关系计算FFc(u)和结合FMul()操作。对于通道抽取，特征向量I的维度为H×W×C，经过通道抽取得到uC为1×1×C。

对于通道关系计算，W1、W2、δ分别表示两个全连接层的卷积核和一个ReLU 激活层。

FMul()由前两步的结果元素对位相乘得出。

第三步，残差连接，将初始特征向量和第二步得到的重构特征向量相加，可以在增强特征信息重要性时尽量减少背景信息的丢失。

综上所述，可以得到基于MFNet（MF 代表Model Fusion）的多源数据融合模型整体框架如图9所示。

图9 基于数据融合思想的特征提取和识别模型结构图Fig.9 Structure diagram of feature extraction and recognition model based on data fusion idea

3 精度评价

在模型的结果的评估上，由于在滑坡识别这一应用场景中，模型对图像各像素给出的判别结果只包含两个类别，滑坡与背景，可以作为一个二分类问题来考虑，因此本文选取了二分类问题中常用的IOU、ACC、F1-Score作为评价指标。对于二分类问题，模型预测的结果和真实标签存在4 种不同的组合：TP、FP、FN、TN，如表1所示。而本文选择的3 种评价指标，则正是依赖于这些不同的标签组合来完成计算的，其中前2 者的计算公式如下：

表1 二分类问题中预测结果与真实标签的组合关系Table 1 The combination between predicted results and real labels in dichotomous problems

F1-Score的计算则依赖于另两个基础指标，Recall与Precision，是一个更能反映模型综合水平的指标，计算公式如下：

不同的指标具有不同的倾向，IOU倾向给出一个直观性的评价，即预测结果与真实结果间的重合程度；ACC会将背景也纳入计算；F1-Score则可以视为综合查准率与查全率给出的评价。

4 实验及结果展示

模型的训练和测试均在4 张Nvidia Titan(Pascal)GPU 上进行，操作系统为Ubuntu16.04，64 GB 内存，算法采用Pytorch 深度学习框架，内置Python 3.6 开发环境。模型使用SGD 梯度下降算法，Batchsize 大小设为128，初始学习率为0.01，动量值0.9，采用Poly 衰减策略对学习率进行调整，公式为：

实验时，除了训练了本文设计出的光学遥感图像识别模型和多源数据融合识别模型外，还对几种常见的语义分割模型进行了训练与测试，包括U-Net，PSPNet[16]，DeepLab v3[17]，DeepLab v3+[18]；同时，在对多源数据融合识别模型进行测试时，不仅实现了融合所有专题数据的版本，包括高程、地质、地貌、水系、活动断裂，我们还测试了仅融合光学图像与高程数据的模型，实验的结果如表2、表3所示。

表2 基于光学遥感图像的识别结果Table 2 Recognition result based on optical remote sensing image

实验结果的效果对比如图10、图11所示。

图11 多源数据融合模型与单视角模型效果对比图Fig.11 Comparison of effects between multi-source data fusion model and single-view model

通过上述结果可以看出，对于光学图像识别，本文提出的ResNet50-SA 网络能有效提高光学图像特征提取的效果，进而提升滑坡识别的精度；而对于多源数据融合识别模型，其效果要优于光学模型，参与融合的数据越全面，效果就越好，同时地形数据在各类多源数据中占有较大的比重。

5 总结与展望

针对目前地质灾害识别领域的困境，基于当前深度学习领域的优秀算法，对语义分割网络进行一定的改进，设计针对性的滑坡灾害特征提取和识别模型，提出了基于多源数据的高位远程滑坡灾害识别方法，对实际工作中汇总的滑坡灾害数据达到良好的定位与识别效果，具有优异的语义分割能力。

在模型构建的实验中，对输入的数据特征采用了多样的融合方式和卷积方法，根据验证结果表明具有一定的提升效果。但由于实际操作中关于注意力模块的位置和设置需要大量尝试与验证，并且融合方式选择多样，导致找到一种合适的融合方式会花费较多的时间。因此，可以更加深入的探索与研究，寻找表现更加优异的模型结构，减少模型构建阶段的时间成本，可以作为之后研究的目标。

此外，尽管为了防止模型过拟合而针对同一滑坡选取了多张不同条件下的遥感影像，但专用数据集依旧存在数据尺寸大、数量少的情况，在如何更有效地提取大尺寸数据特征和解决数据数量少、学习难度大的方面，也有其他可以借鉴的方法。除了根据深度网络对图片的预测信息入手外，也可以学习现在流行的生成对抗网络方法，数据特征提取不充分和数据集匮乏的问题将得到极大的解决，这也将成为以后研究的一个方向。