遥感影像地裂缝检测技术

黄 涛，姚建华，吕林涛（通信作者），刘皓楠

（1宁夏回族自治区遥感调查院 宁夏 银川 750021）

（2北京科技大学计算机与通信工程学院 北京 100083）

0 引言

遥感影像语义分割是遥感影像信息获取的关键环节和研究热点，近年来，相关研究成果已广泛应用于检测土地利用变化、城市扩张及灾害预警评估等方面。高分辨率遥感影像能够表现丰富的地物信息，从而有利于提取地物的复杂特征以识别复杂的场景目标。

随着卷积神经网络（convolutional neural networks，CNN）的发展，使用深度学习（deep learning，DL）技术或多种技术结合的智能化地裂缝检测迅速成为主流[1]。地裂缝是一种对地质环境造成潜在威胁的常见地面病害之一[2]。本文基于深度学习卷积神经网络模型，对地裂缝进行检测分割。对地裂缝发育现状、剖面结构等方面展开全面深入的调查研究，不仅对地裂缝进行进一步研究，且对于较好地掌握宁夏地裂缝发展的新动态、新特点，乃至及时指导城市的发展规划和城市建设等方面均有一定的参考和指导作用。

1 相关技术

1.1 传统的地裂缝检测技术

传统检测地裂缝的方法有以下几种：1）图像阈值（image thresholding）；2）结合形态学处理和逻辑回归算法对裂缝进行检测；3）手工设计特征和分类（hand crafted feature and classification）；4）小波变换（wavelet transform，WT）；5）边缘检测方法（edge detectionbased methods）；6）最短路径方法（minimal path-based methods）。以上方法多用于路面裂缝检测，因为遥感影像的语义分割任务特殊，情况复杂，因素更多，所以使用以上方法效果不佳。

1.2 基于DL的遥感地类提取技术

遥感影像技术一直是图像识别预测领域的热点课题[3]。遥感图像内容由影像组成，通过地图符号等标记手段进行解释，相比普通地图，遥感图像更直观明了、信息丰富[4]。

随着遥感技术的发展，传统的地物提取技术在处理高分辨率遥感影像时显得捉襟见肘[5]。准确高效的遥感信息提取手段成为遥感应用中的关键环节，DL因在图像分类中的极佳表现脱颖而出，逐渐应用于遥感检测的各方面[6]。基于DL的语义分割技术也成为计算机图像处理领域中较热门的研究领域。

1.3 基于DL的地裂缝检测技术

全卷积网络（fully convolutional networks，FCN）作为图像语义分割的先河，将全连接层转化成卷积层，实现像素级分类。FCN可接受任意大小的输入图像，不要求训练图像和测试图像必须有相同尺寸。避免了使用像素块带来的重复存储和计算卷积问题，更加高效。因此，FCN为后续使用CNN作为基础的图像语义分割模型提供了重要基础。

随着CNN的快速发展，越来越多优秀的通用语义分割模型被提出。通过语义分割技术，可以快速准确地对遥感图像中每个像素进行分类及进行裂缝检测。基于DL的地裂缝检测技术极大地避免了人工参与，自动化提取裂缝信息，且在精度上得到了一定提升。综合以上因素，本文从DL的角度入手，运用语义分割技术对遥感影像地裂缝进行检测。

1.4 精度指标评价

地裂缝提取是一个二分类问题，其构成的4个基础元素：1）真正例（true positive，TP），模型预测为正例，实际是正例；2）假正例（e positive，FP），模型预测为正例，实际是反例；3）假反例（e negative，FN），模型预测为反例，实际是正例；4）真反例（true negative，TN），模型预测为反例，实际是反例。基于此，3种公认的评价指标如下：

像素精度（pixel accuracy，PA），

交并比（intersection over union，IoU），

均交并比（mean intersection over union，MIoU），

2 相关方法

2.1 Res-U-Net

地裂缝需强调边界，对特征提取和恢复有较高要求，因此本文选用编码器-译码器网络模型来处理。U-Net网络的特征提取能力不足以获取遥感影像中的语义信息，其卷积核的感受野太小、编码器不够强大；ResNet拥有强大的语义特征提取的能力，但缺少了对特征细节恢复的能力。结合2种网络的优势特点与地裂缝的特征情况，本文将ResNet和U-Net相结合，在U-Net中引入残差连接，并直接将编码器与译码器连接用来提高准确率，减少处理时间。保留编码部分中不同层丢失的信息，同时不增加额外的参数与操作，ResU-Net网络结构如图1所示。

图1 ResU-Net网络结构

ResU-Net接收512像素×512像素.png的图片和标签作为神经网络的输入数据，在下采样中加入跳跃连接，捕获空间信息特征，得到32×32×1 024的特征向量，经过UpSample操作恢复空间信息，每次下采样之后均会与对应的上采样操作进行Concat级联，防止丢失空间信息。

2.2 损失函数

采用交叉熵损失（BCE）、结构相似性损失（structural similarity indes，SSIM）、交叠率损失（IoU损失）这3种损失函数，分别从3个不同的层次进行优化网络。

2.2.1 交叉熵损失（BCE）

BCE函数分别评估每个像素点的预测值，将预测值与该像素点的标签进行比较，然后对所有的像素点的比较结果求平均：

式中：G(r,c)为像素点是否为GT label；S(r,c)为预测出像素点为目标的概率。

2.2.2 结构相似性损失（SSIM）

SSIM从图像组成角度将结构信息定义为独立于亮度、对比度，反映场景中物体结构度属性，并将失真建模为亮度、对比度和结构3个不同因素的组合。用均值作为亮度的估计，标准差作为对比度的估计，协方差作为结构相似程度的度量：

SSIM为补丁级别（patch-level，PL），重点关注于边界。

2.2.3 交叠率损失（IoU损失）

IoU损失是将位置信息作为一个整体进行训练。

将这3个损失结合起来，利用BCE对所有的像素点来保持其梯度平滑，用IoU损失关注前景信息，SSIM确保预测结果符合原始图像结构，在边界位置的损失较大。

2.3 优化模块

优化模块通过学习特征图和标签之间的残差来优化预测模块得到的粗略的特征图。主要架构和预测模块的架构类似，包含1个输入层，encode、bridge、decoder和输出层。和预测模块不同，encoder和decoder有4个stages。每个stage只有1个卷积层，每层有64个滤波器，大小为3×3，后面跟着1个BN层和ReLu层。在下采样时，encoder中使用非重叠的max pooling层，然后在上采样decoder中，使用双线性插值。将优化模块的输出当作模型最终的特征图输出。

3 实验及结果分析

3.1 实验细节

基于数据集数量较小，采用U-Net网络和Res-U-Net网络；基于多尺度的地裂缝提取，采用PSPNet网络；基于对地裂缝的几何特征提取，采用BASNet网络。

3.2 实验结果分析

不同模型道路提取效果对比如图2所示，综合对比这4个网络结构的预测结果，U-Net网络略弱于其他的网络结构，PSPNet和BASNet各有优缺点，对比U-Net网络和Res-U-Net网络，它们均采用了编码器-解码器结构，但是特征提取网络采用了不同的方式。可以看出，Res-UNet网络略优于前2个网络；ResNet网络的特征提取能力强于VGG网络和U-Net网络，可以让网络更好地学习到地裂缝的像素特征。对比PSPNet网络和U-Net系列网络，在U-Net系列网络中，缺少了多尺度的特征模块的提取，导致U-Net系列网络对多尺度形态下裂缝提取处理不力，这样会造成将许多非地裂缝的目标被错误判断成为地裂缝，一些地裂缝未被识别出来。而PSPNet网络加入金字塔池化模块，基于不同区域的上下文聚合利用全局上下文信息，进一步减少不同子区域之间的上下文信息丢失。对比BASNet网络和PSPNet网络，BASNet网络加入边缘检测算法的HED思想，提出了side output模块并且辅以优秀的损失函数，使得网络结构在检测出裂缝位置的同时也可以在一定程度上反映出地裂缝的几何特征。

图2 不同模型道路提取效果对比

不同模型在测试集上的性能对比见表1，可见，Res-U-Net网络比U-Net网络在MIoU评价指标中提升了0.16。这是由于ResNet网络强大的特征提取能力，因此在后面的网络中，特征提取网络选用的是ResNet网络。PSPNet网络相比于Res-U-Net网络MIoU，又提升了0.03。这是由于多尺度模块，其可以更加全面的检测到地裂缝。BASNet网络略优于PSPNet网络，这是由于加入了辅助损失函数，可以细化裂缝边缘信息。

表1 不同模型在测试集上的性能对比

4 总结

本文基于宁夏宁东地区包括金凤、马莲台、羊场湾3个矿区的遥感影像地裂缝分割检测任务，从数据获取处理到网络模型的选取，再到精度性能指标评价。采用深度学习的方法从语义分割的角度切入遥感图像的地裂缝检测，结合地裂缝样本目标的特点，从来自高分16号卫星3张影像大图中大幅影像中划分出包含地裂缝的样本的区域。由于地裂缝样本目标所占比例远小于影像整体比例，导致最终所获得的数据集数量较少。也可通过搜集大量高质量的数据来扩充数据量，但遥感影像数据的获取和标注是一项非常耗时和复杂的工作，数据直接会影响最后的分割效果，因此采用了数据增强的方法来扩充数据集，增加他的多样性。同时，通过GAN的网络生成一些高质量的数据。之后采用U-Net、VGG-U-Net、ResUnet、BASNet、PSP-Net这5种网络进行对比实验，分别研究了不同模型对于地面裂缝检测的影响。结果表明：VGG-U-Net和ResUnet是对U-Net的改进，效果均有所提升；BANet采用了空洞卷积并加入裂缝形状检验模块，相比之前网络效果更佳；PSPNet采用PSP金字塔池化模块提取地裂缝的多尺度特征以实现不同尺度地裂缝的识别，考虑到裂缝周边像素与地裂缝之间的语义联系，取得了最好的识别效果。