基于深度学习的探地雷达二维剖面图像结构特征检测方法

王 辉 欧阳缮 刘庆华 廖可非 周丽军

①(桂林电子科技大学信息与通信学院 桂林 541004)

②(贺州学院人工智能学院 贺州 542899)

③(桂林电子科技大学卫星导航定位与位置服务国家地方联合工程研究中心 桂林 541004)

④(山西省交通科技研发有限公司 太原 030032)

1 引言

探地雷达技术是一种无损的遥感探测技术，在军事[1–3]和土木工程等领域[4–6]都有广泛应用。反射测量模式下，随着收发共置天线的探地雷达(Ground Penetrating Radar, GPR)扫描经过目标，在B扫描(B-SCAN)图像中目标对应的响应到达时间则表现为开口向下的双曲线形态结构，据此，对地下目标的探测通常可转化为在GPR B-SCAN图像中进行目标特征双曲线检测的问题。目前研究利用GPR进行地下目标探测的主要方法包括基于模型反演的方法、传统机器学习方法和深度学习方法等。

模型反演方法根据麦克斯韦方程组得到格林函数并通过迭代进行优化求解，虽然研究人员对基于模型反演的方法开展了大量研究工作，在用于地下目标的形状、几何尺寸及介质参数估计等方面也取得了一些研究成果[7,8]，但反演的结果依赖对场景介质电磁特性估计的精度，而真实的地下场景比较复杂，难以进行准确的估计。同时，由于迭代过程的计算量大，在很大程度上制约了其在GPR实时数据处理系统中的应用。

传统机器学习方法利用机器视觉技术来检测B-SCAN图像中的特征双曲线，常用的算法包括基于Hough变换的方法和基于特征表达的方法。Hough变换[9]可用于对形变物体的拟合，但其参数空间大，计算复杂度高。特征表达的方法，如基于Haar-like小波特征的Viola-Jones 算法[10]；结合梯度方向直方图(Histograms of Oriented Gradients,HOG )与边缘直方图描述符(Edge Histogram Descriptor, EHD)的双曲线特征检测算法等[11,12]，这些方法在应用时需由人工参与特征的设计，同时检测结果的准确率不高。

深度学习方法在图像特征检测方面具有很好的性能表现，近年来越来越多的研究人员利用深度学习技术来检测GPR B-SCAN图像中的特征双曲线。如Pham等人[13]、Lei等人[14]及王辉等人[15]都是在更快速区域卷积神经网络(Faster Region-based Convolutional Neural Network, Faster RCNN)[16]的基础上分别研究了不同场景下B-SCAN图像中的双曲线检测问题；杨必胜等人[17]在单级式目标检测(You Only Look Once V3, YOLOV3)[18]网络模型的基础上，研究了城市地下空间中典型目标的特征双曲线检测方法；Zhang等人[19]利用ResNet50[20]和YOLOV2[21]网络研究了沥青路面水破坏损伤目标的特征双曲线检测问题。这些基于深度学习的方法主要采用数据驱动方式，通过对训练样本的学习来识别目标的特征信息，其检测结果的准确率在很大程度上依赖训练样本集的大小，而没有充分利用在GPR工作物理机制先验条件下得到的B-SCAN图像自身的特点。为此，本文提出了在深度学习网络模型中结合GPR物理机制的方法，设计了一种级联结构的B-SCAN图像特征检测网络。同时，针对特征双曲线中存在结构信息不完整的问题，为提高其识别结果的准确率，采用了基于方向引导的策略来对目标特征双曲线中缺失的特征数据进行补全预处理，以使本文方法能更好地应用于复杂场景下的目标检测。

2 物理机制约束下的GPR目标特征检测

GPR在探测地下目标的过程中，受电磁散射及干扰等因素的影响，得到的B-SCAN图像中会存在形状上与目标特征双曲线相似的各种干扰信息，因而直接利用CNN来检测B-SCAN图像中的双曲线形态特征时易出现误检问题。由于目标与地下背景介质的相对介电常数通常具有明显的差异性，在BSCAN图像中则表现为目标的特征双曲线具有较大的幅值，当使用CNN检测B-SCAN图像的语义特征时，其结果中将主要包含目标的显著性特征信息，同时利用分类器网络可有效识别出语义特征图中的目标特征双曲线和干扰信号。可见，在GPR物理模型的约束下设计语义特征提取CNN结构，以B-SCAN图像中目标的强度特征为先验信息，再结合目标的形态结构特征可获得更高精度的双曲线检测结果。检测方法的整体框架如图1所示。

图1所示框架中，首先利用直达波特征检测网络得到输入B-SCAN图像中直达波信号所处的空间位置，并将其去除(本文将直达波所处的区域进行置0处理)。在滤除直达波后的B-SCAN图像中，由于目标对应的特征双曲线具有较大的幅值，进而采用CNN提取B-SCAN图像的语义特征图，并通过反卷积网络进行上采样使输出特征图与输入B-SCAN图像的大小保持一致。实际中，往往会受干扰等因素的影响，一方面语义特征的提取结果中可能存在强度较大的噪声信号，另一方面目标的特征双曲线结构可能不完整。为此，采用了基于方向引导的特征数据补全方法对缺失的目标特征信息进行补全，这里需要说明的是，经过多次池化对特征图降维后，提取的语义特征主要对应于B-SCAN图像中目标的全局信息，为获得目标的细节特征，我们先将语义特征图中目标对应的空间位置映射到B-SCAN图像中，再进行特征补全处理。最后通过分类器网络来识别双曲线和噪声信号，输出目标特征双曲线的检测结果。

图1 目标特征检测框架

2.1 GPR目标检测的物理机理分析

根据GPR回波数据进行地下目标检测，即利用GPR B-SCAN图像中目标的幅度特征信息来检测对应的特征双曲线，其实现过程通常是基于回波信号中目标的强度大于背景介质强度这一前提条件。在反射测量模式下，GPR探测地下场景的模型如图2(a)所示，GPR发射天线向地下发射超宽带电磁脉冲信号，在不同属性介质的分界面处会发生电磁波的反射、折射和散射等电磁物理现象。由于介质的非均匀性以及多次反射波之间的相互影响，GPR B-SCAN图像的结构特征通常较为复杂，对应的一幅GPR B-SCAN仿真图像如图2(b)所示。

图2 GPR反射测量模式及仿真2维剖面图像

2.2 GPR B-SCAN目标特征检测网络

由于GPR收发天线之间的直接耦合波以及地面强反射波等因素的影响，GPR B-SCAN图像中直达波信号(干扰信号)的强度远大于目标特征信号的强度。为滤除B-SCAN图像中的直达波干扰信号，设计了一种两级级联结构的CNN来提取显著性特征并识别目标特征双曲线，其网络结构如图3所示。

第1级级联网络结构如图3上半部分直达波特征提取网络所示，GPR原始回波数据中直达波的强度较大，B-SCAN图像中其通常表现为具有水平线状结构的显著性特征，如图3中图片A所示。直达波特征提取网络中，其输出层对应的特征图内容应主要包含幅值大的水平线状结构特征信息。即提取B-SCAN图像中直达波对应的全局结构信息，以确定其所处的空间位置。为此，依据直达波信号强度大且呈水平线状的结构特点来设计网络模型，并利用CNN中卷积和池化操作的特点来提取直达波特征信息：(1)由于直达波信号的幅值较大，对应于B-SCAN图像中其边缘特征明显，采用卷积运算能很好地检测这一边缘特征。同时，CNN中卷积核通过在图像上的滑动来提取特征，保留了直达波特征在B-SCAN图像中的相对空间位置信息；(2)由于直达波具有连续线状的结构特点，其宽度与B-SCAN图像一致，根据池化的平移不变性，进行多次池化特征降维处理后，输出的特征图中(如本文对CNN最后池化层的特征图进行融合处理，得到大小为53×15的特征图)直达波连续线状的结构特征能很好地体现，而B-SCAN图像中的局部特征信息很大程度上受到抑制。可见，直达波语义特征提取CNN结构中，通过对不同卷积和池化层的输出特征进行组合，进而形成对显著性特征的描述，可有效提取直达波的全局结构特征信息。

对输入大小为2016×480的B-SCAN图像，先通过5层连续的卷积和池化运算来提取B-SCAN图像的高层语义特征，共得到512幅输出尺寸大小为53×15的特征图，再对这些特征图进行特征融合处理，并通过Cubic插值上采样操作使提取的特征图与输入的B-SCAN图像在尺寸大小上保持一致(提取的特征图如图3中的图片B所示)，以定位直达波在B-SCAN图像中所处的区域进而将其去除。对比分析B-SCAN图像及提取的直达波特征图可知，图片A中的直达波信号与图片B中的直达波特征信息所处的区域位置是相同的，可见，设计的CNN能够有效提取直达波特征信息。另外，当回波信号中直达波干扰的强度远大于目标强度时，对应的B-SCAN中在主观视觉效果上将难以观察到目标的结构特征分布。去除直达波后的B-SCAN图像如图3中图片C所示，目标的结构特征清晰可见。需要说明的是，下文中的B-SCAN图像均表示已去除了直达波干扰信号。

图3 B-SCAN图像特征提取的级联CNN结构

第2级级联网络结构如图3下半部分目标特征提取及分类网络所示。首先提取目标特征，与直达波特征提取网络不同，为使提取的目标特征图中能包含高层语义特征及更多的底层视觉特征，卷积网络在结构上增加了3层卷积层、减少了1层池化层，同时特征图的上采样过程采用反卷积网络进行计算；然后根据目标的特征图来制作相应的标签，并用于训练分类识别网络，实现对目标特征和干扰信号的分类识别，有效提取出目标的特征信息。在3800幅B-SCAN图像上进行了目标特征检测网络模型的训练，训练模型的主要参数设置为：初始学习率取0.0001，最大epoch为20，总共迭代76000次，采用交叉熵损失函数，每迭代100次输出一次loss，采用带动量的随机梯度下降(Stochastic Gradient Descent Momentum, SGDM)方法进行优化。训练损失变化曲线如图4所示，经过40000次的迭代后模型趋于稳定。

图4 目标特征双曲线提取网络训练模型的损失曲线

由于真实场景下地质环境的复杂性，当GPR B-SCAN图像中目标的特征双曲线形态受到破损时会导致网络对目标特征识别准确率的降低，因此需对提取的特征图在分类识别前进行预处理。

2.3 目标特征数据补全

在图1所示反射测量模型中，根据目标与其周围介质电特性参数的差异性，回波数据中目标所在的边界位置处散射电场具有一定的强度特征，而在双程走时条件约束下，B-SCAN图像中目标则通常表现为具有开口向下的双曲线结构特征，且具有对称性。据此，我们采用基于方向引导的数据补全方法来得到B-SCAN图像中结构信息完整的目标特征双曲线。图5(a)所示是利用特征提取网络得到的一幅双曲线结构信息不完整的B-SCAN图像，记为I(Ω|S)。

图5 结构信息不完整的GPR B-SCAN特征双曲线示意图

3 实验与结果分析

3.1 实验场景设置

用于实验的GPR B-SCAN图像总共4200幅，其中3800幅用于分类网络的训练，400幅用于测试。在地下场景中设定了空洞和充水介质目标，其个数分别设置为1个和2个，本文实验中的充水介质目标泛指对各种原因形成的地下空隙，将其填充水介质后得到的目标体。利用GPRMAX软件[23]对这4种不同的场景各仿真1000幅，共得到4000幅图像。另外，采用随机添加干扰信息源的方式得到了160幅图像，并通过沙坑实验以及实测[24]得到了40幅图像，用于验证算法的有效性。

在图2(a)所示GPR目标探测模型中，将介质层1设置为混凝土，介质层2设置为泥土，设定混凝土层和泥土层之间的接触面是粗糙的，空洞和充水介质目标位于泥土层区域。GPR向地下发射雷克子波脉冲信号的频率设为400 MHz，时窗设置为45 ns，收、发天线紧贴混凝土路面移动其间距设置为0.25 m。仿真场景的具体参数设置如下：

(1) 沿方位向的宽度5 m，沿距离向的深度2 m，混凝土的平均厚度设置为0.25 m；

(2) 为模拟混凝土层和泥土层之间的交界面是粗糙的，在混凝土的下边界处随机生成4～6个最大宽度0.3 m、最大幅度0.05 m的凹凸混凝土块；

(3) 沿距离向泥土的介电常数通过随机的方式来生成，考虑到不同深度泥土中温、湿度因素的影响，其取值范围设定在9～25；

(4) 目标数量设定为1个或2个，其中空洞的大小其宽度在0.4～0.5 m，高度在0.3～0.4 m随机生成，充水介质目标宽度在0.5～0.7 m，高度在0.25～0.35 m随机生成。只有单个目标时，其随机分布在泥土层区域，当有两个目标时分别随机分布在泥土层的左、右半区域。

3.2 GPR B-SCAN特征双曲线检测实验

针对不同场景下的目标分布情况，从仿真得到的4000幅GPR B-SCAN图像中随机选取4幅图像进行分析，如图6所示。

图6(a)所示的4幅B-SCAN图像中分别对应于存在1个充水介质、1个空洞、2个充水介质和2个空洞目标的情形。采用基于GPR物理机制约束条件下的显著性特征检测网络，得到B-SCAN图像对应的特征图如图6(b)所示。从特征提取的结果来看，特征图中含有混凝土层与泥土层分界面的结构特征F_sep、目标的双曲线结构特征F_hyp以及干扰信息SN(如图6(b)中充水介质目标的特征图所示)。将这些特征信息用于分类网络的训练，以实现对目标特征双曲线图像的有效识别。考虑真实情况下的地质环境通常比较复杂，如温度、湿度和干扰源等因素的影响，当目标的双曲线结构特征不连续时将直接影响到对其识别的准确率。对B-SCAN图像中不连续的特征双曲线进行数据补全的结果如图7所示。

图6 提取GPR B-SCAN图像的特征图

在图2(a)所示模型的泥土层中，将随机生成的球状石块作为干扰源，其半径取值范围为0.1～0.2 m，得到的B-SCAN图像如图7(a)所示。其中图7(a1)、图7(a2)中的球状石块分别位于单个充水介质目标和单个空洞目标的上方，图7(a3)、图7(a4)中的球状石块分别位于两个充水介质和两个空洞目标之间。受干扰信息的影响B-SCAN图像的结构信息更复杂，而当一定强度的干扰信号与目标的特征信号叠加时会破坏目标双曲线结构信息的完整性，如图7(b)中红色标记框中的特征曲线所示。其中图7(b1)、图7(b2)中单个充水介质和空洞目标的特征双曲线不连续，图7(b3)中左、右两个充水介质目标的特征双曲线不连续，图7(b4)中右边空洞目标的特征双曲线不连续。进一步对特征图中的特征双曲线进行分割，结果如图7(c)所示，对应的数据矩阵记为R，对R中缺失的特征数据利用式(10)进行补全。为此，一方面采用LS算法对R进行2次曲线拟合，结果如图7(d)中的绿色拟合曲线所示；另一方面取R中每一列的最大强度值得到对应的离散序列如图7(e)所示，并求得R中的所有局部极值点信息，进而以拟合曲线的变化方向为引导对R中缺失的特征数据进行补全，获得在数值分布上满足连续性变化的特征数据矩阵，也得到了视觉效果上平滑的特征双曲线，如图7(f)所示。

图7 目标双曲线特征数据补全

3.3 实验结果分析

将本文方法与3种其他GPR地下目标特征双曲线检测算法进行了比较，包括传统的HOG算法[11]和2种深度学习方法，即YOLOV3算法[18]和Faster RCNN算法[16]。从400幅测试集B-SCAN图像中随机选取了7幅图像进行分析，如图8所示。

在图8所示结果中，分类器网络通过计算检测结果为目标特征双曲线概率的大小来得到最后的识别结果，设置概率的阈值太小会出现误检，太大又会导致漏检。本文实验过程中取经验值，将得分大于0.8的特征双曲线检测结果判为有效目标。图8(a1)所示是单个充水介质目标的B-SCAN图像，受混凝土层和泥土层接触面是粗糙因素的影响，HOG算法出现了漏检情况，同时HOG算法、YOLOV3算法和Faster RCNN算法都存在误检的问题，而本文算法则准确地检测到了目标特征双曲线，主要原因是本文方法通过卷积网络(如图2所示)能够有效获取B-SCAN图像的高层语义特征信息，对应的特征图中混凝土层和泥土层的分界面具有整体的结构特征，如图6(b)的F_sep所示，有效地避免了对局部特征信息的误判。图8(b1)所示含单个空洞的B-SCAN图像中，目标的特征双曲线结构信息完整，4种算法都得到了准确的检测结果。图8(c1)所示的两个充水介质目标B-SCAN图像中，由于左边目标特征曲线的强度较小，同时右边目标的特征曲线破坏了其结构的完整性，HOG算法、YOLOV3算法和Faster RCNN算法均未能检测到左边的充水介质目标。图8(d1)所示的两个空洞目标B-SCAN图像中，由于设置了球状石块干扰源，右边目标的特征双曲线结构不完整，而左边的双曲线较为完整，HOG算法、YOLOV3算法和Faster RCNN算法都漏检了右边的空洞目标。图8(e1)是实测混凝土中含有并列排放钢筋目标的B-SCAN图像，由于目标之间的距离较近，特征曲线之间相互影响，HOG算法、YOLOV3算法和Faster RCNN算法均漏检了部分目标，本文方法根据检测到的语义信息(目标的主要特征强度)能够有效区分出各个目标，得到了准确的检测结果。图8(f1)和图8(g1)分别是实测泥土中的石块和墙体中的空洞对应的B-SCAN图像，由于图像的背景结构较为复杂、特征曲线不连续等，HOG算法、YOLOV3算法和Faster RCNN算法都没有检测到目标。总体上，本文方法在GPR物理机制的约束下，先通过检测B-SCAN图像中的显著性特征，再对特征曲线进行分类识别，同时补全目标特征双曲线中的缺失数据，得到更高准确率的检测结果。

图8 B-SCAN图像中的目标特征双曲线检测结果对比

图9 不同算法的F均值统计结果

4 结束语

受GPR工作物理机制的约束，在反射测量模式下的散射电场中目标通常具有一定的强度和几何结构信息。根据这一先验条件信息，并充分利用CNN在图像特征提取上的良好性能表现，采用数据驱动和模型驱动相结合的方法，设计了一种级联结构的CNN来检测并去除B-SCAN图像中的直达波干扰信号、提取目标的特征信息。特别是当干扰信号影响到目标双曲线结构信息的完整性时，采用基于方向引导的特征数据补全方法，在很大程度上提高了目标特征曲线识别结果的准确率，这也体现了本文方法的鲁棒性，能更好地应用于复杂场景下的目标检测。进一步地，在有效获取目标特征信息的基础上，为采用深度学习方法反演地下目标及背景介质的电特性参数奠定了基础，这也是后续工作中要深入研究的问题。