遥感图像在船舶检测深层卷积神经网络的应用

李泳强，石小平

(新疆大学 数学与系统科学学院，新疆 乌鲁木齐 830046)

0 引 言

海面环境多变且条件恶劣，给船舶目标检测带来极大难度[1-2]。利用合成孔径雷达图像实现船舶目标的识别是过去普遍采用的船舶检测方式[3]，与之相比，遥感图像具有覆盖区域广、视觉信息丰富等优势，因此，基于遥感图像的船舶目标检测已成为当下研究热点[4]。

李森森等[5]针对船舶遥感图像采集质量差造成的船舶目标识别精度不高的问题，提出在船舶遥感图像增强的基础上，以船舶方向梯度直方图作为判别依据，实现候选区域船舶目标与其他干扰信息的区分。该方法因无法实现干扰因素的全部消除，导致船舶检测效果大受影响。深度卷积神经网络能够根据输入的遥感图像实现目标特征图的获取，从而完成目标检测与识别。鉴于上述方法在船舶目标检测存在的问题，本文研究深层卷积神经网络的船舶遥感图像检测方法，实现不同类型船舶目标的精准检测。

1 船舶遥感图像目标检测

1.1 船舶遥感图像增强与去噪

为使船舶目标检测精度满足要求，通过拉普拉斯算子对其进行增强，提高视觉效果。f(x,y,z)描述船舶遥感图像，其中任意一个像素点表示为(x,y)，其维度表示为z。拉普拉斯算子公式为：

拉普拉斯算子可通过线性方式对其进行描述，对x、y方向作差分转换，根据转换结果以及式（1）即可实现拉普拉斯算子的准确描述：

通过式（2）可完成滤波模板的确定，将其与拉普拉斯算子联合使用，即可完成拉普拉斯滤波的确定。

对船舶遥感图像作增强处理后，仍可能存在部分噪声干扰，采用中值滤波对其作进一步处理，提高船舶遥感图像质量。

1.2 船舶遥感图像目标检测模型

本文构建的船舶遥感图像目标检测模型由引入多层可变形卷积层D-FPN 网络以及D-FCN 网络级联而成，将处理后船舶遥感图像作为船舶检测模型的输入后，利用引入多层可变形卷积层D-FPN 网络获取疑似船舶候选区域图像，通过多尺度锚点设计以满足船舶目标检测时的尺寸要求，将疑似船舶候选区域提取结果作为D-FCN 网络的输入，实现船舶目标的精准检测。

1.2.1 可变形卷积层D-FPN 网络

常规卷积方式以不变位置实现船舶遥感图像输入信息的采样处理，在船舶目标外形以及尺寸存在差异时，难以依据其完成采样位置的修正，这使得船舶目标检测模型的特征刻画能力大幅降低。可变形卷积方式利用采样位置的偏移量使D-FPN 网络具有突出的特征表达能力，可变形卷积计算公式描述为：

式中：S为采样位置，p0为中心点；pi为任意一点采样点，i=1,2,..,N，用于描述采样位置编号；∆p为采样点的偏移量； ω为卷积核权重。

D-FPN 是以ResNet50 为基础并引入3 个可变形卷积层的网络，其基本结构如图1 所示。为了充分捕捉船舶遥感图像信息，提高船舶目标检测效果，本文设计一个可涵盖多尺度信息的特征金字塔，按照从上至下路径以及水平连接形式实现各层特征的融合，其结构如图2 所示。{C3、C4、C5}为输入至RestNet50 的特征图，C5 特征图经过两次3×3 卷积处理后，可生成具有深层特征的步长为64 的P6 特征图以及步长为126 的P7 特征图，再对C5 做一次1×1 卷积并上采样，可实现特征图P5 与C4 分辨率的统一，将P5 与C4 作合并处理后，可确定新的特征图P4，其步长为16，再次执行上采样与合并操作，即可完成P3 特征图的确定。

图1 D-FPN 网络基本结构Fig.1 Basic structure of D-FPN network

图2 多尺度特征金字塔结构Fig.2 Multi scale feature pyramid structure

1.2.2 D-FCN 网络设计

D-FCN 网络结构如图3 所示。该网络由3 部分构成：1）特征提取阶段参考ResNet50 网络设计，目的是防止网络训练时梯度爆炸等现象的产生；2）特征融合阶段是基于U-Net 网络思想进行设计，以FCN 为前提，通过高低维特征的深层次融合，使船舶目标检测效果获得大幅提升；3）在船舶检测结果输出阶段，采用3 个相同尺度卷积层对特征融合结果进行处理，获取1 通道置信分数计算结果、船舶旋转角度结果、4 通道矩形框边界信息结果。

图3 D-FCN 网络结构Fig.3 D-FCN network junction

为实现船舶旋转矩形框位置的确定，除了获取船舶朝向角度参数之外，还要确定矩形框边界信息。利用D-FCN 网络对船舶目标进行检测时，需采用旋转矩形框以顺时针方向对疑似船舶候选区域图像中的船舶目标顶点位置作标记处理，确定船舶目标真实掩膜与预测值。对于目标掩膜，其内各像素点描述为：

式中：di为船舶像素点与旋转矩形框各边之间的距离，θ为矩形框旋转角度，也称为船舶朝向角度，是船头、船尾所在直线与图像所在横轴所成角度。

U-Net 网络训练的损失函数通过比较原始输入与底层特征差异进行设计，采用反向传播算法实现网络参数的不断调整。在误差反向传播过程，只有与损失约束更贴近的参数才具有优先调整权，而其余参数的调整幅度呈现不断减小趋势，对网络顶层参数更新起到抑制作用。为提高船舶遥感图像检测精度，设计新的损失函数实现网络顶层参数的优化处理。D-FCN 网络损失函数为：

式中：Lbottom为底层原始输入与输出之间的损失，Ltop为顶层原始输入与输出之间的损失。Lbottom的计算公式为：

式中：Lcls为船舶目标分类损失值，Lgeo为几何损失值。计算公式分别为：

式中：Ycls实际掩膜； 为其估计值；Lbbax为矩形框定位产生的损失值；Lθ为由船舶旋转角度造成的损失。

2 实验结果与分析

以船舶遥感图像为研究对象，构建包含4 000 张不同类型船舶的遥感图像数据集，图像尺寸为1 024×1 024，货运船、邮轮、游艇遥感图像数量分别为2 400、1 200、400，添加600 张非船舶遥感图像作为负样本。按4∶1 比例划分训练样本与测试样本，采用本文方法对船舶遥感图像目标进行检测，分析其检测性能。

高质量遥感图像是确保船舶目标检测效果达到优质水平的前提。以图4 所示船舶遥感图像为例，采用本文方法对其作图像增强与去噪处理，处理前后船舶遥感图像的视觉效果如图5 所示。可知，原始船舶遥感图像具有色彩饱和度低、图像清晰度差的特点，图像采集环境等因素对船舶遥感图像质量影响较大，导致其视觉效果不理想。以原始遥感图像进行船舶目标检测，将对检测结果产生不利影响。对原始遥感图像作增强处理后，图像色彩饱和度与对比度等均获得有效提升，但因图像中仍然含有大量噪声，其视觉效果仍未达到要求。去噪后的船舶遥感图像画面清晰度高，图像模糊等问题得以解决，船舶遥感图像视觉效果获得显著提升。实验结果表明，本文方法具有船舶遥感图像处理能力，视觉效果突出。

图4 船舶遥感图像原图Fig.4 Original ship remote sensing image

图5 船舶遥感图像处理结果Fig.5 Results of ship remote sensing image processing

不同数量、位置可变形卷积下船舶目标识别精确度(P)、召回度(R)以及F1 分值的差异分析结果如表1所示。分析可知，将相同数量可变形卷积层放置在基础网络ResNet 的Res2(3)、Res3(3)、Res4(3)、Res5(3)不同位置上，其嵌入位置于Res5(3)时的船舶目标识别P、R和F1分数指标值最高，说明将其放置在ResNet 基础网络后端对提升船舶目标检测精度更有利。当将不同数量可变形卷积层均放置在相同位置处，当其使用数量为3 时，船舶目标检测的P、R、F1分数指标值最大，说明其用量越高对船舶目标检测精度的提升越有利。实验结果表明：将3 个可变形卷积层嵌入到ResNet 基础网络后端，可有效提升船舶目标检测效果。

表1 可变形卷积层数量与位置对船舶检测结果影响Tab.1 The Influence of the number and position of deformable convolutional layers on ship detection results

本文方法的检测损失曲线如图6 所示。分析可知，船舶目标检测模型训练过程中，随着训练次数的不断增长，模型训练损失呈现出持续降低变化规律。结果表明，船舶遥感图像训练损失很小，模型训练效果突出。

图6 船舶目标检测训练损失曲线分析Fig.6 Analysis of ship target detection training loss curve

应用本文方法对测试样本中的不同类型船舶目标进行检测，通过对检测结果进行分析，验证本文方法的优越性，实验结果如图7 所示。图中矩形框对检测到的船舶进行标记。结果表明，本文方法具有船舶遥感图像目标检测性能，检测效果突出。

图7 船舶目标检测结果Fig.7 Ship target detection results

3 结 语

本文研究利用深度卷积神经网络对船舶遥感图像目标检测方法，通过对处理后的船舶遥感图像视觉效果、可变形卷积在船舶检测中的作用以及船舶目标检测结果等进行分析，验证本文方法的船舶检测性能。实验结果表明：处理后的船舶遥感图像画面清晰、色彩饱和度好；引入可变形卷积有利于提高船舶目标检测效果。本文方法可实现不同类型船舶检测，检测效果突出。