自航船模点云数据集的海上船舶检测

何芸倩， 夏桂华， 冯鸿超， 向晶， 胡乃元

(1.哈尔滨工程大学 智能科学与工程学院，黑龙江 哈尔滨 150001； 2.黑龙江省环境智能感知重点实验室，黑龙江 哈尔滨 150001； 3.“船海装备智能化技术与应用”教育部重点实验室(哈尔滨工程大学)，黑龙江 哈尔滨 150001)

船舶自主航行技术作为未来船舶领域的重点研究方向，融合了现代信息技术与人工智能技术[1-3]，其中船舶智能感知系统作为该技术的一个重要部分，能够为智能控制决策等高级任务提供关键的依据。在传统的船舶航行环境感知中，主要依赖导航雷达、船舶自动识别系统(automatic identification system, AIS)与全球定位系统(global positioning system, GPS)互补配合完成。而在智能船舶的航行环境感知中，基于视觉传感器的探测结果弥补了中短距离内的障碍物的检测缺失，共同完成对海上环境的智能感知。

对于海上目标，李忠智等[4]和袁国文等[5]基于合成孔径雷达的遥感图像进行目标检测。而对于船载传感器激光雷达，Halterman[6]分析了成熟的商用激光雷达在海上的采集效果，李小毛等[7]利用模拟激光雷达点云研究检测方法。Zhou等[8]利用体素化结构构造检测网络对水上目标进行预测。Zhang等[9]利用多传感器构建水面无人艇的环境感知系统，利用激光雷达点云与相机同时进行水面检测并将结果融合。在基于点云数据的三维目标检测算法中，主要分为规则化体素结构与原始点结构这2种处理思路。由于点云数据是非规则化数据，即不存在初始的邻接关系，PointPillar[10]、SECOND[11]、VoxelNet[12]等方法将点云数据先进行栅格化处理，再经过三维卷积等二维迁移方法进行特征提取。PointRCNN[13]、3DSSD等[14]方法使用PointNet++[15-16]为主干网络逐层聚合原始点特征，从而获取基于采样候选点的高阶特征图。另外，PV-RCNN[17]也表明将规则化与点结合也可以取得好的检测效果，但伴随而来是更多的计算资源损耗。

由于目前激光雷达设备的距离限制，大型船舶的点云数据集及基于学习算法的目标检测处于空白状态。为了检测激光雷达在海上目标中的算法，本文利用等比缩小的油船自航模在人工湖中模拟了海上航行的场景，使用激光雷达采集点云数据并制作了船舶点云目标检测数据集。

1 船舶点云数据集

为了更好的模拟船舶航行状态下的点云场景，参考开源的街道场景点云数据集[18-19]，制作了一个海上船舶航行点云数据集。本文以1∶100的缩小比例尺选择了2艘油船自航模作为待检测的海上目标，以广阔的人工湖水域模拟开阔的海上场景，将采集设备置于岸边固定位置采集点云，采集现场如图1所示。油船是海上常见的船型，主要是用来运输原油及其提炼成品的液货船。本数据集利用相同比例构建场景，使其能够等效真实海上目标的点云采集效果。另外为了丰富数据集，本文使用了数据增广扩充了单场景下的船舶的数量。

图1 采集场景Fig.1 Visualization of the raw data

1.1 采集设备与采集对象

实验中点云的采集设备使用了RoboSense128线激光雷达，其垂直视角在-25°～+15°，垂直角分辨率达0.1°，实验中以600 rad/min的转速每秒获取10帧场景点云数据。实验中使用的2艘自航模如图2所示均为油船船型，尺寸为别为：船模1长宽高分别为170、 cm和22.2 cm，经测量下水后吃水深度为8 cm，根据比例可以模拟船长170 m载重约为3万吨的油船如图2(a)所示；船模2长宽高分别为123 cm、21 cm和26.2 cm，经测量下水后吃水深度为7 cm，根据比例可模拟船长为123 m载重万吨左右的油船如图2(b)所示。

图2 数据集制作使用的自航模Fig.2 The models used for dataset

在多数三维视觉数据集采集中大多是多传感器(可见光相机与激光雷达)联合采集，但本次采集是单视觉传感器(激光雷达)采集，由图3可知激光雷达点云在人工标注中存在真值辨认困难的问题。特别是由于采集视角等问题造成目标上点云的缺失，使点云可视化中目标形状与方向角均难以准确描述。为了在一定程度上解决这一问题，在实验过程中，在船基安装了磁罗经与GPS模块来获取位置与航向角信息，采集的数据经坐标换算后用作数据集预标签。

图3 采集的原始数据可视化Fig.3 Visualization of the raw data

船上固定安装的磁罗经设备以激光雷达坐标系正方向校准，在航行中记录航向的变化根据坐标系可转化为相对方向角。利用船上的GPS系统与岸上的差分基站配合，船模地理位置信息精度可达到厘米级。设定同一GPS设备测量的激光雷达初始地理位置为原点，计算出船模在雷达坐标系下的相对位置与点云信息对应。同时GPS系统为船上设备与岸上激光雷达设备同步授时，使采集到的所有信息可以共享时间戳。

在制作数据集的标注过程中，首先根据以上采集信息以及预测量的船舶尺寸预生成一个初始粗标签，再利用点云标注软件可视化，经过人工的微调与筛选形成可视化后更为合理的最终真值标签。

1.2 数据统计与数据及制作

在采集连续点云数据中，经过多层筛选共提取2 057帧场景构建成数据集，其中每个原始场景仅包含一个目标，以激光雷达坐标原点为基准，统计真值的距离分布如表1。实验中使用的激光雷达理论采集范围在200 m之内，但由表1中可知，采集的大部分场景目标分布在10～40 m。

表1 船模中心点与零坐标间的距离在数据集中的分布比例

由于船模体量较小，远距离目标内部点总数很少，其中图4(a)为船模1在63 m处的采集样本图，仅包含13个点，图4(b)中则为船模2在39 m距离处的采集样本，仅含有23个点。由此，实验中的样本最远距离保持在70 m以内，按照船模1∶100的比例，此数据集实际能够等效7 km以内的海上目标采集数据。

图4 远距离样本Fig.4 Long distance samples

为了增加场景的表述能力弥补采集数据的局限性，本文使用了几种途径在原始数据集下进行数据增广。首先将每个目标真值框内的点云集合单独存储作为一个样本，然后将所有样本组成一个样本集，在每个场景中随机插入样本集中的目标点云样本，并设定每个场景下不超过5条船。在插入点云集合的过程中，对每个点云集合内所有点进行统一的随机翻转与缩放，其中翻转沿着y坐标轴，缩放比例设置为0.85～1.15倍。

最终得到增广后的场景数据组成了船舶检测实验的数据集，如图5所示为增广后的场景点云可视化图。为了应用学习型算法，将全部场景数据随机划分为2个部分，其中1 028个作为训练集，另外1 029个作为验证集。

图5 数据增广后场景可视化Fig.5 Scene visualization after data augmentation

为了验证数据集的有效性，本文应用了4个经典三维检测算法，检测结果如3节实验结果与分析中所示，均能训练收敛并取得良好的效果。

1.3 评价指标

在实验中，检测的指标根据PASCAL VOC挑战赛[20]中的定义，用平均精度(average precision, AP)评估三维检测结果与鸟瞰图检测结果。定义真值与检测结果的交并比超过50%为真阳性，重复检测为假阳性。根据表1中真值中心点距离分布可以看出绝大多数目标分布在40 m以内，根据表中分布统计将数据集中的样本根据距离划分为3个检测难度类别，其设定为：在30 m内的目标等效海上3 km以内的目标，定义为简单样本；在30～40 m等效海上3～4 km的目标，定义为中等样本；超过40 m的目标等效海上4 km以外的目标，定义为困难样本。

2 海上目标检测算法结构

在基于原始点结构的三维目标检测网络中，3DSSD是应用在车辆点云的单阶段检测器，能够快速地从原始点云上直接进行采样与特征提取，端对端的获得场景的检测结果。尽管此网络结构能够高效地处理车辆点云，但是针对此船模数据集，原有网络设置稍显冗余。为了加快运行速度以及减少计算资源，在原有结构上进行了如下改进：1)适应性网络剪枝；2)提出一个LA模块对每个候选预测特征进行内部注意力优化。

2.1 检测网络框架

网络骨干部分延续了PointNet++网络结构由点集提取(set abstraction，SA)模块堆叠，在每一个SA模块中包含采样层、分组层、多层感知机以及池化层。采样层使用最远点采样的方式从当前点集中选取一定数量的点，最远距离计算包括了欧氏距离(distance farthest point sampling, D-FPS)以及特征空间距离(feature farthest point sampling, F-FPS)，而混合采样(fusion sampling, FS)融合了2种距离计算方式。在分组过程中，以选中的采样点为中心，点集中在设定半径内选取不超过k个点，组成分组点集的特征矩阵用于描述当前采样点。然后将特征矩阵使用多层感知机映射到高维空间，最后经过池化层聚合每个分组内的特征，得到每个采样点的特征表达。

本文使用的网络结构如图6所示，其中特征提取骨架由2个SA层堆叠，第2层使用混合采样后得到2×n2个点，其中前n2个由F-FPS采样方式得到的前景点作为初始候选点，初始候选点经过投票网络[21]进行位置偏移，使其尽可能的靠近目标真值中心的位置。最后再以偏移后的候选点为中心点，使用一个改进的局部注意力(local attention, LA)层进行最终的候选点特征提取，这一层得到的特征包含了对应每个候选点的预测信息特征，最终映射成类别与预测框2个子任务的结果。

图6 检测网络总体结构Fig.6 The overall structure of detection network

2.2 局部注意力增强模块

本文使用的检测网络框架为单阶段网络，为了增强候选点的特征描述能力，提出了一个局部注意力特征增强模块LA层，在以每个候选点为中心的分组特征内部，进行个体级与维度级的特征注意力向量生成，2个注意力向量结合形成注意力图，与原特征图融合从而增强局部特征一致性的表达，从而提升检测的精确度。

假定当前输入点集为X，其中前景点经过偏移得到候选点集XV，那么对于任一xi∈Xv，将点集X中所有与其距离小于设定半径r的点{xj∈X|d(xi,xj)

Fa=F1F2∈Rk×C

(1)

然后将注意力矩阵与维度相同的特征矩阵F′共同经过线性映射得到最终的组合特征，最后利用池化层获得局部的特征Fout∈RCout。

2.3 损失函数

整体的损失函数L由分类损失Lc、位置框损失Lr、旋转角度损失La、角位置损失Lcor以及候选点偏移损失Ls组成：

(2)

损失函数计算全部候选点的分类损失Lc及ti>0的正样本位置框的Lr、La与Lcor3种损失，以及偏移后正样本的偏移损失Ls，其中位置表示为中心点位置与长宽高，角位置表示为位置框8个角点坐标。正样本与偏移正样本的分别是落在真值框内的点与偏移后落在真值框内的点。

图7 局部注意力优化网络结构Fig.7 The structure of the local attention(LA) layer

3 实验结果与分析

为了验证点结构三维目标检测网络在船舶点云数据集中的效果，使用了4个单阶段网络PointPillar[10]、SECOND[12]、3DSSD[14]和SASA[15]与本文提出的LASSD网络进行对比试验，从准确率与计算资源分别进行对比，此外还详细描述了网络剪枝与优化的过程以及效果变化。

3.1 网络参数设置

在LASSD网络中根据点云目标在数据集中的分布，对于输入的原始点云首先根据背景分布滤除远距离点，只保留沿着x×y×z轴下范围分别在[0.5,50]×[-20,30]×[-1.5,0.5]之内的点。

如图6中所示的2个SA层中，第1个SA模块仅使用D-FPS采样方式获取512个采样点，第2个SA模块中使用F-FPS与D-FPS分别采样128个点，其中前者采样的128个点作为前景点传入投票网络进行中心点偏移。在3组采样特征提取的多层感知机中，特征映射的维度设置分别为(16，32，64)、(64，128，128)和(128，256)。在训练过程中，网络使用了ADAM优化器，初始学习率设置为0.001，使用8个批次在一块1 080 Ti GPU上训练，每次训练了30轮。

3.2 检测结果

在实验中，首先将多个方法分别在自制的船舶数据集中进行试验，经过对比本文提出的LASSD在三维目标检测中取得优秀的结果，可视化结果如图8所示。本文选取了4个检测结果的区域放大图，以便更清晰的表现网络检测效果。在图中真值框用绿色表示，而算法的检测结果框用蓝色标出。

图8 船舶检测结果可视化Fig.8 Visualization of the ship detection results

对于检测效果评判指标，本文同时使用了常用的11点召回评测方法如表2所示，以及MonoDIS[22]中描述的40点召回评测方法如表3所示，并对比了提出的LASSD以及其他3种经典方法分别在简单、中等和困难级别下的三维准确率和鸟瞰图(bird eye view, BEV)准确率。

表2 11点召回下检测精度性能对比Table 2 Performance comparison in the mean average precision with 11 recall positions

表3 40点召回下检测精度性能对比Table 3 Performance comparison in the mean average precision with 40 recall positions

对于三维目标检测结果，LASSD无论对比规则化输入方法还是原始点结构方法均能够取得最好的效果，在11点召回评测的中等级别检测率达到79.42%，比同样以原始点结构的3DSSD方法提升9个百分比。另外在40点召回率下取得77.88%的准确率，简单级别检测率则能达到85.13%。

在鸟瞰图检测中，尽管规则化结构的网络普遍取得良好的效果，但LASSD仍在简单级别的样本中取得了较高的准确率，对应11点召回率与40点召回率分别达到90.37%与91.83%。由于船舶航行过程中由于波浪的变化，导致水面以上船模高度产生变化，由结果可知，规则化结构方法对于鸟瞰图预测结果随着难度增加比点结构方法效果稳定，则另一方面来说，LASSD对于高度的预测准确率要比规则化结构的方法稳定。

3.3 轻量化分析

在实验中，为了量化LASSD网络轻量化程度，本文对比了4种经典方法的参数量以及运行速度，如表4所示。本文的方法在保持精度的情况下运行速度最快，并且参数量仅有5.3×106，远小于其他方法，甚至不足SECOND与PointPillar网络参数的10%。在网络构造时，主要减少了网络多层感知的层数使得GPU计算量减少，但LASSD中每个SA层仍存在最远点采样操作的CPU计算影响了运算的速度，所以参数量与时间并非成比例缩小。最终的模型不仅速度快，运行时显存占用也十分有限，能够比较容易地搭载在船载实验模块中，利用较少的计算资源达到实时检测。

表4 模型参数量与运行时间对比

3.4 消融实验

在实验过程中，本文以3DSSD为基线进行网络剪枝，由于3DSSD原本结构设计是为了服务于更为复杂的车辆检测，应用在水上场景时参数的设定存在冗余现象，于是从结构到网络层均进行剪枝，具体的几个重要剪枝部分结果对比如表5。

表5 模型剪枝精度对比Table 5 Comparison of model pruning

其中基线设置为：特征提取中使用了3个SA模块作为骨架，采样点个数分别为512、256和128，对应的映射维度设置分别为(16，32，64)、(64，128，128)和(128，256，256)，此时的参数量为30.5 M。表中的第2组实验首先将特征提取结构减少至2个SA模块并适应性调整特征维度与采样半径，将参数量降至7.9×106，由于原本的网络参数设置对于船舶检测过于复杂，适当的减少参数量能够更好的拟合网络，取得更好的结果79.20%。

随后进一步减少了每个SA模块中的映射层数，由基线中每次映射的3个线性层堆叠减少为2个线性层堆叠，再次将参数量缩小至只有原有的1/7的4.3×106，然而此时的精度已经受到了影响降为71.03%。

本文提出了一个由3DSSD中CG层的设计改进的LA层，在特征聚合时融入局部注意力机制，在增加少量参数的情况下，将检测精度提升到79.42%的水平，最终的参数量为5.3×106。

4 结论

1)本文利用自航船模在人工湖中模拟了海上航行环境，制作了一个小体量船舶点云数据集。数据集能够等效海面7 km内的船舶目标采集数据，经过多种深度学习目标检测算法的验证，该船舶点云数据集稳定收敛，可以用作相关船舶检测的算法研究。

2)提出的适用于船舶点云目标检测的轻量型目标检测网络LASSD，使用网络剪枝减少了网络训练参数，基于候选目标的高阶点云特征局部注意力(LA)模块提升算法精度。通过与其他相关算法的对比，本文方法以最少的计算资源损耗达到最好的精度效果。

3)本文方法能够以13.5 ms/帧完成场景的检测，并在3～4 km的距离下达到79.42%的检测水平，在实际船舶航行中，该激光雷达的点云目标检测能够作为手段之一，与船舶的雷达、AIS和电子海图融合，实现船舶自主航行对海上目标检测的要求。

船模数据与人工湖的模拟场景与实际海上环境存在差别，未来的工作将重点研究实际船舶数据与算法迁移。