基于多尺度卷积的船舶行为识别方法

王立林　刘俊

摘 要：针对复杂海洋环境下人工监管船舶行为效率低的问题，提出了一种基于多尺度卷积神经网络的船舶行为识别方法。首先，从船舶自动识别系统（AIS）中获取海量船舶行驶数据，并提取出具有判别力的船舶行为轨迹;然后，根据轨迹数据的特性，利用多尺度卷积设计并实现了针对船舶轨迹数据的行为识别网络，并且使用特征通道加权以及长短时记忆网络（LSTM）来提高算法的准确率。在船舶行为数据集上的实验结果表明，对于指定长度的船舶轨迹，所提识别网络能够达到92.1%的识别准确率，相较于传统的卷积神经网络提高了5.9个百分点，并且在稳定性以及收敛速度上都有明显提升。该方法能够有效地提高船舶行为的识别精度，为海洋监管部门提供高效的技术支持。

关键词：深度学习;行为识别;多尺度卷积;长短期记忆网络;海上交通

中图分类号： TP391.4文献标志码：A

Ship behavior recognition method based on multi-scale convolution

WANG Lilin， LIU Jun*

（Fundamental Science on Communication Information Transmission and Fusion Technology Laboratory

（Hangzhou Dianzi University）， Hangzhou Zhejiang 310018， China）

Abstract： The ship behavior recognition by human supervision in complex marine environment is inefficient. In order to solve the problem， a new ship behavior recognition method based on multi-scale convolutional neural network was proposed. Firstly， massive ship driving data were obtained from the Automatic Identification System （AIS）， and the discriminative ship behavior trajectories were extracted. Secondly， according to the characteristics of the trajectory data， the behavior recognition network for ship trajectory data was designed and implemented by multi-scale convolution， and the feature channel weighting and Long Short-Term Memory network （LSTM） were used to improve the accuracy of algorithm. The experimental results on ship behavior dataset show that， the proposed recognition network can achieve 92.1% recognition accuracy for the ship trajectories with specific length， which is 5.9 percentage points higher than that of the traditional convolutional neural network. In addition， the stability and convergence speed of the proposed network are significantly improved. The proposed method can effectively improve the ship behavior recognition accuracy， and provide efficient technical support for the marine regulatory authority.

Key words： deep learning; behavior recognition; multi-scale convolution; Long Short-Term Memory network （LSTM）; maritime traffic

0 引言

我國拥有丰富的海洋资源与港口资源，随着人们对海洋资源的进一步开发和利用，各类船舶数量日益增加，海上交通活动日益频繁，存在着各种船舶进行非法活动的行为，包括走私、非法移民、非法捕鱼等。船舶自动识别是一种新型的助航系统，可以帮助有关部门协调海洋交通、监管海洋活动。目前，大多数在册船舶已经安装了船舶自动识别系统（Automatic Identification System， AIS），虽然可以近实时地获取船舶的位置、速度、船号等信息，但是还缺少有效的方法分析数据，对近海非法行为取证和监管。随着数据爆炸式增长，采用传统人工查验的模式效率太低，给相关部门的监管带来了很大的挑战。所以，从海量的AIS数据中自动分析船舶的状态变化规律进而分析船舶的潜在行为，为有关部门处理和决策提供辅助和依据，已经成为了海上交通研究的热点[1]。

装有AIS设备的船舶，配合全球定位系统（Global Positioning System， GPS）或者北斗定位系统，就可以将完整的AIS轨迹记录下来。研究人员通过对AIS数据分析来进行有关船舶活动的研究。Laxhammar等[2]提出融合多个概率分布的高斯混合模型来对舰船航迹进行建模，在该算法中，必须事先给定高斯分量的个数;但是，确定高斯分量的个数是一个很困难的问题，数量太少难以有效刻画样本的分布，数量太大则容易出现过拟合。甄荣等[3]利用最小二乘法来拟合船舶AIS轨迹，得到船舶典型航迹的数学表达模型，该模型可对偏离典型轨迹95%置信区间的异常行为进行识别。刘磊等[4]基于K最近邻方法，融合轨迹之间的平均距离、航速距离以及航向距离，对船舶的航线情况进行分类;该方法只能利用轨迹的空间变化信息，无法识别船舶的行为。Kraus等[5]针对AIS数据的地理特征和行为特征，使用随机森林算法对船舶进行分类，该算法可以有效识别四个类别的船舶;但是对噪声敏感，容易产生过拟合的问题。传统的方法计算开销依赖于所建立的模型，并且对参数的设定十分复杂，难以复现。深度学习已经被证实了可以自动学习数据中的信息，研究者们也开始将深度学习的方法引入AIS数据的分析中。韩昭蓉等[6]设计了一个双向长短期记忆网络（Bi-directional Long Short-Term Memory network， Bi-LSTM），能够学习轨迹中正常点与邻近异常点在运动特征上的差异，对行为异常点进行检测。Ljunggren[7]将AIS数据中不同的特征分开处理，使用不同尺寸的卷积网络来学习各个特征的序列，最后将各个网络的输出合并为一个特征用于船舶的分类。Jiang等[8]提出了一种改进的循环神经网络（Recurrent Neural Network， RNN），该网络对每一个特征进行分区，并对不同分区使用特定的区域参数进行训练，提高了RNN对低维非均匀通道数据的表达能力，能够有效地识别船舶的捕鱼行为。

综上所述，本文从当前近海船舶轨迹智能分析的需求出发，设计了船舶行为识别框架（正常航行、捕鱼、抛锚、系泊四个行为类别）;同时，针对AIS数据特征，提出了一种基于多尺度卷积神经网络的船舶行为识别网络，并结合长短期记忆网络（Long Short-Term Memory network， LSTM）[9]，利用特征通道加权的方法提高网络对特征的表达能力，实现了在近实时的条件下92.1%的船舶行为识别准确率。

1 基于多尺度卷积的船舶行为识别方法

1.1 船舶行为识别系统流程

AIS数据包含船舶的各种信息，包括海上移动识别码、基准时间经度、纬度、对地速度、对地航向等信息，是极具研究价值的应用型移动性数据[10]。本文提出的整个系统流程分为三个部分，如图1所示。

第一部分是数据层，负责原始AIS数据的预处理。由于原始数据长短不一，且存在异常数据，为了保证数据可用，需要对数据进行一系列处理，包括特征空間的选择、位置异常处理、速度异常处理、轨迹分割、归一化处理，最终得到本文使用的船舶行为分类数据集，每段轨迹包含64个点数据。为了能够描述船舶的位置变化和运动变化，选取的特征为船舶的经度、纬度、对地速度以及对地航向。第二部分是网络层，为船舶行为识别方法。在设计好的多尺度卷积网络中，添加LSTM分支用于提取AIS数据的时序信息，并且利用特征压缩与激活（Squeeze-and-Excitation， SE）模块对前两个卷积层的特征进行通道加权处理。最后一部分是测试层，用于测试训练好的模型，验证方法的可行性。下面将对网络层算法的每个模块进行详细阐述。

1.2 多尺度卷积网络

选取的AIS数据特征为经度x、纬度y、对地速度v以及对地航向c。在经过预处理之后，得到的AIS数据失去了原有的物理意义，单纯表示该特征在一定范围内的变化值。与图像数据不同，AIS数据是一段连续变化的时间序列，数据包含了时间信息和不同特征的语义信息。在计算机视觉领域中，使用二维卷积操作提取图像的局部特征，但是在时间序列上，使用二维卷积会对语义造成损失，并且无法有效学习和表达数据中存在的时间信息。故本文针对AIS数据的特性，使用一维卷积操作对固定长度的时间序列进行特征提取，类似于时间序列上的滑动窗口，如图2所示。

图2中的卷积核尺寸为3，输入为处理过后的AIS数据，图中曲线展示了数据四个特征随时间的变化规律，不同尺寸的卷积核提取到的特征不同。

初始网络为三层的一维卷积加上一个全连接层。前两层卷积的卷积核数分别为64和128，卷积核尺寸为8和5，并使用批标准化和线性整流（Rectified Linear Unit， ReLU）激活函数来计算训练，缓解过拟合问题，最后使用Softmax分类器进行分类。第三层的卷积核数为128，卷积核尺寸为3，考虑到尺寸不同的卷积核能够提取到的感受野的特征不同，本文借鉴Inception网络[11]的思想，设计了一个多尺度卷积模块作为网络的第三层卷积，如图1网络层所示。该模块有四个通道，其中一个通道传入原始特征信号，另外三个通道的一维卷积核大小分别为2、3和5。不同尺度的卷积能够提取AIS数据上不同长度的时间片段特征，丰富了网络的感受野，增强了网络对特征局部信息变化的适应能力。大尺寸的卷积可以学习特征的对称性，小尺寸的卷积可以学习特征的局部特性，并且每个通道含有两层相同的卷积：第一个卷积用来学习特征之间的局部相关性;第二个卷积增加了网络的非线性，进一步扩大信息的感受野，提高了特征表达能力。这种堆叠小尺寸卷积的方式相较于直接使用大尺寸卷积，可以有更多的非线性和更少的参数。另外，由于传入原始特征信号的通道类似于shortcut操作[12]，使网络在训练时收敛得更快。多尺寸卷积层四个通道的输出通过concatenation层进行融合，并使用平均池化的方法降维，缓解过拟合，最后得到一个一维的向量。

1.3 AIS时序特征学习

单独的卷积堆叠能够自动学习AIS数据的语义信息，但是由于卷积的局限性，网络无法学习更多的时序信息。为此，本文提出了双分支的网络设计：一条分支为多尺度卷积网络，用于学习数据的语义特征;另一条分支为长短期记忆网络（LSTM），用于学习数据的时序特征，如图1网络层所示。得到预处理后的AIS数据，长度为T，特征数为N。首先，通过维度变换层，将输入数据变换为N×T的矩阵。然后，输入一个核心数为T的LSTM层后，输出一个维度为T的向量，如图3所示。其中：pt表示AIS数据t时刻的特征值;ht为对应时刻LSTM的输出。最后，对LSTM的输出使用Dropout方法，防止模型过拟合。

LSTM网络是递归神经网络的改进，它具有记忆单元，可以储存之前计算保留下的信息。它通过引入门机制，解决了递归神经网络中梯度弥散与梯度爆炸的问题，其内部结构如图4所示。

LSTM内部有三个控制门，分别为输入门It、输出门Ot以及遗忘门Ft。每一时刻的输入pt与上一时刻的输出ht-1共同决定当前时刻各个门单元的状态值以及中间单元Gt，如式（1）～（4）。在输入门中，当前时刻的输入pt经过非线性变换得到记忆单元中的保留状态St，如式（5）。在输出门中，当前时刻的St与输出门单元状态Ot共同控制当前时刻的输出ht，如式（6）。

式中：w为相应门与输入pt相乘的权重;ε为相应门与上一时刻的输出ht-1相乘的权重;b为相应门的偏置项;“⊙”表示矩阵对应元素相乘;σ是Sigmoid函数。

1.4 基于特征通道加权的改进方法

如图1，为了提高网络对特征的表达能力，在初始网络的前两层增加一个针对AIS数据特征的SE模块。借鉴SENet[13]中通道加权的思想，将AIS数据中的每一个特征随时间变化的序列看作一个特征通道，通过显式地构建特征通道的相互依赖关系来提高网络的表达能力，如图5所示。

将输入定义为U=[u1，u2，…，uN]，其中：u表示输入的AIS数据经过一维卷积得到的特征矩阵的一个特征向量，其长度为T，N表示特征矩阵通道数（也就是特征数）。首先，在时间维度T上使用全局平均池化的方法对输入矩阵进行特征通道压缩，得到一个通道相关的统计量s，s∈RN。其中，统计信息s的第n个元素的计算式为：

sn=Fsq（un）=1T∑Tt=1un（t）（7）

接着，将压缩操作得到的特征向量激活，通过激活操作，显式地构建特征通道之间的相互依赖性。如图6所示，在激活操作中，特征向量通过两个全连接层，先进行降维，再升维，r为降维比例。最后由Sigmoid函数激活，输出一个具有特征通道依赖性权重的向量d，其计算式为：

d=Fex（s，W）=σ（W2δ（W1s））（8）

其中：W1为降维操作中全连接层的参数。计算出的权重向量d与原有特征矩阵结合，得到SE模块最终的输出U，计算式为：

Un=Fscale（un，sn）=sn·un（9）

其中：U=[u1，u2，…，un];Fscale表示将同一通道的特征向量与权重向量之间乘积。

2 实验与结果分析

2.1 数据集

本文实验数据集使用美国海洋能源管理局（Bureau of Ocean Energy Management， BOEM）与美国国家海洋和大气管理局（National Oceanic and Atmospheric Administration， NOAA）公开的2017年美国沿海水域所有船舶的AIS数据[10，14]，所有数据均为真实采集的数据，通过数据预处理从中提取出20000条有效的AIS轨迹片段作为船舶行为分类数据集。选用特征有经度、纬度、对地速度以及对地航向。选用行为类别有4个，分别是：类别1正常行驶，类别2捕鱼，类别3锚泊（at anchor），类别4系泊（moored）。数据集的统计信息如表1所示。

表格（有表名）表1 实验中使用船舶行为数据

Tab. 1 Ship behavior data used in experiment

名稱值经度范围[-126， -120]纬度范围[0， 77.7]速度范围[0， 55.8]航向范围[0， 360]类别1数量6000类别2数量5000类别3数量5000类别4数量4000

2.2 实验环境与评价指标

本文实验硬件环境为：笔记本电脑，处理器为Intel i7-8750HQ，内存为16GB，固态硬盘256GB，图形处理器（Graphics Processing Unit， GPU）为GTX1050Ti，显存为4GB。软件环境为：Windows 10系统，网络框架是基于Keras工具开发的，开发语言为Python 3.6.5。Keras具有简洁的深度网络编程接口，可以高效地搭建深度学习网络。

考虑到数据集中各个类别数量不相等，所以选取的多分类评价指标为准确率（accuracy），计算式如式（10）所示：

accuracy=预测正确数量测试样本总数量（10）

为了分析各个类别的识别情况，选取的二分类评价指标为精确度（Precision）、召回率（Recall）以及F1-score，计算式分别为式（11）、式（12）以及式（13）。

Presion=TPTP+FP（11）

Recall=TPTP+FN（12）

F1-score=2×Precision×RecallPrecision+Recal（13）

其中：TP为真正类（True Positive），表示真实值与预测值同为正类的样本;FP为假正类（False Positive），表示真实值为负类，但预测值为正类的样本;FN为假负类（False Negative）表示真实值为正类，但预测值为负类的样本。

2.3 实验参数设定

将网络性能最优的参数设置为最终该网络的模型参数，详细信息如表2所示。其中，特征通道加权模块的降维比例r为16，维度变换（Dimension Transform， DT）层用于减少时序学习模块的数据输入次数。模型训练的参数设置如表3所示，使用Adam算法作为参数的更新优化策略。

2.4 结果分析

2.4.1 识别结果展示

在具体使用过程中，首先对船舶轨迹点进行采样，采样的同时进行数据格式化与预处理，采样完成之后得到有效轨迹，输入训练好的网络模型，完成网络识别，结果如图7所示。该船舶当前行为被识别为捕鱼，与实际结果相符，识别结果正确。

2.4.2 算法性能分析

为了验证本文所提方法的优越性，选取了具有代表性的网络进行实验对比，原有方法中不具备本文识别框架能力的网络通过修改网络层的结构，使其能够实现本文的行为识别任务。其中：MLP（Multi-Layer Perception）表示多层感知器;LSTM-FCN（LSTM and Fully Convolutional Network）[15]为LSTM与全卷积网络的双通道时序分类网络;GRU-FCN（Gated Recurrent Unit and FCN）与BiLSTM-FCN（Bi-directional LSTM and FCN）都是基于LSTM-FCN网络的合理改进;MLSTM-FCN（Multivariate LSTM-FCN）[16]在LSTM-FCN网络的基础上，针对多特征输入数据的特性进行了相应的处理;MVCNN（Multivariate Convolutional Neural Network）[17]通过滑窗方法将一维的轨迹数据变换为二维数据，通过二维卷积神经网络对数据进行分类;MC-DCNN（Multi-Channel Deep Convolutional Neural Network）[18]将轨迹的不同特征通道单独处理，然后再将每个通道的特征级联进行分类;MPFR（Matching Pursuit-Fletcher Reeves）[19] 用来求解轨迹分类方法最小二乘三次样条近似模型的稀疏解。各个方法在测试集上的结果如表4所示。

[3]甄榮，邵哲平，潘家财，等.基于统计学理论的船舶轨迹异常识别[J].集美大学学报 （自然科学版），2015，20（3）：193-197.（ZHEN R， SHAO Z P， PAN J C， et al. A study on the identification of abnormal ship trajectory based on statistic theories [J]. Journal of Jimei University （Nature Science）， 2015， 20（3）： 193-197.）

[4]刘磊，初秀民，蒋仲廉，等.基于KNN的船舶轨迹分类算法[J].大连海事大学学报，2018，44（3）：15-21.（LIU L， CHU X M， JIANG Z L， et al. Ship trajectory classification algorithm based on KNN [J]. Journal of Dalian Maritime University， 2018， 44（3）： 15-21.）

[5]KRAUS P， MOHRDIECK C， SCHWENKER F. Ship classification based on trajectory data with machine learning methods [C]// Proceedings of the 19th International Radar Symposium. Piscataway： IEEE， 2018： 1-10.

[6]韩昭蓉，黄廷磊，任文娟，等.基于Bi-LSTM模型的轨迹异常点检测算法[J].雷达学报，2019，8（1）：36-43.（HAN Z R， HUANG T L， REN W J， et al. Trajectory outlier detection algorithm based on Bi-LSTM model [J]. Journal of Radars， 2019， 8（1）： 36-43.）

[7]LJUNGGREN H. Using deep learning for classifying ship trajectories [C]// Proceedings of 21st International Conference on Information Fusion. Piscataway： IEEE， 2018： 2158-2164.

[8]JIANG X， de SOUZA E N， LIU X， et al. Partition-wise recurrent neural networks for point-based AIS trajectory classification [C]// Proceedings of 2017 European Symposium on Artificial Neural Networks， Computational Intelligence and Machine Learning. Amsterdam： Elsevier， 2017： 529-534. https：//www.elen.ucl.ac.be/Proceedings/esann/esannpdf/es2017-18.pdf

[9]HOCHREITER S， SCHMIDHUBER J. Long short-term memory [J]. Neural Computation， 1997， 9（8）： 1735-1780.

[10]MAO S， TU E， ZHANG G， et al. An Automatic Identification System （AIS） database for maritime trajectory prediction and data mining [M]// CAO J， CAMBRIA E， LENDASSE A， et al. Proceedings of ELM-2016， PALO 9. Cham： Springer， 2018： 241-257.

[11]SZEGEDY C， LIU W， JIA Y， et al. Going deeper with convolutions [C]// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2015： 1-9.

[12]HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition [C]// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 770-778.

[13]HU J， SHEN L， SUN G. Squeeze-and-excitation networks [C]// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 7132-7141.

[14]Marinecadastre. Vessel traffic data [EB/OL]. [2019-04-28]. https：//marinecadastre.gov/ais/.

[15]KARIM F， MAJUMDAR S， DARABI H， et al. LSTM fully convolutional networks for time series classification [J]. IEEE Access， 2018， 6： 1662-1669.

[16]KARIM F， MAJUMDAR S， DARABI H， et al. Multivariate LSTM-FCNs for time series classification [J]. Neural Networks， 2019， 116： 237-245.

[17]LIU C L， HSAIO W H， TU Y C. Time series classification with multivariate convolutional neural network [J]. IEEE Transactions on Industrial Electronics， 2018， 66（6）： 4788-4797.

[18]ZHENG Y， LIU Q， CHEN E， et al. Time series classification using multi-channels deep convolutional neural networks [C]// Proceedings of the 2014 International Conference on Web-Age Information Management， LNC 8485. Cham： Springer， 2014： 298-310.

[19]CHEN Z， XUE J， WU C， et al. Classification of vessel motion pattern in inland waterways based on automatic identification system [J]. Ocean Engineering， 2018， 161： 69-76.

[20]KRIZHEVSKY A， SUTSKEVER I， HINTON G E. ImageNet classification with deep convolutional neural networks [C]// Proceedings of the 25th International Conference on Neural Information Processing Systems. New York： Curran Associates Inc. 2012： 1097-1105.

This work is partially supported by the National Natural Science Foundation of China （Key Program） （61333009）.

WANG Lilin， born in 1995， M. S. candidate. His research interests include deep learning， behavior recognition.

LIU Jun， born in 1971， Ph. D.， professor. His research interests include information fusion， pattern recognition， intelligent system.

收稿日期：2019-05-28;修回日期：2019-07-02;錄用日期：2019-07-03。基金项目：国家自然科学基金重点项目（61333009）。

作者简介：王立林（1995—），男，江西吉安人，硕士研究生，主要研究方向：深度学习、行为识别; 刘俊（1971—），男，贵州安顺人，教授，博士，主要研究方向：信息融合、模式识别、智能系统。

文章编号：1001-9081（2019）12-3691-06DOI：10.11772/j.issn.1001-9081.2019050896