基于残差连接LSTM的雷达目标分类识别方法

2022-04-25 11:49张军良
计算机测量与控制 2022年4期
关键词:残差卷积准确率

袁 浩,张军良

(中国电子科技集团公司 第五十四研究所,石家庄 050081)

0 引言

雷达是一种主要利用电磁波来探测目标的电子设备,通过对目标发射电磁波进行照射并接受其回波来获得目标的距离、高度、方位等信息[1]。因其具有全天候、全天时、作用范围广、穿透能力强等特点[2],在军事侦察、目标探测、气象观测等多个领域得到了广泛应用。

近年来随着小型无人机、无人智能车等小型设备的出现,给雷达目标识别方面带来了巨大挑战。此类设备可以被轻易的投放和回收,且由于体积小不易被发现,可轻松潜入各种目标区域进行偷拍和探测,给生产生活甚至国家安全带来了巨大隐患。在使用雷达对此类目标进行探测时,由于其目标小、速度低且种类多样,接收到的回波能量通常比较低,在复杂环境的噪声与杂波影响下,会导致信号回波被背景噪声所覆盖。传统的恒虚警[3](CFAR,constant false alarm rate) 处理技术是雷达自动检测系统中一种重要的目标识别方法,能够根据雷达杂波数据对检测门限进行动态调整,可以使目标检测概率在虚警概率保持不变的情况下达到最大化[4]。但该方法要求目标与背景噪声有较大的强度差异[5],在这种低信噪比的场景下会受到很大限制,对目标的识别率较差。

随着计算机计算能力的提升以及神经网络的不断发展,现如今深度学习发展十分迅速。将深度学习方法引入到雷达目标检测识别中,能够解决传统方法中人工提取特征困难、模型表达能力不足的问题[6]。同时深度学习方法能够对目标检测和识别进行一体化实现,建立从输入数据到输出检测结果的端对端的识别网络[7]。目前深度学习中的卷积神经网络方法已被应用于许多雷达目标检测和识别场景中。韩子硕[8]等设计了基于卷积神经网络的深层次特征增强网络,用于对SAR图像舰船的检测问题中;He[9]等设计了基于卷积神经网络的飞机目标检测算法;KANG[10]等对目标及其周边特征构建上下文信息,并以此来训练神经网络,有效降低了目标虚警。虽然卷积神经网络在雷达目标识别领域得到了广泛的应用,但在对小型目标的雷达目标识别应用场景中若想达到较高的准确率需要搭建的网络层数较多,往往需要多个卷积神经网络级联,导致网络结构设计较为复杂;另一方面,在处理雷达回波数据这类时间序列数据时,卷积神经网络也不能很好的利用样本数据的时序相关性来进行训练。

为减少雷达目标识别模型网络结构的复杂度,同时考虑到雷达接收的回波数据样本具有时序相关性[11],选择相较于卷积神经网络更适合于分析序列数据的循环神经网络模型。在当前研究中,沈梦启[12]等提出了一种关于宽带雷达一维高分辨距离像序列的目标识别方法,先使用卷积神经网络抽取目标的特征,再使用循环神经网络对序列进行识别,准确率优于现有的机器学习算法;杨星鑫[13]等提出了一种基于LSTM的无人机实时飞行参数目标识别方法,通过构造目标的飞行轨迹特征,使用雷达探测到的目标飞行数据训练模型,对无人机目标进行识别;徐彬[14]等提出了一种双向LSTM模型,能够从前后两个方向提取雷达高分辨距离像的特征,提高了目标识别性能,并且在样本发生平移的情况下仍具有稳健的识别率。

可以看出,关于循环神经网络在雷达目标分类识别的研究多采用雷达高分辨距离像数据。但是对目标进行高分辨成像需要雷达设备提供较高的带宽,且对信号处理机的运算性能有较高的要求。而现阶段窄带雷达技术成熟,造价低,在很多场景下仍无法被宽带雷达所替换。考虑到窄带雷达目标回波本身无法携带目标的形状、结构等信息。使用雷达同一距离门的目标回波序列构建数据集,从频域上分析,目标丰富的微多普勒特征可以用于目标识别,而循环神经网络模型可以自动提取到这些隐含的特征。因此,本文采集了窄带雷达实测数据,提出一种基于残差连接长短期记忆网络的神经网络模型,用于处理包括小型无人机、小型智能车以及行人在内的多种类别的雷达目标识别问题。通过实验仿真并将识别效果进行对比,相比于传统的恒虚警检测算法,该模型对于多类小型目标具有更高的识别准确率。

1 循环神经网络模型

1.1 循环神经网络

循环神经网络(RNN,recurrent neural network)是一种用来分析序列数据的神经网络模型[15],可以挖掘出数据中的时序信息[16],对于处理雷达信号回波这类具有序列特性的数据非常有效。其网络结构如图1所示。

图1 循环神经网络基本结构

图中,X表示输入到网络中的特征向量,U表示从输入层到隐藏层的参数矩阵,S表示隐藏层向量,V表示从隐藏层到输出层的参数矩阵,O表示输出层向量。W表示每个时间点之间的权重矩阵,在每一个时刻隐藏层不仅由该时刻的输入层决定,还会受到上一时刻隐藏层的影响[17],这是循环神经网络能够很好解决序列问题的关键之一。因此t时刻的输出Ot可表示为:

Ot=g(V·St)

(1)

St=f(U·Xt+W·St-1)

(2)

其中:St、St-1分别代表t时刻和t-1时刻的隐藏层的值。可以看到隐藏层的St的数值不仅与该时刻的输入xt有关,还与前一时刻的隐藏层数值St-1有关,同时St-1又会与St-2有关,所以当前时刻的St包含了其历史时刻的信息。这是循环神经网络区别于传统前向神经网络的特别之处,这种循环连接收集当前信息的上下文关联的方式,使得循环神经网络可以更好的处理带有时序特征的信号,因此在处理雷达目标识别时也能比使用卷积神经网络取得更好的效果。

模型训练过程中,使用反向传播[18]的方法BPTT(backpropagation through time)对参数进行调整。但在处理雷达目标识别样本序列这种长时间序列时难免会造成梯度爆炸或消失,这是普通循环神经网络难以被直接应用的原因。

1.2 LSTM网络

为解决梯度消失或者梯度爆炸的问题,考虑使用循环神经网络的一种改进网络即长短期记忆网络[19](LSTM,long short-term memory)来设计网络模型。其单元结构如图2所示。

图2 LSTM单元结构

可以看到与普通循环神经网络相比,LSTM的特点是设置了门控机制,整个门控机制包括遗忘门、输入门和输出门三个部分[20]。除门控机制外,LSTM还增加了记忆状态C这一元素[21]。本期记忆状态值Ct由上期状态值Ct-1经遗忘门过滤到本期的部分以及本期新增的部分所决定。LSTM网络的反向传播过程计算[22]如下:

(3)

LSTM模型反向传播过程中通过遗忘门、输入门、输出门等参数的更新调整,可以有效避免普通循环神经网络在网络训练过程中出现梯度爆炸或消失的情况。

2 基于残差连接LSTM的多目标识别网络

2.1 多层LSTM网络

当面对复杂的分类任务和大量的样本数据时,单隐藏层的LSTM网络通常会难以很好地提取样本特征,易导致网络欠拟合[23]。为解决这一问题,通常使用多层网络来增加网络深度和参数数量,进而能够更好地提取样本特征并提高对复杂样本的拟合能力。因此为解决雷达多类别目标识别的问题,尝试设计多层LSTM网络,使用上一层网络的输出作为下一层网络的输入来进行训练,多层LSTM网络结构如图3所示。

图3 多层LSTM网络结构图

多层LSTM网络的每个隐藏层提取到的特征信息都将作为下一层网络的输入,从而达到提取样本数据深层特征信息的目的[24],使得网络具备对多类别目标样本的识别和分类能力。多层循环神经网络相比于单层网络,虽然网络的深度和参数规模大大增加,但训练时长并没有大幅增加,且对于雷达目标的识别能达到更好的效果。

2.2 残差结构设计

LSTM在一定程度上增加网络层数有利于更好提取样本特征,但随着网络层数的增加,模型的训练效果并不总是会得到提升[25]。在神经网络可收敛的前提下,网络模型的表现往往是随着深度的增加先逐渐趋于饱和之后迅速下降,且这种变化不是由过度拟合引起,这便是网络退化问题。为解决这一问题,何恺明[26]等在ResNet网络中提出了残差连接的概念,主要以跳层连接的形式实现,如图4所示。

图4 残差连接模块

残差模块的输出结果为:

H(x)=F(x,wi)+x

(4)

其中:x表示某网络层输入,H(x)表示期望输出,wi表示权重,函数F(x)表示待学习的残差映射。理想情况下,深层网络的表现相较于浅层网络应该至少是持平的,但由于非线性激活函数的存在,每一层网络的输入和输出几乎是不可逆的,这就造成了很多不可逆的信息损失。残差连接通过式(4)构造恒等映射来解决这一问题,若要让深层网络学习恒等映射H(x)→x,就等价于令残差分部F(x)→0,网络的学习目标从学习完整的输出变为学习如何使残差逼近于0。通过拟合恒等映射,打破了传统神经网络某一层只能使用上一层的输出作为该层输入的惯例,有利于保证网络不会随着层数增加而发生信息损失,导致网络退化情况的出现。

2.3 基于残差连接LSTM的多目标识别模型

由于应用场景涉及到对无人机、小型智能车、行人以及噪声等四类样本,首先对样本种类进行标签化,设置无人机标签为0,行人标签为1,智能车标签为2,噪声标签为3,之后将类别标签转化为one-hot形式:

(5)

其中,第一行到第四行分别为无人机、行人、智能车和噪声标签的one-hot形式。

在对网络进行设计时,网络结构的设置至关重要。如果网络结构设计相对简单,对于数据集的特征信息就难以得到全面表达,导致网络训练发生欠拟合,即与训练集相比,验证集的准确率与损失函数会有较大差距;相反,如果将网络结构设计过于复杂,训练时输入的数据集规模就需要很大,否则可能会发生过拟合的问题,导致在训练集以外的数据集上难以很好的拟合数据。经过多次试验和调整,模型中识别网络结构设计如图5所示。

图5 识别网络结构

该基于残差连接LSTM的网络模型共包含9层网络,包括5个LSTM层和4个Dense层。每层网络的可处理的序列长度均为100,其中每个LSTM单元内都包含128个cell单元。数据样本通过输入层进入网络后,经过两层LSTM和一层Dense层将数据的特征维度扩大为128。再经过两个LSTM层和Dense层后,通过最后一个LSTM层进行输出,将输出结果输入到最后一个Dense层得到样本类别预测概率。为了防止发生过拟合,在每个LSTM层中都设计了dropout层,以0.1的概率随机对权值进行丢弃。在网络结构中最后两个LSTM层的输入处分别加入一个残差连接,使其能够尽可能拟合恒等映射,避免产生信息损失导致网络退化情况的出现。

在该模型中,使用在多类别分类问题当中常用的Categorical Cross-Entropy(CCE)函数[27]作为损失函数。CCE函数由激活函数softmax和损失函数Cross-Entropy两部分组成。softmax函数形式如下:

(6)

该函数可以将一个多维的实数向量映射成另一个相同维数的实数向量,映射后向量中的每个元素均为取值范围在[0,1]之间的实数。通过softmax函数的归一化操作,使得样本类别的输出概率和为1。便于最后通过输出值对目标进行分类。

Cross-Entropy函数形式如下:

(7)

Ppredict=[α1,α2,α3,α4]

(8)

其中:满足α1+α2+α3+α4=1。对于最后输出的样本类别预测概率,设定如下分类判定标准:若α1>0.6,则根据之前类别标签的one-hot形式,将该样本判别为0号标签,即无人机;同理若α2>0.6,则将其判别为1号标签,即行人,以此类推。若4个概率值均不大于0.6,则不分类。以此为标准来训练网络的识别能力。

3 仿真与结果分析

3.1 实验数据集

采集数据的雷达系统采用线性调频连续波体制。线性调频连续波雷达根据目标回波的差拍信号频率与目标距离成正比的关系,对目标回波差拍信号进行FFT运算,得到目标距离信息。其处理流程如图6所示。

图6 流程处理图

这里选择将雷达MTI处理输入前的距离维解调数据作为数据集,实验中使用的数据样本由实测得到,目标的类别包括行人、智能车、无人机和接受机噪声,以距离门为单个样本单元并标注信号类别标签构建数据集、验证集和测试集。最后得到四类目标样本,样本特征的两个维度为IQ正交两路信号,样本样例如图7~10所示。

图7 无人机雷达回波样本样例

图8 小型智能车雷达回波样本样例

图9 行人雷达回波样本样例

图10 接收机噪声样本样例

图7~10分别展示了无人机、智能车、行人和接收机噪声样本的样例,其中横坐标轴均表示雷达同一距离门的多普勒维点数,纵坐标轴均表示信号幅值的大小。以雷达系统采样之后得到的IQ正交两路信号作为样本特征的两个维度,以长度固定的规格为300*2的数字序列形式进行存储。使用上述样本集来制作数据集,构建的样本尺寸为(300,2),共得到8 000个样本。为增加样本数量可尝试对数据样本进行切割,再将其分割成3个尺寸为(100,2)的小样本输入到识别网络中,分割后样本的两个维度为归一化处理后雷达系统采样得到的IQ正交两路信号。这样得到的数据集总样本量为24 000个,共分为智能车、行人、无人机、噪声4类,每类的样本各有6 000个。将样本集按照6∶2∶2的比例划分为训练集、验证集和测试集三部分,如表1所示。

表1 数据集的划分

3个数据集之间相互独立,样本之间无重复性。

3.2 模型训练

模型的训练在单GPU上进行,GPU型号为NVIDIA GeForce GTX 1080,基于Python编程环境在TensorFlow框架下调用LSTM单元搭建循环神经网络。训练过程设置每次迭代的batch_size=256,迭代次数epoch=200。网络训练过程如下:

1)初始化网络结构和参数。使用Adam优化器进行优化,将初始学习率lr设置为0.002。设置学习率衰减机制,以验证集的准确率为参考,若准确率在十次迭代后没有得到优化,则将当前学习率乘以衰减系数得到新的学习率,衰减系数设为0.95。

2)正向传播。从训练数据集中随机抽取样本输入网络,计算各层LSTM网络的输出,输出样本的类别预测概率。

3)反向传播。计算并记录每次迭代之后训练集和验证集之间的误差,计算损失函数并通过梯度下降的方法来优化更新网络参数。

4)进行迭代训练,不断优化网络模型。设置训练停止条件,以验证集的损失函数值为标准,判断是否继续进行训练,若在任意十次迭代后损失函数值没有得到优化则停止训练。

3.3 结果分析

使用处理好的样本集在网络模型上进行训练,训练集中每类样本各3 600个,总数为14 400个,当满足停止训练条件时则结束网络训练过程。定义识别准确率如下:

(12)

其中:Ptrue表示被正确分类的样本数,Pn表示总样本数。记录训练过程中训练集和验证集的识别准确率以及损失函数值,其结果如图11和12所示。

图11 训练与验证过程识别准确率变化

图11和图12展示了训练过程中识别准确率与损失函数值的变化,可以看到模型在第63次迭代后达到收敛并停止了训练,最终得到的模型在验证集上的识别准确率达到96%,且未发生欠拟合或者过拟合现象。使用传统恒虚警检测方法与基于卷积神经网络的雷达目标识别模型在同样数据集上进行对比试验,训练结果及得到的模型大小分别如表2、表3所示。

图12 训练与验证过程损失函数值变化

表2 不同雷达目标识别方法准确率对比

表3 不同雷达目标识别方法模型大小对比

由表2可知残差连接LSTM模型在处理多类别目标识别问题上相比于传统恒虚警检测方法具有更高的识别准确率,与卷积神经网络模型相比识别准确率相当甚至较优。结合表2与表3来看,残差连接LSTM模型的模型相较于卷积神经网络模型规模更小且参数个数更少,这是由于循环神经网络对于雷达回波数据的时序特性更为敏感,因此也可以达到与网络模型更为复杂的基于卷积神经网络的目标识别模型水平相当的识别准确率。相较于卷积神经网络模型来说具有模型更小参数更少的优势。

使用测试集对传统恒虚警算法、训练好的卷积神经网络模型以及训练好的残差连接LSTM模型分别进行测试,评估其具体的多类别目标识别性能并进行对比。测试集中各类样本的数量各有1 200个,总计有4 800个。通过混淆矩阵来展示预测结果,测试结果如图13~15所示。

图13 恒虚警算法预测结果

图14 卷积神经网络模型预测结果

其中纵坐标轴均表示样本真实类型,横坐标轴均表示对样本的预测类型,由图13~图15可以看出,在与训练集和验证集都独立的测试集测试下,传统的恒虚警算法对于无人机、行人、智能车等类别目标的识别准确率分别仅有85%、82%和83%;卷积神经网络模型对于无人机、行人、智能车等类别目标的识别准确率分别为95%、93%和93%;而基于残差连接的LSTM的雷达目标识别模型对于无人机、行人、智能车等多类别目标的识别准确率则分别达到了97%、94%和96%。对于无人机目标的识别准确率比行人目标的识别准确率高约3%的原因主要在于采样时,无人机的运动过程及飞行状态较为规律,因此其样本特征较为规则;而不同行人的动作与行为的变化较大,较为不规律,因此样本特征相对来说复杂一些,可能会导致识别效果稍差。依据测试得到的混淆矩阵分别计算3种算法的F1值,如表4所示。

表4 不同算法F1值对比

由表4可以看出,基于残差连接LSTM的雷达目标识别模型对于目标的分类预测效果明显优于传统恒虚警算法;与卷积神经网络模型相比效果相近,但基于残差连接LSTM的识别模型网络规模要更小一些,在训练和使用上能够更为方便。实验证明基于残差连接LSTM的雷达目标识别模型的识别性能比传统恒虚警算法更好,且能在模型规模更小的情况下达到与卷积神经网络模型相当的识别效果。

4 结束语

针对传统雷达目标识别方法在实际应用中面临环境噪声复杂且目标回波信号弱的情景时,无法高效地完成对无人机、智能车、行人等小型目标检测任务的问题,考虑使用深度学习方法来解决。针对卷积神经网络模型网络结构相对复杂且对雷达回波数据的时序特性不敏感的情况,考虑到循环神经网络善于分析序列数据的特性,以雷达多普勒维的回波序列构建数据集,提出一种基于残差连接LSTM网络的雷达目标分类识别方法,通过训练残差连接LSTM网络来提高对多种类目标的识别准确率。实验证明,基于残差连接LSTM的雷达目标识别模型相较于卷积神经网络模型参数更少规模更小,且能够在对无人机、智能车、行人和噪声等四种目标的识别与分类中达到水平相当的效果,与传统恒虚警检测算法相比得到了更好的识别准确率和F1值,比传统恒虚警算法的识别效果更好。

猜你喜欢
残差卷积准确率
基于全卷积神经网络的猪背膘厚快速准确测定
多级计分测验中基于残差统计量的被试拟合研究*
基于图像处理与卷积神经网络的零件识别
用于处理不努力作答的标准化残差系列方法和混合多层模型法的比较*
乳腺超声检查诊断乳腺肿瘤的特异度及准确率分析
多层螺旋CT技术诊断急性阑尾炎的效果及准确率分析
不同序列磁共振成像诊断脊柱损伤的临床准确率比较探讨
颈椎病患者使用X线平片和CT影像诊断的临床准确率比照观察
基于深度卷积网络与空洞卷积融合的人群计数
连续型过程的二元残差T2控制图