基于深度残差适配网络的通信辐射源个体识别

陈 浩,杨俊安,刘 辉

(国防科技大学电子对抗学院,安徽 合肥 230037)

0 引 言

随着通信技术的不断发展,各式各样电台的数目不断增长,使得在战场上对通信电台的侦察和个体识别变得异常艰难。而作为信息化战争的关键环节,如何高效可靠地对不同通信辐射源进行识别,有着非常重要的意义。通信辐射源设备由大量物理元器件组成,这些元器件在制造时会存在不同程度的误差,加上设备内部构造复杂,元器件对调制信号的非线性影响以及环境对器件工作参数的影响,使得即使是同厂家生产的同型号同批次设备,其调制信号也存在着细微差异[1]。由于信号中包含的辐射源个体信息属于物理层特性,与发送内容无关,所以可以作为不同辐射源个体的身份标识,被称为指纹特征。该技术除了在军事上是目标跟踪识别系统的重要组成部分之外,在民用领域的频谱管理、无线电安全等方面也有重要应用。

目前对于通信辐射源个体识别主要从两个方面进行考虑——暂态信号和稳态信号。相较于稳态信号而言,暂态信号含有更丰富的辐射源个体特征,可以获得较好的识别性能[2]。但是由于暂态信号持续时间很短,难以捕获,且其特征与噪声信号相似,这些都会给研究带来极大困难。相比之下,稳态信号可获得的数据量较多,对检测性能要求较低,更容易在实际中得到应用。本文就是对通信辐射源的稳态信号进行研究。目前对稳态信号的研究大多是基于高阶谱[3-4]、时频分布[5]等人工特征提取方法,在某些特定的情况下也许能够有较好的识别准确率,但是实际情况一旦不满足所需的限制条件,其识别准确率将会受到很大影响。

近年来,深度学习广泛应用于图像识别、语音识别、自然语言处理等领域,并成功显示出了其强大的能力。同时,国内外学者致力于将深度学习引入到通信辐射源识别上来[6-9]。文献[6-8]分别使用了卷积神经网络(convolutional neural network,CNN)、循环神经网络和深度残差网络对通信辐射源进行识别,结果也证明其有效性。文献[9]利用大量无标签数据通过自编码器网络来提取特征,利用少量有标签数据进行校准,在实际数据上的实验结果验证了其可行性和有效性。

以上研究通常都是基于两个假设开展工作:① 训练数据(源域)和测试数据(目标域)具有相同的特征分布空间;② 有足够多的可用样本来建立可靠的分类模型。但是,在很多实际应用中,这些假设并不成立。迁移学习方法因能很好解决这些问题而引起广泛关注,其可以有效地利用和迁移来自相似但不相同的标记源域数据知识来进行目标域学习。迁移学习已在很多领域得到应用,如图像识别[10-11]、文本处理[12]、自动控制[13]等。也有学者把迁移学习应用到通信辐射源识别上,如文献[14]就是利用不同场景下辐射源信号的数据结构信息,通过迁移学习方法实现对不同频率辐射源个体的有效识别,但是该方法要求在源域和目标域中均有带标签的样本。

在合作通信中,通信辐射源与通信信号的数量和种类愈发增多,对于不同的通信个体与通信信号的标记规则与方法也多种多样。根据不同的方法来标记数据需要花费大量的人工与时间成本。在非合作通信中,对于不同的通信辐射源和通信信号,不能够轻易获取其详细信息,进而对于数据的标记也是非常困难的。

为了解决传统人工特征提取方法鲁棒性不足和深度学习方法需要大量带标签目标域数据的问题,本文提出一种基于深度残差适配网络(deep residual adaptation network,DRAN)的迁移学习方法来进行通信辐射源个体识别。该方法只需要源域数据带有标签,而目标域数据无需标签。利用源域和目标域数据的结构化信息,将源域和目标域数据特征映射到同一特征空间中,对其进行特征分布对齐,以解决不同数据分布情况下的通信辐射源识别问题。对实际采集的通信辐射源数据集进行了相关实验,结果证明了该方法的可行性和有效性。

1 基于DRAN的辐射源个体识别

本文将深度适配网络[15](deep adaptation network,DAN)的适配思想引入到通信辐射源识别领域中,提出了基于DRAN的通信辐射源个体识别方法。该方法将残差神经网络[16](residual neural network,ResNet)与DAN的适配思想结合以解决传统的人工特征提取方法鲁棒性不足的问题。同时,该方法只需要带标签的源域数据,目标域数据无需标签。首先通过预处理将原始通信辐射源信号从时域变换成时频域数据,然后将其输入DRAN网络进行特征提取,把信号的隐藏表示嵌入到再生核希尔伯特空间(reproducing kernel Hilbert space,RKHS)中,通过多核最大均值差异(multi-kernel maximum mean discrepancy,MK-MMD)来衡量源域数据和目标域数据的差异,作为源域和目标域的分布距离,再将其与交叉熵损失函数的和作为优化目标,通过对目标函数的不断优化,得到最后的分类模型。算法流程如图1所示。

图1 基于DRAN的辐射源个体识别算法流程Fig.1 Algorithm flow of transmitter individual identification based on DRAN

1.1 相关知识

1.1.1 希尔伯特空间嵌入

在希尔伯特空间嵌入分布中,每个分布由RKHS中的一个元素表示。X定义为具有域Ω和分布P(X)的一个随机变量,其中x表示X中的一个个体。Hk定义为在域Ω中具有特征核k的RKHS,是具有內积<·,·>Hk的函数f:Ω→R的希尔伯特空间,其元素k(x,·)满足再生性:H=f(x)。换句话说,k(x,·)可被视为一个隐式特征映射φ(x),其中k(x,x′)=<φ(x),φ(x′)>H。核函数可以被定义在向量空间、图形、时间序列和结构化对象上以处理各种应用程序。

通过由核k赋予的RKHS中的元素来表示概率分布P的过程叫做核嵌入,具体的公式为

(1)

式(1)具有以下特性:RKHS中的任意函数f的期望都可以用H中的內积来表示,即∀f∈H,<μx,f>H≜Ex[f(X)]。在实际情况下P(X)难以获得,可以利用有限的样本来估计μx:

(2)

该理论已经广泛应用于许多任务,包括特征提取、密度估计、双样本测试等。

1.1.2 MMD

(3)

式中，f(·)是H中的任意函数。研究表明,若RKHSH中的函数类别足够丰富,则可以区分任意两个分布,MMD表示的是其嵌入均值之间的距离。当且仅当P=Q时,dH(P,Q)=0。实际上,MMD的估计值将经验核嵌入均值之间的平方距离作比较,表示为

(4)

MMD可以在高维空间中刻划概率分布的任意阶统计量,如一阶统计量均值和二阶统计量方差。也就是说,最小化MMD能将训练数据和测试数据的概率分布P和Q通过各阶统计量进行充分适配[18]。

1.1.3 Wasserstein距离

Wasserstein距离又称为Earth-Mover距离,是由Yossi Rubner提出用于衡量两个分布之间距离的量[19]。定义为

(5)

式中，x和y为联合分布服从γ的样本；∏(P1,P2)代表P1和P2分布所有可能的联合分布的集合,在所有可能的联合分布中能够对式(5)中的期望值取到的下界就是Wasserstein距离。简单地说,就是将一个分布搬移到另一个分布的最小距离。

1.2 DRAN

1.2.1 MK-MMD

域适应面对的挑战主要是因为目标域不存在标签。为了解决这个问题,许多方法希望通过将源域误差加上源域和目标域之间的偏差度量来限制目标域的误差。本文主要专注于MMD的多核变体——MK-MMD[15],其通过多核来构造总的核,对于不同的情况可以通过调整不同核的权重占比来进行更好的适配。

MK-MMD的定义由MMD引申而来,将概率分布p和q之间的MK-MMD记为dk(p,q),被定义为p和q的嵌入均值之间的RKHS距离,则MK-MMD的平方公式可定义为

(6)

与MMD不同的是,与特征映射φ,k(xs,x)=<φ(xs),φ(xt)>相关的特征核不是一个单个核,而是被定义为m个核{ku}的凸组合,即

(7)

其中,对系数{βu}施加约束以确保生成更适合的多核k。Gretton等人的一项研究显示,适用于p和q嵌入均值的核是确保低测试误差的关键[17]。多核k可以利用不同的核来增强MK-MMD的能力,这就是优化核选择的原理方法。本文主要是利用MK-MMD来增强特征表示的迁移能力。

1.2.2 模型和优化目标

本文通过基于MK-MMD的适应性学习思想,来学习深度网络中的可转移特征,并将其用于通信辐射源个体识别。从深度卷积神经网络开始,主要挑战是目标域没有或只有很少的标签信息,因此直接将CNN通过微调应用到目标域上是不太合理并且很容易过拟合的。于是通过DRAN来降低数据带来的限制,这个网络既可以利用有标签的源域数据,也可以利用无标签的目标域数据。

研究表明,深层网络可以学习到比传统人工特征更适合迁移的特征。本文通过深度神经网络来学习通信辐射源信号的可迁移特征以解决其无监督域适应的问题。从零开始的深度神经网络训练量巨大,所以本文采用已存在预训练模型来解决,选用ResNet-50来提取深度特征。本文提出方法的模型如图2所示。

图2 DRAN模型Fig.2 Model of DRAN

CNN分类器f(x)在源域标记数据Dxs上的经验误差为

(8)

研究表明,深度特征可以减少但是不能消除跨域分布差异,标准CNN的深度特征在网络中总会从一般特征最终转变为特定特征,并且特征和分类器的可迁移性会随着域差异的增加而降低。换句话说,全连接层是针对源任务而训练出来的,其在目标任务上的性能并不理想,因此不能通过有限目标监督的微调来直接迁移到目标域。本文在有标记的源域样本上微调CNN,并要求源域样本和目标域样本的分布在全连接层的隐藏表示下变得相似。这可以通过将基于MK-MMD的多层自适应正则化器添加到CNN风险中来实现：

(9)

通过对DRAN风险函数(式(9))的优化,可以学习从源域到目标域的可迁移特征,既可以从CNN受益,又可以通过MK-MMD来增强特征的可迁移性,从而达到最终迁移的目的。

1.2.3 核参数学习策略

本文采用MK-MMD的无偏估计：

(10)

计算复杂度为O(n)。

对β的学习主要是通过最大化双样本测试功效的同时，最小化II类误差来优化：

(11)

(12)

2 实验结果与分析

2.1 实验设置

为了评估基于DRAN的深度学习方法在通信辐射源个体识别领域的可行性和有效性,本文对实际的电台通信信号进行了实验,并与传统的人工特征方法和一般的深度学习方法进行了比较。

实验所采用的数据是在实际情况下由同一台接收设备采集得到的,分别来自5个相同型号的辐射源个体,信号分为I-Q两路。信号的具体参数如表1所示。

表1 信号参数Table 1 Signal parameters

2.1.1 数据预处理

先对接收信号按照固定长度分段,本文采用的分段长度为8 192个采样点,再对分段信号进行筛选,舍弃静默信号,然后对每个分段信号进行标准化处理(见图3),再对处理后的信号作连续小波变换(continuous wavelet transform,CWT)得到尺度谱(见图4),用于表示信号的时频能量分布,最后对每个尺度谱进行标准化处理。

图3 分段标准化后的I/Q信号数据Fig.3 I/Q signal data after segmented standardization

图4 CWT后的尺度谱Fig.4 Scale spectrum after CWT

2.1.2 实验相关设置

经过预处理后,能够得到两个信号载频下的每个辐射源个体有600个样本,5个辐射源总共6 000个样本。在DRAN算法的实验过程中,对源域数据每个辐射源选取500个带标签的样本,目标域数据每个辐射源选取500个未标记的样本,两者一起作为训练集,一共5 000个样本。将剩余的目标域数据作为测试集,一共500个样本。在训练过程中,使用了带有标签的源域数据及其标签和未标记的目标域数据,没有用到目标域数据的标签。所有的训练集和测试集均为随机选取。

将数据输入DRAN中,根据算法更新网络参数。本文网络模型采用的是ResNet-50模型,优化算法采用的是动量随机梯度下降法,学习率lr=0.001,momentum=0.9,weight_decay=5×10-4，惩罚系数λ=1,激活函数为ReLU函数。

2.1.3 对比实验

对照算法采用基于经验模态分解[21](empirical mode decomposition,EMD)、变分模态分解[22](variational mode decomposition,VMD)和固有时间尺度分解[5](intrinsic time-scale decomposition,ITD)的人工特征提取方法,迁移成分分析[23](transfer component analysis,TCA)、ResNet[8]算法和长短期记忆(long short-term memory,LSTM)算法[7]。

其中,EMD、VMD和ITD提取的特征一致,所采用的分类器均为是支持向量机(support vector machine,SVM)分类器;TCA方法是传统的迁移学习算法,所用特征为上述3种人工特征;ResNet算法是仅使用ResNet网络加上全连接层进行分类识别。

具体的实验训练集与测试集划分与第2.1.2节中的一致,ResNet算法中的相关参数设置也与DRAN算法中的参数设置一致。其中EMD、VMD、ResNet和LSTM方法由于自身限制,训练数据仅为带标签的源域数据,未用到目标域数据,测试数据为目标域数据,是未进行迁移的方法。TCA方法是输入为经过提取的人工特征的传统迁移方法。

2.2 结果与分析

对第2.1节中处理后的数据进行实验,并与相关对照算法进行对比,得到不同方法的识别性能,如表2所示。表2中的左列表示源域数据载频为450 MHz,目标域数据载频为512 MHz,右列表示源域数据载频为512 MHz,目标域数据载频为450 MHz,箭头表示迁移的方向。可以看到,DRAN的迁移学习方法相较于利用人工特征进行TCA迁移方法具有更高的识别准确率,表明深度特征相较于人工特征具有更好的可迁移性。同时,经过TCA迁移之后的准确率要低于仅利用SVM进行分类的结果,表明人工特征的可迁移性很差甚至不具备可迁移性。

表2 不同方法实验结果对比Table 2 Experimental results comparison of different methods %

其中的LSTM和ResNet算法在源域数据上进行训练和测试能够达到99%以上的精度,但是将训练好的模型在目标域数据上测试会发现识别精度明显降低,尤其是LSTM算法,说明了深度学习网络自身的泛化能力不足,导致当数据存在分布差异时,识别准确率显著降低。将DRAN与未进行迁移的ResNet和LSTM算法进行结果比较,可以看出利用DRAN方法有利于解决数据分布差异的问题。原因是迁移学习方法虽然不需要利用目标域标签,但是通过度量函数可以将目标域数据信息辅助训练,而非迁移方法在训练阶段完全用不到目标域的数据信息。此外,DRAN在两个方向上的迁移识别准确率都达到了90%以上,证明了其对于不同频点下通信辐射源识别的可行性和有效性。

为了说明深度学习对于标签的依赖性,本文将目标域数据加入DRAN模型进行了训练与测试,实验结果如表3所示。

表3 目标域有无标签实验结果对比Table 3 Comparison of experimental results with and without tags in target domain %

表3是最后的实验结果,可以看到,当加入目标域标签进行训练时,不管迁移方向如何变化,识别准确率都能够达到99%以上。经分析,原因是将目标域标签加入原模型中进行训练,就相当于在同一个域上进行有监督的训练和测试,所以识别准确率接近完美是在可预见范围之内的。但是,同时可以看到目标域标签的使用与否对于辐射源个体的识别准确率还是存在着一定的影响。如果缺乏目标域的标签,将会对最后的识别精度产生一定的损失。

2.2.1 特征可视化

为了进一步了解本文提出方法所提取特征的可迁移性,本文还对ResNet和DRAN两个网络中学习到的深度特征(源域数据为450 MHz,目标域数据为512 MHz)进行了可视化,如图5和图6所示。其中,图5是由ResNet提取特征的可视化图,图6是由DRAN提取特征的可视化图。通过图5和图6可以观察到:ResNet的特征中,源域和目标域之间的类别没有很好地对齐,相较之下,DRAN特征域之间的类别对齐得更好,可以将目标域的通信辐射源目标更好地分类识别出来,说明DAN的适配思想对于通信辐射源识别的有效性,同时也可以看出DRAN可以学习可迁移特征,从而进行有效的领域适应。

图5 ResNet的特征可视化Fig.5 ResNet feature visualization

图6 DRAN的特征可视化Fig.6 DRAN feature visualization

2.2.2 Wasserstein距离

为了进一步说明DRAN算法对源域数据和目标域数据进行迁移的有效性,本文对未进行迁移和迁移之后源域与目标域的域间距离进行了计算和比较。结果如图7所示。

图7 Wasserstein距离Fig.7 Wasserstein distance

图7中分别是ResNet和DRAN两种方法中源域(512 MHz)和目标域(450 MHz)的Wasserstein距离,可以观察到DRAN网络的特征距离小于ResNet网络中的特征距离,说明了经过DRAN的网络适配之后,能够有效降低不同域之间的分布距离,使其在不同载频的通信辐射源识别上表现很好。

2.2.3 分析与讨论

以上的实验结果说明了本文提出的DRAN算法对于通信辐射源个体识别是有效的,可以解决在缺乏目标域标签的情况下,传统人工特征方法数据分布差异和识别准确率低下的问题。DRAN通过源域向目标域进行迁移,从而不需要目标域数据的标签,节省了人工标注数据的成本,可以为目标信号的跟踪关联等方面的研究提供一些启发和思路。

DRAN算法也存在一定的局限性,虽然不需要目标域标签,但是需要在训练时用到目标域数据来衡量与源域数据之间的差异,只能做到标签上的无监督学习。此外,该方法的前提是源域和目标域数据分布具有一定的相似性,如果差异过大,可能出现负迁移的现象。在后续的研究发展中,可以进一步尝试降低对于目标域数据的使用和依赖。

3 结 论

本文将DAN的适配思想引入通信辐射源识别领域,提出了一种基于DRAN的通信辐射源个体识别方法,该方法只需要利用源域数据和无标签的目标域数据进行学习,从而实现由源域到目标域迁移的目的。对实际通信数据的实验结果表明,深度特征相较于人工特征具有更强的鲁棒性和可迁移性,本文中提出方法的识别准确率能够达到90%以上,相较于传统通信辐射源识别领域的人工特征方法对于不同频点的辐射源具有更好的分类识别效果。