基于元学习的小样本调制识别算法

庞伊琼，许 华，蒋 磊，史蕴豪

(空军工程大学信息与导航学院，西安，710077)

近年来，以深度学习方法为基础的新一代通信信号调制识别技术成为了国内外的研究热点。2016年O’Shea[1]等人利用卷积神经网络(convolution neural network，CNN)提取信号特征，证明了用深度CNN直接学习密集编码的时序信号是可行的，2018年又进一步提出了基于VGG-Net和ResNet的信号识别模型[2]。文献[3]通过ResNet50和Incepction V2网络提取信号星座密度矩阵特征，在样本量达到2 000以上时对低信噪比信号实现准确识别。文献[4]提出一种基于长短时记忆网络(long short term memory, LSTM)的去噪自编码器，通过最小化重构损失与分类损失的和来拟合网络，在RadioML数据集上取得了良好的效果。以上基于深度学习的调制识别方法实现了更高的识别准确率，但深度学习方法的成功都需要数千个以上的训练样本。然而实际应用中受各类条件制约，有时只能获取几个信号样本，因此针对极少量样本条件下调制识别方法的研究工作已逐渐被越来越多的人关注。

目前针对基于深度学习的调制识别方法所需训练样本量较大的问题，采用的解决方案有半监督学习和数据增强。半监督学习[5]将大量无标签信号样本引入到网络的训练过程中，有效降低了网络对有标签信号样本的需求。数据增强[6]利用已有数据生成新数据从而扩充训练样本集[7]。虽然以上两种方法在很大程度上降低了深度学习技术所需的训练样本量，但仍需至少几百个信号样本才能保证算法识别性能，对仅有几个带标签信号样本的调制识别问题，以上两种方法均难以解决，本文的“小样本”特指标签样本量仅为个位数的极端小样本条件。元学习[8]为此提供了新的解决思路，其通过提高网络模型对新任务的适应性来解决小样本问题。元学习模型在训练阶段学习大量不同任务以积累相关经验，从而测试时在仅有几个带标签样本时，也能很快地适应对新任务的学习。元学习方法包括学习度量和学习初始化，其中学习度量的目标是得到一个合适的度量空间，通过比较样本特征间的距离完成分类[9-11]；学习初始化[12]通过学习相关任务以获取更优的网络初始化参数，面对新任务只需少量样本微调网络就可以达到与一般深度学习模型在大量训练数据下相当的性能。

针对待测信号仅有几个带标签样本的小样本调制识别问题，本文采用学习度量的算法框架，提出了一种基于元学习的小样本调制识别模型，该模型通过基于任务的策略训练网络学习一种合适的映射关系，以实现信号样本在特征度量空间高效对比，在面对新类信号的识别任务时，在少量样本条件下也能实现快速准确识别，从而解决训练样本量严重不足的小样本问题。

1 识别模型

如图1所示，调制信号识别模型分为特征提取和类原型度量两个模块。本文主要针对包含5种调制类别的测试识别任务，因此每次训练迭代都会首先从训练集中随机采样调制信号训练任务，由特征提取模块将该任务元查询集内的待测调制信号样本与元支持集内的少量带标签调制信号样本映射至同一度量空间，通过类原型度量模块计算各类调制信号的类原型，并比较待测信号样本与各类原型间的距离，从而完成信号分类，根据分类结果计算识别损失来更新网络参数。

图1 识别模型原理框架

1.1 算法训练策略

不同于以数据为基本单元的学习方法，元学习的训练集和测试集都是以任务为基本单元的，且训练任务和测试任务都由支持集和查询集组成，其识别的信号类别完全不同。在训练阶段，元学习模型通过学习大量不同的训练任务获取一种跨任务的信号识别能力，当测试阶段面对包含全新类别调制信号的识别任务时，即使只有少量带标签样本也能实现准确识别。一般的，若任务的支持集中包含C个类别，且每个类别拥有K个样本，则该任务称为C-wayK-shot任务。

本文训练集Dbase内包含N类调制信号，且每类信号都有大量带标签信号样本，通过随机采样Dbase内的信号样本构造多个不同的训练任务。训练过程中的每次迭代首先从Dbase中随机选取C类信号，然后从每类信号的样本集Dk中随机抽取K个样本组成支持集DS；从Dk的剩余样本中随机抽取NQ个样本组成查询集DQ，DS和DQ组成一个训练任务。通过学习大量不同的训练任务，网络模型具备了跨任务的信号识别能力，即在测试阶段面对新的测试任务Ttest={DS,DQ}，仅需DS内的少量带标签信号样本，就能识别出DQ内待测信号的调制样式，其中DS与DQ内信号样本标签空间相同且与Dbase的样本标签空间不相交。为区别于测试任务中的支持集DS和查询集DQ，文中将训练任务的支持集称为元支持集DTS，查询集称为元查询集DTQ。

训练过程中通过不断迭代来最小化损失从而优化网络参数，本文中每个Epoch包含100个训练任务。

每个训练任务的损失为：

(7)

式中：Lφ(·|·,·)表示损失函数；x为信号样本；y为样本标签；φ为特征提取网络参数。

1.2 特征提取模块

如图1所示，特征提取模块将DTS与DTQ内的调制信号样本通过特征提取网络映射到同一特征度量空间。针对CNN所具备的空间特征提取能力和LSTM所具备的时序特征提取能力，设计了一种由CNN和2层LSTM并联组成的混合并行神经网络HPN作为本文算法的特征提取网络。将数据集内的信号样本的同向分量I(t)和正交分量Q(t)作为网络输入，由并行的2个支路分别提取信号的空间特征和时序特征，如图2所示，相较于单一网络所提特征，HPN所提信号样本特征更具代表性。

图2 混合并行网络结构

每个卷积层依次包含一个(3×1)卷积、批归一化层(batch normalization，Batch Norm)、修正线性单元(rectified linear，ReLU)、(2×1)最大池化层(maxpool)，卷积核个数依次设置为16、32、64、128，将通过4个卷积块提取到的特征向量通过Flatten层展平。LSTM网络设置为2层，隐藏单元的个数设置为128。网络最后设置Concatenate层用于将2个并行网络所提特征拼接起来作为最终的特征向量。

1.3 类原型度量模块

如图1所示，针对一个包含5种调制信号的识别任务，本文算法通过比较元支持集DTS内带标签信号样本与元查询集DTQ内待测信号样本的距离的方式实现分类。通过特征提取模块将DTS内信号样本和DTQ内待测信号样本x映射至度量空间后，由类原型度量模块将DTS内每类信号样本特征向量的均值作为类原型，分别得到5种调制信号的类原型“c1～c5”，则第n类信号的类原型cn可表示为：

(1)

式中：fφ表示特征提取网络；φ表示网络参数；xnk表示DTS中第n类信号的第k个样本；K表示DTS内每类信号的样本量。

(2)

训练过程中为使拟合好的网络针对测试任务能综合考虑信号样本类内距离与类间距离，使得样本在度量空间内的表示更易于分类，本文引入了一种新的联合损失函数。该损失函数定义样本损失为同类损失Lt与异类损失Lf的线性组合，

(3)

(4)

则模型的联合损失为L为：

L=Lt+λLf

(5)

式中：λ为比例系数。

2 实验仿真

2.1 数据集与仿真设置

仿真数据集选用RadioML2018.01A公开调制信号集，包含24类调制信号，每个信号样本数据格式为[1 024，2]，即为序列长度L=1 024的I、Q两路数据，每类信号信噪比从-20 dB到30 dB，分布间隔为2 dB。本文算法模型可识别训练时从未出现的新类信号，为验证算法性能，本文从数据集中随机选取14类信号用于训练网络，即N=14，其余10类信号用于测试网络性能，具体调制样式如下：

训练集的信号调制样式为：32PSK、32QAM、GMSK、OQPSK、BPSK、AM-SSB-SC、16PSK、128QAM、AM-DSB-SC、64QAM、256QAM、OOK、16APSK、FM；测试集的信号调制样式为：32APSK、8ASK、8PSK、4ASK、64APSK、128APSK、AM-SSB-WC、QPSK、AM-DSB-WC、16QAM

本文基于python下的pytorch神经网络架构搭建网络模型，实验在Windows 7系统、32 GB内存、配备NVDIA P4000显卡的服务器上进行。

模型选用Adam优化器训练网络参数，初始学习率设置为0.001，共设置200个Epoch完成参数训练。由于不同的识别任务识别精度可能不同，因此在测试阶段，从测试集中随机采用1 000组不同的测试任务，通过所有测试任务识别准确率的平均值来表征算法的识别性能。

2.2 算法性能分析

2.2.1 样本量对识别性能的影响

本节针对本文算法在小样本条件下的识别性能进行实验分析，首先针对5种(5-way)调制信号的识别任务，对比任务支持集内每类信号样本量(K值)分别为1，5，10，20时的识别性能，实验设置特征提取网络为HPN网在“5-way 5-shot”和“5-way 1-shot”测试任务下3种算法的识别准确率随信噪比的变化情况见图3，训练损失函数的比例系数设置为0，每个识别任务中每类信号选取15个样本组成查询集。当信噪比为20 dB，测试任务支持集内每类信号样本只有1个时，识别准确率就可达到82.23%，这充分证明了本文算法在小样本条件下的可行性。随着样本量的增加，测试任务的识别准确率进一步提高，当每类信号带标签样本量为5、10、20时，测试识别准确率比20 dB时分别提高了5.11%、6.5%、7.94%。当样本量大于5后，增加样本量对识别准确率的提升效果趋缓。

图3 不同样本量下算法的识别性能

2.2.2 不同小样本识别模型对比分析

为验证本文算法相对于其它调制识别算法的性能优势，本节选取几类方法与本文算法进行对比实验，包括模型无关元学习(model-agnostic meta-learning, MAML)[13]、关系网络(relation network，RN)[14]、迁移学习[15]，为保证对比实验的公平性，所有方法都采用表2所列数据集。在“5-way 5-shot”和“5-way 1-shot”测试任务下几种算法的识别准确率随信噪比的变化情况如图4所示。

(a)5-way 5-shot

从图中可以看出，本文算法具有最高的识别准确率，其中采用迁移学习的识别准确率最低，主要是由于目标域信号样本每类只有几个，样本量过少导致网络模型在测试出现严重的过拟合问题，网络模型对测试信号样本的泛化性不足，导致识别准确率显著下降。这进一步证明，迁移学习方法无法解决只有几个带标签信号样本的调制识别问题。

MAML与RN也属于元学习方法，针对“5-way 5-shot”和“5-way 1-shot”测试任务，在信噪比为20 dB时本文算法相较于MAML分别提高了21.94%和26.26%，相较于RN方法分别提高了10.18%和13.44%，在相同样本量条件下，本文算法具有更高的测试识别准确率。MAML方法面对新的小样本任务需要对网络参数进行微调，由于样本量较小，针对参数量较大的网络识别准确率较低，微调后的网络性能依然不够理想；RN方法属于学习度量的元学习方法，但该方法通过神经网络确定样本间的距离，这增加了网络训练的参数量，在相同样本量条件下，与本文算法相比RN方法识别性能较差。

2.2.3 损失函数比例系数对识别性能的影响

本节分别针对“5-way 5-shot”和“5-way 1-shot”识别任务在不同λ值下的识别性能进行实验分析，当shot=1时识别任务元查询集/查询集每类信号样本数设置为NQ=10，当shot=5时设置NQ=15，所有实验中特征提取网络均采用CPN网络。图5和图6分别为“5-way 5-shot”和“5-way 1-shot”识别任务测试中,在信号信噪比为20 dB时平均识别率随λ值的变化情况。

如图5和图6所示，λ=0.15时的平均算法测试识别准确率均优于其它λ值下的平均识别率，由此可知，本文引入的联合损失函数在合适的比例系数下可明显提高网络的测试识别准确率。

图5 “5-way 5-shot”识别任务在不同λ值下的识别性能

图6 “5-way 1-shot”识别任务在不同λ值下的识别性能

本节设置λ=0时的网络模型为baseline。图7为λ=0和λ=0.15时不同识别任务下测试识别准确率随信噪比的变化情况，可以看出λ=0.15时网络模型具有明显的优势，在“5-way 1-shot”和“5-way 5-shot”识别任务下，平均识别准确率最高分别达到82.53%和88.45%，与λ=0时相比，分别提高了1.42%和1.03%。当λ=0.15时，采用联合损失函数可在测试集上实现更高的识别准确率。

(a)5-way 5-shot

2.2.4 特征提取网络对识别性能的影响

基于上一节实验结果，本文接下来所有实验均设置λ值为0.15。本节通过对比采用不同特征提取网络时本文算法的测试结果，验证所设计的HPN特征提取网络的性能优势。将CNN[1]、Resnet18[16]和Resnet34[16]分别作为模型的特征提取网络，与本文HPN特征提取网络进行对比实验。5种不同特征提取网络的模型在“5-way 5-shot”和“5-way 1-shot”识别任务中的测试识别准确率见图8。表1给出了针对“5-way 5-shot”任务不同特征提取网络下模型的网络参数量和训练200个Epoch所需时间。

(a)5-way 5-shot

表3 网络参数量和训练时间

如图所示，当信噪比大于4 dB时，本文的HPN特征提取网络相比其它特征提取网络具有更高的识别准确率。当信噪比为20 dB时，相较于CNN、Resnet18以及Resnet34，HPN特征提取网络下的模型在“5-way 5-shot”测试任务中的识别准确率分别提高了7.6%、3.92%、6.29%，在“5-way 1-shot”测试任务中的识别准确率分别提高了7.25%、2.91%、4.8%。本文HPN网络通过卷积网络与LSTM网络同时提取信号的空间特性与时序特征，由表1可知，虽然采用HPN会在一定程度上增加网络参数量以及算法的训练时间，但比仅采用CNN作为特征提取网络实现了更高的识别准确率识别性能。相比Resnet18和Resnet34特征提取网络，HPN的训练参数量更少、所需训练时间更短，但测试识别效果更好，同时从图8中可以看出，虽然Resnet34的网络层数多于Resnet18，但识别准确率反而下降，这表明网络过于复杂化并不适合小样本条件下的识别任务，易出现过拟合的现象。

3 结语

本文针对带标签信号样本只有几个的调制识别问题，提出了一种基于元学习的小样本调制识别算法。实验结果表明，在信噪比为20 dB时，本文算法在只有5个带标签样本时识别准确率可达88.10%，只有1个带标签样本时识别准确率可达82.23%。同时本文还设计了一种混合并行特征提取网络，并引入一种新的联合损失函数对网络参数进行优化，实验结果表明以上两种改进可有效提升算法在小样本条件下的识别性能。针对在低信噪比条件下识别准确率明显下降的问题，须在下一步工作中重点研究。