基于轻量化分布式学习的自动调制分类方法

杨洁，董标，付雪，王禹，桂冠

（南京邮电大学通信与信息工程学院，江苏 南京 210003）

0 引言

物联网体系中众多边缘设备广泛连接，实现了设备之间的无缝通信。然而，随着终端数量的增加，大量的中间数据存储在边缘设备中，当边缘设备受到外部恶意攻击时，设备中的数据有丢失或外泄的风险。因此，有效识别并拦截外部恶意攻击是物联网设备安全部署的基础[1-7]。自动调制分类（AMC,automatic modulation classification）部署在通信系统的接收机端，可实现自动识别不同种类调制信号的功能[8-10]。因此，AMC 是一种识别物理层恶意攻击的重要方式。

传统的AMC 方法包括基于似然比的方法和基于特征的方法。基于似然比的方法计算复杂度高，并且需要通信系统的信道状态信息。基于特征的方法虽然计算复杂度相对较低，但是需要依靠专业知识构建复杂的特征工程。近年来，深度学习技术在图像领域和自然语言处理领域取得了重大突破[11]，因此许多研究者尝试将深度学习技术应用于AMC。然而，现有的基于深度学习的AMC 研究普遍采用集中式学习进行优化[12-14]，即每台边缘设备将本地数据集上传到一台中心设备训练，然后边缘设备从中心设备下载训练好的全局模型权重。显然，集中式学习有如下缺点：1) 本地设备上传数据集到中心设备，本地设备的数据隐私安全无法得到保证；2) 海量的数据汇聚到中心设备，给中心设备带来巨大的存储压力；3) 中心设备对海量数据进行训练，计算压力较大且训练效率低。

针对集中式学习出现的问题，研究者尝试采用分布式学习策略[15-20]。分布式学习中，本地边缘设备与远程中心设备之间进行模型权重信息交互而非数据共享，避免了本地设备的数据外泄，也减轻了中心设备的存储压力。通过多台本地边缘设备协同训练的方式可以有效减轻中心设备的计算压力，从而缩短训练时间。Wang 等[20]提出了一种基于分布式学习框架训练卷积神经网络（CNN,convolutional neural network）的自动调制信号分类方法，实验结果证明分布式训练框架可以提高训练效率。但是在分布式训练框架中部署CNN 存在如下缺点：1) CNN 较大的模型权重导致分布式训练中因模型权重交互带来的通信开销剧增；2) CNN 较高的模型复杂度给边缘设备的有限算力提出挑战。为了保证分类性能，同时进一步降低通信开销和模型复杂度，有必要根据信号特征设计网络。Xu 等[12]将信号分解为多信道输入，充分提取信号同相分量和正交分量中的特征，以较小的模型权重和较低的模型复杂度取得了较好的分类性能。Zhang 等[13]将信号预处理为幅度相位形式，充分提取信号中的时间特征和空间特征，提高了分类性能，模型权重和复杂度与传统的CNN 相比有所降低。为了进一步降低模型权重和复杂度，本文尝试在分布式学习框架上部署更轻量的网络。

本文的主要贡献总结如下。1) 提出了一种基于分布式学习的轻量化网络，本文将其命名为MCMBNN，旨在解决集中式学习下数据隐私外泄、中心设备存储压力大和训练效率低等问题。2) 在分布式学习框架下部署不同的网络进行对比实验，结果证明了MCMBNN 可以有效降低通信开销，同时具备较好的分类性能。

1 问题描述

1.1 信号模型

本文使用的基于单载波的信号模型如式(1)所示。

其中，k∈ {0,1,…,K− 1}，u(k)表示接收机收到的调制信号，λ表示信道增益，f0表示载波偏移，θ表示相位偏移，h[l]表示瑞利衰弱信道脉冲响应，L表示信道脉冲响应的长度，K表示信号采样点数，σ(k)表示加性白高斯噪声。接收信号被分解为同相分量I和正交分量Q并输入神经网络中，如式(2)所示。

1.2 基于深度学习的自动调制分类系统框架

基于深度学习的自动调制分类系统框架如图1所示，深度学习网络在系统中充当一个分类器。设收到的 调制信 号的类别为D={dj,j=0,1,…,J− 1}，其中，J表示信号的类别数目。基于深度学习的自动调制分类的决策式为

图1 基于深度学习的自动调制分类系统框架

其中，F表示深度学习作为分类器的函数，P表示模型参数。此外，选用交叉熵函数作为损失函数，如式(4)所示，利用L2 正则化作为平衡项的惩罚因子，防止模型出现过拟合。

其中，R表示训练样本的规模，yr表示样本的实际标签，K(⋅)表示惩罚函数，μ表示惩罚函数的平衡系数。

1.3 传统的集中式学习

集中式学习框架如图2 所示。每个边缘设备都有一个本地数据集n表示第n个边缘设备，Sn表示第n个边缘设备中数据集的规模，因此全局数据集可以表示为Mg=M1∪M2∪…∪MN，全局数据集的规模可以表示为另外Mi∩Mj=0，i≠j。

图2 集中式学习框架

在集中式学习中，各个边缘设备将本地数据集上传到远程的中心设备（在上传过程中边缘设备数据对外暴露），中心设备收到数据集后开始训练本地模型，这要求中心设备具备足够的存储空间和较强的算力。训练结束后将模型权重W共享给每个边缘设备。集中式学习采用最小化经验损失函数准则训练模型，如式(5)所示；同时采用Adma 优化器来更新权重信息，如式(6)所示。

2 本文方法原理

2.1 分布式学习

分布式学习框架如图3 所示。与集中式学习相比，分布式学习中每个边缘设备利用本地数据集训练模型，将模型权重共享给中心设备。具体地，分布式学习包括以下4 个步骤。

图3 分布式学习框架

1) 模型初始化和参数广播

中心设备构建一个模型。首先，初始化模型权重、学习速率、训练周期数和训练批次等参数；然后，中心设备将模型和初始化的参数广播给边缘设备。

2) 边缘设备权重更新和上传

边缘设备先从中心设备下载模型和初始化的参数，利用本地数据集训练模型；然后根据Adma优化更新模型权重。与集中式学习中所有数据被上传到中心设备训练相比，分布式学习采用边缘设备在本地训练的方式，可以缓解中心设备的存储压力和计算压力。

3) 模型聚合

一个训练周期完成后，边缘设备将本地模型权重共享给中心设备，由中心设备对模型权重作加权平均得到全局模型权重，如式(7)所示。

其中，Wt+1是第t个训练周期聚合的全局权重，是步骤2)中更新的模型权重。与集中式学习相比，分布式学习通过共享更新的模型权重而非共享数据集的方式，达到保证数据隐私安全的目的。

4) 全局权重更新

边缘设备从中心设备下载全局模型权重代替原来的模型权重，重复步骤2)～步骤4)，直到模型收敛。

2.2 轻量化网络

本文在分布式学习的步骤1) 中部署了轻量化网络MCMBNN，其整体结构如图4 所示，网络由相位参数评估模块、空间特征提取模块和时间特征提取模块GRU(128)组成。

图4 轻量化网络MCMBNN 整体结构

1) 多信道输入

因为I 信道和Q 信道的信号之间存在极大差异，所以输入信号通过3 路信道输入轻量化网络，即IQ 信道、I 信道和Q 信道，这样可以提取到不同信道间的互补特征，进一步提高分类性能。

2) 相位参数评估模块

信号通过信道时受到噪声的影响，所以输入IQ信号通常携带相位偏移信息。

相位参数评估模块的作用是提取相位偏移信息[14]。如图5 所示，相位参数评估模块由一个Flatten层和一个包含单个神经元的Dense 层组成，原始IQ信号通过Flatten 层实现维度变化以满足Dense 层的输入要求，经过Dense 层输出的张量提取到丰富的相位特征，最后用线性激活函数获取相位评估参数ψ。参数评估之后是相位转置，相位转置的计算式为

图5 相位参数评估模块

3) 空间特征提取模块

空间特征提取模块如图6 所示，3 路信道并行输入不同的卷积块。第一路 IQ 混合信道输入MC2D-Block1，其结构如图7(a)所示。MC2D-Block1采用2 个非对称卷积核(2,8)、(8,2)和一个(1,1)的卷积核来代替(8,8)对称卷积核，每一个卷积层Conv2D后利用ReLU 层增强网络的非线性，同时避免梯度消失，最后在信道维度进行拼接。

图6 空间特征提取模块

第二路 I 信道和第三路 Q 信道分别输入MC1D-Block，如图7(b)所示。MC1D-Block的整体结构和MC2D-Block1 相似，区别是MC1D-Block采用了一维卷积，原因是I 信道和Q 信道的输入信号是2 个一维序列。此外，3 个卷积层使用的卷积核的大小分别是2、4和8，这样设计可以用较少的参数提取相对丰富的空间特征。2 个MC1D-Block的输出张量在深度和维度上进行拼接形成新张量，新张量融合了I 信道和Q 信道的空间特征。为了提取更加高级的特征，新张量被并行输入MC2D-Block2。与MC2D-Block1 相比，MC2D-Block2 采用(1,8)和(8,1)的非对称卷积，MC2D-Block2的输出张量和MC2D-Block1的输出张量在通道维度上拼接，进一步实现特征融合。融合的张量输入分组卷积层，分组卷积层采用2 个分组的3×3 卷积核代替标准卷积，实现模型复杂度的降低。

图7 MC2D-Block1和MC1D-Block

4) 时间特征提取模块

MCMBNN 利用Add 层实现信号相位特征和空间特征的融合，采用包含128 个神经元的GRU 层实现信号时间特征的提取。

2.3 轻量化网络的复杂度分析

一般地，模型复杂度包括时间复杂度和空间复杂度[20]，本文中时间复杂度以每秒浮点运算次数（FLOPS,floating-point operations per second）呈现，空间复杂度以参数量的形式呈现。

1) 相位参数评估模块

相位参数评估模块的复杂度集中在Dense 层，Dense 层的复杂度分别如式(9)和式(10)所示。

其中，PDense和FDense分别是Dense 层的参数量和FLOPS，Cout和Cin分别是输出和输入信道数。相位参数评估模块的Dense 层仅有一个神经元，因此Cout=1。显然，相位参数评估模块的复杂度和Cin处于一个量级，可忽略不计。

2) 空间特征提取模块

为了降低模型复杂度，空间特征提取模块部署了非对称卷积核而非对称卷积核。标准卷积的参数量和FLOPS 分别如式(11)和式(12)所示

其中，Ml是输出特征图的尺寸，Kh和Kw分别是卷积核的2 个维度。显然，部署Kh×Kw=8×2和Kh×Kw=2×8 非对称卷积核的复杂度小于部署2 个Kh×Kw=8 × 8对称卷积核的复杂度。

此外，与文献[3,12,20]不同，MCMBNN 利用分组卷积取代标准卷积进一步提取空间特征，分组卷积的复杂度分别如式(13)和式(14)所示。

其中，G是分组卷积的分组数。分组卷积和标准卷积的空间复杂度和时间复杂度之比分别如式(15)和式(16)所示。与标准卷积相比，分组卷积的参数量和FLOPS 降低为原来的

3) 时间特征提取模块

MCMBNN 采用单层的GRU 模块而非LSTM模块作为时间特征提取模块。GRU 模块的参数量和FLOPS 分别如式(17)和式(18)所示，文献[3,12]中使用的LSTM 模块参数量和FLOPS 分别如式(19)和式(20)所示。

其中，Es和Hs分别是词向量维度和隐藏层节点数。GRU 模块和LSTM 模块的空间复杂度和时间复杂度之比分别如式(21)和式(22)所示。可以看出，GRU模块的复杂度是LSTM 模块的

3 实验与评估

3.1 实验设置

实验在Geforce GTX 2080ti GPU 计算设备上实施。仿真平台是Tensorflow 1.10+Keras 2.2.4深度学习框架，环境采用Python 3.6。采用的数据集是公开数据集RadioML.2016.10A，RadioML.2016.10A 共有220 000 个样本，其调制类别包括{BPSK,8PSK,CPFSK,GFSK,PAM4,16QAM,64QAM,QPSK,AM-DSB,AM-SSB,WBFM}，信噪比为−20～18 dB。本节将所提轻量化网络与目前较先进的几个深度学习网络进行性能对比，包括MCLDNN[12]、CNN[20]、CNN-LSTM[3]。同时进行了分布式学习和集中式学习的对比实验，观察分类性能的差异。超参数设置如表 1所示。

表1 超参数设置

另外，集中式学习数据集样本数为220 000 个，均在中心设备数据集中可用。本文在分布式学习中引入10 个边缘设备和一个中心设备。对应地，RadioML.2016.10A 数据集被等分成10 份并存储在10 个边缘设备中（每个边缘设备数据集样本数为22 000 个）。

3.2 实验结果

3.2.1 关键超参数设置

分组卷积的卷积核尺寸KSG和时间特征提取模块GRU 中神经元的数量U影响着模型分类性能和复杂度。分组卷积核尺寸设置如表2 所示，随着KSG的增加，模型分类性能得到改善，但是模型复杂度也随之增加。综合考虑模型分类性能和复杂度，本文设置KSG为3×3。时间特征提取模块神经元设置如表3 所示，本文设U=128，与U=32 相比，虽然模型复杂度增加，但是模型分类性能提升显著。换言之，MCMBNN 牺牲部分模型复杂度换取较大的分类性能提升。

表2 分组卷积核尺寸设置

表3 时间特征提取模块神经元设置

3.2.2 基于集中式学习的轻量化网络

集中式学习下的分类性能比较如图8 所示，其中中括号内的数值代表相应的平均分类性能。从图8(a)可以看出，所提轻量化网络MCMBNN 在不同信噪比情况下对PSK和FSK 都有较好的分类性能，且当SNR=4 dB 时，CPFSK和GFSK 分类性能达到100%。图8(b)给出了MCMBNN 在不同信噪比情况下对QAM、PAM和模拟调制识别的性能。从图8(b)可以看出，除WBFM 外，其他调制的分类性能均超过60%。WBFM 分类性能差是因为WBFM和AM-DSM、AM-SSB 都属于模拟信号，它们之间的幅度相位频率等特征差异较小，因此容易造成混淆。

不同网络分类性能对比如图8(c)所示。与MCLDNN和CNN-LSTM 相比，当−6 dB≤SNR≤−2 dB 时，MCMBNN 分类性能比MCLDNN和CNNLSTM 高3%。与CNN 相比，MCMBNN 在所有信噪比下的分类性能均大于CNN，尤其当SNR≥−4 dB 时，MCMBNN的分类性能比CNN 高10%。

图8 集中式学习下的分类性能比较

不同网络的复杂度比较如表4 所示。相比于其他网络，MCMBNN的时间复杂度和空间复杂度都较低。为了进一步分析MCMBNN的时间复杂度和空间复杂度，本文对MCMBNN 实施了消融实验，消融实验是对模型中某一模块控制变量，观察这一模块对模型指标的影响。如表5 所示，V1中只去除相位参数评估模块，V2中用对称卷积核代替非对称卷积核，V3中用标准卷积代替分组卷积，V4中用LSTM模块代替GRU 模块。根据V1和MCMBNN的对比可以发现，相位参数评估模块复杂度较低并且可以有效提高分类性能。根据V2、V3和MCMBNN的对比可以发现，非对称卷积核和分组卷积的使用可以在保证分类性能的同时有效降低模型复杂度。根据V4和MCMBNN的对比可以发现，相比于LSTM 模块，GRU 模块的使用可以有效降低模型复杂度。

表4 不同网络的复杂度比较

表5 基于MCMBNN的消融实验

3) 基于分布式学习的轻量化网络

分布式学习下的分类性能比较如图9 所示。在分布式学习中，MCMBNN 依然保持较好的分类性能。对比集中式学习，分布式学习有0.68%的分类性能损失，原因是在分布式学习中，边缘设备不再共享本地数据集给中心设备，而是共享本地训练好模型的权重信息。

图9 分布式学习下的分类性能比较

下面，对分布式学习中通信开销和训练效率2 个指标展开分析，通信开销定义为

其中，N表示边缘设备的数量，Wm表示模型权重的大小，T表示模型收敛时的训练周期数。当训练周期数一定时，通信开销与模型权重大小呈正相关。因此在分布式学习中部署轻量化模型可以有效减少通信开销，不同网络的通信开销如图10 所示。相比于其他网络，轻量化网络MCMBNN 有较低的通信开销。

图10 不同网络的通信开销

训练效率是衡量模型训练速度的指标，定义为

其中，Ttrain是模型在一个训练周期的时间。不同模型在分布式学习和集中式学习下的训练效率对比如图11 所示。从图11 可以看出，分布式学习训练效率约为集中式学习的5 倍，这得益于分布式学习中有多个边缘设备协同训练。

图11 不同模型在分布式学习和集中式学习下的训练效率对比

4 结束语

本文提出了一种基于轻量化网络的分布式自动调制信号分类方法，该方法采用分布式学习优化和轻量化网络MCMBNN。在设计轻量化网络的过程中，综合考虑模型分类性能和模型复杂度，应用不同的轻量化设计思想，充分提取调制信号的特征（相位、时间和空间特征）。不同于传统的集中式学习，分布式学习利用多个边缘设备训练一个全局模型，并且共享模型权重，因此分布式学习既充分利用了边缘设备上的数据，又避免了数据隐私外泄的风险，同时减轻了中心设备的计算压力和存储压力，提高了训练效率。此外，利用分布式学习训练轻量化网络，可以在保证分类性能的基础上，降低分布式学习由于权重信息的反复传输带来的通信开销。