利用新型卷积神经网络识别MPSK信号调制方式

2021-01-16 02:51王爱丽张佳炜姜开元吴海滨岩崛祐之
哈尔滨理工大学学报 2021年5期
关键词:识别率卷积神经网络

王爱丽 张佳炜 姜开元 吴海滨 岩崛祐之

摘要:随着人工智能技术的快速发展,卷积神经网络越来越多地应用到通信信号调制识别领域。针对数字信号在低信噪比的识别准确率较低的问题,采用InceptionResNetV2网络与迁移适配相结合的方法,研究了一种调制识别模型,称之为InceptionResnetV2-TA,对MPSK信号的调制方式进行识别。结果表明,信噪比为3 dB 9t,1nceptionResnetV2-TA对BPSK的识别率达到99.33%,比次优模型InceptionResNetV2高出3%,,对QPSK的识别率达到95.33%,比InceptionResNetV2高出2%。对8PSK的识别率达到86.33%,比InceptionResNetV2高出5%。综上,结合3迁移适配的In-ceptionResnetV2-TA,对BPSK、QPSK和8PSK在低信噪比的识别准确率高于其他对比方法。同时验证了这种调制识别模型的有效性。

关键词:调制识别;卷积神经网络;迁移适配InceptionResNetV2

DOI:10.15938/j.jhust.2021.05.013

中图分类号:TP391.4 文献标志码:A 文章编号:1007-2683(2021)05-0097-07

0 引言

无线通信技术的发展,经历了由模拟到数字、由单一到多元的多个阶段,针对不同的应用场景,随之衍生出多种不同类型的信号调制方式。如今无线通信手段日趋多样化,电磁环境日渐复杂。在协作通信条件下,确定信号的调制方式是获取通信信号内容的基础;在非协作环境中,调制识别作为信号检测与信号解调之间的一项技术,其主要目的是确定待检信号的调制方式,也是后续估计待检信号参数(如载波频率、码元速率等)的决定性前提。调制识别在民用与军事领域有着广泛的应用。

近年来,深度学习被引入到数字信号调制识别的研究中。牛国庆等[1]提出了一种将反向传播神经网络和决策树相结合的调制识别技术,该技术具有较高的平均识别率。黄媛媛等[2]通过构建深度置信网络,实现了对通信信号的调制识别。侯涛等[3]提出了一种基于深度学习的通信信号调制识别方法。该方法通过设计深层神经网络模型解决了端到端信号识别问题,从而简化了人工特征提取的繁琐过程。Peng等[4]提出以网格拓扑的形式表示数据,并与卷积神经网络结合以完成调制信号的分类。Wang等[5]提出了一种基于星座图的卷积神经网络识别算法来识别不同信号的调制方式。彭超然等[6]提出了一种基于深度神经网络的调制识别方法。该方法对接收到的信号进行预处理,生成星座图,并使用星座图的形状作为深度卷积神经网络的输入。利用训练后的网络,模型可以对调制信号进行分类和识别。

另外,Yang等[7]使用聚类算法提取和优化信号的特征参数,通过分层算法训练支持向量机,提高了收敛速度和低信噪比时的识别性能,从而实现了信号调制识别。Li等[8]提出了一种使用聚类算法提取信号的特征参数,并通过可变梯度校正算法训练神经网络,以实现信号的调制识别。Xu等[9]提出了一种基于星座图的模糊分类算法,该算法以星座图为输入,通过模糊逻辑分析和处理系统对其进行处理,实现对各种数字信号的调制识别。

上述算法的共同问题是在低信噪比下识别率低。因此,本文在InceptionResNetV2网络中引入了迁移适配的思想,称为InceptionResnetV2-TA,该网络通过深层和并行网络结构充分提取输入特征,以识别MPSK信号的调制方式,并提高在低SNR环境中信号的识别精度。

现有方法中多数是利用数学公式推导求得特征参数,再将特征参数送入分类器中进而对信号的调制方式进行识别,计算复杂度较高,且识别结果会因为特征参数的选取而受到影响,特征参数选择不合理会对结果带来偏差。因此这类方法在识别性能方面不稳定,没有用来作为对比方法。而本文选取的对比方法主要为深度学习的方法。这几种方法具备自主学习机制,能够自动提取数据集样本中携带的特征向量并进行充分学习,在识别性能方面要优于现有方法。因此选取这几种方法进行对比会更有价值,也更能突显本文设计的方法的优势。

1 算法概述

InceptionResnetV2-TA算法包括3个步骤:预处理,特征提取和识别。InceptionResnetV2-TA算法的框图如图1所示。

在预处理操作中,通过正交解调待检测的信号来获得信号星座图。在特征提取操作中,采用迁移适配的思想,从ImageNet数据集中随机选择12类图像样本,将其发送到InceptionResNetV2网络完成训练,再保存训练权重。最后,将星座图送入存储权重的网络中进行进一步训练,以用于获取星座中的幅度和相位特征。在识别操作中,将网络学习到的有效特征送到分类器,从而完成对数字信号调制方式的识别。

2 数字信号预处理

通過采样,量化和编码3个过程,将发送端的模拟信号转换为基带信号,然后通过频带发送到达接收端。由于该信号在传输过程中携带噪声,因此在接收端获得的信号是一个有噪声的信号,其写法如下:式中;Am为第m个符号的幅度值;Ts为符号间隔;ejθm为星座点;fc为信号的载波频率;θi为载波相位差且g(t)是矩形脉冲函数;N为观察时间T中的符号数;n(t)为噪声。

在数字通信中,星座图是观察信号幅度和相位的最直接方法。通过正交解调接收信号获得。接收器接收到信号s(t)后,将信号分成两个通道,并与两个相位差为it/2的载波相乘,然后通过低通滤波器对高频分量进行滤波。最后,获得两个相对独立的分量:同相(1)分量和正交(Q)分量。这两个分量彼此正交并且是不相关的。这两个分量通常以复数形式表示为a+jb,与复数平面上的一个点相对应,这就是一个星座点。此外,每种类型的振幅相位调制信号具有用于表示这种调制方法的对应点集,并且这些点集形成表示该信号的星座图。模量表示信号的振幅变化,而相位表示信号的相位变化。将星座图做归一化处理,再送入InceptionResNetV2网络以完成特征提取操作。

3 Inception ResNetV2网络

传统的神经网络结构都通过增加网络深度来提高训练效果,但是增加层数会导致过度拟合,梯度消失,梯度爆炸等问题。解决方案是将完整连接更改为稀疏连接,但是硬件会优化密集矩阵,因此对最优局部稀疏结构计算密集局部矩阵结构,得到其初始结构。InceptionResNetV2网络来自GoogLeNet,其中的Inception模块可以更有效地利用计算资源,并且可以在相同计算量下提取更多特征,从而提高训练效果。通过级联操作,可以聚合具有不同内核比例的特征图,以提高网络对比例和网络宽度的适应性,并提高资源利用率。由于所有卷积核都采用前一层作为输入,5×5卷积核的计算量太大,因此前一层的输出将合并到网络套网络的方法中。

Inception模块使用1×1卷积有两个目的:一是在相同大小的感受野上叠加更多的卷积,提取星座图中更丰富的特征;另一个目的是减少维数和计算复杂度。在进行3×3和5×5卷积之前,使用网络中的1×1卷积进行降维。其次,对多个大小的卷积执行聚合操作,通过将稀疏矩阵分解为稠密矩阵来提高算法的收敛速度。

在传统的卷积层中,输入与某一尺度的卷积核进行卷积(如3×3),输出数据为固定维数(如256个特征),特征均匀分布在3×3的卷积核中。In-ception模块提取星座图中的幅度和相位特征在多个不同的尺度上映射,不再均匀分布。相反,具有高相关度的特征被组合到一起,低相关度或不相关的特征被弱化,使得输出特征冗余相对较小,收敛速度较快。同时,网络还增加了批处理规范化(BN)层。当BN层作用于神经网络的某一层时,可以对每个小批量星座图进行归一化处理,避免梯度消失[16]。

x=Norm(x,χ)(5)

另外,网络在原始基础上添加了残差结构。也就是说,将直连通道添加到网络,使星座图中的原始输入信息可以直接传输到下一层,从而加快训练速度,防止梯度分散,降低网络复杂性并确保网络深度,从而不会降低性能[17]。ReLU被用作激活函数,并且网络模型最后的全连接层用softmax完成分类。InceptionResNetV2网络架构如图2所示。

4 结合迁移适配的MPSK信号调制识别

迁移学习是机器学习的重要分支,其目的是利用数据、任务或模型之间的相似性,将从源项目学到的知识迁移到目标项目。与机器学习相比,迁移学习的优点是:在数据分布中,可以服从不同的分布;在数据标注中,不需要大量的数据标注;在模型中,从训练模型获得的特征和权重可用于训练新模型和完成新任务[10-12]。

迁移学习主要分为四类:基于样本的、基于特征的、基于模型的和基于关系的迁移学习[13-15]。本文将InceptionResNetV2网络与基于特征的迁移学习相结合,即从ImageNet数据集和星座图中共享权重矩阵来进行微调,并将迁移适配方法应用于网络。

基于特征的传递自适应方法进一步分为边缘分布自适应和条件分布自适应。在边缘分布自适应中,为了减小边缘分布Pα(xα)和Pβ(xβ)之间的差异,利用经验最大平差(MMD)衡量不同概率分布的适应程度。最小化Pα(xα)和Pβ(xβ)之间的距离以进行调整。MMD定义如下:

φ:X→Ω是核空间中的无穷大非线性特征图。根据泰勒定理,可以将φ扩展为无穷级多项式级数,从而适应不同概率分布下的各阶统计量。

在条件分布自适应中,最小化条件分布Qα(yα|xα)和Qβ(yβ|xβ)之间的差异对于分布自适应的稳定性非常重要。直接标注学习用于获得星座图中的预标记,然后获得条件分布距离。当分类器未知时,类后验概率Qα(yα|xα)和Qβ(yβ|xβ)难以拟合。然后,类条件分布Qα(yα|xα)和Qβ(yβ|xβ)匹配。利用星座图中预先标记的dB值和ImageNet数据集中的实际标签,星座图γ∈{1,…,12}中的每一类可以用来获得类条件分布Qα(xα|yα=γ)和Qβ(xβ|yβ=γ)。其中Qα(xα|yα=γ)和Qβ(xβ|yβ=γ)的距离可以使用式(3)得到。式中:Dα(γ)=}xi|xi∈Mα∧y(xi)=γ}为ImageNet中属于γ类别的图像集合;y(xi)为图像xi的实际标签;Dβ(γ)={xj;xj∈Mβ∧y(xj)=γ|为星座图中属于γ类别的图像集合,而y(xj)是星座图xj的dB值。合并式(2)和(3),可以得到自适应正则项:

通过最小化正则项,这两种分布的任意阶矩估计都可以适用于无穷阶非线性特征映射。给定已标记的ImageNet数据集Dα={(x1,y1),…,(xn,yn)}和未标记的星座图数据集Dβ={xn+1,yn+1},满足Fα=Fβ,Hα=Hβ,P(xα)≠P(xβ),Q(yα|xα)≠P(yβ|xβ)。由于星座图中有12类图像,因此在ImageNet数据集中随机选择12类图像,将其送入Inception-ResNetV2网络以完成训练任务。根据迁移适配原理,将通过训练获得的权重矩阵应用于星座图中。

InceptionResNetV2网络在学习特征F或分类模型f的同时,将边缘分布P(xα)和P(xβ)最小化,并使条件分布Q(yα|xα)与P(yβ|xβ)之间的差异最小化。利用ImageNet数据集Dβ训练Inception-ResNetV2网络,再将训练之后的网络应用到星座图Dα之中。与直接使用ImageNet数据集训练网络相比,本文在ImageNet数据集中选择了与星座图中类别数相同的图像来完成训练任务。然后,将所得的权重矩阵用于训练星座图。最后,利用星座图的正确分类来提高MPSK信号调制方式的识别精度。

本文利用了这种卷积神经网络去识别PSK信号的调制方式。因为卷积神经网络具有自学习机制,能够对数据集样本中的特征向量进行自主学习并提取。本文所设计的InceptionResNetV2-TA方法,是在InceptionResNetV2方法基础上加入了迁移适配,根据迁移识配原则先对網络模型进行预训练,以此获得网络权重优化之后的训练模型。再利用该模型对PSK信号样本进行训练,自主学习样本中携带的特征向量,进而对PSK信号的调制方式进行识别。

本文提出的這种方法相比于没有结合迁移适配原则的InceptionResNetV2方法而言,优势在于,通过预训练可以获得权重矩阵得到优化的网络模型。而利用InceptionResNetV2方法直接训练PSK信号时,网络模型的初始权重是随机生成的,没有得到优化,因此会影响最终的识别结果。

传统方法,如基于高阶累积量的方法,需要通过专家先推导复杂的数学公式得到特征参数,再对特征参数进行设定阈值,根据阈值对PSK信号的调制方式进行分类。而阈值是依靠经验来设定的,因此会对识别结果带来影响。

5 实验结果和分析

为了验证本文所提算法的有效性,利用Matlab仿真得到相移键控信号,以获得BPSK,QPSK和8PSK在6种信噪比(范围为1至6dB)下的星座图。图3至图5是SNR为4dB时三种信号的星座图。同时,搭建了Tensorflow-1.8.0+Keras-2.2.4框架来训陈InceptionResNetV2-TA网络。实验所需的数据集包括训练集和测试集。通过训练网络,可以对不同信噪比下的三种信号的星座图进行分类,从而正确识别出MPSK信号的调制方式。本节采用InceptionResNetV2-TA算法识别MPSK信号的调制方式。同时,将InceptionResNetV2[18],Incep-tionV3[19],ResNet50[20],DenseNet121[21]和准混和似然比(QHLRT-UB)[22]作为对比算法,评价指标是对低信噪比下三种信号的星座图的识别率。

这几种方法在其他领域的分类问题中被广泛使用并且有很好的表现。其中,InceptionResNetV2这种深度卷积神经网络模型,对图像分类表现优异,通过数据增强方法对数据集BreaKHis进行实验,识别率基本达到80%以上,比大部分已有研究成果效果更优。

InceptionV3这种网络能够对6种球类图像进行分类。通过与其他分类器进行比较后发现,这种网络在六个类别上成功地达到了96.64%的平均分类准确率,高于其他几种分类器。

表1显示了通过6种算法获得的3种信号的识别准确率的结果。从表中可以看出,Inception-ResNetV2-TA算法对3种信号的星座图的识别率最高,识别效果明显优于其他几种方法。在表1中,当SNR为3dB时,BPSK、QPSK、8PSK的识别率达到99.33%、95.33%和86.33%,比InceptionResNetV2算法分别提高了2.67%、2.00%和5.00%。

6 结论

本文提出了InceptionResNetV2-TA算法,通过将迁移适配与InceptionResNetV2相结合,提高了MPSK信号的识别准确率。实验表明,该算法在相移键控信号调制方式的识别中具有良好的识别性能。特别是在低SNR下,对BPSK、QPSK和8PSK三种信号调制方式的识别率高于其他对比算法。今后的工作重点是在低SNR下识别更多类型的数字信号。

参考文献:

[1]牛国庆,姚秀娟,闫毅,等.基于神经网络的数模混合信号调制识别算法[J].计算机工程,2016,42(4):101.

[2]黄媛媛,张剑,周兴建,等.应用深度学习的信号解调[d].电讯技术,2017,57(7):741.

[3]侯涛,郑郁正.基于深度学习的通信信号调制方式识别[J].无线电工程,2019,49(9):796.

[4]PENG Shengliang,JIANG Hanyu,WANG Huaxia.ModulationClassification Based on Signal Constellation Diagrams and DeepLearning[J].IEEE Transactions on Neural Networks and Leam-ing Systems,2019,30(3):718.

[5]WANG Yu,LIU Miao,YANG Jie,et al.Data-Driven DeepLearning for Automatic Modulation Recognition in Cognitive Ra-dios[J].IEEE Transactions on Vehicular Technology,2019,68(4):4074.

[6]彭超然,刁伟鹤,杜振宇.基于深度卷积神经网络的数字调制方式识别[J].计算机测量与控制,2018,26(8):222.

[7]YANG Faquan,YANG Ling,WANG Dong,et al.Method ofModulation Recognition Based on Combination Algorithm of K-means Clustering and Grading Training SVM[J].IEEE Transac-tions on China Communications,2018,15(12):55.

[8]LI Zan,YANG Faquan,LI Hongyan,et al.Method of NeuralNetwork Modulation Recognition Based on Clustering and Polak-Ribiere Algorithm[J].IEEE Transactions on Journal of SystemsEngineering and Electronics,2014,25(5):742.

[9]崔旭,熊刚.一种基于星座图模糊分析的数字调制识别方法[J]·通信技术,2016,49(9):1155.

[10]PAI-HENG H,FENG-JU C,YEN-YU L.Learning Discrimina-tively Reconstructed Source Data for Object Recognition with FewExamples[J].IEEE Transactions on Image Processing,2016,25(8):3518.

[11]SHAG Ling,ZHU Fan,LI Xuelong.Transfer Learning for VisualCategorization:A Survey[J].IEEE Transactions on Neural Net-works and Learning Systems,2015,26(5):1019.

[12]YANG Liu,JINGLiping,YU Jian,et al.Learning TransferredWeights From Co-Occurrence Data for Heterogeneous TransferLearning[J].IEEE Transactions on Neural Networks and Learn-ing Systems,2016,27(11):2187.

[13]LONG Mingsheng,WANG Jianmin,CAO Yue,et al.DeepLearning of Transferable Representation for Scalable Domain Ad-aptation[J].IEEE Transactions on Knowledge and Data Engi-neering,2016,28(8):2027.

[14]SHAO Kun,ZHU Yuanheng,ZHAO Dongbin.StarCraft Mi-cromanagement with Reinforcement Learning and CurriculumTransfer Learning[J].IEEE Transactions on Emerging Topics inComputational Intelligence,2019,3(1):73.

[15]LONG Mingsheng,WANG Jianmin,SUN Jiaguang,et al.DomainInvariant Transfer Kernel Learning[J].IEEE Transactions onKnowledge and Data Engineering,2015,27(6):1519.

[16]IOFFE S,SZEGEDY C.Batch Normalization:Accelerating DeepNetwork Training by Reducing Internal Covariate Shift[C]//Pro-ceedings of the 32nd International Conference on Machine Learn-ing.2015,37:448.

[17]HE Kaiming,ZHANG Xiangyu,BEN Shaoqing,et al.Deep Be-sidual Learning for Image Recognition[C]// IEEE Transactions onCVPR,2016:770,

[18]劉靖雯;黄理灿.基于Inception-ResNet-V2的乳腺癌病理图像识别研究[J].软件导刊,2020,19(5):225.

[19]Ketan Joshi,Vikas Tripathi,Chitransh Bose,et al.Robust SportsImage Classification Using InceptionV3 and Neural Networks[J].Computer Science.2020,167:2374.

[20]王恒,李霞,刘晓芳,等.基于ResNe150网络的乳腺癌病理图像分类研究[J].中国计量大学学报,2019,30(1):78.

[21]蒋斌,涂文轩,杨超,等.基于DenseNet的复杂交通场景语义分割方法[J].模式识别与人工智能,2019,32(5):472.

[22]HAMEED F,DOBRE 0,POPESCU D.On the Likelihood-basedApproach to Modulation Classification[J].IEEE Transactions onWireless Communications,2009,8(12):5884.

(编样:温泽宇)

收稿日期:2020-09-20

基金项目:国家自然科学基金(61671190).

作者简介:王爱丽(1979-),女,副教授,硕士研究生导师;张佳炜(1995-),男,硕士研究生.

通信作者:吴海滨(1977-),男,教授,博士研究生导师,E-mail:woo@hrbust.edu.cn.

猜你喜欢
识别率卷积神经网络
基于人工智能LSTM循环神经网络的学习成绩预测
基于图像处理与卷积神经网络的零件识别
基于全卷积神经网络的变压器故障诊断
基于深度卷积网络与空洞卷积融合的人群计数
基于自适应神经网络的电网稳定性预测
三次样条和二次删除相辅助的WASD神经网络与日本人口预测
卷积神经网络概述
档案数字化过程中OCR技术的应用分析
基于PCA与MLP感知器的人脸图像辨识技术
科技文档中数学表达式的结构分析与识别