基于深度Q学习和连续小波变换的旋转机械故障诊断方法

陈仁祥 周君 胡小林 韩兴波 朱孙科 张晓

摘要： 针对旋转机械故障诊断中深度神经网络特征学习能力强、决策能力弱的问题，利用卷积神经网络拟合强化学习中的Q函数，通过Q?learning算法学习策略实现故障诊断，提出了基于深度Q学习和连续小波变换的旋转机械故障诊断方法。对振动信号进行连续小波变换得到时间尺度矩阵，构建出环境状态空间，实现智能体与环境间的交互;用CNN拟合Q?learning中的Q函数得到深度Q网络，将环境返回的状态输入到深度Q网络中学习故障数据具体的状态特征表示，并据此表征学习策略，智能体采用ε?贪婪方式决策出动作，利用奖励发生器对动作进行评价;通过智能体与环境间不断交互学习以最大化Q函数值，得到最优策略实现故障诊断。这种方式融合了深度学习的感知能力和强化学习的决策能力，从而有效提高了诊断能力。通过不同工况及不同样本量下齿轮箱故障诊断实验证明了所提方法的有效性。

关键词： 故障诊断; 旋转机械; 连续小波变换; 深度Q学习

中图分类号： TH165.+3; TH133 文献标志码： A 文章编号： 1004-4523（2021）05-1092-09

DOI：10.16385/j.cnki.issn.1004-4523.2021.05.024

引 言

旋转机械故障诊断本质是模式识别，其中重要的步骤是故障特征提取与故障类型识别[1]。近年来，由于深度神经网络强大的特征学习能力，使其在旋转机械故障诊断领域得到快速发展[2?3]。

利用深度学习进行故障诊断时，常见的模式为通过建立不同的深度神经网络从训练样本中学习故障特征进而实现故障诊断。如：胡茑庆等[4]对行星齿轮箱故障信号进行经验模态分解，得到内禀模式函数（Intrinsic Mode Function，IMF）后利用深度卷积神经网络融合特征信息明显的IMF进行故障诊断。李巍华等[5]利用深度置信网络直接从原始信号逐层学习轴承故障特征进行轴承故障诊断。Cao等[6]將长短期记忆网络（Long Short Term Memory Networks，LSTM）用于风机齿轮箱故障的模式识别。Chen等[7]对行星齿轮箱信号进行离散小波变换得到二维时频信息，再输入卷积神经网络（Convolution Neural Network，CNN）进行分类识别。Zeng等[8]对信号进行S变换提取时频特征信息，提出了基于S变换和CNN的齿轮箱故障诊断。以上方法都取得了不错的效果，但是大部分神经网络直接在最后一层使用Softmax分类器进行分类，且训练时更注重深度神经网络的特征学习能力，而忽略了决策能力在神经网络中的作用，这会影响诊断结果的准确性和可靠性，特别是在样本量不足时。

深度Q学习（Deep Q Network， DQN）融合了深度学习的感知能力和强化学习的决策能力，已在视频游戏中得到广泛应用[9?11]。DQN通过智能体与环境间的互动，利用深度Q网络来提取数据的抽象表征，同时据此表征进行自我激励的强化学习，优化解决策略[12]。DQN不仅具有深度学习特征能力强的特点，还具备强化学习决策能力强的优势，使其在故障诊断中具有巨大潜力。

同时，由于旋转机械结构复杂，工况多变，信号传递过程中易耦合，采集到的振动信号往往具有非平稳非线性的特点，利用时频分析方法获得其二维时频信息更有利于深度Q网络学习特征和作出决策。常见的时频分析方法中，S变换对高频带分辨率模糊，连续小波变换（Continuous Wavelet Transfer，CWT）具有很强的弱信号检测能力，相对于离散小波和二进制小波具有不易发生漏检和泄露的特点[13]，故采用CWT对原始信号进行变换获得时间尺度谱。

综上所述，提出基于深度Q学习和连续小波变换的旋转机械故障诊断方法。首先利用CWT对非线性非平稳信号进行预处理，挖掘数据的二维时间尺度特征信息，以时间尺度矩阵构建出环境状态空间。然后，用CNN拟合Q?learning中的Q函数，将环境返回的状态输入到深度Q网络中学习故障数据具体的状态特征表示，并据此表征学习策略。再通过智能体与环境间不断交互学习以最大化Q函数值，得到最优策略，从而实现旋转机械故障诊断。通过不同工况和不同样本量下齿轮箱故障诊断实验证明了所提方法的可行性和有效性。

1 连续小波变换和深度Q学习算法

1.1 连续小波变换原理

设函数ψ∈L2（R）∩L1（R）并且，由ψ经伸缩和平移可以得到一簇函数

通过尺度为a、平移为b的子小波和信号内积可得到每个小波变换系数Wf（a，b），当信号与该子波越相似，则系数值越大，特征成分将在时间尺度相平面上某处集结为高幅值的能量块，反之则能量发散。通过不同的尺度变换，最终得到系数矩阵Wf（a，b）能够刻画出信号的二维时间尺度特征。Morlet小波与旋转机械发生故障时产生的冲击信号形状相似，故选其为母小波。

1.2 深度Q网络

强化学习包含四个元素：智能体、环境状态、动作、奖励。其交互学习过程如图1所示。

智能体通过不停的交互利用从环境中得到的反馈信号，调整策略π来最大化长期累积奖励，定义累积奖励Gt如下

式中 Q（s，a）为Q函数;s，a，r分别为当前状态、动作和奖励;Q（s，a）取得最大值的s'，a'即为下一个状态和动作。折扣系数γ介于0?1之间，其数值越小表明智能体在学习过程中越在意当前的奖励，δ为Q学习率，用于权衡Q函数学习的快慢。

CNN利用多层特征提取层，自适应提取状态特征形成更加抽象的特征表达，具有拟合任何函数的特点。因此，可用CNN拟合表示Q函数得到深度Q网络，结构如图2所示。

其中I层为输入层，C1层为第一层卷积层，P1层为对应池化层，经过多次卷积与池化，最后将最后一层扩展成全连接层F，Q层为输出层，每一层的具体介绍如下：

1）卷积层。多个卷积核分别与输入图像进行卷积，加上对应的偏置值，一个卷积核对应一个偏置值，加上偏置值之后通过激活函数就可以得到一系列特征图，其过程用数学描述如下

式中 为l层第j个元素，Mj为l-1层特征图的第j个卷积区，为前一层特征图上第j个元素，为l层的权重矩阵，为l层的偏置矩阵，f（）为激活函数，使用Relu函数如下

2）池化层。通过对图像进行降维处理，除去冗余信息，保留数据的重要特征，同时减少了计算量，提高特征学习了的效率，公式如下

式中 down（·）为下采样函数，表示第l层第j个特征图的权值，表示第l层第j个特征图的偏值，经过池化层l后的特征图和卷积层l-1的特征图在数量上保持不变，大小改变。

3）全连接层。经过多个卷积层和池化层，网络提取到数据的特征，通过全连接层将前一层的特征图连接，最后连接分流层，与全连接层连接前，需要将前一层的所有特征图展成一维特征向量。

式中 yk为全连接层的输出层，xk-1是展开的一维特征向量，f（·）为激活函数，k为网络层数序号，wk为权重系数，bk为偏置值。

4）输出层。通过前面的卷积、池化等操作，卷积神经网络在输出层得到故障数据状态下每类动作Q值，即

式中 Q（s，a;θ）为卷积神经网络的Q值，θ为卷积神经网络的权重参数。

1.3 深度Q学习算法

通过卷积神经网络拟合Q函数，同时结合Q?learning算法得到的深度Q学习算法如表1所示，其中Q函数的迭代公式如下

式中 yi为第i次迭代目标值的优化结果;g（s，a，s'）为奖励发生器;θi，为深度Q网络、目标网络的权重参数。目标网络与深度Q网络结构相同，每迭代C次将DQN的参数复制给目标网络的参数。

式中 0<ε<1，用于权衡智能体在学习过程中对环境进行探索和利用的程度。

图3为智能体决策过程中的移动示意图，每层具有Z个节点，每个节点代表故障种类。每一次迭代，智能体根据环境返回的数据状态使用公式（12）做出某个动作，当实际决策做出的动作所对应的节点与标记故障类型一致时，设置奖励值r。否则奖励值为0。

通过智能体与环境交互作用产生大量经验样本，然后随机抽取输入到深度Q网络和目标网络产生误差，采用随机梯度下降方法调节深度Q网络的权重和偏值，使误差达到最小值，本文使用的损失函数为均方误差函数

对式（12）求一阶偏导数，可以将得到的误差逐层反向传递，进而更新卷积神经网络的参数：

左侧为更新后的和，η为学习率，依次类推，逐层更新由l层到l-1层的权重和偏置值。

2 基于深度Q学习和连续小波变换的旋转机械故障诊断流程

所提故障诊断方法流程图如图4所示。智能体由深度Q网络、目标网络、以及回放记忆单元等构成，智能体通过卷积神经网络可以感知数据状态的抽象表征，同时根据环境反馈奖励值进行策略学习。

主要步骤如下：

1）采集数据与划分

合理布置加速度传感器的位置，采集到的时域数据划分方式如下：确定数据状态（即样本）个数Ns=lt/ls，其中lt为时域信号长度，ls为样本长度。由此，可得到某个时域数据状态，下标k表示状态序列，上标td表示时域数据。

2）环境状态空间的构建

将故障类型映射到动作空间集A={a1=0，a2=1，…，ai=n-1}，n为故障类型数。可得到某故障类型的数据状态空间集

式中 i

3）训练深度Q网络

智能体根据某故障类型的数据状态sk决策出动作ai，即决策出故障类型;然后环境根据动作ai利用公式（18）返回对应故障类型的下一数据状态空间中某个状态sk'，同时根据公式（13）对当前的决策结果进行评价，给予奖励值r。回放记忆单元将每一次的交互数据（sk，ai，r，sk'）存储在回放记忆单元D中，然后随机抽取K个样本输入到深度Q网络和目标网络，采用随机梯度下降法来减少公式（14）中的误差值，同时更新深度Q网络的权重和偏置值参数以最大化Q函数值。

4）故障诊断结果输出

将测试样本输入到深度Q网络，输出诊断结果。

3 实验验证

3.1 实验数据描述

通过动力传动故障诊断综合实验台[16]进行实验，该齿轮箱中齿轮和轴承均存在故障，实验台如图5所示，故障类型及描述如表2所示。

表2中，齿轮故障类型包括断齿、缺齿、齿根裂纹、齿面磨损及正常共计5种。轴承故障包括滚动体、内圈、外圈、复合故障及正常5种。实验中在两种工况下采集到振动加速度信号，两种工况分别为：1. 电机转频20 Hz，负载电压0 V;2. 电机转频30 Hz，负载电压2 V。由于篇幅有限，具体采集过程可参考文献[17]的数据采集实验部分。

图6为齿轮箱中不同故障齿轮的时域波形图和幅值谱，不同故障的特征并不明显，如正常状态和齿面故障的波形极为相似，人工诊断极易出错。图7为对应的时间尺度图，可观察到不同故障类型的能量分布存在显著差异，如图中断齿故障和正常状态的能量分布具有差异。因此，信号通过CWT处理更能表达出不同故障之间的特征信息。

3.2 DQN参数确定

首先进行齿轮故障诊断实验。根据参考文献[7]和经过多次实验，所使用的网络结构如下：两层卷积层，每层卷积层卷积核的个数为C1=32，C2=32，C3=64，卷积核大小均为5×5，且每层卷积层后连接2×2池化层，池化方式采用平均池化方式;第一层全连接层神经元个数为F1，第二层隐藏层神经元个数为1024;輸出层神经元个数为5，即故障类型个数。每个工况下的每类故障样本量为150，训练集∶测试集=7∶3。

对于DQN参数设置，目前主要通过经验和采用控制变量法进行调参后确定。因篇幅有限，以Q函数学习率δ和神经网络学习率η的调参过程为例进行说明。表3为不同δ，η数值下得出的诊断结果。观察表3，不同参数下智能体学习到的策略存在一定差异，从而得到不同的诊断精度，当η=0.06，δ=1时，在工况20 Hz?0 V， 30 Hz?2 V时分别为99.76%， 94.51%，同时达到最大值。因此选定参数η=0.06，δ=1，其他参数的设定过程类似。通过不断调参分析后参数设置如表4所示。

3.3 实验验证及分析

为验证所提方法的优越性，与文献[8]S变换+CNN方法、文献[18]STFT变换+CNN方法、CNN和CWT+CNN诊断方法进行了对比。

表5为对应的卷积神经网络结构参数设置情况，其中卷积层C包含卷积核个数和卷积核大小两个参数，池化层P包含层数和池化大小两个参数，全连接层F只有神经元数目一个参数，所有输入层I和输出层O的参数设置一样，输入维度为34×34×1，输出维度大小为故障类型个数。

图8（a）显示了在训练过程中智能体获得奖励值的情况，可以看到随着智能体不断学习，决策能力逐渐提高，从而得到更多的奖励值，最后达到平稳状态。图8（b）显示了在训练过程中准确率的变化，由于决策能力逐渐提高，准确率逐渐提升，最终在20 Hz?0 V时最大达到99.76%，30 Hz?2 V时达到94.51%。

图9显示了工况为20 Hz?0 V时，训练过程中均方误差值和Q函数平均值的变化情况。图9（a）显示了均方误差代价函数的变换情况，随着迭代次数的增加，误差越来越小，最后趋于平缓。图9（b）显示了Q函数值的变化情况：（1）在初始阶段，由于网络参数还不稳定，决策能力弱，Q函数值波动较大。（2）在最后阶段，Q函数曲线趋于平稳，表明深度Q网络具有收敛性，最终学习到最优策略，决策出故障类别。

表6为不同方法下齿轮箱的故障的识别结果。根据该表可看出：1）通过时频分析方法预处理原始数据后的准确率远高于直接利用CNN对原始数据进行学习的准确率;2）因ST， STFT对振动信号的时频特征展现不佳，使ST+CNN， STFT+CNN的准确率均低于CWT+CNN;3）CWT+CNN的准确率低于所提方法，但只是略低（平均准确率低2.21%），说明充分发挥CNN的特征学习能力可以获得较好的准确率。同时，也证明所提方法融合了深度学习特征学习能力与决策能力，可取得更好的结果，但优势并不突出。故后文分析不同样本量时各方法的表现，以进一步证明所提方法的优势。

为验证在不同样本量下所提方法的优势，将两种工况的每类故障样本量设为如表7所示，每种工况按比例7∶3，5∶5得到训练集、测试集，混合两种工况的训练集进行训练。诊断准确率与样本量的关系曲线如图10所示，根据该图，在样本量较少时，所提方法准确率明显高于其他方法，且不同样本量下准确率的波动小，验证了在混合两种不同工况样本下进行训练诊断时，结合特征提取能力和决策能力的深度Q网络具有更好的诊断优势。也说明，训练样本量不足会限制以CNN为代表的深度神经网络的特征学习能力，导致结果不佳。

3.4 齿轮和轴承综合诊断实验验证

为了进一步验证所提方法的优越性，将齿轮箱中的齿轮故障与轴承故障综合进行实验验证。即故障类型包括：断齿、缺齿、齿根裂纹、齿面磨、滚动体、内圈、外圈、复合故障（内外圈均有）以及正常共计9类。使用所提方法进行诊断实验。同时CNN，ST+CNN，STFT+CNN，CWT+CNN模型均与上一节相同，实验结果如表8所示，图11为不同样本量下的实验结果。

观察表8和图11，在包含齿轮和轴承故障类型时，所提方法与前文的表现类似。在样本量充分时，所提方法表现最好，但优势不突出。而在样本量不足时，仅仅依靠深度学习的特征感知能力并不能得到满意的结果，而融合了深度学习的特征感知与强化学习的决策能力的所提方法可以获得满意结果，进一步证明了所提方法的优势。

从图10和11可以看到CNN，ST+CNN，STFT+CNN随着样本序号的增加准确率出现降低的情况，这是因为训练样本包含了两种工况，且两种工况的样本量配置不平衡，随着样本量的增加，由于不同的诊断模型具有不同的性能，因此有可能存在随着样本量的增加识别精度下降的情况。

在训练过程中，由于深度Q学习与CWT+CNN中卷积神经网络的结构参数一样，所以两者的网络模型的复杂度一样。但由于深度Q学习包含了两个网络模型（深度Q网络和目标网络），训练时耗时会增加。表9为两种方法的时间对比，可发现所提方法的训练时间明显大于CWT+CNN，但是实际诊断过程中是使用训练好的模型进行诊断，所需的诊断时间非常少（不超过1 s）。其中电脑配置如下：操作系统WIN10;处理器为inter（R） Core（TM） i5?4210M CPU@2.6 GHz;内存容量8 GB;显卡为NVIDIA GeForce GTX850M。

4 结 论

本文针对故障诊断中深度神经网络感知能力强、决策能力弱的问题，提出了基于深度Q学习和连续小波变换的旋转机械故障诊断方法。利用连续小波变换挖掘信号的二维时间尺度特征信息，将时间尺度矩阵作为智能体的当前状态，输入到深度Q网络中提取状态特征;同时通过Q?learning算法进行策略学习，然后环境对智能体做出的动作进行评价。通过智能体与环境之间不停的交互“试错”，更新策略以提升决策能力，最终得到最优策略实现故障诊断。这种方法融合了深度学习的特征学习能力与强化学习的决策能力，在样本量有限时优势突出，进一步发展了基于深度学习的故障诊断理论与方法。

参考文献：

[1] 雷亚国，贾 峰，孔德同， 等.大數据下机械智能故障诊断的机遇与挑战[J]. 机械工程学报， 2018， 54（5）： 94-104.

LEI Yaguo， JIA Feng， KONG Detong， et al. Opportunities and challenges of machinery intelligent fault diagnosis in big data era[J]. Journal of Mechanical Engineering， 2018， 54（5）： 94-104.

[2] Lei Y， Jia F， Lin J， et al. An intelligent fault diagnosis method using unsupervised feature learning towards mechanical big data[J]. IEEE Transactions on Industrial Electronics， 2016， 63（5）： 3137-3147.

[3] Zhao Rui， Yan Ruqiang， Chen Zhenghua， et al. Deep learning and its applications to machine health monitoring[J]. Mechanical Systems and Signal Processing， 2019， 115： 213-237.

[4] 胡茑庆， 陈徽鹏， 程 哲， 等. 基于经验模态分解和深度卷积神经网络的齿轮箱故障诊断方法[J]. 机械工程学报， 2019， 55（7）： 9-18.

HU Niaoqing， CHEN Huipeng， CHENG Zhe， et al. Fault diagnosis for gearbox based on emd and deep convolutional neural networks[J].Journal of Mechanical Engineering， 2019， 55（7）： 9-18.

[5] 李巍華， 单外平， 曾雪琼. 基于深度信念网络的轴承故障分类识别[J]. 振动工程学报， 2016， 29（2）： 340-347.

LI Weihua， SHAN Waiping， ZENG Xueqiong. Bearing fault classification and recognition based on deep belief network[J]. Journal of Vibration Engineering， 2016， 29（2）： 340-347.

[6] Cao L， Zhang J， Wang J Y， et al. Intelligent fault diagnosis of wind turbine gearbox based on long short-term memory networks[C]. 2019 IEEE 28th International Symposium on Industrial Electronics （ISIE）. IEEE， 2019： 890-895.

[7] Chen R， Huang X， Yang L， et al. Intelligent fault diagnosis method of gearboxes based on convolution neural network and discrete wavelet transform[J]. Computers in Industry， 2019， 106： 48-59.

[8] Zeng X， Liao Y， Li W. Gearbox fault classification using S-transform and convolutional neural network[C]. International Conference on Sensing Technology. IEEE， 2016.

[9] Lake B M， Salakhutdinov R， Tenenbaum J B. Human-level concept learning through probabilistic program induction[J]. Science， 2015， 350（6266）： 1332-1338.

[10] Mnih V， Kavukcuoglu K， Silver D， et al. Playing atari with deep reinforcement learning[J]. 2013， arXiv：1312.5602.

[11] Mnih V， Kavukcuoglu K， Silver D， et al. Human-level control through deep reinforcement learning[J]. Nature， 2015， 518（7540）： 529.

[12] 刘 全， 翟建伟， 章宗长， 等. 深度强化学习综述[J]. 计算机学报， 2018， 41（1）： 1-27.

LIU Quan， ZHAI Jianwei， ZHANG Zong-zhang， et al. A survey on deep reinforcement learning[J]. Chinese Journal of Computers， 2018， 41（1）： 1-27.

[13] 林 京， 屈梁生. 基于连续小波变换的信号检测技术与故障诊断[J]. 机械工程学报， 2000， 36（12）： 95-100.

LIN Jing， QU Liangsheng. Feature detection and fault diagnosis based on continuous wavelet transform[J]. Journal of Mechanical Engineering， 2000， 36（12）： 95-100.

[14] Singh S， Jaakkola T， Littman M L， et al. Convergence results for single-step on-policy reinforcement-learning algorithms[J]. Machine Learning， 2000， 38（3）： 287-308.

[15] Watkins C J C H. Learning from delayed rewards[D]. Cambridge： University of Cambridge， 1989.

[16] Shao Siyu. Mechanical-datasetst[DS]. https：//github.com/cathysiyu/Mechanical-datasets， 2018.1.17.

[17] Shao Siyu， McAleer S， Yan Ruqiang， et al. Highly-accurate machine fault diagnosis using deep transfer learning[J]. IEEE Transactions on Industrial Informatics， 2019， 15（4）： 2446-2455.

[18] 李 恒， 張 氢， 秦仙蓉， 等. 基于短时傅里叶变换和卷积神经网络的轴承故障诊断方法[J]. 振动与冲击， 2018， 37（19）： 132-139.

LI Heng， ZHANG Qing， QIN Xianrong， et al. Fault diagnosis method for rolling bearings based on short-time Fourier transform and convolution neural network[J]. Journal of Vibration and Shock， 2018， 37（19）： 132-139.

作者简介： 陈仁祥（1983-），男，博士，教授，硕士生导师。电话： （023）62539903; E-mail： manlou.yue@126.com

通讯作者： 胡小林（1984-），男，硕士，讲师。电话：13594019266;E-mail：huxl0918@163.com