基于动态加权卷积长短时记忆网络的滚动轴承剩余寿命预测方法

蒋全胜，许伟洋，朱俊俊，沈晔湖，徐丰羽

(1.苏州科技大学 机械工程学院，苏州 215009；2.南京邮电大学 自动化学院，南京 210003)

作为旋转机械中的重要部件，滚动轴承的健康状况直接关系到整个旋转机械的工作状态。据统计，在使用滚动轴承的工业旋转机械装备中，约51%的机械故障与轴承损伤相关联[1]。一旦轴承发生故障，会严重影响机械系统的安全性，甚至造成严重的经济损失[2-3]。因此，滚动轴承剩余使用寿命(remaining useful life，RUL)预测是设备运维的重要保障。利用预测的RUL可以进行合理维护，从而避免重大安全事故发生[4-5]。

滚动轴承的振动信号包含丰富的轴承退化状态信息，基于振动信号的轴承RUL预测方法主要有基于模型的方法和基于数据驱动的方法[6]。基于模型的方法一般依赖于系统退化的数学描述，需要根据准确而具体的关于系统退化或损伤传播过程的物理知识来建立物理模型，而这些知识通常难以获取[7]。数据驱动方法主要采用机器学习和深度学习技术，利用测量数据揭示机械系统的动态特性[8]。近年来，深度学习方法已被成功应用于估计RUL。如Qin等[9]提出了一种基于带有两个注意门的门控循环神经网络，用于预测轴承RUL。Lee等[10]将滚动轴承的振动信号划分为多个通道，输入卷积神经网络提取远程数据点之间的关系来预测RUL。Yan等[11]利用频域指标训练长短时记忆模型来预测变速箱的RUL。数据驱动的预测方法不依赖于轴承的物理参数和工作条件，需要较少的经验知识，在实际工程中有广阔的发展前景。

目前基于数据驱动的滚动轴承RUL预测方法尚存在以下问题：所构建模型的算法收敛速度较慢，导致模型训练耗时过长；模型在特征提取环节不能有效提取对轴承退化过程敏感的特征集，从而导致训练效率较低；网络模型对样本的依赖性较高，难以从数据集中选取样本组成有效训练集；网络训练能力和预测能力出现负相关化，导致训练的模型难以较好地挖掘样本的内在特征等。对于算法收敛慢，模型训练耗时长以及训练效率低等问题，Lu等[12]通过构建特征矩阵结合卷积神经网络的模型进行故障诊断，在时间维度上降低了学习的计算量，同时提高了轴承故障分类的准确性。张继东等[13]用卷积神经网络的卷积层和池化层替代全连接层，利用卷积层的局部共享特性来减少模型需要训练的参数，提高了轴承RUL预测准确性。针对网络模型对样本依赖高及特征提取效率低问题，熊鹏等[14]提出一种基于动态加权密集连接卷积网络的变转速行星齿轮箱故障诊断方法，通过加权的方式自适应筛选振动信号子频带中具有判别性的信息，同时去除大量的冗余信息。Ren等[15]提出了一种时域和频域特征相结合并集成深度学习的轴承RUL预测方法，以提高轴承RUL预测的精准度。曹正志等[16]提出了一种卷积神经网络和双向长短时记忆网络相结合的方法，通过引入注意力机制来加强对轴承转动周期相互依赖特征的挖掘，提高了寿命预测的有效性。上述方法在模型训练的耗时时长和RUL预测精度两方面不能兼顾，且RUL预测精度仍有待进一步提升。

针对数据驱动方法在滚动轴承RUL预测中不能有效提取对轴承退化过程敏感的特征信息，从而导致RUL预测精度不足和训练模型时间长的问题，提出一种基于动态加权卷积长短时记忆网络的滚动轴承RUL预测方法。本文的主要贡献有3个方面：

(1) 提出一种小波包系数矩阵动态加权算法，用于构建小波包分解网络层和动态加权网络层，对轴承振动信号进行小波包分解，提取小波包系数矩阵，结合相关评价指标通过动态加权的方式实现对轴承退化的表征信息进行有效筛选。

(2) 在动态加权网络层的基础上，结合卷积神经网络强大的特征提取能力及长短时记忆网络善于预测时间信息序列的优势，提出一种用于滚动轴承RUL预测的端到端DW-CNN-LSTM方法。

(3) 确定DW-CNN-LSTM网络模型中动态加权网络层迭代更新和CNN-LSTM网络的损失函数。将网络中全连接输出层的均方根误差函数作为二者的损失函数，以根据误差修正需求，自适应调整不同子频带的小波系数在寿命预测中的权重，从而提高滚动轴承RUL预测精度。

为了验证所提方法的有效性，分别通过XJTU-SY轴承数据集和IMS数据集对所提方法进行性能试验验证。并与GRU、LSTM等数据驱动方法进行了性能对比。

1 理论背景

1.1 小波包系数矩阵加权

在滚动轴承的全寿命周期中，其退化特征量对于相关性[23]、鲁棒性、峭度等指标较为敏感，因此选取这3项指标作为小波包系数矩阵的权重加权评判依据。相关性可度量时序性信号之间随着时间变化的相关程度；鲁棒性可表征信号序列的抗干扰及抗噪声能力；峭度对信号中的冲击性趋势变化较敏感，能较好表征信号对退化趋势的敏感性。

对于信号G=[g(t1),g(t2),…,g(tN)]，g(tN)表示时间为tN处的对应特征点，N为样本总长度。这里相关性指标记为Corr(G,Gt-x)、鲁棒性指标记为Rob(G)、峭度指标记为K(G)。该3项指标计算如下

(1)

(2)

(3)

式中：Gt-x表示信号G序列前移x项生成的序列；g(tN)=gT(tN)+gR(tN)表示用滑动平均法将信号g(tN)分解成平稳趋势gT(tN)和随机余量gR(tN)；SD表示信号G的标准差。

定义小波包系数矩阵加权层中的权重表达式如下：

(4)

1.2 卷积神经网络

卷积神经网络(convolutional neural networks,CNN)作为一种典型的深度学习方法，具有强大的特征提取能力[24]。利用CNN可以对构建的加权小波包系数矩阵提取出对轴承退化过程敏感的特征集。

CNN一般由卷积层和池化层结构相堆叠组成。由卷积层对上一层的输出进行卷积操作，加上偏置后再通过激活函数得到一系列特征输出，卷积过程的数学表达式如下

xi+1=Wi⊗xi+bi

(5)

式中：xi为当前层的输入特征；xi+1表示卷积计算后得到的特征；⊗表示卷积运算符；Wi表示卷积核权重；bi为偏置。

池化层主要对卷积层的输出特征进行池化操作，用不同特征区域的总体统计特征来代替网络的相应输出[25]。池化的主要目的是对数据特征进行子采样，保持特征尺度不变性的前提下减小数据量，以减小过拟合的风险。最大值池化是卷积神经网络中一种常见的池化方式，其表达式如下

max-pooling(g[i-1],g[i],g[i+1])=

max(g[i-1],g[i],g[i+1])

(6)

式中:max-pooling即最大池化；g[i]为第i个张量；g[i-1]为第i-1个张量；g[i+1]为第i+1个张量；max(·)表示取三者中的最大值。

1.3 长短时记忆网络

长短时记忆(long-short term memory,LSTM)网络作为一种典型的循环神经网络[26]，可解决一般循环神经网络存在的长期依赖问题。LSTM网络通过门结构来获取长时间窗中的依赖关系，网络中的激活函数实现短期记忆，权重的更新用于长时记忆。通过引入一个新的内部状态ct专门进行线性的循环信息传递，同时将非线性的信息输出给隐藏层的外部状态ht。LSTM单元结构见图1。

图1 LSTM单元结构Fig.1 LSTM cell structure

LSTM 的核心是单元状态，它沿时间序列传输相关信息，实现其状态的更新由遗忘门kt、输入门it、输出门ot决定。各门的更新公式如下[27]：

(7)

(8)

ht=ot⊙tanh(ct)

(9)

2 提出的滚动轴承寿命预测方法

针对数据驱动方法在滚动轴承RUL预测中不能有效提取对轴承退化过程敏感的特征信息的问题，提出一种基于动态加权卷积长短时记忆网络的滚动轴承RUL预测方法(DW-CNN-LSTM)。该方法以轴承振动信号作为输入，将其进行小波包分解得到小波包系数矩阵，再由小波包系数矩阵动态加权层进行动态加权重构，然后结合CNN快速高效的特征提取能力以及LSTM强大的时间序列预测优势，构建了DW-CNN-LSTM模型，利用其学习出对轴承退化过程敏感的特征集，最后提取出有效的退化特征信息，以达到提高滚动轴承RUL预测精度的目的。

2.1 小波包系数矩阵动态加权层

构建如图2所示动态加权模块，在神经网络的各层特征图中，不同列的特征表示来自不同子频带的信息。依据前述三项指标构建了权重表达式(4)，该权重在训练过程中与其他参数一起进行训练，以自适应的调整不同子频带的小波系数在寿命预测中的重要程度，进而实现了对不同子频带的信息进行动态加权，其中Wj表示第j列的独立权重。

图2 动态加权Fig.2 Dynamic weighting diagram

在图2的加权过程中，特征图的各列分别乘以对应的独立权值，可表示为

(10)

(11)

式中：α,β,γ分别表示需要动态更新的权重内部参数；ξ表示学习率；E表示所构建网络中全连接输出层的均方根误差函数。

2.2 基于DW-CNN-LSTM的滚动轴承RUL预测

为了进一步提高滚动轴承RUL预测的精度与模型训练的效率，建立了基DW-CNN-LSTM的滚动轴承RUL预测模型，如图3所示。该模型由一个小波包分解层、一个动态加权层(小波包系数矩阵动态加权层，DW层)、一个CNN层和池化层、两个LSTM层、一个Dropout层[28]、一个展平层、两个全连接层和一个映射输出层构成。在该RUL预测模型中，首先由CNN对动态加权小波包系数矩阵进行特征提取，其次由两级LSTM层进行退化特征提取，再由全连接层输出获得滚动轴承的RUL百分比值，最终由映射输出层获得滚动轴承的RUL。第一层CNN提取低维退化特征，为获取轴承退化过程敏感的特征集，同时利用双层LSTM提取高维退化特征。LSTM相对于CNN能够获取滚动轴承时序信号中的特征信息，形成复合信息特征图，最终刻画出轴承退化特征信息与剩余寿命之间的映射特征。

基于DW-CNN-LSTM模型的滚动轴承寿命预测方法的具体实现步骤如下：

步骤1将滚动轴承振动信号划分为训练样本集、验证样本集和测试样本集，构建网络训练所需的数据库。

步骤2构建DW-CNN-LSTM模型的网络结构(如图3所示)，确定表1所示的网络结构参数。

表1 DW-CNN-LSTM网络的结构参数Tab.1 Structure parameters of DW-CNN-LSTM network

图3 基于DW-CNN-LSTM的滚动轴承RUL预测模型Fig.3 Rolling bearing RUL prediction model based on DW-CNN-LSTM

步骤3训练基于DW-CNN-LSTM的滚动轴承RUL预测模型：以轴承振动信号作为DW-CNN-LSTM模型的输入，按照式(12)以数据采样点的当前剩余寿命占全寿命周期的百分比yn为标签，并采用随机梯度下降法对模型中的权重(包括小波包系数矩阵的权重)和偏置进行训练更新。

(12)

式中，T为滚动轴承总寿命周期，tn为第n个数据点对应的轴承工作时间。

步骤4应用DW-CNN-LSTM模型进行滚动轴承寿命预测：将轴承振动信号作为已训练的DW-CNN-LSTM模型的输入，进行前向传播计算，以获得轴承退化特征信息与预测点剩余寿命百分比之间的映射关联。由DW-CNN-LSTM模型全连接层得到预测点剩余寿命百分比，结合式(13)计算得到预测点的轴承RUL在模型的映射输出层输出。

(13)

式中，tn为第n个数据点对应的轴承工作时间，yn为模型预测出的第n个数据点当前剩余寿命所占全寿命周期的百分比，RULn为所预测第n个数据点的剩余使用寿命。

2.3 评价指标

为了验证本文所提方法的有效性，采用均方根误差(RMSE)和Accuracy[29]作为RUL评价指标。其中RMSE能准确反映预测值和真实值之间的平均偏离程度，RMSE越低表明模型性能越好；Accuracy表示RUL预测准确率。RMSE和Accuracy计算如下

(14)

(15)

式中：hi为第i个时间点的预测误差值，hi=预测剩余寿命-真实剩余寿命；N为总时间点数。

定义A方法相对于B方法的相对均方根误差和预测准确度的计算公式如下

(16)

(17)

3 试验分析

为了验证所提滚动轴承RUL预测方法的有效性，基于TensorFlow环境建立DW-CNN-LSTM网络模型，分别采用XJTU-SY 轴承数据集和IMS轴承数据集进行试验，并与LSTM等4种典型数据驱动预测方法进行性能对比。计算机的硬件配置为：Intel Core i7-10700，GeForce GTX1660 SUPER，16 GB RAM。

3.1 试验1：XJTU-SY滚动轴承数据集

(1) 数据集介绍

本组试验选取自XJTU-SY 滚动轴承加速寿命试验数据集[30]。图4为该加速寿命试验的测试平台。该数据采集于型号为LDK UER204的轴承在转速为2 100 r/min，径向载荷为12 kN的工况下的五个轴承振动信号。试验中设置采样频率为 25.6 kHz，采样时长为1.28 s，采样间隔为1 min。选取4、5号轴承用于模型的训练，1、2、3号轴承用于模型的性能测试。该工况下前四个轴承总寿命相近，均在2小时30分左右，第五个轴承总寿命相对较短，大约在1小时左右。

图4 XJTU-SY轴承加速寿命试验台Fig.4 XJTU-SY bearing accelerated life test bench

首先对上述轴承全寿命周期振动信号进行数据集样本划分。将4、5号轴承全寿命周期的数据进行等比抽样70%划分为训练集，等比抽样30%划分为验证集来训练模型以及调整模型的超参。再将1、2、3号轴承全寿命周期的数据进行等比抽样30%划分为测试集。以数据采样点的当前剩余寿命占全寿命周期的百分比为标签对每个样本进行标注。试验所用数据信息如表2所示。

表2 试验1数据信息汇总Tab.2 Summary of experiment 1 data

(2) 轴承寿命预测分析

选取GRU、LSTM两个经典寿命预测模型，以及全卷积层神经网络模型和双通道网络模型，与本文所提DW-CNN-LSTM模型进行预测性能对比。此外，为进一步验证本文所提动态加权方法的性能，采用W-CNN-LSTM模型(在不改变网络的主体构架下，只使用随机初始权重不进行动态加权)进行对比。对这6种预测方法均进行200轮训练来完成轴承寿命预测，试验结果如表3所示，图5给出了应用6种RUL预测方法的寿命预测结果。

表3 XJTU-SY轴承数据试验结果Tab.3 Experimental results of XJTU-SY bearing data

结合表3和图5(a)可知，全卷积层神经网络模型的训练耗时相对最少，但是预测精度不佳；而双通道网络模型预测精度较高，但训练耗时最高。设置的对照组W-CNN-LSTM模型预测精度远低于DW-CNN-LSTM模型，显示出动态加权的必要性。同时，所提DW-CNN-LSTM模型在训练耗时上仅略高于全卷积层神经网络模型，但取得的预测精度最高。尤其是相比于LSTM方法，所提DW-CNN-LSTM方法的归一化均方根误差平均降低了60.77%，预测准确度平均提高了8.48%，模型训练时间平均减少了41.62%。由图5(b)、(c)、(d)均可直观表明，所提DW-CNN-LSTM方法相比于另5种方法，取得了最优的寿命预测结果。

(a) 网络模型训练时间

3.2 试验2：IMS滚动轴承数据集

(1) 数据集介绍

本组试验选取IMS 滚动轴承加速寿命试验数据[31]。图6为该加速寿命试验的测试平台。该数据采集于型号为ZA-2115的轴承在转速为2 000 r/min，径向载荷为6 000 lbs的工况下的1-12号轴承振动信号。试验中设置采样频率为 20 kHz，采样时长为1 s，采样间隔为10 min。该工况下共分三次采集，每次有4个轴承一起运转，第一次数据采集工作截止运行时长为359小时10分钟，3、4号轴承处于失效阶段，此时1、2号轴承工作状态良好。第二次数据采集工作截止运行时长为163小时50分钟，5号轴承处于失效阶段，其时域波形图如图7中所示，此时6、7、8号轴承工作状态良好。

图6 IMS轴承加速寿命试验台Fig.6 IMS bearing accelerated life test bench

对上述轴承全寿命周期振动信号进行数据集样本划分。将3、4号轴承全寿命周期的数据降采样后进行等比抽样70%划分为训练集，等比抽样30%划分为验证集。再将5号轴承全寿命周期的数据降采样后进行等比抽样30%划分为测试集。以数据采样点的当前剩余寿命占全寿命周期的百分比为标签对每个样本进行标注，样本标签标注形式如图7所示。其中样本总数为17 332，训练集样本数为10 066，验证集样本数为4 314，测试集样本数为2 952。

图7 轴承5时域波形图及数据标签构建Fig.7 Time waveform of Bearing 5 and data label construction

(2) 轴承寿命预测分析

选取GRU、LSTM、全卷积层神经网络模型、双通道网络模型和W-CNN-LSTM模型，以及所提DW-CNN-LSTM模型对测试集进行寿命预测试验。各模型均进行200轮训练来完成寿命预测，试验结果如表4所示。

由表4和式(16)～(17)计算可知，相比于LSTM方法，所提DW-CNN-LSTM方法的归一化均方根误差平均降低了61.40%，预测准确度平均提高了11.43%，模型训练时间平均减少了46.66%。

表4 IMS轴承数据试验结果Tab.4 experimental results of IMS bearing data

基于上述全卷积层神经网络模型、双通道网络和DW-CNN-LSTM模型的轴承寿命预测曲线拟合结果如图8所示。图8中纵坐标表示轴承剩余使用寿命，横坐标表示轴承已工作的时间长度。由图8可知，采用3种方法预测的RUL曲线与真实RUL曲线在前期的拟合上都存在波动，但是DW-CNN-LSTM方法相对波动最小，同时以最快的加速度达到稳定，且最终与真实RUL曲线拟合效果最好。

图8 IMS轴承寿命预测曲线拟合结果Fig.8 Fitting results of IMS bearing RUL prediction curve

采用GRU、LSTM、全卷积层神经网络、双通道网络、W-CNN-LSTM和DW-CNN-LSTM这6种模型预测结果的Accuracy和归一化RMSE图分别如图9和图10所示。

由图9和图10可知，相比于GRU和LSTM等方法，DW-CNN-LSTM的预测平均准确率均最高，均方根误差均最低，且波动范围小，表明该方法具有最佳的预测精度和鲁棒性。

图9 IMS轴承寿命预测AccuracyFig.9 IMS bearing RUL prediction Accuracy

图10 IMS轴承寿命预测RMSEFig.10 IMS bearing RUL prediction RMSE

综合上述试验结果易见，本文所提DW-CNN-LSTM方法在模型训练上耗时仅略高于全卷积层神经网络，相比于GRU和LSTM等网络时间更短，且获得的均方根误差最低，预测准确率最高，轴承剩余寿命预测曲线与真实剩余寿命曲线最接近，进而表明了所提方法在滚动轴承寿命预测中的有效性。

4 结 论

针对现有数据驱动方法在滚动轴承RUL预测中不能有效提取轴承退化过程的敏感特征，导致预测精度不足和训练模型效率低的问题，提出了一种基于DW-CNN-LSTM的滚动轴承剩余寿命预测方法。该方法首先利用小波包系数矩阵动态加权算法，实现对轴承退化的表征信息进行有效筛选，并利用CNN强大的特征提取能力提取低维退化特征。同时由双层LSTM进一步提取其高维退化特征。最后建立轴承退化特征信息与剩余寿命之间的映射关联来实现回归预测。通过对XJTU-SY轴承数据集和IMS数据集的试验结果表明，DW-CNN-LSTM方法相比于GRU和LSTM等数据驱动方法，在滚动轴承RUL预测精度和网络模型训练效率上都取得了明显的性能提升，是一种有效的滚动轴承剩余寿命预测方法。

变工况下滚动轴承寿命预测是滚动轴承寿命预测问题中的难点。下一步工作将针对变工况复杂背景下滚动轴承剩余寿命预测问题开展研究。