基于LSTM参数动态更新的滚动轴承剩余寿命预测

王 典

（西安工程大学机电工程学院，西安 710600）

0 引言

设备的失效或故障会带来极大的安全隐患，对设备剩余使用寿命的预测和提前维护是非常有必要的［1-2］。基于深度学习的方法是RUL预测中最流行的方法之一［3］。

堆叠自动编码器作为传统的深度学习方法，能够提取到更加精确的特征，但是由于剩余寿命预测的时间相关性特点，AE方法无法提取到时序数据的时间相关性特征［4-5］，因此后来人们提出循环神经网络模型（RNN）。RNN能够建立数据之间的时间相关性关系，但其记忆能力有限，存在梯度消失的问题［6］。长短期记忆神经网络（LSTM）应运而生，其在保持RNN网络结构的基础上重新设计了计算节点，使其能够记住较长时间之前的信息，在语音识别等领域效果显著［7-8］。然而LSTM在设备RUL预测上的应用是极少的，如何利用非全生命周期数据，以及如何利用LSTM的优势对这类数据建立有效的RUL预测模型是非常重要的问题［9-10］。

本文以网络参数优化为目标，提出了一种基于代价最小化的参数，实时更新LSTM预测模型，能够利用非全生命周期数据建立RUL预测模型，并随着设备运行利用采集到的数据对已建立的模型参数进行逐步优化更新。通过仿真实验验证了所提出的实时更新LSTM模型在小样本的时间序列预测中具有很强的适用性和更高的准确性。

1 LSTM预测模型

LSTM是一种用于时间序列分析的RNN网络，其在RNN的基础上引入了判断信息是否符合要求的门限结构来控制信息的累积速度——输入门、遗忘门、输出门，其核心是一个Sigmoid神经网络层和一个Pointwise乘法操作。Sigmoid层的输出在0～1，0为不允许任何量通过，1为允许任意量通过。借助这种结构对新信息进行记忆和更新，从而解决长期依赖的问题。LSTM单元结构如图1所示，每一个LSTM的神经单元是由细胞状态即长期状态和短期状态、输入门、遗忘门、输出门所组成。

图1 LSTM单元结构

所谓的细胞状态，可以将其理解为一个存储信息的容器，通过输入门、遗忘门、输出门的过程控制，逐步对容器中的信息进行增减变化和输出。在每一个神经单元中，细胞状态经历了遗忘门的遗忘过程，输入门的输入过程以及向输出门进行输出信息的过程。

LSTM的网络训练过程描述如下。

步骤1：进行训练数据预处理（归一化等操作）。

步骤2：初始化网络的权重偏置参数以及网络的超参。

步骤3：LSTM的前向运算过程，得到LSTM的预测值。

步骤4：求出预测值与实际值之间误差（常见有均方误差等）。

步骤5：判断是否达到误差阈值或最大迭代次数，是则退出训练，否则利用BPTT算法进行网络参数的更新，然后转向步骤3循环进行，直到满足条件，退出循环。LSTM工作流程如图2所示。

图2 LSTM训练流程

2 参数实时更新的LSTM预测模型

本文从实际问题出发，在只有少量的非全生命周期样本下建立模型。首先采用离散小波变换对已知滚动轴承振动数据进行去噪并提取时频域特征完成LSTM的训练与测试，然后利用在线监测数据得出该时刻相应的预测值，下一时刻新的数据来时即可作为该预测值的真实值，将求出的预测值与真实值的误差加入样本整体误差中对模型参数进行迭代更新，通过这样循环更新参数。

假设实际时间序列为X（x1，x2，x3，…，xn），改进后的LSTM步骤如下。

步骤1：将X（x1，x2，x3，…，xn）扩维成X，其中n为时间序列长度，k为样本维度，样本个数为n-k+1，训练数据的标签为y= （xk，xk+1，…，xn）。

步骤2：初始化网络参数，例如遗忘门的权重Wf和偏置bf，同理还有输入门、输出门等。设置误差阈值Error_Cost，最大迭代次数Max_iter等超参。

步骤3：计算t时刻需要从t-1时刻的细胞状态遗忘的哪些信息。首先计算遗忘门的输出ft=σ（Wf·［ht-1，xt］+bf），然后将遗忘门的输出与t-1时的细胞状态进行乘法操作ft·Ct-1。

步骤4：计算t时刻哪些输入信息可以留在t时刻的细胞状态中。一是输入门的输出it=σ（Wi·［ht-1，xt］+bi）；二是用tanh层创建一个新的候选值相量=tanh（WC·［ht-1，xt］+bC），然后将输入门的输出与候选值相量进行乘法操作it·。

步骤5：计算t时刻的细胞状态Ct，是由遗忘门和输入门对细胞状态共同作用的结果Ct=ft·Ct-1+it·。

步骤6：计算t时刻的网络输出。首先计算输出门的输出ot=σ（Wo·［ht-1，xt］+bo），然后得到当前时刻的输出，即预测值ht=ot·tanh（Ct）。

步骤7：计算样本整体误差并判断是否达到误差阈值或最大迭代次数，是则退出训练，否则利用BPTT算法进行网络参数的更新。

步骤8：新样本Xn+1（xn-k+2，…，xn+1）与θ0进行步骤3～6所示LSTM的前向运算得到hn+1，利用该网络得出新样本的预测值hn+1，当采集到数据Xn+2（xn-k+3，…，xn+2）时，即可将xn+2作为预测值hn+1的真实值标签，计算总体误差error=error+（hn+1-xn+2）2。再利用BPTT算法将模型参数更新为θ1=（Wf-λ·ΔWf，…，bf-λ·Δbf），其中λ为学习率，ΔWf和Δbf分别为各层神经元权值和偏置的梯度矩阵和向量。由于加入新数据时参数初始化即为历史数据的最优点附近，故达到新数据更优的全局最优解只需几步的更新。

步骤9：当下一时刻的预测值达到故障点时即发出故障预警，及时做出反应，防止更大的损失甚至安全事故发生。

其中，xt、ht分别为t时刻网络的输入和输出；W和b分别为输入门、输出门、遗忘门和细胞状态的权重矩阵和偏置；σ为Sigmoid函数；φ为tanh函数。

最后通过BPTT算法进行误差计算和梯度计算得到LSTM模型的优化参数。

改进LSTM流程如图3所示。

图3 寿命预测模型框架结构

3 实验分析

本文搭建基于代价最小化的参数实时更新LSTM预测模型，通过小波降噪与时频域特征提取，最大程度地保留了原始信号中包含的滚动轴承退化信息，并充分利用LSTM网络处理时间序列数据的优势，提高了寿命预测精度。

3.1 实验数据处理

本文实验数据采用美国辛辛那提大学轴承实验室试验数据，其采样频率20 kHz，每隔10 min采集1个实验样本。滚动轴承运行前中期较为稳定，其振动数据也处于相对平稳状态，因此本文对滚动轴承磨损前中期不予分析。

滚动轴承退化预测最重要的是在其失效前进行及时、准确地预测，但滚动轴承剩余寿命预测的准确性很大程度上取决于数据降噪和特征提取。为提高深度特征提取的准确性，本文在进行时频域特征提取之前，首先采用小波降噪对原始数据进行处理，原始信号及小波去噪后的波形图如图4所示。经过对比可以看出，经过小波降噪可以去除与滚动轴承退化无关的冗余信息，提高预测精度。

图4 小波降噪结果

3.2 开始预测点（SPT）选择

由于滚动轴承的寿命相对其他零部件较长，其寿命预测起始点的选择会影响模型训练和测试的效率以及准确性，进而将影响寿命预测的准确性，所以选择合适的滚动轴承剩余寿命预测起始点，对于提高预测精度和减少预测时间是极其重要的。

在滚动轴承运行早期对其寿命进行预测，在一定程度上会明显降低预测精度，相对而言，在滚动轴承寿命后期预测其寿命无法起到提前维修或者更换的目的。因此能在保证一定预测精度下，选择合适的SPT点进行滚动轴承寿命预测是十分必要的［11-13］。

为进一步验证开始预测点对预测结果的影响，本文选择不同的预测起始点进行模型训练。不同起始点的预测结果对比如表1所示。从表中可以看出，开始预测点越早模型训练时间越长，在保证一定预测精度的同时，选择从第684组样本数据开始进行剩余寿命预测效果较好。

表1 不同起始点的预测结果对比

3.3 LSTM模型预测

为了确定被测轴承何时到达预期寿命，根据3.2节起始预测点的选择完成对模型的训练和测试。预测结果如图5所示，实线为实际寿命，虚线为改进LSTM预测的寿命曲线。可以明显看出，通过LSTM得到的预测值与真实值变化趋势相同，这表明对滚动轴承振动信号采用时频域特征提取后进行LSTM剩余寿命预测的方法是有效的。

图5 LSTM寿命预测

为验证LSTM可以充分利用具有时间相关性的退化历史数据的优越性，将本文方法与BP神经网络和ELM进行对比试验。表2所示为3种方法的预测误差，基于参数动态更新的LSTM寿命预测方法RMSE=0.072 7，MAPE=0.206 5，小于其他两种方法，因此该方法可以准确预测滚动轴承剩余寿命。

表2 预测误差

4 结束语

针对传统LSTM模型无法有效利用非全生命周期的数据建立优秀的RUL预测模型，以及无法合理利用在线数据的问题，提出以误差最小化为目标的参数动态更新方法，以解决小样本数据的在线建模以及模型修正问题。以美国辛辛那提大学轴承实验室数据为例，证明该方法能够有效地用于滚动轴承寿命预测中，在工程应用方面具有较高的实际价值。基于目前的工作，后续可以展开进一步研究，比如从LSTM模型参数入手，寻求更有效的参数优化方法。此外，未来也可以将非数值型的数据，比如图片数据进行数据融合，使得抽取出来的特征更加全面，更准确地建立预测模型。