基于改进LSTM的高速列车牵引电机轴承温度预测模型

王运明,周奕昂,彭国都,常振臣

(1.大连交通大学 自动化与电气工程学院,辽宁 大连 116028;2.中车长春轨道客车股份有限公司 国家工程技术中心,吉林 长春 130000)

牵引电机既是高速列车的动力来源,也是列车故障的易损坏部件[1],牵引电机的正常工作,是高速铁路安全正点运行的重要保障。牵引电机主要由定子、转子、轴承组成,而轴承是牵引电机中最容易发生故障的零件[2]。牵引电机轴承的温度信息是反映高速列车牵引电机故障的重要指标之一。因此,预测牵引电机轴承温度已成为准确预测高速列车牵引电机故障的重要手段。

近年来,基于数据驱动的机器学习方法逐渐成为温度预测领域的研究热点。皮骏等[3]建立了基于广义回归神经网络的航空发电机排气温度预测模型,提高了预测精度。王振阳等[4]采用支持向量机和极限学习机建立高炉铁水温度预测模型,支持向量机预测模型预测铁水误差在±10 ℃范围内的命中率可达到94%。随着深度学习技术的发展,循环神经网络(Recurrent Neural Network, RNN)通过引入时间步长信息,提高了温度预测的精度[5]。由RNN发展而来的长短记忆神经网络(Long Short-Term Memory, LSTM),解决了RNN存在的梯度消失和梯度爆炸问题[6],目前已被应用于故障诊断[7]、故障预测[8]、自然语言处理[9]等领域,并且已经成为时间序列预测问题的首选方法。刘树鑫等[10]建立了基于LSTM网络的交流接触器剩余寿命预测模型,采用灰色关联分析法(Grey Relation Analysis, GRA)和皮尔逊相关系数法(Pearson Correlation Coefficient, PCC)选取特征参量,预测精度明显高于RNN算法。吴飞等[11]采用LSTM网络预测刀具后刀面磨损值,采用粒子群算法(Particle Swarm Optimization, PSO)寻优网络学习率和隐藏层个数等参数。李冬辉等[12]和包晓安等[13]提出了改进的LSTM网络,将输入门与遗忘门相互耦合,用于冷水机组传感器故障预测和智能家居机器学习系统,达到实际应用需求。

为提高牵引电机轴承温度的预测精度,本文提出了一种基于改进LSTM的高速列车牵引电机轴承温度预测模型。该模型引入窥视孔模块,改进了LSTM网络结构,使得一个存储块包含多个细胞,共享3个控制门,适应长距离时间序列的牵引电机轴承温度数据,设计两层改进LSTM网络构成隐藏层,减少模型的计算量和训练耗时。最后,选取某动车组的历史运行数据进行测试与分析,试验结果表明,改进模型提高了牵引电机轴承温度的预测精度。

1 LSTM网络模型

RNN模型主要由输入层、隐藏层、输出层组成,RNN结构见图1。RNN模型借助隐藏层的数据持续更新实现参数的时间共享和循环提取时间信息,适合处理时间序列数据。RNN的前向传播公式为:

图1 RNN结构

ht=fa(Xt·Wxh+ht-1·Whh+bh)

(1)

yt=ht·Why+by

(2)

式中:Wxh、Whh、Why分别为权重系数;bh、by为偏置项;fa为激活函数(如tanh激活函数);t为时间。

LSTM是由RNN发展而来的,能够解决RNN存在的梯度消失和梯度爆炸问题,更加适应长距离的时间序列数据,LSTM内部结构见图2。

图2 LSTM内部结构

(3)

式中:Wf、Wi、Wo、Wc为待训练的参数矩阵;bf、bi、bo、bc为待训练的偏置项。LSTM采用基于梯度的反向传播方法更新权重参数。

2 牵引电机轴承温度预测模型

2.1 改进LSTM网络

高速列车牵引电机轴承温度数据存在数据量大、时间序列跨度大的特点,采用LSTM网络预测牵引电机轴承温度容易产生预测精度不高的问题。为此,本文在LSTM网络的基础上,优化网络结构,设计改进的LSTM网络模型(图3)。

图3 改进LSTM网络结构

改进的LSTM网络增加了窥视孔模块(Peephole),将上一时刻的细胞状态Ct-1引入输入门和遗忘门的输入中,将当前时刻的细胞状态Ct引入输出门的输入中,使得门控制机制在历史信息中也能学习,适应长距离时间序列的牵引电机轴承温度数据,提升温度预测精度。

2.2 窥视孔模块

LSTM结构中每个时刻的隐含层包含一个存储块(block),每个存储块包含一个细胞(cell)。窥视孔模块能够从细胞状态中学习到网络传播时产生的历史信息,提高时间敏感性,更精确地筛选网络需要更新、丢弃、输出的信息。为优化3个控制门的更新效果,引入窥视孔模块(Peephole),使得一个存储块包含多个细胞,这些细胞共享3个控制门。增加窥视孔模块后,LSTM更新方案调整为:更新输入门、遗忘门、细胞状态;更新输出门和细胞输出。基于Peephole的LSTM网络更新过程如下:

(4)

(5)

(6)

2.3 牵引电机轴承温度预测模型

基于改进LSTM的牵引电机轴承温度预测模型包含数据预处理、模型训练、模型预测和模型评估几部分,其流程图见图4。

图4 基于改进LSTM的高速列车牵引电机轴承温度预测流程

列车运行n个时刻的数据表示为

…,Yn},数据集按照一定比例划分为训练集Dtr={Xtr,Ytr}、测试集Dte={Xte,Yte}和验证集Dval={Xval,Yval},采用改进的LSTM网络进行训练和预测。

为精确预测牵引电机轴承的温度,本文建立了一种基于改进LSTM的牵引电机轴承温度预测模型,设计了预测模型的输入层、隐藏层、输出层。输入层负责数据预处理,满足模型输入要求,隐藏层负责提取数据特征,输出层负责输出温度预测值。选取平均绝对误差(Mean Absolute Error, MAE)作为损失函数,采用Adam优化器降低损失函数值。预测模型结构见图5。

隐藏层是预测模型的核心部分。为充分挖掘输入数据Xtr隐含的信息,减少模型的计算量和训练耗时,采用改进LSTM网络设计两层隐藏层。设Y1′为隐藏层1的输出,Y2′为隐藏层2的输出,隐藏层的处理过程表示为:

Y1′=F1(W1,B1)(Xtr)

(7)

Y2′=F2(W2,B2)(Y1)′

(8)

式中:W1、W2、B1、B2分别为改进LSTM网络的总权重参数。通过两次LSTM前向传播和各层参数的时间共享,实现输入数据Xtr的特征提取。

(9)

式中:W3和B3为全连接层的权重参数。

(10)

温度预测模型训练的最终目标为通过优化器不断更新权重参数W1、W2、W3和B1、B2、B3,使损失函数尽可能降到最低。模型采用Adam优化器降低损失函数值。

预测模型训练结束后,利用测试集Dte={Xte,Yte}观察预测精度,通过输入Xte得到模型的预测输出Ypre,{Yte,Ypre}再经过反归一化得到实际温度值{Pte,Ppre}。

3 试验测试与分析

试验平台和环境为:显卡为NIVIDA GeForce GTX1060、处理器为Intel(R) Core(TM) i7-7700、CPU频率为2.80 GHz、内存为16.0 GB、编程语言为python3.8、开发环境为jupyter notebook。模型采用python中tensorflow 2.0程序包搭建。

3.1 相关性分析与数据归一化

本文选取某动车组的历史运行数据进行试验分析。高速列车牵引电机轴承温度数据包含7个特征参量,分别为1个车厢的1～4号牵引电机轴承温度、列车速度、环境温度、是否主控,数据采集周期为1 min。

相关系数是研究变量之间线性相关程度的量。针对与轴承温度相关的特征参量,随机选取一组数据,将列车速度和环境温度与牵引电机轴承温度进行pearson相关性分析,提取输入特征参数,计算公式为:

(11)

相关性分析结果见表1。

筛选出相关系数大于0.4,显著性水平小于0.01的特征参量作为温度预测模型的输入特征。由于选取的输入特征参量中速度与温度的取值范围具有较大差异,为了消除参数量纲差异的影响,对数据进行归一化处理,使结果映射到[0,1],归一化公式为:

(12)

式中:xmax、xmin为输入样本的最大值和最小值。

3.2 网络训练

本文选取的数据集共包含6 658个数据点,划定数据集中80%为训练集,10%为验证集,剩下10%为测试集。预测模型设置第一层改进LSTM网络的节点个数为40,第二层节点个数为80,以最小化损失函数为目标训练神经网络,设定迭代次数为500,滑动截取窗口长度L分别为10、30、60、80。为预防训练过程中产生过拟合现象,在隐藏层和输出层之间加入Dropout层(dropout=0.2)以抑制过拟合。

滑动窗口长度L取不同值时,网络模型的训练效果见图6。

由图6可知,随着迭代次数的增加,损失函数不断减小,训练集的损失函数收敛于0.01附近,验证集的损失函数可收敛于0.01～0.03。当L=10时,验证集损失函数波动较大;随着滑动窗口的增大,验证集损失函数的波动范围逐渐减小,增强了预测模型的泛化能力;当L=80时,模型出现了过拟合现象,说明滑动窗口的取值会对预测模型的训练效果产生较大影响。

当滑动窗口长度为60时,不同学习率的模型训练效果见图7。

(a) lr=0.000 1

从图7可以看出,当学习率取0.005和0.01时,随着迭代次数的增加,训练集和验证集的损失函数产生较大波动,模型出现明显的过拟合现象,降低模型的拟合精度。当学习率取0.000 1和0.001时,训练集和验证集的损失函数波动范围较小,损失函数的收敛效果较好。

3.3 预测结果分析

采用均方根误差(Root Mean Square Error, RMSE)和平均绝对百分比误差(Mean Absolute Percentage Error, MAPE)作为模型预测精度的度量标准,可表示为:

(13)

(14)

不同滑动窗口长度L和学习率时,改进LSTM预测模型的预测精度对比见图8。

图8 LSTM预测模型的预测精度对比

由图8可以看出,学习率越小,RMSE值越小。当学习率为0.000 1、滑动窗口长度为60时,RMSE值最低,为1.158,模型的预测精度最高。

试验在测试集中采用改进LSTM、标准LSTM、门控循环网络(Gated Recurrent Neural Network, GRU)、RNN 4种不同模型,预测某车厢两组2 h范围内的轴承温度,结果见图9。

(a) 12∶00—14∶00时间段

从图9中可以看出,改进LSTM温度预测模型能够在测试集上较精确地跟踪真实的牵引电机轴承温度值,具有良好的预测效果。标准LSTM和GRU的拟合效果相差较小且稍逊于改进LSTM。RNN预测曲线距离真实值相差较大,说明其拟合效果最差,不适合长时间序列的预测问题。本文所提出的改进LSTM预测模型与标准LSTM、RNN、GRU、支持向量机回归(Support Vector Regression, SVR)4种经典时间序列预测模型的预测结果见表2。LSTM、RNN、GRU模型均采用二层网络结构,网络节点个数分别为40、80。SVR模型选取径向基函数(RBF)作为核函数,正则化系数为1,其余参数均为默认。

表2 不同预测模型的精度对比

由表2可知,改进LSTM预测模型的RMSE值(1.158)和MAPE值(2.57%)最低,标准LSTM模型的RMSE和MAPE值略高于改进LSTM模型,而RNN模型的RMSE和MAPE值最高,分别为6.624和14.07%。说明本文提出的改进LSTM预测模型预测牵引电机轴承温度的精度高于其他时间序列预测模型。

4 结论

为提高高速动车组牵引电机轴承温度的预测精度,本文提出了一种基于改进LSTM的牵引电机轴承温度预测模型。该模型引入窥视孔模块,使得一个存储块包含多个细胞,共享3个控制门,从细胞状态中学习网络传播时产生的历史信息,适应长距离时间序列的牵引电机轴承温度数据。设计两层改进的LSTM网络构成隐藏层,减少模型的计算量和训练耗时。与标准LSTM、RNN、GRU、SVR 4种经典时间序列预测模型相比,本文提出的改进LSTM预测模型提高了温度预测的精度,可为今后根据轴承温度预测牵引电机故障提供基础。