栈式降噪自编码网络在变压器故障诊断中的应用

许倩文，吉兴全，张玉振，李军，于永进

(1.山东科技大学 电气与自动化工程学院，山东 青岛 266590； 2.国网山东省电力公司威海供电公司，山东 威海264200)

0 引 言

变压器是电力系统的核心设备，系统的安全性受其运行状态的直接影响，准确诊断变压器内部潜伏性故障对于保障电网安全运行具有十分重要的意义。变压器状态可通过其油中溶解气体的含量与构成获得基本了解。故而，油中溶解气体成为变压器故障诊断中的可靠依据之一。以油中溶解气体分析(Dissolved Gas Analysis，DGA)为基础形成了三比值法[1]、Rogers法[2]等传统方法，以及反向传播(Back Propagation，BP)神经网络[3]、支持向量机(Support Vector Machine， SVM)[4-5]等人工智能方法。在实际运用中，发现三比值法，Rogers法等传统方法对故障诊断有一定效果，但也存在编码不全、判断标准过于绝对等问题，反而不利于故障诊断；而BP神经网络方法虽然特别适合于求解内部机制复杂的问题，但存在已出现震荡、收敛速度低等不足；基于本质分析，SVM法为一类二分类算法。面对多分类问题，表现出分类效率低、不易构造学习器等劣势；同时，上述方法均属于浅层机器学习方法，这些方法均需依赖于完备且准确的样本，方可获得较为满意的诊断结果，如此即不能充分借助变压器油色谱实现对所得的众多无标签样本在线监测目的。

提出的基于栈式降噪自编码网络(Stacked Denoise Auto-encoder，SDAE)的故障诊断方法，把深度学习应用于设备故障诊断，由无监督预训练和有监督微调两个阶段构成，是一种半监督式的机器学习方法，该方法学习能力强，能够给出变压器各种运行状态的概率。最后，通过工程实例来测试所构建的方法，同时与常规BP神经网络方法进行对比分析。

1 栈式降噪自编码模型

1.1 降噪自编码网络

自编码器(Auto-Encoder，AE)是一种无监督学习的非线性特征提取模型。由编码器和解码器两部分组成，结构如图1所示。尝试学习一个恒等函数，使输出值接近输入值。

图1 自编码器结构示意图

降噪自编码(Denoise Auto-Encoder， DAE)与自编码的不同点体现在：前者原始输入数据中增加了噪声，接着以网络输入数据形式，对先前不含噪声的输出原始数据加以重构。故而，DAE的损失函数为构造网络输出和原始数据两者的一个差异性度量。新增噪声接着对原始数据加以训练恢复，能够提升网络抗噪能力，从而增强自编码的鲁棒性。假设x是无噪声的原始输入，DAE首先利用一个随机映射x′～qDx′|x把原始输入数据x腐蚀为含有噪声的数据x′。

编码函数fθ把x映射到隐含层得到隐含层特征矢量y，函数表达如下：

y=fθx′=sWx′+b

(1)

式中s是编码网络的非线性激活函数，通常采用sigmoid函数；θ=W,b为编码参数集合；W是m×n维权重矩阵；b是m维偏置向量。

再利用解码函数gθ重构x得到z，函数表达式如下：

z=gθy=s′W′y+b′

(2)

式中s′是解码网络的激活函数；θ′=W′,b′为解码参数集合；W′是n×m维解码权重；b′是n维偏置向量。

最后通过不断调整θ和θ′的值，去尽可能拟合为一个恒等函数，实现重构误差的最小化。

重构误差可表示为：

(3)

如图2所示，DAE追求的是存在扰动的情况下对真实信号的重构能力，由此得到的特征表达具有更好的鲁棒性和泛化能力。其中x表示原始输入数据，x′表示加入噪声的输入数据，y为对x′进行编码得到新的特征z为对y进行解码后的输出。

图2 降噪自编码器

1.2 栈式降噪自编码网络

栈式降噪自编码网络(Stacked Denoise Auto-Encoder，SDAE)是一个由多层DAE堆叠构成的深层神经网络，其上一层DAE的输出用于其下一层DAE的输入，如图3所示。栈式降噪自编码神经网络分为无监督预训练和有监督微调两个阶段。

图3 SDAE模型

(1)无监督预训练阶段。

该阶段是采用逐层贪婪训练法进行训练。如图3所示，每一个隐含层均与上一层构成一个DAE编码网络。然后利用反向传播优化算法，求得每个DAE网络代价函数取得最小值时的权重矩阵和偏置项，并通过不断减小上述的代价函数值，当达到指定的迭代次数或者代价函数下降到指定值时，得到最佳的权重矩阵以及偏置项。

(2)有监督微调阶段。

将预训练步骤得到的编码网络的最佳权重矩阵和偏置，利用反向传播算法再次迭代和更新各个权重矩阵和偏置项，直到达到最大的迭代次数,从而获得每一层最终的最佳权重矩阵以及偏置项；在初步确定每个SDAE的隐含层数、每个隐含层的单元数以及学习率的情况下，将属于同一种故障类型的训练样本集作为输入，通过预训练和微调来确定每个SDAE每一层最终的最佳权重矩阵和偏置项。

(3)分类输出。

为实现变压器故障的分类，微调时丢掉SDAE的“解码”层，直接将Softmax分类器视为网络的输出层，把最后一个隐含层的输出作为特征输入到Softmax分类器进行分类。

2 基于SDAE的变压器故障诊断方法

2.1 输入向量的确定

从上述讨论中可知，SDAE具有较强的样本特征提取能力，选取H2、CH4、C2H2、C2H4、C2H6这5种特征气体的体积百分数作为依据来判定变压器的故障类型，将其作为网络的输入向量，由于这5种特征气体含量值差别较大，为使网络有良好的收敛性，将输入数据进行归一化处理，将所有输入向量的取值处理在0～1之间。

2.2 输出向量的确定

网络的输出对应变压器的故障类型，将变压器的状态分为低温过热、中低温过热、中温过热，高温过热，低能放电，高能放电，以及正常这7类，状态类型对应的编码详见表1。

2.3 变压器故障诊断的SDAE网络模型

图4所示为诊断变压器故障的SDAE网络模型。此模型的输入H2、CH4、C2H2、C2H4、C2H6这5种经归一化分析的油内所含溶解特征气体值，将变压器各运行状态相应的概率当做模型的输出，其中故障诊断结果为具备最高概率值的状态。

就变压器故障诊断SDAE模型而言，其存在非监督预训练、监督式微调这两个训练过程。前者主要通过大量预训练样本实现网络底部各层DAE参数的初始化操作；后者是借助丢掉SDAE的“解码”层，直接把最后一个隐含层的输出作为特征输入到Softmax分类器进行分类。

表1 变压器状态编码

图4 基于SDAE网络的变压器故障诊断模型

2.4 基于SDAE网络变压器故障诊断的步骤

(1)选取样本数据和输入向量；

(2)确定输出向量，对变压器状态进行编码；

(3)建立变压器故障诊断SDAE网络模型；

(4)利用SDAE网络模型，对网络的每一层进行参数初始化；

(5)采用逐层贪婪训练法使用样本数据依次训练网络每层的DAE，从而预训练整个神经网络；

(6)用完成分类标签处理的样本数据，借助BP算法，监督式训练整个分类器，促进微调的进一步实现；

(7)丢掉SDAE的“解码”层，直接把最后一个隐含层的输出作为特征输入到Softmax分类器实施分类；

(8)对已完成训练的网络加以保存，同时通过测试集样本来测试网络诊断性能。

3 算例分析

为验证基于SDAE实现的深度神经网络对变压器故障诊断的效果，选用某供电公司提供的已确定实际故障结果的变压器DGA数据，总共2 000组检测记录作为样本，其中1 200组作为训练数据，800组作为测试数据。其对应的7种故障类型如表2所示。文中SDAE具有两隐含层的DAE，并采用多个分类输出的Softmax作为分类器，用7位二进制编码作为输出。

表2 故障诊断样本统计

为了分析降噪对故障诊断的影响，将SDAE深度网络模型和未加噪的栈式自编码深度网络模型分别用于变压器的故障诊断。两种网络模型用于相同训练样本和测试样本，其它各个参数也相同。通过比较得出各个模型对变压器故障诊断的影响如图5所示。

图5 诊断准确率

由图5中可看出，加噪后的模型能使网络整体的诊断准确率提高，加强了样本在扰动状况时所表现出的重构真实信号能力，进而促进特征表达泛化能力与鲁棒性的提升。

为比较文中SDAE网络模型的性能，分别采用三比值法，BP神经网络和SVM对相同的样本集进行训练和故障诊断。各故障类型的诊断准确率如表3所示，表4则列举了测试样本集中10组典型样本的诊断实例。

表3为三比值法、BP、SVM、SDAE分别对应测试样本在各个故障类型诊断的准确率，从表3中可看出，三比值法的诊断准确率为78.2%，BP准确率为79.3%，SVM准确率为88.03%，SDAE准确率为95.2%。因而证明了所提出的SDAE方法与三比值法、BP、SVM相比，在变压器故障诊断方面具有更高的准确率。

从表3、表4中进一步可得出：

表3 不同方法的诊断结果比值

表4 变压器故障诊断实例

(1)SDAE与三比值法相比，较好的解决了三比值法中编码不全、判断标准过于绝对等问题，诊断准确率高于三比值法；

(2)SDAE与BP相比，诊断准确率更高，SDAE通过无监督预训练和有监督调优两个阶段，实现高维深层故障特征的自适应提取和挖掘，改善BP神经网络易陷入局部极小化和收敛速度慢的问题，此外，SDAE最后利用Softmax分类器，对故障进行分类输出，提高了故障诊断的准确率；

(3)SDAE与SVM相比，SDAE中的Softmax分类器，可直接用于多分类情况。而基于本质分析，SVM属于二分类算法。针对此算法分类效率低、不易构造学习器问题，SDAE算法做出了优化与弥补。

4 结术语

提出的基于SDAE模型用于变压器故障诊断的技术，将深度学习推行到变压器设备故障诊断领域。此项技术在腐蚀原始输入数据的基础上，自含有噪声的输入中掌握的特征在鲁棒性上表现更佳；并且对照传统机器学习方法，证明了该方法的有效性。所提出的故障诊断技术在故障准确率方面仍可进一步提高，可以在特征提取方面进行改善。