基于迁移学习的卷积神经网络电网故障诊断

丁津津， 邵庆祝， 齐振兴， 谢民， 高博， 于洋

(1.国网安徽省电力有限公司电力科学研究院， 合肥 230601； 2.国网安徽省电力有限公司， 合肥 230022； 3.安徽大学电气工程与自动化学院， 合肥 230601)

随着能源和电力系统的发展，可再生能源的并网和用电设备的接入，电网的网络拓扑结构越来越复杂，用户对电能质量要求的提高，都给故障诊断带来困难。配电网的安全稳定运行是保障社会生产和居民生活的必要保障，因此及时实现故障定位，保证故障及时排除、供用电迅速恢复，具有重要意义。基于机理分析的传统方法[1-2]，在复杂的大电网结构下，处理非线性、非连续性、预测等问题难以达到预期效果，易受到故障类型，过渡电阻，噪声等因素的影响。

近些年来的电网数据采集系统的建立，提供了电网故障期间的录波数据，使得人工智能算法在电网故障诊断领域得到应用，它可以代替人工对电力系统庞大的复杂数据进行处理。在电网故障领域运用的主要包括专家系统[3]、贝叶斯网络[4]、Petri网[5]、人工神经网络(artificial neural network，ANN)[6]等。其中，ANN具有很好的适应和泛化能力，文献[7]将离散小波变换与ANN相结合，实现电网故障区段识别。但文献[8]指出传统ANN存在维数灾，输入数据敏感，不能感知平面空间特征等缺点。近些年来，深度学习被广泛应用在电网故障诊断领域中，CNN[9-10]是一种深度学习算法，具有强大的特征提取能力，不仅在平面感知力能力上优于传统ANN，而且能够处理较高维度的数据，在故障领域广泛应用。文献[11]根据变压器有载分接开关的振动信号的相间分布建立CNN故障诊断模型。文献[12]利用随机矩阵理论构造多维数据矩阵作为CNN的输入,实现配电网的故障诊断。文献[13]依托CNN建立监控告警识别模型，实现电网监控告警智能识别。

在实际系统不同工况下，往往故障数据较少，导致离线训练模型准确率不足，难以预测各类未知故障。以CNN为代表的深度学习算法在目标域样本数量较少的情况下，深度学习的效果比较差，为了解决样本不足的问题，近年来，研究者提出迁移学习的思想，并且应用于文本分类、图像识别等领域。文献[14]将丰富标注的商品信息作为源域数据进行迁移，提高目标域文本情感分类性能。文献[15]提出了基于迁移学习，对滚动轴承的振动历史数据进行迁移，从而提高模型的诊断准确率。

针对配电网故障诊断中存在的目标域样本不足而导致预测精度低的问题，现提出模型迁移的方法，利用少量目标域中的数据进行迁移到源域中进行微调训练。同时为了让样本集更好地进行迁移学习，提出PCA算法，它能够在原始数据上保留大部分信息的基础上减少特征维数，加快模型运行速度，已经在电力系统中多维数据分析方向得到了广泛的应用。为电网的故障诊断提供了理论基础，提升了模型的泛化能力。

1 PCA-CNN算法原理

1.1 主成分分析算法

在当今电网多变量信号的情况下，许多变量之间可能存在相关性。PCA的主要目标在降低各影响因素间的多重相关性，同时尽量减少原数据的信息损失[16-17]。用综合变量来替代原始数据高维度变量，去除线性相关成分，增加数据可视化，提高运行速率。

对采集到整理的m×n样本矩阵X，m表示样本数量，n表示每个样本的采样点数，计算矩阵X的协方差矩阵Cov。

(1)

(2)

(3)

式中：xi为第i个样本。

采用奇异值分解(singular value decomposition, SVD)的方法计算协方差矩阵的特征值和特征向量。

[U,S,V]=svd(Cov)

(4)

U=[u(1),u(2),…,u(k)，…,u(n)]

(5)

式中：U为协方差矩阵的特征向量，维度为n×n；选取U的前k项与矩阵X进行变化得到降维后m×k的矩阵Z。

1.2 CNN模型构建

CNN是一种处理时间序列的深度学习算法，且在电力系统方向已经有广泛的应用。它由卷积层、降采样层、全连接层、输出层组成，如图1所示。

CNN的输入层是由一组二维的数据矩阵图，由卷积核与样本矩阵进行卷积，经过激活函数得到一个特征面。卷积计算公式为

(6)

卷积运算后的降采样层是对卷积层的输出进行筛选过滤，去除非重要的特征参数，通过采样核k进行二次特征的提取，均值采样法的运算公式为

(7)

式(7)中：⊗为滑步卷积过程。

全连接层与输出层相连，是一个传统的多层感知器，其作用是利用特征进行分类。

CNN的有监督学习训练过程包含前馈运算和反馈运算。

前馈运算：假设网络已训练完毕，即其中参数w1，…，wn已收敛到最优解，此时可用网络进行故障类别预测。预测的过程就是一次前馈运算。

wn=fs2(fc2{fs1[fc1(w1)]})

(8)

式(8)中：w1为输入；wn为输出；fc为卷积层运算；fs为降采样层。

图1 CNN故障诊断模型Fig.1 CNN fault diagnosis model

反馈运算：将输出层的结果与数据标签相比对，计算两者之间的误差并反向传播至各层，更新权重参数。

F′=F+fBP(αen)

(9)

式(9)中：F′为更新后的核参数；en为输出和数据标签的误差；fBP为反馈运算过程；α为学习率。

2 基于PCA-CNN的预训练模型

由于电力系统中发生的故障类别较多，且三相短路故障是电力系统中危害比较大，为了表征故障类型特征，针对故障前后的三相电流和电压的时间序列作特征分析，将三相电流i和三相电压u的时序数据搭建矩阵，如式(10)所示。结合实际配电网场景，构建仿真模型，通过设置不同的故障条件，得到不同的故障样本。同时为了得到足够的故障特征，设置高维度的采样序列，这就导致了样本仿真时间长，模型训练慢，加大预测成本。

X=[ia,ib,ic,ua,ub,uc]

(10)

因此采用PCA算法对原始电流电压数据进行降维处理，缓解维度灾难，得到有用的主要特征，对故障诊断性能起到重要作用。由于在降维的过程中会损失部分特征信息，为了尽可能地保留原始数据的特征，通常选择保留99%以上的主要信息，在不影响模型分类的准确性同时提高了模型运行速率和数据的可视化。

(11)

特征维度降为k时，满足式(10)要求即可满足保留99%原始数据信息。

利用PCA算法处理后得到的综合变量作为CNN的输入层，输出层为一个1×10维的矩阵，10个数值分别为10种故障类型的概率大小，数值越大则表示发生此类故障概率越大。为了消除不同特征的量纲影响，对原始数据集进行归一化处理。

CNN的不同模型结构参数的设置，都会有不同的结果，如卷积层和降采样层数、卷积核的数目以及大小、批次训练的数量、学习率以及迭代次数都会影响训练结果的准确性。本文研究采用逐层训练步骤，控制变量法来进行CNN的模型训练得到最优的训练精度，流程图如图2所示。

图2 预训练模型流程图Fig.2 Flow chart of pre training model

3 基于迁移学习的CNN网络模型

3.1 迁移适配

目前，在配电网输电线路领域中存在样本标注少的问题，对于训练样本不足的新分类任务，迁移学习将已经训练好的源域模型放到新的任务中进行识别。使用已经训练好的网络权重参数，将这些权重迁移到目标域中，在新分类任务上进行目标域训练。解决了目标域样本不足以及获取训练样本的成本问题。

为了避免负迁移的可能性，采用MMD对数据进行差异测量，通过一个均值指标来评价。

假设Ds、Dt分别代表源域和目标域，MMD的距离可表示为

(12)

式(12)中:ns、nt分别为两个域的样本个数；xsi、xtj分别为两个域的样本；‖·‖H为RKHS范数。

将两组分布样本均值作差，得到的MMD数值越小，则代表分布差异性越小，更适合迁移学习。

3.2 迁移训练

图3 模型迁移CNN流程图Fig.3 CNN flow chart of model migration

首先利用降维后的源域数据进行CNN的有监督训练，通过反馈运算不断更新权重，从而得到适合源域数据的预训练模型，但是由于源域数据和目标域的差异性，预训练模型不适合目标域，针对样本量不足的目标域，将预训练模型迁移到目标域中，如图3所示。①获取适合迁移的预训练模型；②将预训练模型中提取特征结构的卷积池化层权值参数迁移过来构建目标域模型；③利用降维后的目标域数据对迁移过来的模型进行微调训练。

4 仿真分析

4.1 时序样本集的构建

在MATLAB中Simulink模块中搭建小电流接地故障仿真模型，如图4所示。通过批量仿真生成暂态数据集。为了接近实际电网运行情况，利用故障模块设置不同的故障线路，分别为发生单相接地故障(AG)、双相短路故障(AB)、三相接地故障(ABG)等，一共10种。同时设置不同的系统频率、系统电压、系统负荷等。故障样本参数如表1所示。系统仿真步长为0.1 ms，设置故障开始时间为0.3 s，故障切断时间为0.7 s，仿真时间为1 s，仿真产生大量时序数据，一个采样周期内每个样本有 1 200个采样点。

根据上述仿真条件，采集故障线路两端的三相电流和三相电压时序数据。假设采集节点1～节点4为源域数据集，节点5为目标域数据集。源域每个节点分别生成3 600个样本数据，目标域仿真生成300个样本数据。将每个源域节点分别与目标域节点做均值差异性检测，最终可得出节点2和节点5的分布性差异性最小，更有利于迁移学习，因此选择相似性最高的节点2源域数据辅助目标域进行分类。

表1 故障仿真模型参数遍历表

G为发电机；T为变压器；S1、S2、S3、S4为各支线路图4 仿真实验图Fig.4 Simulation experiment diagram

4.2 CNN网络结构的选择

在CNN训练学习阶段，将所有源域样本加上标签，由于每种故障类型的编码是作为CNN的训练期望输出，对于不同故障类型独立分类，将每个输出归一为0～1的数，所以将输出值最大的标签为1，其他置0。

CNN模型参数的设置会直接影响整个故障诊断的准确率和效率，因此本文设计了多种不同CNN拓扑结构，设置最大迭代次数为20，学习率为0.1。每种拓扑结构选取3 000组原始数据样本训练，300组测试样本进行测试，每种结构都经过20次的反复仿真测试，训练结果如表2所示。 可以看出，卷积层和池化层的层数不同会导致故障诊断的准确率差别较大，且每种结构耗时都比较长，效率低。序列5模型相比其他模型，增大了卷积核大小，测试准确率达到95.3%。

表2 不同CNN模型仿真结果

4.3 PCA-CNN模型性能评估

利用PCA算法对原始1 200维的采样点降维处理，按保留99%原数据集的方差，在不影响模型性能的同时提升模型效率，根据实验证明映射后的维度为60维度时，模型测试准确率高且运行速率大大提升。同时选择未经任何处理的三相电流和电压数据分别对CNN和支持向量机(support vector machine，SVM)作故障诊断比较，验证本文提出的PCA-CNN方法的优势。

分别选取1 000、2 000、3 000训练样本数对模型进行训练，用300组测试样本来测试模型故障判断的准确性。测试结果如图5所示，可以看出随着训练样本的增多，故障诊断模型准确率越高。此外，在相同的训练样本数量下CNN模型的性能要高于SVM,与PCA-CNN相比略显不足，经过PCA降维后CNN模型故障识别率高达98.6%。并且经过PCA降维后模型运行速率大大提高，平均训练时间在60 s左右，更有利于故障的及时排查。

图5 故障类型判断准确率Fig.5 Accuracy of fault type judgment

4.4 模型测试

在上述得出的结论中，PCA-CNN预训练模型经过多次迭代实验后，对源域测试样本的故障识别率达到了99%；但是在对于目标域数据测试中，结果出现大量错误样本。

从实验结果中得出预训练模型对源域具有正确的识别能力，为了能对目标域数据也具有高准确度，需要对模型进行迁移微调训练，将已经训练好的源域模型权重参数进行迁移，保留源域模型的网络结构、卷积核权重、降采样层权重。再随机选取其中目标域300组样本对迁移后的模型继续训练，通过反向传播更新参数，得到适合目标域的模型。经过目标域模型测试后，发现几次迭代后准确率很快达到100%。

4.5 非迁移学习与迁移学习识别率对比

分别利用无迁移学习的CNN，和经过迁移学习的CNN识别率进行迭代对比，其他条件保持一致，训练结果如图6所示，可以看出在模型迁移学习后，CNN模型训练在第5次的迭代时就迅速达到至100%的准确率，实验结果表明在不同的过渡电阻、系统频率、系统负荷以及故障类型下均能准确完成故障识别。而没有经过迁移学习的CNN模型在经历多次迭代后仍然不能准确识别故障类型，且诊断准确率提升缓慢，容易陷入局部最优。

图6 迁移训练对比结果图Fig.6 Transfertraining comparison results graph

5 结论

提出了一种基于迁移学习的卷积神经网络模型去解决电网中线路故障类型的诊断，为了让数据更好地符合迁移学习，采用了PCA算法对电网线路传输过程中的电流电压数据进行降维处理，加快了模型运行速度，节省了测试所需时间。并通过仿真模型进行了验证，通过理论的分析和实验验证可以得到如下结论。

利用卷积神经网络在电网的故障区域上可以实现精准定位，随着迭代次数最高达到100%的准确率，预训练模型可以实现对源域的精确识别。

在目标域只有少量数据时，将迁移学习的思想结合卷积神经网络，对模型进行迁移训练，可以实现小样本下的故障识别。通过仿真模型证明了该方法在不同的系统频率，故障类型，过渡电阻的影响下，模型准确率随着训练次数的增加迅速上升至100%，平均准确率达到95%，证明本文的方法能够对故障类型精准识别。