小波范数熵特征提取的模拟电路故障诊断方法

肖迎群，何怡刚，2，张广辉

(1.贵州理工学院电气工程学院，贵州 贵阳 550003；2.合肥工业大学电气与自动化工程学院，安徽 合肥 230009)

A Fault Diagnosis Approach of Electric Circuit Based on Wavelet Norm Entropy as Feature Extractor

XIAO Yingqun1，HE Yigang1，2，ZHANG Guanghui1

(1. School of Electrical Engineering，Guizhou Institute of Technology，Guiyang 550003，China；

2. School of Electrical Engineering and Automation，Hefei University of Technology，Hefei 230009，China)



小波范数熵特征提取的模拟电路故障诊断方法

肖迎群1，何怡刚1，2，张广辉1

(1.贵州理工学院电气工程学院，贵州 贵阳 550003；2.合肥工业大学电气与自动化工程学院，安徽 合肥 230009)

A Fault Diagnosis Approach of Electric Circuit Based on Wavelet Norm Entropy as Feature Extractor

XIAO Yingqun1，HE Yigang1，2，ZHANG Guanghui1

(1. School of Electrical Engineering，Guizhou Institute of Technology，Guiyang 550003，China；

2. School of Electrical Engineering and Automation，Hefei University of Technology，Hefei 230009，China)

摘要：提出一种遗传优化神经网络与小波范数熵相结合的新型模拟电路故障诊断方法，降低神经网络的结构冗余度和减少过拟合现象。小波范数熵方法提取了故障数据的本质特征，遗传算法优化了神经网络的体系结构，诊断系统实施了模拟数据的故障分类。仿真结果表明，同小波变换预处理的故障诊断系统相比较，这种诊断系统具有更好的网络收敛性能、更高的诊断精确度和更强的推广能力，能对模拟电路故障元件进行有效识别和分类。

关键词：小波理论；范数熵；遗传算法；神经网络；故障诊断

0　引言

模拟电路故障诊断是现代电路理论的热点和前沿领域，现已经发展成了网络理论中公认的第三大分支[1]。当前已经提出了许多经典实用的故障诊断理论和方法，取得了一批重要的研究成果[1-2]。然而，由于模拟电路中元器件参数的广泛分布性、强非线性以及故障特征的高复杂性，现代模拟电路故障诊断面临着在线诊断、诊断效率和算法复杂度的挑战。

因此，许多现代智能方法如神经网络、小波理论等大量应用于模拟电路的故障诊断中[3-11]，大大提高了模拟电路故障诊断的正确性。参考文献[3]对被测电路的故障响应信号不作任何预处理就作为神经网络的输入，导致了一个很大的38个输入节点和2个隐层的神经网络。在参考文献[4-5]中，对被测电路的故障响应信号进行了小波变换和主元分析(PCA)，得到具有5个左右的输入端子和10个左右的单隐层神经网络，故障诊断率达到了97%左右。而参考文献[6-8]是在基于参考文献[4-5]采用PCA方法的基础上，分别利用小波网络和脊波网络对模拟电路进行故障诊断，尽管故障诊断正确率有了大幅度的提高，但还是存在网络结构没有大的简化问题，即网络的输入节点数和隐层的小波或脊波元数比较多。在参考文献[9]中，采用kurtosis 和entropy的2个固定的预处理器来对故障响应信号进行特征计算，因此神经网络分类器的输入达到理想的2个端子数，并获得了很好的分类效果。

当前，遗传算法应用于神经网络已经取得一大批实用有效的研究成果，提出了很多关于进化学习与优化设计的有效方法[12-15]。遗传算法能实施神经网络的网络连接权的训练、体系结构设计、学习规则选择等方面的工作，以提高神经网络各方面的性能。

可见，精简的网络结构能够降低系统的运行成本，提高网络的运行速度，有效的特征提取能够获取数据的本质特征，提高故障系统的分类性能。

因此，将小波理论、范数熵理论、神经网络和遗传算法有机结合在一起，采用小波的多分辨率分析和范数熵理论进行电路故障信号的预处理，实现故障特征信息的提取，利用遗传算法来对反向传播神经网络(BP网络)的结构进行优化设计，选择隐层节点，构成的一种小波范数熵遗传神经网络，以获取故障信息的本征特征，简化BP网络的体系结构，提高网络的训练性能，实现有效的故障诊断。

1　小波范数熵预处理

1.1小波变换

(1)

其中，ψ(t)为母小波函数，则

(2)

t，a，b均为连续变量；a为尺度参数；b为位移参数。函数f(t)的小波变换表示为：

(3)

f(t)∈L2(R)，〈·，·〉表示L2(R)中的内积。

对信号f(t)进行多分辨率分析，则小波函数ψ(t)和尺度函数φ(t)满足多分辨率条件和二尺度差分方程，有：

(4)

(5)

h0,k，h1,k分别为信号低通滤波器和高通滤波器的系数。

因此，信号f(t)的J层小波分解可写成：

(6)

第j+1层的一组小波逼近系数aj+1,n和细节系数dj+1,n分别表示为：

(7)

(8)

1.2范数熵

在模拟电路故障诊断方法中，通常对模拟电路的输出响应进行预处理以获取期望故障特征信号，用以实现故障元件的辨识和定位。范数熵计算模式[17-18]是一种提取故障信号本质特征的有效方法，它能充分体现不同故障信号之间的差异性，以提高后续模式分类器故障诊断的效率和正确性。

设故障信号X={xj，j=1,2,…,N}，则X的范数熵为：

(9)

将式(9)的范数熵方法应用到小波的多分辨率分析中，则信号通过小波变换和多分辨率分析后所获得的每层逼近系数的范数熵WaJ和细节系数的范数熵Wdj分别为：

(10)

(11)

J表示小波多分辨率分析的总层数，j为1,…,J；aJ表示小波多分辨率分析后第J层中的逼近系数；dj表示小波多分辨率分析后1～J层中细节系数；p的取值范围为1≤p≤2。

所以，故障信号X的小波熵WX写成：

(12)

令Wndj=(Wdj)1/2，WnaJ=(WaJ)1/2，将Wdj除以Wndj，WaJ除以WnaJ，得到故障信号X的小波熵归一化特征向量WnX为：

(13)

由于信号的范数熵总是正值，为了体现各个故障信号X之间的差异性，则将式(13)-式(12)即WnX-WX，得到两者之间的一个差信号为：

(14)

(15)

最后，以ΔW作为故障信号X的特征向量，输入给BP神经网络作为训练或测试数据。

2　遗传神经网络

2.1BP神经网络

神经网络具有自学习、自适应、非线性映射和模式分类能力的突出特点，近年来，在科学技术领域得到了广泛的应用。根据Kolmogorov定理[19]，一个三层神经网络可以任意精度逼近一个从输入到输出的连续可微映射函数。因此，采用由输入层、隐含层和输出层组成的三层BP神经网络，作为模拟电路故障诊断的模式分类器。

图1给出了一个由4个输入节点、5个隐层节点和4个输出节点组成的三层BP神经网络的结构示意。

图1　三层神经网络的结构示意

图1中，神经网络中每个神经节点执行的函数关系为：

(16)

yi为第i个神经元节点的输出；xj为第i个神经元节点的第j个输入；ωi,j为节点i和节点j之间的连接权值；fi为节点i的非线性映射函数，通常有Sigmoid，Logsig，Gaussian等函数。

2.2遗传算法

遗传算法[20-21](GA)是一类基于自然进化的原理和思想、根据种群中的个体相互竞争和交换信息来完成一定的任务的随机搜索和优化算法。由于它具有不依赖于梯度信息、不易陷于局部最小值、全局搜索和优化的特点，所以通常用于处理大规模的复杂非线性问题。

2.2.1染色体编码方式

神经网络结构的连接关系采用二进制(0、1代码)直接编码方式[7-8]来表示，每个神经网络体系结构对应于一个由二进制代码直接表示的染色体(也称个体)。神经网络结构的矩阵C表示为：

(17)

2.2.2适应度函数

适应度是衡量个体优劣的主要标志，适应度函数值越大，解的质量越好。神经网络在训练时，一般是以神经网络的输出值与期望值的均方差(mse)作为判断依据。因此，遗传优化的第i个神经网络的目标函数E(neti)和第i个神经网络即染色体的适应度函数f(neti)分别为:

(18)

(19)

N为输入输出样本对个数；M为神经网络输出神经元个数。

2.2.3遗传操作算子

种群中的个体是通过复制、交叉和变异3种算子来进行更新和寻优的。

复制算子是根据适应度函数值，采用个体选择方法从种群中将好的个体选择出来，淘汰不好的个体，形成更好的群体。个体选择方法主要有比例选择法、排序选择法和锦标赛选择法。轮盘赌选择法是比例选择法中一种实用的选择方法，它的基本思想是各个个体被选中的概率与其适应度函数值大小成正比，个体i被选中遗传到下一代群体的概率为：

(20)

交叉算子是产生新个体的主要手段。它是从旧群体中随机挑选出2个个体称为父个体，然后再将它们的部分结构加以交换从而形成新的个体。对2个不同的神经网络染色体，遗传算法的交叉操作是对种群中的2个染色体矩阵来进行的。

变异算子是使种群中的一染色体的某一位置，以一很小的变异概率发生相反的变化，即1变为0，0变为1，通过对解作出局部的改变，实现当前解跳出局部极值的目的。

3　诊断电路及过程

以图2所示的二阶压控电压源带通滤波器为例，来说明小波熵特征提取和遗传优化神经网络的模拟电路故障诊断方法及过程。

图2　二阶压控电压源带通滤波器

3.1诊断电路

参考文献在图2中，根据[5]的要求来进行故障元件及其参数的设定，电阻的容差范围为5%，电容的容差范围为10%，C1，C2，R2，R3为4个故障元件。 a.故障信号的预处理。首先，根据[5]中的设定方法，给电路加入幅值为5 V，持续时间为10 μs的脉冲激励信号，用OrCAD 10.5对诊断电路进行不同故障条件下的故障仿真，在电路输出端获取相应的输出响应波形。然后，将输出响应波形使用Harr小波进行5层小波分解，得到5个小波细节信号和1个小波逼近信号，再对这6个小波分解系数进行小波范数熵计算，获得候选特征向量：ΔW=[ΔWd1，ΔWd2，ΔWd3，ΔWd4，ΔWd5，ΔWa5]。 为了对BP网络的逼近效果进行评价，采用[17]中定义的归一化均方误差的平方根(NSRMSE)来进行评估。

表1和表2分别表示C1，C2，R2，R3发生故障时的故障状态及对应值，和不同故障类别的神经网络期望输出值。表1中，NoF表示无故障状态，↑和↓分别表示故障值高于和低于正常值的50%时所对应的故障状态。

表1故障元件状态及其对应值

故障代码故障状态正常值故障值F0NoF——F1C1↑5nF15nFF2C1↓5nF2.5nFF3C2↑5nF20nFF4C2↓5nF0.5nFF5R2↑1kΩ8kΩF6R2↓1kΩ0.1kΩF7R3↑2kΩ15kΩF8R3↓2kΩ0.5kΩ

表2不同故障状态下神经网络的期望输出值对应关系

状态序号故障类别神经网络期望输出值d0d1d2d3d40无故障100001C1故障010002C2故障001003R3故障000104R2故障00001

3.2故障诊断的实施过程

图3给出了小波熵遗传神经网络的模拟电路诊断过程，具体故障诊断过程如下：

图3　小波熵遗传神经网络的模拟电路故障诊断过程

最后，对候选特征向量实施PCA分析和归一化处理，去掉各特征向量间的冗余性和增强各特征向量的显著特征，获得期望的最优特征值，送入到BP网络进行训练和测试，实施故障诊断。

b.遗传BP网络的结构确定。根据最优特征向量的维数，确定BP网络的输入节点，隐层节点根据遗传算法要求来选定，输出神经元个数则依据故障类别个数来确定。神经元激活函数依据分类的要求确定为logsig函数，其输出为[0，1]区间值，能便捷地给出电路的诊断结果。BP网络的训练算法则采用最速梯度下降和动量法相结合的算法。

c.BP网络的训练和测试。输入训练样本，对BP网络进行充分训练，输入测试样本，实施故障诊断。

假设神经网络的输入输出对为T={(xk，dk)∶xk∈Rm，dk∈Rl，k=1，2，…，K}，则神经网络所有输出的总评价系数为：

(21)

4　仿真分析

4.1特征提取

为了说明所提出特征提取方法的特点，将基于能量计算的小波系数分析方法[6]和小波范数熵方法进行比较，以考察它们在特征提取性能方面的不同。

图4　基于能量计算的小波分析方法产生的故障类别分布

图4和图5分别给出了采用基于能量计算的小波分解分析方法和小波范数熵方法，经PCA分析后提取的前2个主元(PCs)表征的故障类别分布图。

图5　小波范数熵方法产生的故障类别分布

在图4中，F4和F8故障类别之间发生一定程度的类别重叠，F4和F8故障类别之间相隔比较近，而在图5中，所有的故障类别之间区分都非常明显，获得了比较好的分离。显然，小波范数熵方法特征提取性能好于基于能量计算的小波系数分析方法取得的能量特征，它具有更好的聚类效果。

4.2遗传优化

根据遗传神经网络的基本原理和实施方法，采用表3所示的遗传算法参数设定值。

表3BP网络的遗传参数设定值

遗传参数设定值初始种群数50最大隐神经元数30复制选择策略轮盘赌选择法交叉概率Pcross0.6变异概率Pmut0.0033最大进化代数N150

依据上述遗传优化方法及其设置参数，利用Matlab 7.0进行遗传算法的数值优化计算。图6给出了遗传进化代数与最大适应度之间的关系曲线。当进化代数达到150代时，最大适应度曲线趋于稳定，最大适应度值稳定在16.485 8左右，其对应的染色体矩阵即为期望的最优BP网络结构；然后对这个BP网络再进行相应的组织处理，即去掉只有少数连接的隐神经元节点及其相应连接(去掉对神经网络性能的贡献小的隐神经元节点)；最后进行解码，即得到一个16个隐神经元节点的最优BP神经网络。

图6　遗传进化代数与最大适应度之间的对应关系

由图5可知，PCA分析后的前2个特征值即可明显区分所有的故障类别，且基于更小网络结构具有更低计算成本和更高计算速度的优势特点，所以BP网络的输入神经元数确定为2个。表4给出了遗传优化的神经网络体系结构及其训练参数的设定值，均方差终止值即目标性能指标MSE为0.001。

表4BP网络体系结构及其训练参数

网络结构及其训练参数设定值网络层数3层各层神经元数输入层,2;隐层,16;输出层,5初始权值和偏置任意激活函数隐层,tansig;输出层,logsig学习算法标准梯度最速下降法学习速率0.2动量常数0.6均方差终止值0.001

4.3结果分析

根据表4设定的BP网络体系结构及其训练参数，首先输入训练样本，采用梯度最速下降法对BP神经网络进行训练学习，然后将测试数据送入训练好的BP网络进行故障诊断，最后得到表5所示的BP网络对应于某一组测试样本的实际输出值。可见，遗传BP网络对训练样本进行了很好的学习，对测试数据实施了正确分类。

表5测试样本对应的BP网络的实际输出值

电路状态y0y1y2y3y4NoF0.98700.00820.00230.00020.0000C1↑0.00090.99950.00000.00000.0015C2↑0.01020.00190.94190.34860.0149R3↑0.00100.00440.00440.99680.0066R2↑0.04730.01060.00000.05900.9586C1↓0.00000.99040.05200.00000.0000C2↓0.03670.00630.99970.00030.0000R3↓0.01320.00130.07840.91020.0429R2↓0.00000.01050.07130.00130.9635

为了突出所提出方法的故障诊断优越性，从2个方面来加以仿真比较：

a.无优化的BP网络和遗传优化BP网络的结构参数和性能比较。根据表3的遗传优化参数设置结果，分别将BP网络和遗传优化BP网络的最大隐神经元数设定为30和20，目标性能指标为0.001，在小波范数熵预处理的情况下进行仿真。表6给出了BP网络和遗传优化BP网络的结构及其性能比较结果。

由表6可知，遗传优化BP网络利用16个隐神经元，就能获得30个隐神经元的BP网络近似，甚至更好的逼近及分类性能。2种BP网络具有相同的训练集逼近度，但遗传优化BP网络则由于消除了结构冗余度，降低了网络的复杂性，具有更好的测试集逼近度，从而拥有更好的推广能力。遗传优化BP网络具有较少的网络调节权值数，占用更少的计算内存量，获得更低的计算成本。

表6BP网络和遗传优化BP网络的结构及其性能的比较

网络类型BP网络遗传优化BP网络输入节点数22隐层节点数3016输出节点数55调节权值数210112训练集逼近度0.01180.0118测试集逼近度0.43690.4283占用内存量多少

b.小波范数熵预处理和小波预处理的遗传BP网络性能比较。表7和图7 分别给出了采用小波熵预处理和采用小波预处理时，遗传BP网络的性能参数和训练性能曲线的对比。小波熵预处理的遗传BP网络具有更快的收敛速度，几乎比小波预处理的BP网络快2.5倍左右，并具有更好的测试集逼近度和更高的推广能力，它的正确故障分类率达100%，而小波预处理时的遗传BP网络则只有90.53%。

表7小波熵预处理和小波预处理的遗传BP网络性能比较

网络 类型 小波熵预处理遗传优化BP网络小波预处理遗传优化BP网络目标性能指标0.0010.001收敛迭代步数500011800训练集逼近度0.01180.0118测试集逼近度0.42830.7765正确分类率/%10090.53

图7　 采用小波预处理和小波熵预处理时的 遗传BP网络训练性能曲线的对比

5　结束语

小波范数熵预处理方法提取了故障信号的本质信息，具有很好的聚类效果，能降低后续BP神经网络的训练时间，提高故障元件的诊断精确性。遗传优化的神经网络，则具有更小的体系结构、更低的计算工作量和更高的推广性能。

因此，针对模拟电子电路和复杂故障响应信号，提出新型的特征提取理论和方法，以获得信息的本征特征、减少后续分类器的设计复杂度、提高系统的整体性能，是将来的主要研究方向。

[1]杨士元.模拟系统的故障诊断与可靠性设计[M].北京：清华大学出版社，1993.

[2]Bandler J W ，Salama A E. Fault diagnostic of analog circuits[J].Proceedings of the IEEE，1985，73(8): 1279-1325.

[3]Spina R，Upadhyaya S. Linear circuit fault diagnosis using neuromorphic analyzers [J]. IEEE Transactions on Circuits and Systems II，1997，44( 3): 188-196.

[4]Aminian M，Aminian F. Neural-network based analog- circuit fault diagnosis using wavelet transform as preprocessor[J]. IEEE Transactions on Circuits and Systems II，2000，47(2): 151-156.

[5]Aminian F，Aminian M，Collins H W.Analog fault diagnosis of actual circuits using neural networks[J]. IEEE Transactions on Instrumentation and Measurement，2002，51(3): 544-550.

[6]He Y，Tan Y，Sun Y. Wavelet neural network approach for fault diagnosis of analog circuits[J].Circuits，Devices and Systems，IEE Proceedings，2004，151(4): 379-384.

[7]肖迎群，何怡刚. 基于脊波网络的模拟电路故障诊断[J].电工技术学报，2010，25(6): 155-162.

[8]Xiao Yingqun，He Yigang. A linear ridgelet network approach for fault diagnosis of analog circuit[J]. Science China：Information Sciences，2010，53(11): 2251-2264.

[9]Yuan Lifen，He Yigang，Huang Jiaoying，et al. A new neural-network-based fault diagnosis approach for analog circuits by using Kurtosis and entropy as a preprocessor [J]. IEEE Transactions on Instrumentation and Measurement，2010，59(3): 586-595.

[10]金瑜，陈光楀，刘红.基于小波神经网络的模拟电路故障诊断[J].仪器仪表学报，2007，28(9):1600-1604.

[11]谢宏，何怡刚，吴杰.基于小波-神经网络模拟电路故障诊断方法的研究[J].仪器仪表学报，2004，25(5)：672-675.

[12]Yao Xin.Evolving artificial neural networks[J]. Proceedings of the IEEE，1999，87(9): 887-898.

[13]Goldberg D E，Deb K.A comparison of selection schemes used in genetic algorithms[J].Foundations of Genetic Algorithms，1991(11): 69-93.

[14]Arifovic J，Gencay R. Using genetic algorithms to select architecture of a feedforward artificial neural network[J]. Physica A，2001，289(3): 574-594.

[15]Sarimveis H，Alexandridis A，Mazarakis S，et al. A new algorithm for developing dynamic radial basis function neural network models based on genetic algorithms[J]. Computers and Chemical Engineering，2004，28(1/2): 209-217.

[16]杨福生.小波变换的工程分析与应用[M].北京：科学出版社，2000.

[17]Uya M，Yildirim S，Gencoglu M T. An effective wavelet-based feature extraction method of power quality disturbance signals[J]. Electric Power Systems Research，2008，78(10): 1747-1755.

[18]Arivazhagan S，Ganesan L. Texture classification using wavelet transform[J].Pattern Recognition Letters，2003，24(9/10): 1513-1521.

[19]Madan M Gupta，Liang Jin，Noriyasu Homma. Static and dynamic neural network[M]. IEEE Press，2003.

[20]Michalewicz Z.Genetic algorithms+data structures=evolution programs [M]. Springer，1996.

[21]Sivanandam S N，Deepa S N.Introduction to genetic algorithms [M]. Springer，2008.

Abstract：A fault diagnosis method combing wavelet norm entropy theory and genetic neural networks is introduced in order to reduce structural redundancy of neural networks and its over-fitting of nonlinear approximation. Wavelet norm entropy theory is used to extract the intrinsic features of fault data, and a genetic algorithm is utilized to reduce the architecture of the neural network and a fault diagnosis system of analog circuit is constructed to execute fault classification. Simulation results show that in comparison to wavelet transformation pretreatment the proposed system has better convergence performance, higher diagnosis accuracy and better generalization ability. Ultimately, the system can effectively recognize and classify the faulty components of electric circuits.

Key words：wavelet theory； norm entropy； genetic algorithm； neural network； fault diagnosis

作者简介：肖迎群(1975-)，男，湖南邵阳人，博士后，副教授，主要研究方向为高维数据分析，模拟系统故障诊断。

基金项目：贵州省科学基金重点项目(黔科合LH字[2014]7356号)；贵州理工学院高层次人才科研启动经费项目(XJGC20131203)

收稿日期：2015-04-27

文章编号：1001-2257(2015)06-0003-07

文献标识码：A

中图分类号：TN707；TP183