动态神经网络分类器主动学习算法及其智能控制应用

任红格　李冬梅　李福进

(河北联合大学电气工程学院　河北 唐山 063009)



动态神经网络分类器主动学习算法及其智能控制应用

任红格李冬梅李福进

(河北联合大学电气工程学院河北 唐山 063009)

摘要针对动态神经网络分类器训练时采样时间长、计算量大的问题，提出一种动态神经网络分类器的主动学习算法。根据主动学习AL(Active Learning)算法中一种改进型不确定性采样策略，综合考虑样本的后验概率及其与已标记样本间的相似性，标注综合评价得分值较小的样本，将其用于对网络分类器的训练。通过Sobol’敏感度分析法，神经网络适时地增加敏感度值较大或删减敏感度值较小的隐层神经元，以提高其学习速率，减小输出误差。分类器训练仿真实验结果表明，与被动学习算法相比，该算法能够大大缩短网络分类器训练时间，降低其输出误差。将该算法用于液压AGC系统中，实验结果表明，该算法可实现系统中PID控制器参数的在线调节，提高了厚度控制精度，以此验证了该算法的适用性。

关键词主动学习动态神经网络分类器Sobol’敏感度分析法改进型不确定采样策略液压AGC

0引言

神经网络作为一种监督学习模型广泛应用于分类问题[1]，神经网络分类器的设计包括神经网络模型的选择、采集样本、标记样本以及样本训练等过程[2]。若样本采集、标注的方法选择不当，就有可能增加分类器训练时间，并在计算量上也付出较大代价。同样，若神经网络模型结构选择过大或过小也会影响分类器学习效率，改变分类器最终性能。

基于上述问题，在分类器学习方法选取上，目前主动学习AL算法是该领域中的重要研究方向之一，它同时利用标注和无标注样例来构建高精度分类模型，以降低人类专家工作量[3]。近年来主动学习被大量应用于信息检索、图像和语音识别、文本分类和自然语言处理等领域[3,4]。2009年，韩光等人将一种SVM主动学习算法应用于障碍物检测中，并在真实的野外环境图像库上进行了实验，证明了其较快的收敛速度[5]；2011年，陈荣等人将主动学习算法引入到SVM分类器的图像分类算法中，并通过实验验证了该算法能够有效地减少分类器训练时所需的人工标注样本的数量，同时获得较高的准确率和较好的鲁棒性[6]；2013年，吴伟宁通过主动学习算法，以尽量少的标注和时间代价构造了一个较高精度的对象类别识别系统[7]。

在神经网络模型选取的问题上，由于目前的神经网络多数是通过足够的设计经验和充足的数据确定其结构，神经网络结构一旦确定将不再调整[8]。因此，本文建立了一种基于敏感度分析的增长—修剪型动态神经网络模型。动态神经网络通过敏感度分析，删减敏感度值小的神经元，当网络处理问题能力较弱时，插入敏感度值大的神经元，以提高网络学习速率，减小输出误差。

首先，本文在主动学习算法现有的不确定性采样策略US(Uncertainty Sampling)基础上，提出一种改进型不确定性采样策略MUS(Modified Uncertainty Sampling)。通过对各训练样本后验概率以及无标记样本与有标记样本间相似性的分析，从大量无标记样本中选取符合采样条件的样本，用以动态神经网络的训练，从而达到减少采集样本时间和计算量的目的。其次，可训练的动态神经网络分类器根据Sobol’敏感度分析方法适时地增加敏感度值较大或删减敏感度值较小的隐含层神经元，以缩短网络学习时间，减小网络输出误差。最后，将该算法用于液压AGC系统中，通过在线调节PID控制器的参数来达到提高厚度控制的目的。仿真实验结果验证了所提算法的有效性和适用性。

1主动学习算法

主动学习算法的思想是利用现有的知识，选择标记部分样例加入训练集，迭代训练分类器，尽可能用较少的训练数据得到较高分类性能的分类器，以加速学习过程并提高分类性能。主动学习算法的工作过程是一个迭代训练分类器的过程，该过程先通过采样方法从大量没有标记的样例中选出最有价值的样例，之后用这些样例进行循环训练，当达到一定精度后输出[ 3,4,9]。

主动学习算法可以由五个组件进行建模：

A=(C,L,S,Q,U)

其中C为分类器；L是一组已标注的训练样本集；Q是用于在未标注的样本中查询信息量大的样本的查询函数；U是整个未标注样本集；S是督导者，来对未标注样本进行标注。

主动学习算法的过程：初始化阶段，随机从未标记样本中选取一小部分样本由督导者进行标注，用已标注好的样本对分类器进行初步训练得到一个初始分类器模型；循环查询阶段，督导者S从未标注样本集U中按照某种查询标准Q，选取一定的未标注样本进行标注，并加到训练样本集L中，分类器C被重新训练，直至达到某种训练停止标准为止[1,10]。

主动学习方法采样策略有很多种，其中基于不确定性的样例选择方法是适用性最广的一类样例采集方法。该样例选择方法是对后验概率p(y′|x)的预测值最接近0.5的样例进行采集，其中y′是x的预测值，之后加入到训练集中。

基于不确定性采样策略的主动学习算法在采样过程中，因为只根据后验概率接近0.5进行采样，就会出现采集到重复样例的情况，所以本文在不确定性采集策略的基础上进行了改进。除了后验概率因素，还考虑了无标记样本与有标记样本间的相似性，将二者结合进行样例的采集。

2基于动态神经网络的主动学习算法

本文将一种基于改进型不确定性采样策略的主动学习算法与动态神经网络相结合，提出一种新型的动态网络主动学习(MUSAL)算法。该算法首先选取一些已标记样本对网络进行训练，得到一个初始动态网络。之后根据采样策略从大量无标记样本中选取符合条件的样本进行标记，用于训练网络。若训练步数达到设定的最大步数或者网络输出符合要求时，训练过程便会终止；否则系统继续循环训练。

2.1动态神经网络主动学习算法的样本采集

主动学习算法是一个迭代过程，首先使用已标记样本L对网络进行训练，得到一个初始网络权值。之后用网络从对无标记样本集U中进行输出，选取后验概率接近0.5的n个样本，对n个样本进行评定采集符合条件的样本，将采集到的样本加入到训练集中对网络进行训练。样本采集具体方法如下：

(1)

(2)

综合上述两方面，对无标记样例xi进行评价：

Goal(xi)=Pi·Sim(xi)

(3)

其次根据式(3)选取最小得分值Goal(xi)的样本由专家进行标记，加入已标记样本集L得到一个新的标记样本集L′，再由L′重新训练网络，继续在剩下的无标记样本集U′中采集样本。直到达到最大迭代次数，或者U变为空集。

2.2神经网络结构的调整

增长—修剪型动态神经网络主要思想是：基于敏感度分析，删除敏感度值太小的神经元，并在神经网络信息处理能力不够时插入敏感度值较大的新神经元。每次调整完结构，都要进行参数的修改[8,11,12]。将该网络与主动学习结合，在减少网络训练时间的同时也提高了网络输出的准确性。

动态神经网络结构如图1所示。

图1　动态神经网络结构

第一层：输入层

该层有n个节点，输入层神经元的输出为：

ui=xii=1,2,…,n

(4)

其中，ui表示输入层第i个神经元的输出，x=(x1,x2,…,xn)表示神经网络的输入。

第二层：隐含层

该层含有m个神经元，其输出为：

(5)

第三层：输出层

设该层有K个神经元，其输出为：

(6)

其中，yk表示第k个神经元的输出，wjk是隐含层第j个神经元与输出层第k个神经元之间的连接权值。

网络训练过程中均方差为：

(7)

其中，ydk表示神经网络第k个神经元的期望输出，yk表示神经网络第k个神经元的实际输出，b是神经网络训练步数。

假设采集到m个样本对网络进行训练，这些样本通过网络输出得到对应的均方差，并按大小排序，结果如下：

E1,E2,…,Et,Et+1,…,Em-1,Em

若Et是神经网络对上述样例输出方差最接近目标误差Eg的，则将Et作为系统反馈误差调节网络权值，以此训练网络。如果网络输出的误差E≥αEg，其中α是判断因子，α>1，说明此时神经网络的处理能力较弱，隐含层神经元个数需要增加；如果网络训练时间变得很长，此时的网络可能需要对神经元进行修减简化自身结构。

动态神经网络的结构分为两部分：输入层与隐含层之间的连接；隐含层与输出层之间的连接[8]，如图2所示。本文主要通过分析隐含层神经元输出权值对神经网络输出的影响调整网络结构。

图2　动态神经网络结构分解图

神经网络结构调整的基本思想是：利用基于方差的全局敏感度分析法——Sobol’法。对神经网络隐含层神经元与输出层神经元之间的连接权值进行分析，得出敏感度值大小不同的神经元。当网络结构过大时，删除敏感度值较小的神经元；当神经网络处理信息能力较弱时，插入上述神经元敏感度分析过程中得出的敏感值较大的神经元，以达到对结构的调整。同时利用最速下降算法对新结构的所有神经元连接权值进行修改。

Sobol’方法是典型的基于方差的全局敏感度分析法，其核心思想是对模型函数进行分解，分别得到参数1次、2次以及更高次的敏感度。其中，1次敏感度代表参数主要影响，其他代表的是参数间相互作用的敏感度[13-16]。假设模型输出函数Y=f(x),输入xi∈X(i=1,2,…,n)并且0≤xi≤1。则输出函数分解如下：

f1,2,…,n(x1,x2,…,xn)

(8)

式中，若每一个分项都满足对其所包含的任意变量的积分为零，即：

∫fi1,i2,…,ikdxis=0

(9)

其中，1≤i1

fi(xi)=∫…∫f(x)dx1…dxi-1dxi+1…dxn-f0

(10)

(11)

以此类推可得出式(8)中各个分解项函数。

模型输出f(x)的总方差为：

(12)

偏方差Ei为:

(13)

偏方差Ei,j为:

(14)

同样以此类推便可得出各阶方差。

在Sobol’方法中，总方差E表示所有输入参数x对模型输出的影响；偏方差Ei表示单个输入数xi对模型输出的影响；偏方差Ei,j表示输入参数xi与xj之间相互作用对模型输出的影响。则定义方差之比作为衡量输入参数作用的全局敏感度值，表示为：

(15)

将网络隐含层神经元与输出层神经元间的连接权值[w11,w12,…,w1K,w21,w22,…,w2K,…,wm1,wm2,…,wmK]作为网络神经元敏感度分析的输入量，神经网络为多输出量，其输出根据式(8)可分解为：

(16)

由于动态神经网络中隐含层各神经元对网络输出的作用是相互独立的，故只需计算输入参数的一阶灵敏度值即可。利用上述Sobol’算法计算出隐含层神经元一阶敏感度值：

(17)

神经网络结构具体调节过程如下：

(1) 给定一个隐含层神经元个数不为0的三层感知器神经网络，进行训练；分析是否符合结构的修改条件，符合条件转向步骤(2)，否则转向步骤(4)。

(2) 判断是否满足结构增长条件，若不满足转步骤(3)。若满足，利用式(17)计算出每一个隐层神经元敏感度值，添加一个神经元，并设定该神经元的初始权值与敏感度最大的神经元的权值相等，即：

wnew=wmax

(18)

(3) 根据修剪条件si<σ(σ为敏感度设定阈值，通常小于目标误差)对神经元敏感度进行分析，删除敏感度值小于σ的神经元。

(4) 利用快速下降算法对网络连接权值进行修改，如式(19)所示：

(19)

(5) 输出达到允许范围或者训练步数达到最大值时，停止计算；否则，若结构不需调整则转向步骤(4)，若结构需要调整则转向步骤(2)。

3液压厚度自动控制系统

液压厚度自动控制AGC(Automatic Gauge Control)系统精确度较高，响应速度较快并且过载保护简单可靠。因此现在轧机中普遍应用液压压下控制系统[17-19]，液压AGC系统辊缝控制框图如图3所示。

图3　液压AGC辊缝控制框图

根据图3，通过对系统中各动态元件的特性分析，AGC系统的整体模型如图4所示。根据图4代入各参数，经过简化可得出被控对象传递函数为：

(20)

图4　液压AGC系统辊缝控制整体结构图

4仿真实验

在实验中选取5000个样本进行分类，设定初始随机选择的训练样本数为200个，类别数量为4，网络分类器神经元敏感度阈值为σ=0.1，动态网络分类器训练步数最大值为T=10 000，输出最大误差E=0.04。

图5　动态神经网络输出误差

图5描述的是分别通过基于改进型不确定性采样策略的主动学习(MUSAL)算法、基于不确定性采样策略的主动学习(USAL)算法和被动学习PL(Passive Learning)算法等三种方法训练的动态神经网络的输出误差变化曲线。x轴表示动态网络分类器训练的步数，y轴表示动态网络分类器输出误差大小。从图5可以看出通过三种方法，最终都能得到输出误差满足要求的动态网络分类器。图5中，三条曲线起始位置表示的是动态网络分类器初始化后的输出误差。通过对三条曲线的分析，三条曲线的起始位置是相近的，说明随机选取样本训练得到的初始分类器输出误差相差不大。但随着迭代过程的进行，三条曲线渐渐有了差距，其中PL法的效率最低，在分类器误差相同时，PL法需要训练的步数最多，其次是USAL法，而MUSAL法则需要最少的训练步数，这就说明在得到相同输出误差的分类器时，使用MUSAL法能大大缩短训练网络分类器的时间。如图5所示，使用PL算法的分类器最终的输出误差也是不如其他两种方法低，达到稳定时，该方法输出误差在0.04与0.05之间，而USAL法虽与MUSAL法的最终误差很相近，但还是比MUSAL法最终误差稍微高些，大约在0.04左右，使用MUSAL算法分类器最终的输出误差为0.03左右。这就证明了MUSAL算法在缩短动态网络分类器训练时间上的有效性，并且也降低了网络的输出误差。

主动学习动态网络控制如图6所示。

图6　主动学习动态网络控制器

采用主动学习动态网络控制与被动学习动态网络控制器两种方法通过MATLAB对液压AGC系统进行实验仿真。选取刚厚度期望值hr=5 mm，要求允许最大偏差值emax=0.05 mm。实际板厚输出与板厚误差随轧制时间变化的仿真曲线如图7和图8所示。 图中，x轴表示的是板带材轧制时间，y轴分别表示AGC系统实际输出的板带材厚度和厚度误差。主动学习动态网络控制器能使系统实际的输出厚度达到期望值5 mm，输出在0.2 s左右时开始稳定，并且最终可以保持稳定；输出误差满足要求，在0.05 mm范围内，超调量很小；而与主动学习动态网络控制器相比，被动学习动态网络控制器的输出虽然最终也达到了平衡但与期望值之间稍微存在一些误差，并且达到稳定时用时也较长，超调量较大。以此验证了本文算法的高效性及适用性。

图7　主动学习动态网络控制厚度输出曲线　　　图8　主动学习动态网络控制厚度误差输出曲线

5结语

针对动态神经网络在学习过程中训练时间长、计算量较大等问题，提出一种动态神经网络分类器的主动学习算法。该算法在不确定性采样策略的基础上，进行了改进，通过对无标记样本与标记样本集相似性的考虑，提高了采集样本的有效性。并通过动态网络输出误差的MATLAB仿真实验对该算法进行了验证。仿真实验结果表明，动态神经网络输出误差达到平衡时间较短，并且误差值较小，以此验证了该主动学习算法的有效性。最后将该方法应用于液压AGC系统中，通过在线调节液压AGC系统中PID控制器参数，提高厚度控制精度。最后利用MATLAB对实验进行仿真，结果表明，系统输出具有较快的调节速度和很小的超调量，以此证明了该算法的适用性。

参考文献

[1] 刘康,钱旭,王自强.主动学习算法综述[J].计算机工程与应用,2012,48(34):1-4.

[2] 胡静,高隽,杨静.模糊神经网络分类器的主动学习方法[J].中国科学技术大学学报,2008,38(3):241-246.

[3] 吴伟宁,刘扬,郭茂祖,等.基于采样策略的主动学习算法研究进展[J].计算机研究与发展,2012,49(6):1162-1173.

[4] 徐冉冉.基于主动学习的智能算法及其在模式分类中的应用[D].江苏:江南大学,2013.

[5] 韩光,赵春霞,胡雪蕾.一种新的SVM主动学习算法及其在障碍物检测中的应用[J].计算机研究与发展,2009,46(11):1934-1941.

[6] 陈荣,曹永锋,孙洪.基于主动学习和半监督学习的多类图像分类[J].自动化学报,2011,37(8):954-962.

[7] 吴伟宁.主动学习算法中采样策略研究[D].黑龙江:哈尔滨工业大学,2013.

[8] 韩红桂.神经网络结构动态优化设计方法及应用[D].北京:北京工业大学,2011.

[9] 白龙飞.基于支持向量机的主动学习方法研究[D].山西:山西大学,2012.

[10] 孙功星,戴贵亮.神经网络主动学习的进化算法[J].计算机科学,2002,29(10):61-63.

[11] Peter J E V,Dwight R P.Numerical sensitivity analysis for aerodynamic optimization:a survey of approaches[J].Computers & Fluids,2010,39(3):373-391.

[12] 乔俊飞,韩红桂.神经网络结构动态优化设计的分析与展望[J].控制理论与应用,2010,27(3):350-357.

[13] Yu W,Harris T J.Parameter uncertainty effects on variance-based sensitivity analysis[J].Reliability Engineering & System Safety,2009,94(2):596-603.

[14] 李睿.Sobol’灵敏度分析方法在结构动态特性分析中的应用研究[D].湖南:湖南大学,2003.

[15] Sobol’ I M.Sensitivity estimates for non-linear mathematical models[J].Mathematical Modelling and Computational Experiment,1993,4(1):407-414.

[16] Saltelli A,Taranto S,Campolongo F.Sensitivity analysis as an ingredient of modeling[J].Statistical Science,2000,15(4):377-395.

[17] 张贯宇.基于模糊神经网络参数整定的热轧带钢厚度仿人智能控制[D].山西:太原理工大学,2013.

[18] 丁修堃,张殿华,王贞祥.高精度板带钢厚度控制的理论与实践[M].北京:冶金工业出版社,2009.

[19] 杨安,欧阳奇.轧机液压AGC系统建模及仿真[J].机床与液压,2008,36(9):243-246.

收稿日期：2015-01-15。国家自然科学基金项目(61203343)；河北省自然科学基金项目(E2014209106)。任红格，副教授，主研领域：人工智能。李冬梅，硕士生。李福进，教授。

中图分类号TP13TP183

文献标识码A

DOI:10.3969/j.issn.1000-386x.2016.07.057

APPLICATION OF ACTIVE LEARNING ALGORITHM FOR DYNAMIC NEURAL NETWORK CLASSIFIER AND ITS INTELLIGENT CONTROL

Ren HonggeLi DongmeiLi Fujin

(SchoolofElectricalEngineering,HebeiUnitedUniversity,Tangshan063009,Hebei,China)

AbstractIn view of the long sampling time and large computation amount in training process of dynamic neural network classifier, we put forward an active learning algorithm for dynamic neural network classifier. According to an improved uncertainty sampling strategy in active learning algorithm, and considering both the posterior probability of the sample and the similarity of the marked samples, we annotated the samples with smaller comprehensive evaluation score and applied them in network classifier training. By sobol’ sensitivity analysis method, the neural network timely increased or pruned the hidden layer neurons with larger sensitivity value or smaller larger sensitivity value in order to improve the learning rate and reduce the output error. Results of simulation experiment of classifier training showed that compared with the passive learning algorithm, the proposed algorithm could greatly shorten the network classifier training time and reduce the output error. Applying the algorithm to hydraulic AGC system, the experimental results showed that it could realise the online adjustment of PID controller parameters in system, and improve the precision of the thickness control, these validated the applicability of the proposed algorithm.

KeywordsActive learningDynamic neural network classifierSobol’ sensitivity analysisImproved uncertainty sampling strategyHydraulic AGC