基于在线连续极限学习机的图像分类改进算法

陈建原，何建农

(福州大学数学与计算机科学学院，福建福州 350116)

0 引言

单隐含层前馈神经网络(single－hidden layer feed－forward neural network，SLFN)因其对复杂的非线性映射具有非常强的逼近能力而在模式识别、自动控制及数据挖掘等领域均有广泛应用．然而，传统神经网络学习算法的缺陷，如训练时间长、容易陷入局部极小等成为制约其发展的主要瓶颈．因此，探索一种训练速度快、获得全局最优解，且具有良好泛化能力的学习算法是提高前馈神经网络性能的主要目标［1］．

为提高神经网络学习算法的效率，Huang等人将神经网络的训练问题转化为求解线性方程组，提出了一种称为极限学习(extreme learning machine，ELM)的学习算法:训练前只需设置合适的隐含层节点数和激活函数，然后为输入权值和隐含层偏差量进行随机赋值，最后引入矩阵广义逆的思想且通过最小二乘法获得输出权值［2］．整个训练过程快速简单，无需繁琐的迭代和调整参数，且具有良好的全局搜索能力，因此极限学习机在回归和分类、预测等领域得到了广泛应用，而且与传统神经网络学习算法如BP、SVM相比不仅速度有了极大提高(大约10倍)，同时也有很好的泛化性能．然而，ELM也有以下2点不足之处，

1)由于输入权值和隐含层偏差量的随机选取，无法确定隐含层输出矩阵的奇异性，这很可能将会影响算法效率［3］．

2)数据集大小对极限学习机有一定程度的影响，这是因为其无法根据数据集的特征进行微调［4］，因此会导致算法的稳定性不足．

为改善极限学习机的缺陷，本研究在其基础上引入正则因子，并且根据矩阵的奇异性进行有区别的广义逆求解，结合在线学习的方法提出AOS－ELM法，并通过实验，证明在图像分类方面该改进算法比原ELM法和OS－ELM法具有更快学习速度和更好的泛化能力．

1 相关概念简介

1．1 图像纹理特征和局部二值模式(LBP)

纹理是图像的灰度统计信息、空间分布信息和结构信息的综合反映．它是由像素组成的具有一定形状和大小的集合．纹理特征的提取指的是通过一定的图像处理技术检测出纹理基元模型，从而获得纹理定量或定性描述的过程［5］．算法所用的特征提取方法是在LBP的基础上，根据数据库图像实际尺寸进行适当改进．LBP在图像纹理特征提取有着广泛的应用，它是一种用来描述图像局部纹理特征的算子，而且它提取的特征是图像的纹理特征［6］．

1．2 极限学习机(ELM)

其中:wi=［wi1，wi2，…，win］T是连接着第i个隐含层节点和输入节点的权值向量，β =［βi1，βi2，…，βim］T是连接着第i个隐含层节点和输出节点的权值向量，并且bi是第i个隐含层节点的偏差量．此SFLNs模型可以在零平均误差的情况下逼近这N个样本，所以存在wi，βi和bi使得:

上面的等式可以被简写成:

其中:

其中:H称为隐含层输出矩阵，H的第n(n≤L)列是第n(n≤L)关于输入x1，x2，…，xN的隐含层节点的输出．这个SFLNs模型有着逼近能力强、泛化性能好的性质［8］．

为了求解这个SLFNs，Huang［2］基于研究结论提出了一种新的、快速学习算法称之为极限学习机(extreme learning machine，ELM)，其步骤可概述如下:

ELM算法:给定一训练集X={(x i，t i)x i∈R n，t i∈R m，i=1，2，．．，N}和激活函数G(x)，隐含层节点数为L．步骤1: 为输入权值w i和变差值b i进行随机赋值(i=1，2，…，L);步骤2: 计算隐含输出矩阵H;步骤3:通过β^=H+T计算输出权值β，其中H+是H的MP广义逆 ，T=(t，t，…，t)T ．12 n

相比于传统学习算法，极限学习机不需要繁琐的调整，是一个比较简洁有效的算法，同时也具有学习速度快、泛化能力强的特性．然而，在许多现实应用当中，当实验数据集太大或者实验数据难以收集的时候会导致极限学习机性能的下降．为此文献［9］基于在线学习和递归最小二乘算法提出了在线连续极限学习机(OS－ELM)．同样的，OS－ELM也有其不足之处:在训练过程中往往把时间消耗在求解矩阵H的MP广义逆，此时，一般采用奇异值分解法(SVD)来求解矩阵H+，这种方法的计算复杂度为O(4NL2+8L3)［10］．而在知道矩阵H的奇异性的前提下可以采用其他效率更高、计算复杂度更低的计算方法，如正交投影法．

2 准确在线连续极限学习机(AOS－ELM)

结合文献［11］的回归理论对极限学习机进行修改、改善了矩阵P的奇异性对算法的影响，提出了准确在线连续极限学习机(AOS－ELM)．该算法基本思路是:将等式(3)替换成优化模型HTHβ=HTT，此模型至少有一优化解．针对矩阵的奇异性和对优化近似解进行有区别的矩阵逆计算，这样做在一定程度上可有效减少求解矩阵的逆的计算复杂度，等价于减少训练时间;同时，根据文献［12］提出的建议:在计算输出权值时加入了正则因子1/λ，也就是在矩阵HTH的对角线上加入一个根据数据集选取的正数1/λ;最后再加入后续在线学习阶段．经过如此处理之后，综合结果更加快速且算法有了更好的泛化性能．

步骤1 初始化阶段

1)随机产生输入权值向量wj和偏差量bj，初始化网络．

2)按式(4)计算初始隐含层输出矩阵H0．

当r≠N0且r≠ N~时，求解两优化模型［11］:Bm∈ign+M － B 和B*m∈iRnNB*β0－c，可获得优化解B*，0β0*．这里 c=H0TT0，ε=10－4，M=H0TH0，g+={G ∈ RN0×N0G是正定对称矩阵}．

4)令K=0，K为网络训练的数据段个数．

步骤2 连续学习阶段

对于每个K+1块新的训练样本，表示为:

这里N(K+1)为第K+1块数据集里训练样本的数目．

1)计算第K+1块训练样本的隐含层输出矩阵，求解公式如下所示:

2)按照前面第一阶段步骤2)计算输出权值向量β．

3)令K=K+1，并回到在线学习阶段的步骤1)．

3 实验结果与分析

3．1 实验参数的选择与说明

为验证该改进算法的有效性，进行图像数据库分类仿真实验．实验所用的数据库下载于文［14］，取其中6类每类11个样本，图像尺寸为128 dip×96 dip，每类的前7张图像作为训练样本，后4张图像为测试样本．正则因子过大对算法性能有不良影响，经过多次实验取1/λ=10，这样既可适当提高学习速度、又不会导致算法不稳定．此外，用LBP进行纹理特征提取时，先把图像划分为5×5=25个子区域，在每个子区域内的每个像素点提取其LBP特征，然后建立统计直方图;每幅图像就有5×5个子区域，也就有了25个统计直方图，利用这25个统计直方图，就可以描述这幅图像［13］．再将LBP直方图串联起来形成一个高维的直方图特征矢量，然后将经过PCA降维后得到的数据进行ELM实验，用由此得到的神经网络的输出作为分类的依据．以下实验均在2．3 GHz的Intel CPU、2G RAM和Matlab 7．10 R2010a环境下进行．

为了解不同激活函数对本算法的影响，进行AOS－ELM的图像分类实验，初始隐含层节点数为100，以10为周期增加节点数直到最大值550．

常用的激活函数有:

1)Sigmoid 函数:G(a，b，x)=1/［1+exp(－(ax+b))］;

3)Gaussian函数:G(a，b，x)=exp(－b x－a2);

4)Multiquadric函数:G(a，b，x)=(x－a2+b2)1/2．

由图1可明显得出，S型函数在改进算法中的实验表现最好，测试准确率在节点数达到500之后趋于稳定，而节点数过多则会导致网络的"过学习"且消耗时间也会大幅增加，因此，节点数在400～700最为理想，本次实验的节点数取较为理想的500个．

图1 不同激活函数实验结果对比图Fig．1 Experimental result based on different activation function

3．2 对比实验的结果与分析

为进一步了解本算法的性能，进行图像分类对比实验．3种算法的节点数皆为500，激活函数选择实验结果最理想的Sigmoid函数:G(a，b，x)=1/［1+exp(－(ax+b))］．由于数据集的原因，有选择性地把训练数据只分成一块，也就是初始训练样本数目N0为全部训练样本来实现本文算法和OS－ELM，相当于只实现算法的初始化阶段［15］．实验运行10次后取平价值进行三者对比，实验结果见图2、3．

图2 实验分类效果对比图Fig．2 Comparison of classification＇s effect

图3 训练所用时间对比图Fig．3 Comparison of the traning time

在图2和图3中，双划线代表ELM，虚线代表AOS－ELM，实线代表OS－ELM．此外，为了比较改进算法与传统分类算法的区别，再次进行SVM图像分类实验，核函数为Gaussian RBF核函数，核函数的参数由交叉验证法得到．实验结果如表1所示．

表1 AOS－ELM算法与其他ELM算法的实验结果数据Tab．1 Comparison betweent AOS －ELM and other ELM algorithms

观察上述图表可知:在训练准确率方面，三者几乎都达到100%，而SVM稍差一点;在测试准确率的标准差方面，该改进算法为1．07%，优于ELM和OS－ELM的3．43%和2．64%，但是三者都低于SVM，这说明在算法的稳定性上SVM更好一点;在测试准确率方面，改进算法为88．42%高于其余三者的84．90%、82．52%和81．76%;而且训练所用时间0．037 3 s也要比0．560 8、0．109 2 和1．593 s少得多，也就是说学习速度远快于原ELM、OS－ELM和SVM．而这两项指标正是衡量分类性能的重要标准．因此可以说明，在小型数据集的情况下，改进算法在稳定性、学习速度、泛化能力方面均优于原OS－ELM与ELM;而且，与SVM相比，ELM及其改进算法在分类性能上也显得更优秀．

3．3 大型数据集的分类实验

为验证算法在大型数据集上的分类性能，选择不同数据库进行实验．此次实验数据库为Landsat Satellite Image和Image Segmentation［16］．前者生成于卫星多光谱扫描器，图像是在相同场景下、由4个不同波段组合而成．后者图像取自七类户外场景，由2 310个3×3像素的区域组成(见表2)．

表2 数据集详细信息Tab．2 Two data sets used in experiments

实验结果取10次平均值后与原OS－ELM比较．实验所用隐含层节点数皆为180，激活函数为S型函数，实验数据见表3．

表3 数据集为Image Segmentation和Landsat Satellite Image的实验结果数据Tab．3 The results of experiment based on Image Segmentation and Landsat Satellite Image

由实验结果可以得出:在大型数据集上该算法的训练准确率与OS－ELM几乎没有差别;而在测试准确率方面，改进算法为87．78%和94．06%，与OS－ELM的测试准确率87．34%和94．70%也相差无几，也就是说两者泛化性能相仿;但是训练所用时间0．309 2和0．376 5 s均少于原OS－ELM的0．414 0和0．485 2 s，说明该算法的学习速度要快于原OS－ELM．

4 结语

结合LBP算子提取图像的局部纹理特征提出新的在线极限学习机AOS－ELM．算法加入正则因子1/λ和针对矩阵的奇异性进行有区别的矩阵逆计算，提高了效率;并加入后续在线学习阶段，使得在学习速度较快前提下，该算法在小型数据集上泛化能力和稳定性均优于原OS－ELM和ELM，而大型数据集上也能和OS－ELM性能相仿．最终实验证明，改进算法在图像分类的应用上有着较为理想的结果．