一种多尺度小波核极限学习机的图像检索仿真

孙中华，杨晓迪，古丽米拉克孜尔别克



一种多尺度小波核极限学习机的图像检索仿真

孙中华，杨晓迪，古丽米拉×克孜尔别克

（新疆农业大学 计算机与信息工程学院，新疆 乌鲁木齐 830052）

阐述了核极限学习机原理。在此基础上提出了一种多尺度小波核极限学习机，将多尺度小波核作为极限学习机的核函数，测试表明是其一种可实现的极限学习机核。同时在无训练数据分布的空间也具备分类能力，同等条件下高斯核极限学习机却不具备分类能力。在图像检索中应用多尺度小波核极限学习机，实验表明，相比支持向量机学习机分类算法，该分类算法可提高检索精度以及速度，具有优良的性能和一定的应用价值。

图像检索；支持向量机；多尺度小波核；极限学习机；分类算法

0 引言

为了提高图像检索精度，引入了学习机制。Vapnik等在统计学理论基础上提出了支持向量机SVM[1]，有效解决非线性分类问题，对有限样本具有较好的分类问题，对大样本却存在训练时间长，精度不高的问题；针对前馈神经网络的输入层连接权值不需要迭代调整，Huang提出了一种新的神经网络训练架构，称为极限学习机（extreme learning machine，ELM）[2]。同传统的基于梯度下降的迭代算法BP神经网络等不同，该方法可一次性求解出输出权值的最小二乘解，且速度快，泛化性好，被广泛应用在分类问题[3]。相对于传统的分类方法，ELM在保证一定识别准确率的基础上，大大降低了训练花费时间[4]。ELM相对SVM速度更快且参数不敏感，更容易部署[5-6]。

该方法具有良好的非线性映射能力，广泛应用在支持向量机中。文献[7]提到，核方法也可以应用到极限学习机算法中。

小波核函数也应用在支持向量机中[8]，文献[9]阐述了其也能应用到极限学习机中，且性能较好。本文将多尺度小波核函数应用到极限学习机中，对corel图像库进行分类检索，实验表明，检索精确度较高且速度快。

1 算法研究

1.1 极限学习机

个各不相同的训练样本集{(x,y)|xÎR, yÎR}，前馈网络的激跃函数()以及隐含层节点数为，极限学习机训练的步骤如下：

1）确定前馈神经网络结构；

2）随机设置前馈神经网络的连接权值，并计算隐含层的输出矩阵：

(a,…,b),＝1,…,(1)

3）求解输出权值的最小二乘范数解；

式中：是单位矩阵，是常数。是期望矩阵。

极限学习机的分类公式如下表示：

1.2 核极限学习机

由于极限学习机的输入权值在训练过程中不需要调整，可以在建立网络的时候一次性给定，极限学习机的隐含层输出可以描述为：

式中：()为激活函数；a＝[a,…,a]为输入权值；为输出权值；b为第个隐含层单元的偏置；a×x为内积运算。式(5)可简化为式(6)的矩阵形式表达：

＝(6)

式中：为隐含输出层；为期望输出。

SVM确定最优分类面基于结构风险最小化原则，而在求解极限学习机的过程中，不仅要考虑经验误差最小化，同时还要考虑结构风险最小化。因此，在最小化的输出权值和最小化的误差之间做出折中，构造计算公式如下：

式(8)等价于式(9)：

式中：＝[,1,…,,m]是训练样本x对应的网络输出值和实际值间的误差。

根据KKT条件，使用Lagrange函数求解最值问题，也就是式(9)的问题可以等效为：

式中：是连接隐含层和第个输出结点的权值，＝[,…,]。相应的优化限制条件为：

隐含层输出矩阵仅仅与样本的个数和隐含层的结点数目有关而与样本的输出结点个数无关。对于分类问题，它与样本的类别数目无关。

将式11(a)、11(b)都带入到式11(c)中，有：

所有的公式输出都合并起来，令：

于是式（13）可以合并写成：

最终我们可以推导得到：

极限学习机的逼近函数可以写成：

可以把每一个样本的隐层输出(x)都看成是样本x的非线性映射，这个映射可以采用加式的＋的形式，也可以采用RBF的形式。

于是有：

又我们有：

于是极限学习机的求解公式可以写成：

通过上述步骤就构造出了核极限学习机。核极限学习机具有比传统极限学习机更为强大的函数逼近能力，同时处理分线性分类的能力也更强。

1.3 多尺度小波核函数

类似于支持向量机，若一个核函数能满足Mercer条件，那么该核函数就可以作为核极限学习机的核函数。为了简化算法，我们将SVM的核应用于ELM中。

已知一个母小波函数()，它的伸缩因子和平移因子分别是和，那么小波基函数可以表示如下：

根据张量积的理论，一个多维的小波函数可以写成多个一维小波函数的张量积：

根据式(22)可以构造出平移不变的核函数，如下式：

本实验选用Morlet小波函数()＝cos(1.75)×exp(－2/2)，那么其相应的小波核函数可以表示如下：

小波核函数不仅具有强大的非线性映射的特征，而且也继承了小波分析对非平稳输入参数的逐级精细描述的特征。因而采用小波核函数的小波极限学习机能够以较高的精度逼近任意函数，这是传统的核函数所不具备的。

虽然核函数有强大的映射能力和非线性分类能力，但在一些复杂情形下，由单个核函数构成的核机器并不能满足诸如数据异构或不规则、样本规模巨大、样本不平坦分布等实际的应用需求，因此将多个核函数进行组合，以获得更好的结果是一种必然选择。

通常我们可以通过不同的核函数叠加的方式如下式来构造出一个混合核函数，以提高分类性能。

＝1×1＋…＋a×K(25)

对于小波核函数本身有多尺度扩展得能力，不同的尺度就构造出来了不同的小波核函数。

以小波核作为极限学习机的核函数，仍然属于单尺度小波核ELM[10]。为提高具有多尺度特性的函数逼近能力，本文提出多尺度小波核，以提高分类准确性。

我们根据多尺度小波核的性质构造出多尺度的小波核函数如下式所示：

我们可以把式(26)缩写成：

(27)

由于多尺度的小波核函数是多个尺度的小波核函数的组合，因此多尺度小波核函数极限学习机对于核参数的选择范围可以大大地放宽，甚至可以淡化核函数的选择，同时其逼近能力更高，具有使用方便、识别效果更好等优点。

2 实验分析

实验图像库采用corel库，共10类，每类100张图片，提取所有图像的颜色特征与纹理特征作为低层特征。

测试1：分别对比不同核函数极限学习机，对wine的UCI分类测试数据进行测试，测试结果如表1所示；分别采用SVM、TSVM、ELM、小波核ELM（WKELM）和多尺度ELM（MWKELM五种分类器对corel库进行检索对比，选取每类图像的前40张作为训练样本，后60张作为测试样本，测试结果如表2所示。

从表1可以看出，多尺度小波核极限学习机比其他核函数极限学习机的检索精度高，而无核极限学习机与高斯核极限学习机相当。

从表2可以看出，极限学习机比支持向量机有更高的测试精度，测试表明极限学习机分类算法有较好的分类性能。

表1 不同核函数性能对比

表2 五种分类算法性能对比

测试2：为了进一步做测试，通过选取不同的测试样本数量，分别选取1、5、10、15、20、30、40张图片作为训练样本数据，测试结果如图1所示。

图1 不同训练样本测试结果

从图1中可看出，多尺度小波核学习机的分类识别率最高，最差的是SVM支持向量机分类算法。采用多尺度核函数方法参数选择的复杂度比单个核方法的参数选择大得多[11]，因此，多尺度小波核的泛化能力更好。通过其构造的多尺度小波核极限学习机的分类准确性会更高。

3 结论

本文提出一种多尺度核极限学习机，将多尺度小波核函数作为极限学习机的核函数，满足mercer条件，可作为极限学习机的允许核。应用在图像检索中，结果表明多尺度小波核极限学习机在图像分类中有较高的准确率，性能优于SVM和ELM，有一定的应用价值。但传统的ELM的输出权重是由最小二乘估计方法直接取得[12]，出于学习的稳健性考虑，通过优化选取参数或者解决训练数据共线性以及粗差干扰，如多隐层输出矩阵极限学习机算法[13]，可进一步提升学习机精度。图像特征的选取也至关重要，可采取更合适的特征组合[14]，以获得更好的检索结果。

[1] Cortes C, Vapnik V. Support vector networks[J]., 1995, 20(3): 144-152.

[2] Huang G B, Zhu Q Y, Siew C K. Extreme learning machine: theory and applications[J]., 2006, 70(1/3): 489-501.

[3] Wei Weizong, Guang Binhuang. Face recognition based on extreme learning machine[J]., 2011, 74(16): 2541-2551.

[4] 张文博, 姬红兵. 融合极限学习机[J]. 电子与信息学报, 2013, 35(11): 2729-2732.

[5] 张燕.基于小波域热红外降质图像滤波增强方法研究[J]. 红外技术, 2014, 36(5): 355-359.

[6] 陈盛双. 基于极限学习机的XML文档分类[J]. 计算机工程, 2011, 37(19): 177-179.

[7] Huang G B, Zhou H, Ding X, et al. Extreme learning machine for regression and multiclass classification[J].:, 2012, 42(2): 513-529.

[8] Wei chih-chiang. Wavelet kernel support vector machines forecasting techniques: case study on water-level predictions during typhoons[J]., 2012, 39(5): 5189-5199.

[9] 王杰, 郭晨龙. 小波核极限学习机分类器[J]. 微电子学与计算机, 2013, 30(10): 73-76.

[10] 任世锦, 吴铁军. 基于径向基小波核的多尺度小波支持向量机[J]. 电路与系统学报, 2008, 13(4): 71-76.

[11] 胡义函, 张小刚, 陈华, 等. 一种基于鲁棒估计的极限学习机方法[J]. 计算机应用研究, 2012, 29(8): 2927-2929.

[12] 陆凯，李成金，赵勋杰等. 一种快速的亚像素图像配准算法[J]. 红外技术, 2013, 35(1): 27-30.

[13] 张文博, 姬红兵, 王磊, 等. 多隐层输出矩阵极限学习机[J]. 系统工程与电子技术, 2014, 36(8): 1657-1659.

[14] 陈莹, 朱明. 多子直方图均衡微光图像增强及FPGA实现[J]. 中国光学, 2014, 7(2):225-233.

A Multi-scale Wavelet Image Retrieval Simulation of Kernel Extreme Learning Machine

SUN Zhong-hua，YANG Xiao-di，GuLimila×kezierbieke

（，，830052，）

The principle of kernel Extreme Learning Machine (ELM) is demonstrated. Based on above, a multi-scale wavelet kernel ELM is proposed in which the multi-scale wavelet kernel is employed as kernel function. It is an achievable ELM which has classification ability in the distribution space with no training data while Gaussian kernel ELM does not perform well. Simulation results show that multi-scale wavelet kernel ELM has higher retrieval precision and efficiency compared with support vector machine model when they are used in image retrieval. The proposed approach has excellent performance and application value.

image retrieval，multi-scale wavelet kernel，SVM，ELM，classification algorithm

TP391.9

A

1001-8891(2015)06-0484-04

2014-10-23；

2015-01-08.

孙中华（1989-），男，硕士研究生，研究方向为计算机应用技术。

古丽米拉×克孜尔别克（1970-），女，硕士，副教授，研究方向：现代通信技术及嵌入式技术。E-mail：glml@xjau.edu.cn。

新疆农业大学大学生创新项目，编号：jqztp:72013068。