小波核极限学习机在人脸识别中的应用

李张红，郑燕柳，田　涵，杨瑞丽

（河南师范大学，河南 新乡 453007）

小波核极限学习机在人脸识别中的应用

李张红，郑燕柳，田涵，杨瑞丽

（河南师范大学，河南 新乡 453007）

文章提出了一种基于小波核极限学习机（Wavelet Kernel Extreme Learning Machine，WK-ELM）的人脸识别算法。首先，使用2D盖博小波变换对人脸图片进行初步的人脸特征提取。为了从所有提取的特征中选择出与人脸识别相关的、必要的特征，使用主成分分析法（Principal Component Analysis，PCA）对经过初步处理后的图像再进行进一步处理，有效地降低了特征维数。然后使用小波核极限学习机对提取到的图像进行分类。实验证明，小波核极限学习机不仅识别性能高，而且训练速度也优于其他算法。

极限学习机；人脸识别；特征提取；主成分分析；小波核极限学习机

随着模式识别、计算机视觉以及电子商务的发展，人脸识别技术已逐渐成为现在生物识别技术的重要研究方向。其主要原因有两个方面［1］：首先，人脸识别技术比其他生物识别技术更加友好、人性化、使用方便、不易仿冒，所以它被应用于很多领域，尤其是在国家的重要机构以及社会安全防护领域都具有不可替代的地位；其次，近年来相关领域技术的飞快发展也为人脸识别技术的研究与应用奠定了基础。人脸识别是指利用计算机技术对收集到的图像进行预处理并提取人脸的主要特征，最终实现对人身份的识别。

近年来学者们研究发现，可以用一组二维Gabor小波来模拟大部分视觉皮层简单细胞的滤波响应［2］。由于人脸图像的特征容易受到光照、表情、化妆及年龄变化的影响，如果直接采用灰度处理图像来提取人脸特征往往不能获得期望的人脸识别结果。而使用2D Gabor小波变换可以得到精度较高的结果。

在经过预处理和Gabor滤波以后得到的人脸向量的维数较高，有很多不必要的特征，如果直接送入分类器中学习必然不能得到预期的效果。所以在对图像进行Gabor滤波以后，还需要用主成分分析法对所获得的信息进行压缩降维处理，然后采用小波核极限学习机算法进行分类。

1　人脸识别特征提取方法

不同的人脸图像可用其特有的向量来表示，这个向量为特征向量。为了对不同的人脸进行区分，首先需要从人脸图像中提取最主要的特征。然而人脸图像中可能会有大量赘余的特征，如何提取出能够对人脸进行准确表达的特征对人脸识别的效果有着重要的影响。人脸特征提取的方法有很多比如基于图像灰度信息、基于人脸的局部或整体的信息提取、基于人脸几何特征的信息提取等。本文采用Gabor滤波和主成分分析的方法来进行特征提取。

1.1 人脸Gabor滤波

由于人脸图像的特征容易受到光照、表情、年龄变化及化妆的影响，直接采用灰度图像处理不能取得预期的效果。而如果采用2D Gabor小波变换，我们可以得到图片中相对于空间频率、空间坐标以及方向选择性的局部结构信息，这些信息能够较为准确地描述人脸图像的特征［3］。一个2D Gabor滤波器g（x，y）可以用下式来表示：

本文选用5个中心频率和8个方向组成的40个Gabor滤波器的滤波器组来对图像进行处理。

1.2 主成分分析法（PCA）

经过预处理和Gabor滤波处理后的图像人脸向量的维数较高并且有较多赘余特征，所以还要对所获得的信息进行压缩降维处理，主成分分析法在压缩降维方面具有较好的性能。PCA是一种基于子空间的特征提取方法，PCA的基本原理是在K-L变换基础上尽可能减少赘余特征，提取主要人脸图像主要特征。

PCA具体实现步骤：

假设训练集中有N幅人脸图像，经过预处理后每幅图像大小为a×b，则每幅图像构成一个a×b维的矩阵，然后把每一列连在一起构成列向量xi。

训练集矩阵可以表示为：

对X取均值

人脸样本的差异用向量δ表示：

其中λi为特征值，ui为特征向量，Λ=diag［λ1，λ2，…λN］为对角阵，U=［u1，u2，…uN］为奇异矩阵，将特征值λi按从大到小排列，选取λi较大的前p个特征值对应的特征向量构成“特征脸”空间P=［u1，u2，…uN］。

即为PCA的人脸表示。

2　基于小波核极限学习机的人脸分类

2.1 极限学习机

极限学习机（Extreme Learning Machine，ELM）［4］是从单隐藏层反馈神经网络（SLFNs）［5］发展而来。传统的神经网络BP梯度学习算法存在着训练时间长、过度拟合训练样本和易陷入局部最优等问题。极限学习机凭借着良好的分类和回归性能，使得极限学习机和它的变种［6—8］被广泛应用于机器学习中。极限学习机训练和测试速度都比较快，极限学习机在输入权重和偏置随机生成后，可直接计算得出输出权重，极限学习机训练时的复杂度为O（L3，N3），测试复杂度为O（N），而我们熟悉的支持向量机（SVM）［9］训练时的复杂度为O（N2～N3），测试复杂度为O（N）。而且极限学习机还拥有较高的准确率［10］，在处理二分类和回归问题上ELM拥有和支持向量机（Support Vector Machine，SVM）相当的准确度，但在多分类问题上ELM准确度远远高于SVM。

2.2 小波核极限学习机

核方法已经成为当今机器学习中比较热门的研究方向，在1964年Aizermann 等把核函数和机器学习结合在一起使用，但当时并没有引起学者们的关注。直到1992年Vapnik成功地将核函数与SVM结合起来使用，把支持向量机由线性转化为非线性，充分挖掘出核函数的潜力。基础的ELM是无核的且只有一个隐含层，当输入权值确定以后，这个隐含层的映射方式为非线性显式，但是在多分类问题上ELM需要的隐层结点不止一个，其基本思想和核函数一样，即将样本映射到高维空间。根据核函数内积定理可将ELM隐藏结点的映射由核函数来代替。实验证明，将核函数与ELM结合起来，大大提高了ELM的非线性逼近能力。

小波理论的优良性能被学者们发现并应用到实验中，为了提高神经网络的非线性逼近能力，有学者将小波理论与神经网络结合起来，典型的有小波网络［11］（Wavelet Neural Network，WNN）。同样我们可以构造出小波核函数并与极限学习机结合起来。

若核函数不满足点积形式，可以利用平移不变核的形式：

判断一个平移不变核是否为允许的ELM核函数的充要条件为：

由第一个公式可构造出平移不变的小波核函数［12］：

其中Ψ（x ）为小波函数，a为尺度参数。

为了构造出特定的小波核函数，可以将上式Ψ（x）的替换成具体的小波核函数，如Morlet小波、Mexico小波等。

Morlet小波的公式：

Mexico小波的公式如下：

本文主要研究由Morlet小波函数构成的小波核函数。有如下定理：

小波核函数具有小波分析多尺度逼近的特点，因而在非线性分类平面的逼近上可以取得更好的效果。

3　小波核极限学习机在人脸识别中的应用

实验数据的选择：本文的实验分别在ORL人脸库、YALE人脸库上以及FERET人脸库上进行。人脸库中部分图片分别如图1—3所示。

首先我们选取ORL人脸库每人选取前5张图片一共200张作为训练样本，剩下的200张作为测试样本，所有图片的双线性插值处理到64*64。YALE人脸库每人选取后5张图片一共75张作为训练样本剩下的90张作为测试，来进行实验，图片的双线性插值处理到50*50。FERET人脸库选取前3张图片一共150张来训练，剩下的200张作为测试集合，图片的双线性插值处理到40*40。

对人脸图像进行特征提取，本文选用Gabor滤波和PCA的方法，首先使用由5个中心频率和8个方向组成的40个Gabor滤波器处理人脸图像，然后使用PCA进行压缩降维处理，最后将处理后的特征集合送入到小波核极限学习机算法中训练一个分类器。得到的分类器可以识别未知类别的人脸样本。

图1 ORL人脸库部分图片

图2 YALE人脸库部分图片

图3 FERET人脸库部分图片

4　实验结果与分析

对比应用于人脸识别中的小波核ELM分类器与其他分类算法的性能。其中ELM和BP神经网络的隐层激励函数均为sigmoid函数。多次实验取平均值，得到以下实验结果，如表1所示。

由表1可以看出小波核ELM和高斯核ELM的性能相当，甚至要优于高斯核极限学习机，另外可以看出BP神经网络的性能最差。

表1 5种算法在3种库上的实验

为了研究以上几种算法在小样本下的分类能力，将人脸库中每个人的第一张图片作为训练数据，其余数据为测试数据，对比几种算法的性能，实验结果如表2所示。

根据表1—2可以看出SVM和几种ELM在小样本下识别性能较好，其中小波核ELM的效果仍然是最好的，识别性能最差的为BP神经网络。

研究证明，核极限学习机在训练速度上也比较快，在小样本下核极限学习机要快于无核极限学习机，支持向量机和BP神经网络的训练速度要远低于极限学习机。

表2 小样本下5种算法在4种库上的实验

5　结语

由于人脸图像容易受到光照、表情、年龄变化及化妆等的影响，使得人脸识别效率下降。本文在对人脸图像进行预处理和Gabor滤波处理后，进一步对所获得的信息进行压缩降维处理，即采用主成分分析的方法。然后采用小波核极限学习机进行分类实验，经验证小波核极限学习机在人脸识别中具有较好的性能。

［1］RABIA J，HAMID R A. A survey of face recognition techniques［J］.Information Processing Systems，2009（2）：41-68.

［2］姜琳.光照变化条件下的人脸识别研究［D］.重庆：重庆大学，2009.

［3］章毓晋.基于子空间的人脸识别［M］.北京：清华大学出版社，2009.

［4］HUANG G B，ZHU Q Y，CHEW C K. Extreme learning machine： theory and applications［J］. Neurocomputing，2006（1）：489-501.［5］HORNIK K，STINCHCOMBE M，WHITE H. Multilayer feedforward networks are universal approximators［J］. Neural Networks，1989（5）：359-366.

［6］NIAN R，HE B，ZHENG B，et al. Extreme learning machine towards dynamic model hypothesis in fish ethology research［J］. Neurocomputing，2013（20）：1020-1022.

［7］LU H J，AN C L，ZHENG E H，et al. Dissimilarity based ensemble of extreme learning machine for gene expression data classifcation ［J］.Neurocomputing，2013（18）：10-12.

［8］MAO W，WANG Y，CAO X，et al. Mixture regression estimation based on extreme learning machine［J］. Computers，2013（11）：2925-2933，.

［9］CHANG C C，LIN C J. Libsvm： a library for support vector machines［ J］.Intelligent Systems and Technology （TIST），2011（3）：27.

［10］HUANG G B，ZHOU H，DING X，et al.Extreme learning machine for regression and multiclass classification systems［J］. Cybernetics，2012（2）：513-529.

［11］ZHANG Q，BEN V A.WaVelet Network［J］.Normal Networks，1992（9）：889-898.

［12］董绍江，汤宝平，宋涛.改进投票策略的Morlet小波核支持向量机及应用［J］.震动、测试与诊断，2011（3）：314-317.

Application of wavelet kernel extreme learning machine in face recognition

Li Zhanghong， Zheng Yanliu， Tian Han， Yang Ruili
（Henan Normal University， Xinxiang 453007， China）

In the paper， a new approach based on WK-ELM（Wavelet Kernel Extreme Learning Machine）was proposed for face recognition. Firstly， using 2D Gabor wavelet transform for primary facial feature extraction. To select the necessary features for face recognition， using principal component analysis（PCA）for dealing with the initial image for further processing， reducing the feature dimension effectively. Secondly， ELM is adopted for classifcation. Finally， the experiment results show that WK-ELM is not only having high recognition performance， but also superior to other algorithm in the training speed.

extreme learning machine； face recognition； feature extraction； principal component analysis； wavelet kernel extreme learning machine

2015年河南师范大学大学生创新创业训练计划校级重点项目；项目编号：20150012。

李张红（1995— ），女，河南濮阳。