基于GCSLBP的DBN人脸识别算法

关小蕊　程卫月　张雪琴　林克正　高铁洪

摘要：针对传统Gabor小波变换提取的特征向量维数较高以及DBN在完成人脸识别时会忽略局部信息的问题，提出了一种基于GCSLBP的DBN人脸识别算法（Gabor fusion central symmetric local binary pattern deep belief network， GCSLBP-DBN ）。该算法首先改进了原始的Gabor变换，通过引入中心对称局部二值模式方法（local binary pattern， LBP）进行优化，然后利用直方图的方法表示最终的特征向量，既提取到图像丰富的局部特征，又能降低特征向量维数。最后使用深度信念网络方法提高分类鲁棒性，完成人脸的分类和识别。该算法已在ORL和CMU_PIE数据集上进行仿真实验，实验结果表明，本文GCSLBP-DBN 算法有效的提高了人脸识别率，在光照等变换下也具有鲁棒性。

关键词：Gabor小波变换;中心对称局部二值模式;特征提取;深度信念网络

DOI：10.15938/j.jhust.2022.02.009

中图分类号： TP391.4

文献标志码： A

文章编号： 1007-2683（2022）02-0069-07

DBN Face Recognition Algorithm Based on GCSLBP

GUAN Xiao-rui CHENG Wei-yue ，ZHANG Xue-qin LIN Ke-zheng GAO Tie-hong

（1.School of Computer Science and Technology， Harbin University of Science and Technology， Harbin 150080， China;

2.Heilongjiang College of Business and Technology， Harbin 150025， China;

3.Heilongjiang Institute of Teacher Development， Harbin 150080， China）

Abstract：Aiming at the problem that the feature vector extracted by original Gabor transform has a high dimension and DBN ignores local information when completing face recognition， a DBN face recognition algorithm based on GCSLBP is proposed. Firstly， the algorithm improves the original Gabor transform， and optimizes it by introducing the LBP . Then the algorithm uses the histogram method to represent the final feature vector， which extracts the rich local features of the image and reduces the dimensionality of the feature vector. Finally， DBN is used to improve the robustness of classification and complete the classification and recognition of faces. The algorithm has been simulated experiments on ORL and CMU_PIE data sets. The experimental results show that the algorithm in this paper effectively improves the face recognition rate and are also robust under light and other transformations.

Keywords：Gabor wavelet transform; centrosymmetric local binary pattern; feature extraction; deep belief network

0引言

特征提取是人脸识别系统中最关键的技术之一，它是指通过对人脸图像进行计算和分析，以获得可识别的数据来描述人脸特征的过程。一般来说，主要有全局特征提取和局部特征提取这两种特征提取方法。与全局特征提取相比，局部特征提取在捕获局部变化和增强光照的鲁棒性方面做得更好。因此，基于局部特征的人脸识别方法越来越受到人们的重视。Gabor小波变换作为一种重要的局部特征提取方法[1]，不仅与人眼视网膜细胞接收场模型具有惊人的相似性，而且获得了频率和时间的最小不确定性，对光照、姿态、表情等外部干扰具有较强的鲁棒性，它能很好地提取局部空间的图像信息。但是Gabor小波变换得到的特征维数很高，特征向量带来的信息是冗余的，且耗时较长，不利于特征的分类[2]。虽然现有的降维算法已有较好的性能，但不可避免地会丢失一些关键信息，导致识别率下降。因此，人脸识别技术还需要研究者们不断深入研究和创新，推动其日趋完善，不断向更好的方向蓬勃发展[3-7]。

LBP是纹理分析的算子[8]，该算法具有算法简单、计算过程不太复杂、识别能力强、具有旋转和亮度变化的鲁棒性等优点，因此LBP特征描述算子多被用于纹理特征提取[9]。有人采用Gabor-LBP方法[10]，用二维Gabor小波提取原始图像特征，对得到的图像进行编码，利用LBP算法构造直方图，使图像的细节信息充分提取。文[11]通过LBP对Gabor变换得到的特征进行处理的同时又进一步提取了局部特征，从结果上显示这种结合是有效的，但是LBP处理之后的特征维数还是很高，中心对称局部二进制模式算法（central symmetric local binary pattern， CSLBP）是一種基于LBP的中心对称编码改进方法。CSLBP计算复杂度低，可以将特征维数减少到LBP的一半。因此，将CSLBP与Gabor小波变换相结合是合理的[12]。在已有的一些方法中已经实现了他们的结合，但是与纯结合的方法不同，本文将CSLBP的计算思想应用到Gabor小波变换后的子图像中，得到能够充分表示子图像间信息的新特征。因为DBN具有自动学习不同层次抽象特征和获得人脸特征非线性描述的优点，但它不能提取人脸图像局部纹理特征，降低了人脸识别率。所以考虑把提取到的GCSLBP特征输入到深度信念网络中进行

训练识别，这样在弥补其不足时可以充分利用DBN的优势来提高人脸识别率。通过大量的实验和分析证明GCSLBP方法能有效地解决光照等变化对人脸识别的影响。

1相关基本理论

1.1Gabor模型

Gabor小波变换最初是为了模拟视觉皮层中简单细胞的感受域而发展起来的，如今已被广泛用于各种应用中提取局部特征。利用Gabor小波变换的优点，可以实现人脸识别、纹理分类、表情分类等图像分析应用。在Gabor小波变换中，用一组不同尺度和不同方向的Gabor滤波器对图像进行卷积。Gabor滤波器可由公式（1）所示。

1.2DBN算法

深度学习架构是一种由多层无监督神经网络构成的网络，前一层的输出通常被设置为后一层的输入[13]。而且人脸识别的研究大多基于深度学习[14-19]。学习的目的是通过构建网络结构和训练参数，使原始输入信息和最终输出信息尽可能相似。

DBN由具有快速学习能力的多层玻尔兹曼机（restricted boltzmann machines， RBM）组成，RBM是一个概率生成模型，即建立观测数据与标签之间的联合分布[11]。受限玻尔兹曼机中所谓的“受限”是指限定模型必须为二分图，这个“受限”使得该训练算法更加高效[20-21]。RBM是一种两层随机神经网络，分别是可视层单元和隐藏层单元，其中所有可视层单元都与隐藏层单元相连接，如图2所示。DBN的结构模型如图3所示，对于输入数据主动挖掘隐藏在其中的丰富信息。

1.3CSLBP算法

CSLBP算法的主要思想：比较中心对称方向像素对的灰度值，当像素对差值大于等于0时，二进制编码为1，当差值小于0时二进制编码为0，并将二进制值转换为十进制的CSLBP值。CSLBP仅产生N/2个二进制模式，当使用直方图来描述局部纹理特征时，CSLBP的直方图维数为2P/2，低于LBP的直方图维数2P，极大地缩短了有限元长度，提取的特征维度低。这种算子可以表达图像局部纹理的空间结构，对光照变化具有一定的鲁棒性，且计算复杂度低。

CSLBP算法的编码规则定义如下：

2基于GCSLBP模型的DBN人脸识别算法

2.1GCSLBP模型

传统的Gabor特征提取是直接利用Gabor滤波器处理后得到的整体图像特征将其输入分类器中进行识别，但是这样会导致特征维数过高，而且用Gabor提取到的特征也包含大量的冗余信息[22]。GCSLBP的思想是首先对图像进行Gabor变换处理，这样在同一个尺度下会生成8个子图像，这些子图像反映着人脸图像纹理沿不同方向的变化。然后引入1.3节中介绍的中心对称局部二值模式（CSLBP）算法对这八个子图像进行编码处理，得到一个特征图像。根据实验设置的尺度，最后会得到所有尺度下的特征图像。

经过以上计算方法的处理便得到GCSLBP特征，具体的操作过程如图4所示，图4是以尺度5为例，说明GCSLBP是如何工作的。首先经过Gabor滤波器会得到每个尺度下的8个子图像，然后用式（10）计算每一尺度下的特征，最后将5种尺度的直方图特征连接起来，便得到图像的GCSLBP特征向量，相对于Gabor-LBP的8位二进制，GCSLBP的特征是4位二进制。

2.2直方图表示

2.3算法设计

根据前面的推导和分析，使用CRC作为分类器阐述所提出GCSLBP-DBN模型，具体操作步骤如算法1所示。

算法1GCSLBP-DBN算法描述

输入： 人脸图像X，子块为m×m

输出： 人脸图像的特征向量（S，S，…，S）

1）对输入图像X进行划分，得到大小为m×m的子块;

2）利用式（1）～（4）对每个子块x（1≤x≤m）处理，得到40个小波子图像;

3）利用式（7）～（10）对小波子图像进行编码，得到各尺度图像的特征图像;

4）对每个特征图像进行直方图运算，利用式（12）将5个尺度的直方图特征连接起来，得到子块S的特征向量;

5）连接每个子块x（1≤x≤m）特征，得到图像X的特征向量V。

6）将步骤3）得到的纹理特征向量v输入到DBN可见层中，然后对每一层进行训练，得到最优网络。本文设置隐藏层数为2，隐藏单元数不固定，不同的数据集设置不一样。其中采用DBN迭代算法优化训练网络的权值w，最优网络的判断是根据训练集的最大概率函数值来决定。最大概率函数如式（13）所示。

其中：w为权值矩阵;V为训练集的GCSLBP纹理特征矩阵，将迭代次数m设为3000，学习率设定为0.001。

7）经过上一步得到最优网络后，利用DBN网络顶层的Softmax方法进行分类，最终得到测试样本的识别率。

3实验结果与分析

3.1实验环境及数据集

该模型使用MATLAB R2017a编程语言，在windows7（64位），RAM 8G的实验环境上进行相关实验。

为了验证整体算法的性能和效果，实验采用ORL和CMU_PIE數据集进行实验。

ORL人脸数据库由剑桥大学创建，数据集包含40个人的400张面部图像，每个人都有10张不同面部表情、不同光照条件下的图像，它的大小是112×92像素，部分样例如图5所示。

CMU_PIE数据库是由卡内基梅隆大学采集的，包含68个人在不同姿势、光照和表情下拍摄的41368张面部图像。使用的数据库是由5个近正面的姿势组成，它们的标签分别是姿势05、07、09、27、29，大小为64×64像素。图6展示了一个人的部分图像。

3.2评价指标

本文采用准确率 （Accuracy） 方法来评判所提方法的优劣程度。

准确率表示的是被正确分类的样本数占总体样本的比重，公式如下：

式中：TP表示被正确划分为正例的个数;TN表示被正确地划分为负例的个数;P+N表示总的测试样本数。

3.3实验对比与结果分析

將数据库中的人脸图像通过尺度归一化的方法，大小统一为64×64像素。并将原始图像分割为4×4的子块进行实验。DBN网络设置1个可见层、2个隐藏层和1个输出层，第一层和最后一层神经元个数分别为m、n，其中m是输入向量维数，n是目标分类数，每层迭代次数为30，学习率为0.001。隐藏单元数较少会导致提取的特征不足，过多会容易导致过拟合，为了找出在ORL、CMU_PIE与混合数据集上DBN最佳的隐藏单元数进行了实验，如图7所示。

由图7可知，实验中隐藏层单元数分别设置为10、150、200、250和300，两个隐藏层的隐藏单元数相同，每个隐藏单元数下进行20次人脸识别实验，取识别率的平均值。发现隐藏单元的个数对识别率有明显的影响。随着单元数的增加，结果呈现先增加后降低的趋势，这与理论分析一致。在ORL数据集上，当隐藏单元数为200时，识别率最佳。CMU_PIE数据集上，当隐藏单元数为250时，识别率最佳。将ORL数据集和CMU_PIE数据集的图片进行随机混合之后，当隐藏单元数为250时，识别率最佳。在实际中能够给在相同人脸数据库进行实验研究的学者提供一定的参考，以便于获得更好的实验效果，避免提取特征不足或者过拟合。所以在之后的实验中为了获得更好的效果，DBN的隐藏单元数设置如上。

将训练好的整体模型分别在ORL和CMU_PIE数据库上进行实验，对于ORL人脸库随机选取每个人的n（n=4，5，6，7）张图像作为训练集，剩下的是测试集，进行10次实验，计算其平均识别率。对比方法有典型的DBN，Gabor与CSLDP结合的稀疏人脸识别方法[8]，Gabor-LBP方法[10]，图8为不同方法的识别率比较。图8可以看出，在干扰条件较少的ORL数据库中，4种方法的识别率都是随着训练样本的增加而提高的，说明训练样本的数量会影响算法的识别性能，也表示光照变换对不同方法的识别率影响不同，在不同数量的训练样本上本文方法对光照变换的鲁棒性一直优于其他方法，不同的光照条件并没有降低本文方法的识别率。在这几种方法中DBN模型的识别率相对是低的，说明在输入网络前对图像进行一定的特征处理是有必要的，可以有效提高后续的分类识别，但是光照变换对图像的特征处理造成了干扰，导致提取到的特征不够丰富，不能有效提取人脸图像局部纹理特征。传统Gabor小波的人脸识别率最低，本文提出的方法识别性表现出较好的优势，说明Gabor与CSLBP的结合是有效的，其提取到的特征比其他特征更加丰富，对光照变换的敏感度更低，鲁棒性更强，可以有效去除光照影响，能有效提取更多人脸图像局部纹理特征。而且用CSLBP提取的特征比用LBP和CSLDP算法提取的特征维数相对较少，降低了整体的计算复杂度。

对于CMU_PIE数据库，随机选取每个人的15张图像作为训练集，8张作为测试集，进行15次实验，分别得到其识别率，最后将识别率结果取平均值。对比方法有传统的Gabor算法、Gabor+SRC人脸识别算法、DBN网络模型、CSLBP结合DBN的人脸识别以及基于Gabor和LBP的深度人脸识别方法[11]。表1给出了本文方法与其他不同方法识别率的对比结果。

由表1可知，本文提出方法的识别率明显高于比传统的Gabor算法，识别率受到光照变换的影响是最小的，对光照变换的鲁棒性更强，而Gabor+PCA方法对光照的敏感度是最强的。用CSLBP+DBN进行人脸识别比DBN方法明显效果好，识别率提高接近10%，本文提出的方法又比CSLBP+DBN方法识别率提高2%左右，这说明直接把原始图片输入网络进行训练达不到理想效果，DBN可能会忽略图像的局部结构，从而光照变换等条件对其干扰过多，难以学习人脸的局部特征，所以有效的特征表示在分类中起着至关重要的作用，要充分利用局部特征去传达图像信息。文[2]通过LBP对Gabor变换得到的特征进行处理的同时又进一步提取了局部特征，从结果上显示这种结合是有效的，识别率达到95%左右。本文方法比单纯的融合这两个局部特征要表现出较好的识别性能，识别率提高1.2%，在不同光照条件下的鲁棒性更高，同时CSLBP在保证提取信息丰富的情况下可以将特征维数减少到LBP的一半，但这两种特征的融合使算法的计算复杂度增加。

4结论

本文针对Gabor小波变换提取的特征向量维数较高以及DBN在完成人脸识别时会忽略局部信息的问题，提出了一种基于GCSLBP的DBN人脸识别方法。一方面，该方法将Gabor变换得到的不同方向不同尺度的子图像与CSLBP算法进行融合，得到新的特征表示，既降低了特征维数又提取了图像丰富的局部特征;另一方面，充分利用了DBN网络可以自动学习人脸的不同层次间的抽象特征，提高分类鲁棒性。实验结果表明本文GCSLBP-DBN 算法有效的提高了人脸识别率，在光照等变换下也具有鲁棒性。

参 考 文 献：

[1]XUE G J， SONG L， SUN J， et al. Hybrid Center-symmetric Local Pattern for Dynamic Background Subtraction[C]// 2011 IEEE International Conference on Multimedia and Expo， Barcelona， 2011：1.

[2]CHOI J Y， LEE B. Ensemble of Deep Convolutional Neural Networks With Gabor Face Representations for Face Recognition[J]. IEEE Transactions on Image Processing， 2020， 29：3270.

[3]徐望明， 张培， 伍世虔. 基于多方向Gabor特征图稀疏表示的鲁棒人脸识别方法[J]. 北京理工大学学报， 2019， 39（7）：732.XU Wangming， ZHANG Pei， WU Shiqian. Robust Face Recognition Method Based on Sparse Representatio of Multi-direction Gabor Feature Graph[J]. Journal of Beijing University of Technology， 2019， 39（7）：732.

[4]歐阳宁， 王先傲， 蔡晓东， 等. 结合小波与递归神经网络的低分辨率人脸识别[J]. 西安电子科技大学学报，2019， 46（6）：95.OUyang Ning， WANG Xianao， CAI Xiaodong， et al. Low Resolution Face Recognition Based on Waveletand Recursive Neural Network. Journal of Xidian University，2019， 46（6）：95.

[5]LI J Y， ZHANG D. Multi-pose Face Recognition Based on Convolutional Neural Network[J]. Journal of Computers， 2020， 31（1）：225.

[6]GEORGESCU M I， IONESCU R T， POPESCU M. Local Learning with Deep and Handcrafted Features for Facial Expression Recognition[J]. IEEE Access， 2019， 7： 64827.

[7]ZHU X， LIU H， LEI Z， et al. Large-scale Bisample Learning on ID Versus Spot Face Recognition[J].International Journal of Computer Vision， 2019， 127（6）： 684.

[8]OJALA T， PIETIKAINEN M， HARWOOD D. A Comparative Study of Texture Measures with Classification Based on Featured Distributions[J]. Pattern Re-cognition， 1996，29（1）： 51.

[9]孙玲. 基于Gabor和HOG特征融合的人脸识别算法研究[D].哈尔滨：哈尔滨理工大学，2021.

[10]HUANG J， ZHANG Y， ZHANG H J， et al. Sparse Representation Face Recognition Based on Gabor and CSLDP Feature Fusion[C]// Proceedings of the 31st Chinese Control and Decision Conference， 2019：5697.

[11]ZHUANG L Y， GUAN Y P. Deep Learning for Face Recognition under Complex Illumination Conditions Based on Log-Gabor and LBP[C]// Information Technology， Networking， Electronic and Automation Control Conference. Chengdu， 2019：1926.

[12]LIU J， WU Z L， LI Q， et al. A Novel Local Feature Extraction Algorithm Based on Gabor Wavelet Transform[C]// 3rd International Conference on Advances in Image Processing， 2019：76.

[13]李珊， 邓伟洪. 深度人脸表情识别研究进展[J]. 中国图像图形学报， 2020， 25（11）：2306.LI Shan， DENG Weihong. Journal of Image and Graphics， 2020， 25（11）：2306.

[14]ZHAO X M， SHI X G， ZHANG S Q. Facial Expression Recognition Via Deep Learning[J]. IETE Technical Review， 2014， 32（5）： 347.

[15]WU B F， LIN C H. Adaptive Feature Mapping for Customizing Deep Learning Based Facial Expression Recognition Model[J]. IEEE Access， 2018， 6： 12451.

[16]ZENG N Y， ZHANG H， SONG B， et al. Facial Expression Recognition Via Learning Deep Sparse Autoencoders[J]. Neurocomputing， 2018， 273： 643.

[17]ZHANG T， ZHENG W M， CUI Z， et al. A Deep Neural Network Driven Feature Learning Method for Multi-view Facial Expression Recognition[J]. IEEE Transactions on Multimedia， 2018， 18（12）： 2528.

[18]SUN X， PAN T. Static Facial Expression Recognition System Using ROI Deep Neural Networks[J]. Acta Electronica Sinica， 2017， 45（5）： 1189.

[19]YAN G L， DENG X J， LIU C. Facial Expression Recognition Model Based on Deep Spatiotemporal Convolutional Neural Networks[J]. Journal of Central South University （Science and Technology）， 2016， 47（7）： 2311.

[20]SHYU M L， CHEN S C，  SARINNAPAKORNL K.  A  Novel  Anomaly  Detection  Scheme  Based  on  Principal Component Classifier[C]// ICDM Foundation and New Direction of Data Mining workshop， 2003：172.

[21]MURPHY K P. Machine Learning： a Probabilistic Perspective[J]. Chance， 2012， 27（2）：62.

[22]林克正， 莊靓玮， 荣友湖， 等. 基于Gabor特征的全局加权稀疏表示[J]. 哈尔滨理工大学学报， 2016， 21（1）：40.LIN Kezheng， ZHUANG Liangwei， RONG Youhu， et al. Based on Gabor Characteristics Global Weighted Sparse Representation[J]. Journal of Harbin University of Science and Technology，2016，21（1）：40.

（编辑：温泽宇）