基于SLBP深度信念网络的人脸识别研究

史涛 秦琴 任红格， 王玮

关键词： 显著局部二值模式; 特征提取; 深度信念网络; 网络训练; 深度学习; 人脸识别

中图分类号： TN926?34; TP391                 文獻标识码： A                    文章编号： 1004?373X（2019）14?0177?05

Research on human face recognition based on SLBP deep belief network

SHI Tao， QIN Qin， REN Hongge， WANG Wei

（College of Electrical Engineering， North China University of Science and Technology， Tangshan 063200， China）

Abstract： In allusion to the problems of insufficient extraction of the traditional local binary pattern （LBP） features and classifier fitting， a human face recognition method based on the significant local binary pattern （SLBP） of the local texture feature and deep learning is proposed. The local texture features of human face images are extracted by using the improved SLBP algorithm， so as to establish the SLBP histogram. The deep learning architecture based on deep belief network is constructed. The SLBP histogram is input into the deep belief network. The unsupervised layer?by?layer training method and supervised BP algorithm are used to conduct network training， so as to realize self?learning and self?optimization of network and obtain network parameters. The DBN classification is used to recognize human face images. The results of the simulation experiment demonstrate that the proposed human face recognition method is superior to the traditional human face recognition method in aspects of recognition rate and robustness.

Keywords： SLBP; feature extraction; deep belief network; network training; deep learning; human face recognition

0  引  言

人脸识别是一项计算上具有挑战性的任务，需要在不同身份的类似外观图像之间进行精细区分，其具有快捷实用性、非接触性、安全性和非强制性等优点成为身份判断识别研究热点之一，作为身份识别应用技术具有重要意义[1]。

人脸识别技术的核心是特征提取方法，因此，各学者把对人脸特征的提取作为研究的重点。在各种文献中提到一些经典的特征提取的算法，比如主成分分析法等类似的方法是对图像整体进行识别的算法，能保存图像纹理信息获得图像的全局特征。但是，这类方法易受到人的姿态和不同光照的影响，因此，基于整体的识别方法取得的结果往往不能令人满意。

局部二值法（LBP）因其对光照和姿态变化不敏感、鲁棒性较强、在纹理分析方面的简单性等优点成为局部特征提取的研究热点。2015年，郭贺飞等考虑分块全局特征，组合成优化的LBP特征，通过自适应的方式选择阈值将特征离散，进而完成人脸识别[2]。2016年，LE T H等人将每个LBP直方图串接，这样就构成了级联LBP（Concatenated LBP）直方图，并应用其特征向量作为描述人脸图像的方法，实验表明其有效性[3]。2017年，胡敏等提出利用G?LBP以及方差投影的交叉熵方法来识别人脸图像，并从熵值的角度对人脸图像做了补充描述，进一步提升了识别系统的稳定性以及准确率，更加丰富了对人脸的特征描述[4]。然而，上述LBP改进方法在一定程度上都会导致有效信息的丢失，识别准确率仍有待提高。

近年来，在图像识别的研究领域，机器学习和深度学习因具有较高精度被广泛使用。特别是深度学习，其在语音识别、计算机视觉以及自然语言处理等很多领域都获得了突破性的发展[5]。深度学习的算法主要是对人类的深层脑组织结构进行模拟，运用分层次的方法处理大量的数据并且能够逐层地从低层信号到高层特征进行对应的表示。当前，大量被研究人员应用的深度学习算法包括稀疏自动编码算法（SAE）[6]、深度卷积神经网络（Deep CNN）[7]和深度信念网络（DBN）[8]。其中，DBN是由Hinton提出的一种深度学习的算法，能从相对比较少的数据样本中学习到最为本质的数据特征，已成功应用于手写数字识别、动态人体检测等诸多领域[9]。基于以上背景，本文提出SLBP和深度学习的人脸识别方法，使得对原始LBP纹理描述算子的优化可以高效利用人脸图像的关键信息，使被提取的人脸图像特征判别性得到增强。将所提取的SLBP特征向量输入到深度信念网络中，通过自下到上逐层法对网络参数进行训练，运用BP算法微调全局，减少网络训练时间。实验结果表明，本文所提出的算法可以有效提高提取人面部图像关键信息的准确率，提高人脸图像识别率，并且其鲁棒性和泛化能力均优于其他算法。

1  SLBP算法模型

LBP是Ojala发现的能够描述局部纹理的算法[10]。利用LBP算法提取图像特征的定义是：将图像的任意一点选为中心点，采集域为3×3，将该采集域中心像素点的灰度值作为阈值，8个邻域灰度值与中心灰度值作比较，若阈值与邻域灰度值相比较小记为1，反之则记为0;接着将8个点的二进制数按照顺时针的方向串连起来，这样就构成了二进制编码;最终通过加权求和获得十进制数;通过上述计算得到的值就是这个像素点的LBP值，利用这个值来描述该范围的纹理特性。通过计算得出这样的[01]序列有28=256种。

每个像素LBP数学计算公式为：

[LBP（xc，yc）=i=07s（gc-gi）2i]     （1）

式中：gc为中心点的像素值;gi为周围8个点的像素值。

[S（x）=1，       x≥00，       x<0]               （2）

引入統一LBP的概念，LBP分类是通过统一LBP计算LBP编码中0/1或1/0变换的次数，[变换次数≤2]时为统一LBP，否则就是非统一模式[11]。该模式有效地表达了人脸图像周围边角等局部结构的优点，且[01]序列有8×（8-1）+3=59种，这大大降低了运算量。

针对LBP算子在提取人脸局部特征过程中，对纹理信息提取不足等问题，提出SLBP算法，假设任意一幅人脸图像某个中心像素点（i，j）的“井”字形邻域见图1。

“井”字形邻域与原始3×3的LBP编码相比具有更为广泛的采样范围，可以收集更多的有用信息从而提升纹理信息利用率;其与32个采样点的5×5邻域相比采样点减少到16个，并且在径线上的采样点不重叠减少了冗余特征。本文提出的SLBP算法是把中心像素“井”字形邻域的16个像素按采样半径分成内层{xi}以及外层{yi}（i=0，1，…，7）。SLBP算法过程如图2所示。

SLBP编码值计算公式为：

[SLBP=LBPX+LBPY2]          （3）

内层的二进制编码：01111010;十进制编码：122;外层的二进制编码：10001010;十进制编码：138。所以，

[SLBP=122+1382=130]       （4）

经上述计算可得该像素点的SLBP值为130。

SLBP在人脸图像上的分布可以作为描述人脸的一种特征，因此使用SLBP直方图来表示这种分布。SLBP特征提取流程图如图3所示。

首先，将人脸图像分成m块;然后，人脸图像经过SLBP纹理算子处理，并且在这里引入统一LBP，统计每块的直方图;最后，串联每一块SLBP直方图制成总直方图，即空间增强直方图，并作为人脸图像的特征向量。人脸图像SLBP总直方图如图4所示。

为了验证SLBP算法的有效性，通过图5对LBP和SLBP算法进行对比得出，SLBP算法可以将人脸的纹理特征很好地表现出来。

2  人脸识别模型的建立

2.1  DBN算法

2006年，多伦多大学的G.Hinton等人提出深度信念网络（DBN）算法，该算法的本质是一种概率生成模型。而深度信念网络主要是由若干个受限玻尔兹曼机（RBM）堆叠叠加构成的。

RBM则由可视层（V）和隐含层（H）组成，它是一个二分图的结构，且一个层内部的各个节点是互不连接的，不同层之间的节点则是互相连接的。RBM是一种能量概率模型，其能量函数为：

[E（v，h）=-i=1Ij=1Jvihjwij-i=1Iaivi-j=1Jbjhj]    （5）

式中：a为可视层单元的阈值;b为隐含层单元的阈值;w则为它们之间的权值矩阵。由于深度信念网络能量函数的值越小网络越趋于稳定，因此最终计算得到最小的能量函数值就是计算的目标值。

RBM各层之间的概率分布公式为：

[Phj=1v=δaj+jviwij]         （6）

[Pvi=1h=δbj+ihjwij]         （7）

式中，[δ（·）]是sigmoid激活函数。

DBN网络中包括若干RBM和一层反向传播网络（BP）。对DBN模型进行的训练过程主要包含预训练和微调这两个过程。在预训练的阶段，DBN网络采取从底部逐渐向上的无监督的训练方式来训练每一层的RBM，具体为将输入的数据首先输入到第一层的RBM的可视层，充分训练后第一层RBM的隐含层将作为第二层RBM的可视层，以此层层递进来训练整个DBN网络。在微调阶段，采取从顶端逐渐向下的方式利用BP网络对整个网络进行有监督的微调。

2.2  基于SLBP和DBN的人脸识别方法

对于人脸识别，深度学习只能提取人脸图像的整体信息，并不能充分体现具有区分性的人眼、鼻子、嘴巴等局部特性，LBP算法则可以将人脸图像中的亮点和边缘等局部信息重点体现出来。将第1节介绍的SLBP算法和DBN算法结合，在得到人脸图像SLBP直方图之后，输入到DBN进行训练，用DBN完成人脸图像的识别分类，可以有效捕捉人脸图像的局部信息，并且能够减少网络训练时间。网络结构的联合分布为：

[P（H，h1，h2，…，hl）=           pHh1ph（2）h1…ph（l-1）hl] （8）

式中：H为SLBP纹理特征;[h1，h2，…，hl]为DBN所学习到的输入特征H的不同层次的高级表示。

训练前，先对训练集和测试集用双线性内插法进行直方图均衡化处理。训练阶段的步骤如下：

1） 对训练样本进行分块处理，将样本分块为8×8，提取每一个子块的SLBP直方图，将每个子块的直方图首尾相连形成样本总体直方图;

2） 将训练样本的SLBP特征输入到DBN的可视层，训练第一个RBM，将第一个RBM的输出作为第二个RBM的输入，训练第二个RBM;

3） 重复步骤2直到训练完所有的RBM，以获取最优网络参数;

4） 用BP算法微调整个网络参数。

在测试阶段，将测试集的SLBP纹理特征输入到优化后的DBN网络的可视层，运用该网络从下到上逐层地学习和挖掘测试集中具有区分性的有用特征，得到最终的识别结果。

3  实验结果及分析

为了验证该改进后算法的可行性和准确率，在Matlab 7.1的环境下进行实验，在实验的过程中选取ORL，YALE和YALE?B三个较全面的人脸数据库。其中ORL人脸数据库中包含40个对象，每个对象共有10幅人脸图像，分别是人脸表情、姿态和面部装饰物的一些变化形式。任意抽取每人6幅图像作为样本集，其他4幅进行测试。YALE人脸库中有15人共165张，分别在6种不同表情和3种光照下拍摄，并有是否配戴眼镜的区别。任意选取每人6幅图像作为训练集，其他的进行测试。YALE?B人脸库有10人，包括64种不同光照条件，9种姿态的人脸图像，适合探究光照问题。实验分成两个集合：集合1受光照影响小，作为训练样本;集合2与集合1光照条件差异大，受光照影响大，作为测试集，人脸库见图6。实验前，把图像几何和光照归一化。

3.1  DBN层数和RBM迭代次数的确定

为了探究不同层数DBN和RBM不同迭代次数对识别准确率的影响，在此做一个实验。实验中设置DBN的层数分别为1～3，迭代次数为200～1 800，见图7。

从图7可以看出：第一，相同迭代次数情况下，2层DBN比1层和3层的DBN识别准确率高;第二，开始阶段，图像识别准确率有明显效果，当迭代次数大于1 000时，算法的识别准确率基本保持不变，趋于稳定。当DBN是2层，迭代次数是1 000时识别效果最好，所以本文选择的DBN层数为2层且迭代次数为1 000。

3.2  不同算法的对比

为了证明该算法的分类性能和有效性，分别在ORL和YALE人脸数据库中进行实验，把改进后的算法与PCA，LDA，SVM，LBP，DBN，LBP+DBN六种算法进行对比，不同算法在ORL和YALE人脸库上识别准确率如图8所示。

由图8可得：该算法跟其他传统方法比较而言有更强的识别能力;DBN算法和LBP+DBN算法的比较，表明以LBP特征向量作为输入训练DBN，能够使网络充分提取人脸局部关键信息，克服DBN忽略人脸局部结构的缺陷，得到更好的识别效果;LBP算法和LBP+DBN算法的比较，体现深度神经网络具备极佳的学习能力;比较LBP+DBN算法和SLBP+DBN算法。实验表明SLBP+DBN算法在ORL和YALE人脸库上均能得到90%以上的识别率，后者比前者能有效利用人脸纹理信息，得到非常好的特征表达效果，表明SLBP算法的优越性。

3.3  不同光照条件实验

为进一步证明该算法的有效性，在光照差异较大的YALE?B人脸库上进行实验，验证该算法对光照变化的鲁棒性。

从图9得到结论，在光照差异较大情况下，该算法能够得到95%的识别准确率，相较于其他算法有较高的识别率，灰度尺度不随任何单一变换而变化，因此灰度尺度的鲁棒性好，即对光照的鲁棒性较强。

4  结  论

针对传统人脸识别方法不能充分利用人脸特征信息、识别误差大的问题，在LBP基础上加以改进为SLBP算法，使人脸局部纹理信息被充分提取，提高识别率、增强鲁棒性。同时，将SLBP特征向量作为DBN的输入，能够学习到更抽象、更有区分性的特征，减少深度网络对于不利特征的学习，避免冗余信息，减少训练网络时间，并弥补DBN不能很好学习人脸局部纹理结构的不足。但是，该算法在实验过程中训练时间和测试时间与其他算法相比没有明显优势，后续将对此问题做进一步的研究，确保准确率的同时，突出算法在识别时间上的优势。

参考文献

[1] 周艳杰，马丽.基于眼底虹膜图像的身份特征优化识别仿真[J].计算机仿真，2016，33（8）：448?452.

ZHOU Yanjie， MA Li. Based on the fundus iris image identity recognition simulation optimization [J]. Computer simulation， 2016， 33（8）： 448?452.

[2] 郭贺飞，陆建峰，董忠汶.一种基于改进LBP特征的人脸识别[J].现代电子技术，2015，38（4）：98?101.

GUO Hefei， LU Jianfeng， DONG Zhongwen. Face recognition method based on improved LBP algorithm [J]. Modern electronics technique， 2015， 38（4）： 98?101.

[3] LE T H. On approaching heuristic weight mask to enhance LBP?based profile face recognition system [J]. Indian journal of science and technology， 2016， 9（17）： 1?7.

[4] 胡敏，余子玺，王晓华，等.G?LBP和方差投影交叉熵的人脸识别[J].图学学报，2017，38（1）：82?89.

HU Min， YU Zixi， WANG Xiaohua， et al. G?LBP and variance cross projection function for face recognition [J]. Journal of graphics， 2017， 38（1）： 82?89.

[5] 蒋鲁宁.机器学习、深度学习与网络安全技术[J].中国信息安全，2016（5）：94.

JIANG Luning. Machine learning， deep learning and network security technology [J]. China information security， 2016（5）： 94.

[6] KATO T， HINO H， MURATA N. Multi?frame image super resolution based on sparse coding [J]. Neural networks， 2015， 66： 64?78.

[7] 卢宏涛，张秦川.深度卷积神经网络在计算机视觉中的应用研究综述[J].数据采集与处理，2016，31（1）：1?17.

LU Hongtao， ZHANG Qinchuan. Applications of deep convolutional neural network in computer vision [J]. Journal of data acquisition & processing， 2016， 31（1）： 1?17.

[8] HINTON G E， OSINDERO S， TEH Y W. A fast learning algorithm for deep belief nets [J]. Neural computation， 2006， 18（7）： 1527?1554.

[9] DIAO W， SUN X， ZHENG X， et al. Efficient saliency?based object detection in remote sensing images using deep belief networks [J]. IEEE geoscience and remote sensing letters， 2016， 13（2）： 137?141.

[10] 冀中，聂林红.基于抗噪声局部二值模式的纹理图像分类[J].计算机研究与发展，2016，53（5）：1128?1135.

JI Zhong， NIE Linhong. Texture image classification with noise?tolerant local binary pattern [J]. Journal of computer research and development， 2016， 53（5）： 1128?1135.

[11] TOPI M， TIMO O， MATTI P， et al. Robust texture classification by subsets of local binary patterns [C]// Proceedings of 15th International Conference on Pattern Recognition. Barcelona： IEEE， 2000： 3947?3950.

[12] 贺永刚.基于局部二值模式的纹理表达研究[D].武汉：华中科技大学，2012.

HE Yonggang. Research on texture expression based on local binary pattern [D]. Wuhan： Huazhong University of Science and Technology， 2012.