局部遮挡条件下的人脸识别

岳 震 陈凯勇

(杭州电子科技大学信息与控制研究所 浙江 杭州 310018)

0 引 言

由于广泛的实用价值和潜在的科研价值，人脸识别依然是生物特征识别领域的重要研究课题[1]。近几十年来，人脸识别技术虽然取得了很大的成就和长足的发展。但在面对遮挡、光照、表情变化等不利因素的影响时依然表现得不够鲁棒。目前，人脸识别算法针对遮挡条件下的人脸识别算法的研究还比较少。特征提取是整个人脸识别过程中最为关键的，全面而有效地提取特征决定了系统识别分类的性能。一幅人脸图像通常可以分为全局和局部两个方面来看:全局特征主要反映了目标图像的整体性，它主要描述人脸的肤色、整体的轮廓、五官的分布等；局部特征则反映了人脸中微小的特征变化，譬如酒窝、伤疤以及痣点等脸部痕迹。因此考虑可以将全局和局部的特征信息结合起来进行分类可以取得比较优异的识别性能。目前主流的全局特征提取法有主成分分析PCA(Principle Component Analysis)[2]、独立成分分析ICA(Independent Component Analysis)[3]、线性判别分析LDA(Linear Discriminant Analysis)[4]等。主流的局部特征有Gabor小波变换GWT(Gabor Wavelet Transform)[5]、局部二值模式LBP(Local Binary Pattern)[6]、梯度方向直方图HOG特征[7]等。Gabor特征具有和人类视觉系统相近的特点，同时具备很强的人脸表征能力，所以其被广泛应用于人脸的局部纹理特征的提取。但由于该特征维数过高、计算繁琐难以满足识别的时效性的目的。LBP特征具有计算简便、分类能力强的特点，但容易受到噪声的影响且对光照等因素十分敏感。HOG特征具有计算简便且对旋转、光照等不利因素鲁棒性强，因此也越来越多地被应用于人脸的识别方面。HOG特征是来自于SIFT算法的最后一步的统计梯度直方图描述子，是一种描述局部图像目标的梯度统计信息的描述算子。最初是在2005年由Dala1等[8]提出并结合SVM分类器用在行人检测方法中取得了较好的成果。到2011年Deniz等[9]将其应用于人脸识别中，并取得了较高的识别率。

本文采用全局信息和局部信息[10]相结合的方法进行识别分类。全局信息采用PCA算法，但考虑到传统PCA算法提取算法有易丢失高频信息、重建图像分辨率不高、人脸变异模糊的缺点。因此，首先对目标图像进行线性重构得到误差图像，然后将误差图像的特征向量信息与PCA全局的特征信息经双属性模型进行融合，得到双属性特征信息。同时，采用HOG算子对目标图像进行均匀分块提取局部的HOG特征信息，通过整体分类器对双属性特征信息和局部特征信息进行分类，判别目标图像属于哪一类。双属性模型主要是将不同的两种特征向量进行相似度比较，按照一定的权值比进行结合，得到一种新的特征向量。该算法解决了在提取图像特征时丢失的高频信息、个体差异性以及局部信息，有效解决了图像在特征空间的训练过程中由光照、遮挡等因素造成图像中人脸图像的失真，从而提高了人脸识别的准确性。

1 基于双属性模型的PCA算法

1.1 基于PCA算法的全局特征向量提取

(1)

由此可得到每张人脸图像相对于Xave的均差为：

φi=Xi-Xave

(2)

构造协方差矩阵：

(3)

要求C的特征值λk和特征向量μk，可转化成求另一个矩阵S的特征值和特征向量νk，这样就可以使计算复杂性大大降低。

(4)

这些求出的特征向量所形成的向量空间就可以表示人脸图像的主要特征信息。对于图像中的所有N个图像都可向此空间进行投影，得到投影向量为ω=[ω1,ω2,…,ωL]。例如将图像库中任一人脸图像向此空间作投影，得到它的投影向量为：

(5)

式中：向量元素ϖi可由公式得到：

(6)

1.2 基于线性重构的误差特征向量提取

考虑到上述PCA算法主要对人脸的主成分进行分析，要是受到光照、尺度、遮挡等因素影响，人脸识别的准确率就会过低。本文为了对全局特征信息进行补偿，采用线性回归算法得到人脸误差图像，对误差图像进行特征提取，得到误差特征信息。

因此，假设训练样本的集合为X，测试样本集合为y，共有m幅图像。首先利用最小二乘法得到训练样本X对应的系数向量x，然后将对应的预测图像与训练样本进行差异性比较，得到误差图像，最后将误差图像投影到式(4)的特征向量所形成的向量空间中得到误差图像的特征向量。首先假设下式近似满足：

y=b1x1+b2x2+…+bnxn

(7)

式中：bi是人脸模型中每一类对应的线性回归系数。然后计算人脸模型对应的线性回归系数矩阵，矩阵形式如公式所示：

(8)

接着，计算测试图像和预测图像的差异，记为误差图像：

(9)

最后将误差图像的特征向量作为对PCA特征提取的特征向量的全局补偿，这样就得到了误差特征向量：

σ=μ-1θ

(10)

那么可以通过双属性模型，将全局特征向量和误差特征向量进行融合，得到双属性特征向量作为分类器主要的训练目标。

1.3 双属性模型

(11)

式中：≈表示相似性比较操作。从而可定义特征向量G1、G2之间的主分量的相似度为：

(12)

对特征向量ω、б进行融合，得到双属性表示模型：

Gtotal(ω,σ)=ω+(λI-Sν)σ

(13)

式中：λI-Sv用于保持图的拓扑结构，也可看作一种权值。

使用双属性模型来表示目标图像的全局特征，首先对于人脸图像，根据人脸各个部位的特征点，得到人脸模型。然后对人脸图像进行PCA变换，得到人脸特征模型上各特征点的PCA系数，作为一组人脸特征向量。同时，通过LRC算法得到人脸的误差图像，对误差图像的特征提取获得误差特征向量，作为另外一组误差特征向量。因此对于人脸模型上的任一特征点来说，该特征点都具有两个属性，这样根据这些特征点生成人脸双属性图。

2 基于HOG局部特征提取

HOG特征提取的一般过程为:将人脸图像均匀划分为多个大小一致的小块block。接着每个block以互不重叠模式划分为2×2或者4×4大小的cell单元，在每个cell单元内计算每个像素的梯度方向和幅度值。在每个block内统计每个cell的梯度方向直方图并将其连成一个向量。最后级联所有block的特征向量得到图像的全局HOG特征。本算法所设置的参数为：(1) 梯度计算使用中心对称算子[-1,0,1]，人脸图像灰度化，不作平滑处理;(2) 采样窗口(即block)大小为8×8像素分为4个4×4像素的cell，不计算高斯加权;(3) 初始的方向角是unsigned的0～180°，分为8个方向角(bin);(4) L2-norm的block标准化方法;(5) 块与块之间互不重叠[11]。

本算法首先对人脸图像进行光照预处理操作，接着进行区域分块，这里的块并非是HOG描述子中的block，而要比其大。由多个blocks组成一个局部的区域块，为了简化计算，采用平均分块的方式，然后在每个块上提取HOG特征。同时为了防止边缘对提取工作的影响和计算的简便，实际做法是先提取全局的HOG特征，然后按空间区域不同将其划分到不同块中，将每个区域获得的特征作为局部HOG特征向量(LHOGFV)。最后按照图1的方式对图像进行分块，这里分为L块并对每个块用HOG描述子提取局部HOG特征向量(LHOGFV)得到L个LHOGFV特征Fi={Li|i=1,2,…,L}，那么目标图像可以用这L个局部特征表示为F=[F1,F2,…,FL]。

图1 分块提取局部HOG特征的过程

3 分类器的设计

首先通过双属性模型将全局特征信息和误差特征信息进行融合，然后通过分块提取N个局部的HOG特征信息，这样就可以得到N+1个特征向量(1个双属性特征向量以及N个局部HOG特征向量)。现有一目标测试图像需要进行识别，那么可以将该目标图像进行上述处理，得到N+1个特征向量，然后与训练样本的N+1个特征向量进行对比，从而可以的到N+1个相似度值。最后根据最近邻分类算法对这N+1个相似度值进行计算，确定目标图像的人脸类别。

现将双属性特征向量和局部HOG特征向量的分类器分别称为：双属性分量分类器DAC(Double Attribute Classifier)和局部分量分类器LCC(Local Component Classifier)。这两类分类器针对的是不同的特征向量信息从而得到的相似度存在一定的差异性，它们之间可以互补从而提高算法的识别率。本文采用权重值分配方式将上述得到两种分类器进行融合，即采用加权分配的策略将局部分量分类器和双属性分量分类器产生的N+1相似度进行权重分配得到一个新的整体分类器OC(Overall Classifier)。

对于局部分量分类器的权重分配方法，鉴于文献[10]中所提到，采用不同的权重分配对识别率的提高不大且为了计算的简便，故采用平均权重的方法，即每个分类器的权重值是WLi=1/L，其中L是分块区域的个数为20。根据分块区域的权重值，将所有局部分量进行加权求和，那么就可以得到局部分类器的集合LC：

(14)

式中：WLi表示第i块区域的局部分量所占权重值。接着将双属性分量分类器和局部分类器集合进行加权求和计算进行并行集成，从而得到整体分类器OC：

OC=wDA×DAC+(1-wDA)×LC

(15)

式中：WDA表示双属性特征向量所占权重值。对于WDA的取值是通过在AR人脸库上做实验来设定的。实验结果显示当WDA=0.25左右时，人脸的识别率达到最高。因此在后续的实验中，将WDA设置为0.25。构建整体分类器OC的完整过程如图2所示。

图2 整体分类器构建的全过程

4 实 验

4.1 实验数据

为了验证本文算法的可行性及有效性，本文选择在人脸数据库AR[12]、Yale-B[13]上进行人脸识别实验。

AR数据库包含76名男性和60名女性的人脸数据，超过3 000张的人脸图像组成。原始图像分辨率为768×576。选择其中120人(60名男性和60名女性)，每人10幅图，并对图像大小裁剪为80×64大小，进行实验测试算法识别率。图3为AR人脸数据库中选择的训练样本以及对应的测试样本。

图3 AR训练样本及测试样本的人脸图像

Yale-B人脸数据库中的人脸图像主要对10个目标对象进行采集，每个人都拍摄了576幅图像，包含了9种姿势以及65种光照变化的图像。为了实验的便捷性，对所有图像进行尺度归一化，所有图像均被裁剪为80×64大小的尺寸。该图像根据光照的强度和角度的不同，可划分为5个子集，如图4所示。

图4 Yale-B人脸数据库图像

为了测试提出的方法对于随机被遮挡图像的鲁棒性。本节选取Yale-B03的子集1作为训练样本，子集2和子集3作为测试样本并采用猴子脸部图像作为遮挡图像用于遮挡测试样本，分别遮挡测试样本的10%到60%的面积，并且将被遮挡的位置进行随机选择，这样可以验证方法的抗干扰性。图5为子集2的测试样本进行10%到60%的遮挡。

图5 测试样本在不同遮挡率下的示例图像

4.2 实验结果与分析

本文主要设置两组实验：实验一，在有遮挡的AR人脸数据库，分析本文算法的可行性以及可靠性，并与算法SRC和LRC算法进行对比；实验二，在Yale-B人脸数据库进行人脸图像随机遮挡识别实验。

从表1-表3的实验结果可以看出，本文算法在AR、Yale-B数据库上都取得了较高的识别率，均优于其他传统的算法。

表1 Yale-B人脸数据库中子集1作为训练样本集本，子集2作为测试样本 %

表2 Yale-B人脸数据库中子集1作为训练样本，子集3作为测试样本 %

表3 基于AR人脸数据库的三种算法的性能比较

在AR人脸数据库上，通过图6的识别率分布图，可以得出SRC和LRC算法的识别率会随着训练样本数的增加而逐渐的减小。这就说明了当增加了训练样本数时，SRC和LRC提取的特征向量信息相似度会比较相近，进而使得测试样本无法正确归类。而对于本文算法就有比较稳定的识别率，受训练样本数量的影响比较小。表3表明了不同算法在该实验中的平均识别率和算法执行时间。由于本文算法的复杂性导致执行时间比其他两种算法稍长，但识别率有显著的提高。随着计算机技术的发展，识别时间会有所缩短。因此，通过该实验可以得出该算法具有比较好的稳定性、可靠性和一定的实时性。

图6 SRC、LRC、本文算法识别率随训练样本数的变化

在Yale-B数据库上，通过表1、表2的识别结果可以看出在无遮挡的情况下，各个算法都可以获得较高的识别率，本文算法取得最高的99.53%和97.25%。在遮挡的情况下，各个算法识别率都会有所降低。然而本文算法在不同比例的遮挡下均优于其他方法。 对于子集2中的情况，在遮挡率不高于30%时，本文算法的识别率都在90% 以上，但当遮挡超过30%以上时，识别率会有明显的下降。对于子集3作为测试样本，不仅有随机遮挡的影响，而且还有着一定程度上光照强度的影响。因此，该条件下的人脸识别难度更加高。如表2所示。可以看出所提出的方法在光照和遮挡的影响也有很强的抗干扰性。而对于Eigenfaces+kN的方法，在光照和遮挡双因素的影响下，识别率极低。当遮挡率高于20%时，SRC和LRC的识别率也都急剧的降低，说明在光照条件和遮挡双因素影响下，传统的识别算法，还是有很大的缺陷的。

5 结 语

针对局部遮挡条件下的人脸识别问题，提出一种基于双属性模型的HOG特征人脸识别算法。本算法从线性子空间角度来解决遮挡人脸识别的问题。首先，完成了对双属性模型的设计，完成了全局特征向量与误差特征向量的融合。其次，利用HOG描述算子成功实现了对人脸分块的局部HOG特征提取。最后，利用多类特征信息的相似度进行权值匹配计算，实现了该算法在遮挡条件下进行有效识别的目的。在AR、Yale-B数据库上进行实验表明，本算法优于其他传统算法，具有较高的识别率并对遮挡及一定的光照等具有鲁棒性强的特点。

参 考 文 献

[1] 孙强,叶玉堂,邢同举,等.基于主成分分析法的人脸识别的探讨与研究[J].电子设计工程,2011,19(20):101-104.

[2] Abdi H,Williams L J.Principal component analysis[J].Wiley interdisciplinary reviews:computational statistics,2010,2(4):433-459.

[3] Du K L, Swamy M N S. Independent component analysis[M]//Neural Networks and Statistical Learning.Springer London,2014:419-450.

[4] Izenman A J.Linear discriminant analysis[M]//Modern multivariate statistical techniques.Springer New York,2013:237-280.

[5] 王宪,陆友桃,宋书林,等.基于Gabor小波变换与分块PCA的人脸识别[J].计算机工程与应用,2012,48(3):176-178, 231.

[6] 宋克臣,颜云辉,陈文辉,等.局部二值模式方法研究与展望[J].自动化学报,2013,39(6):730-744.

[7] Oreifej O,Liu Z.Hon4d:Histogram of oriented 4d normals for activity recognition from depth sequences[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.2013:716-723.

[8] Dalal N,Triggs B.Histograms of oriented gradients for human detection[C]//Computer Vision and Pattern Recognition,2005.CVPR 2005.IEEE Computer Society Conference on.IEEE,2005,1:886-893.

[9] Déniz O,Bueno G,Salido J,et al.Face recognition using histograms of oriented gradients[J].Pattern Recognition Letters,2011,32(12):1598-1603.

[10] 苏煜,山世光,陈熙霖,等.基于全局和局部特征集成的人脸识别[J].软件学报,2010,21(8):1849-1862.

[11] 谭恒良.基于融合全局和局部HOG特征的人脸识别方法[D].广州:中山大学,2011.

[12] 罗佳,石跃祥,段德友.基于SIFT特征的人脸识别方法[J].计算机工程,2010,36(13):173-174,177.

[13] Sinha P,Balas B,Ostrovsky Y,et al.Face recognition by humans:Nineteen results all computer vision researchers should know about[J].Proceedings of the IEEE,2006,94(11):1948-1962.