多姿态的人脸识别算法研究

顾立春 雷鸣

摘要：随着当前计算机软硬件和物联网等相关产业的进步，智能识别正向着无接触、智能化的方向发展，客观上推动了人脸识别技术的快速发展和普及。然而在实际应用场景中，人脸识别技术还存在一些问题和挑战，如拍摄角度、姿态表情变化等对识别精度会产生很大影响。本文提出了一种基于多姿态的人脸识别算法，通过将不同角度和姿态的人脸图像进行归一化处理，对面部的关键特征点进行变换得到人脸的正面图像，再将变换后的图像与数据库比对完成人脸识别，算法在多个公开数据集均得到了较高的识别准确率。

关键词：人脸识别;卷积神经网络;多姿态;仿射变换;鲁棒性

中图分类号：TP391      文献标识码：A

文章编号：1009-3044（2022）21-0070-03

开放科学（资源服务）标识码（OSID）：

人脸识别是计算机图像处理领域一个重要的研究方向，在智能安检、案件侦查、移动支付等领域得到了广泛应用。在身份鉴定方面，相比于指纹识别和虹膜识别等，人脸识别对人体姿态配合度的要求低，检测方便快捷，具有非侵入式，远距离且方式友好等优势;人脸识别技术难度更大，首先人脸的特征复杂度相对更高，而且图像特征容易受到光线明暗、表情变化、成像角度、交叉遮挡等多种因素的影响，因此人脸识别是一项非常具有挑战性的课题。

1 研究现状

早期的识别主要是基于静态图像识别技术，从图像中提取特征信息。随着视频技术的发展，在静态图像的识别基础上引入时间序列信息，利用视频连续帧的时间空间延续性，提高了识别的准确率。人脸识别技术主要包括以下几个方面：

1.1 基于几何特征的人脸识别技术

人的面部轮廓特征和器官位置相对固定，不同人关键点之间的框架结构也基本一致。因此，早期人脸识别的研究阶段，将人脸面部的几何特征作为特征向量数据存储于模型库中，在进行人脸识别时，只需要将待识别人脸的几何特征向量与模型库中的特征向量进行比对，满足设定阈值的一致性即为对应结果。

Kanada[1]提出了一种基于不同角度灰度投影技术，测定出投影的数值，根据数值的范围判定人脸图像，完成面部特征的标记，面部标记的结果进行归一化，得到特征向量形成标准的结构数据。进行面部识别时，计算人脸信息的特征点之间的距离、夹角和空间信息，得到面部图像中各器官之间的欧式距离，最后得到判定的结果，其在一组20人的实验中，有效识别率达到了75%。Cox[2]利用了同样的原理，延伸面部特征点的数量，提取30维的特征向量，采用图像模板匹配的算法，描绘出面部器官的特征信息，仅用一幅图像训练样本的情况下，算法的识别率达到95%。Kakadiaris[3]将面部几何特征的算法推广到侧影图像，实现了对车辆驾驶人员的面部识别。

1.2 基于局部特征的人脸识别技术

局部特征信息主要是分割出人脸图像的明显特征区域，如伤痕、纹身等，这些明显区别于他人的特征信息，就可以作为面部识别的判别依据。另外，不同人脸具有不同的局部特征结构，如眼睛间距、眼睛鼻子角度等，统计模型记录人脸中这些相对固定的特征量和受外界影响较小的特征量，同样是人脸识别的判定手段。

Kotropoulos[4]采用了Gabor小波技术提取人脸特征，通过Gabor滤波器在不同尺度和方向上对样本图像的每个像素作卷积操作，利用弹性约束匹配采用全局特征描述，基于采样局部的关键采样点实现算法识别。Gabor算法特征位数较高，算法复杂度大，对硬件要求高，难以实现实时识别。Liu[5]对该算法进行了改进，选取少量关键点并进行了下采样的方式实现算法特征降维处理，大大减低了算法的复杂度，特征关键点的选取保证了算法準确率。Timo[6]使用了LBP算子得到图像局部纹理特征信息，并通过对各像素点的灰度值与周围相邻点的关系来描述人面部图像的局部特征，该算法在人脸识别中得到了较好的效果。

1.3 基于子空间的人脸识别技术

基于子空间的识别是通过线性或非线性的算法变换，将人脸图像特征的高维信息进行降维操作，把人脸的特征点和特征向量等映射到低维子空间，在子空间中进行特征分类识别。

基于子空间的识别算法中以Eigenfaces[7]和Fisherfaces[8]应用最为广泛。Eigenfaces算法是通过基于主成分分析的方法对人脸图像的各种特征进行表达，任意的人脸图像均可以采用特征量组合的方式进行呈现，特征向量就是特征脸谱组合的关系系数。Fisherfaces算法是针对Eigenfaces的改良，Eigenfaces算法对样本标签的信息利用有限，高阶信息存在一定的缺失。而Fisherfaces算法采用了子空间映射投影的方法，将同一类信息通过映射的方式投影到一个维度，而不同类的数据信息投影到不同的算法维度，这样实现了数据的有效分类，解决了样本数据的高效分类利用。

1.4 深度学习的人脸识别技术

随着计算机硬件资源的发展，深度学习的算法得到了快速发展，并应用在各种学科领域，深度学习也成了近年来人脸识别的主流算法。

Taigman[9]提出了DeepFace算法，该算法基于深度卷积神经网络，使用了200万张不同姿态、光照等人脸图像的数据训练集，其结果在人脸评测数据库LFW上达到了99%以上的识别精度。谷歌提出的FaceNet[10]网络，该算法的数据结构使用了27层网络，在2亿的超大规模人脸数据库训练数据，其算法识别精度已经远远超过人类的识别极限。深度学习算法性能优异，但是往往数据集庞大，对资源消耗也是巨大的。

上述的四种人脸识别技术，通常都需要一定量的图像信息，图像的质量对识别效果起到了关键的作用。当图像数量样本较少，低分辨率的情况下，识别难以达到令人满意的效果。文章采用改进的特征提取算法，实现在复杂环境下多姿态的低分辨率人脸图像的识别。

2 多姿態的低分辨率人脸识别

人脸识别主要包括人脸检测，关键特征提取和人脸识别几个主要步骤。首先，通过视频采集设备获取人脸的图像信息，通过人脸检测技术识别出图像中人脸的数量、大小和位置等信息，并通过特征提取获取面部的关键点，再进行归一化处理获得人脸特征，将得到的图像特征与数据库进行特征匹配，进而对图像的人员身份进行判别，识别的原理框图如下：

2.1 人脸检测

人脸检测是指提取图像中所有人脸的信息，包括数量、位置和大小等。在无约束图像中人脸的位置是随机的，且一般很难有正面的完整图像，通常存在一定的遮挡、角度变化、表情变化、光线阴影等，这些问题给准确地判定人脸区域带来了一定的困难。

检测首先是在输入图像上进行候选区域的匹配，按照一定的判别规则，选择一个矩形区域作为候选的人脸区域;其次在候选的人脸区域中提取关键特征作为初判的特征描述;最后根据区域的特征描述与阈值的比较，判定是否包含人脸。本文采用的是基于多任务的级联卷积神经网络人脸检测算法，算法由三级的卷积神经网络组成，如图2所示。第一级是候选网络，属于全卷积网络，生成候选窗口和边框的回归向量，并使用回归的方法来进行候选区域的校准，用逼近算法合并去重得到第一步输出。第二级网络是对第一层网络的候选区域进行进一步分析，使用非极大抑制和回归算法对候选区域进行分类，去除弱相关的候选人脸区域，这一步通常能去除大量的错误候选区域。第三级网络是对剩余的候选人脸区域甄选，添加监督信息，得到最后的人脸目标图像。

2.2 人脸关键特征提取

为了提高人脸识别的准确率，通常会对图像进行归一化处理，核心思想就是关键点检测，通过关键点定位人脸，关键点可将人脸表示为一系列的特征向量，这时通过关键点的坐标就得到了输入图像的人脸形状[P]，归一化处理后与数据库P进行对比，得到最小化的期望误差：

[Er=minP-P]

其中[Er]作为数据的训练目标。

本文关键点提取算法是基于深度卷积的神经网络。算法将人脸图像作为卷积神经网络的输入，获取图像的全局特征，在第一层卷积网络提取出图像中的特征关键点，而全局特征对关键点的精确提取提供了支撑。第一层网络使用了三个深度卷积网络，分别对应全局人脸区域、眼部和鼻子区域、鼻子和嘴巴区域三个网络输入，每个网络都进行特征点的预测和提取，再将预测结果作为三个网络的输出。第二层和第三层卷积神经网络将前面的特征点作为输入，包括眼睛中心点、鼻尖、鼻子左右下缘、左右嘴角共七个关键点，以这七个关键点的局部区域进行精细处理，并将结果进行修正，得到最终的人脸关键点。

2.3 人脸识别

上述得到的人脸特征点是不规则的，需要将人脸的特征信息规则化，得到正面图像，并对齐到一个规则的框架中进行识别。本文采用姿态引导的损失函数来监督深度神经网络学习，得到正面人脸信息特征。用[If]表示数据库注册的正面人脸图像，[Ip]表示输入的人脸图像，[xf1、xf2······xfn]表示数据库注册的正面人脸图像的关键点向量，[xp1、xp2······xpn]表示输入人脸图像的关键点向量。输入的人脸图像按照眼睛中心点、鼻尖、鼻子左右下缘、左右嘴角七个关键点的相对位置、角度、距离等通过加权仿射变换，得到转换后的正面人脸图像[Ip]，正面人脸的关键点向量为[x'p1、x'p2······x'pn]。人脸识别通过对比数据库和转换后的正面人脸图像关键点向量的距离[DisIf，I'P]，来判定相似度。当输入图像多于一张时，采用多组距离平均值进行人脸识别的判定[1N1n-1Disi]，判别流程如图3所示。

算法的优势在于少样本时，同样能够达到较高的精度，在低分辨率的图像中，关键点会进行多次提取比对。算法在ORL、GT、AR、YaleB和LFW等数据集均取得了不错的效果，算法识别率均达到了97.8%。低分辨率图像的识别效果如图4所示，可以看出，算法有效地提取了人脸关键点，不同角度图像实现了准确识别。

3 结语

文章对人脸识别技术的主流算法进行了分析总结，提出了一种基于多姿态的人脸识别方法。针对不同角度和表情的人脸输入图像，首先进行人脸检测，利用三级卷积神经网络完成人脸候选区域的初步判定;然后通过深度卷积神经网络，在人脸候选框内选取全局特征点，再利用两层网络得到眼睛中心点、鼻尖、鼻子左右下缘、左右嘴角等局部七个关键点;最后利用仿射变换进行人脸姿态的引导转换，实现人脸识别。

算法在多个数据集的试验结果均得到了令人满意的效果，鲁棒性和稳定性也得到了验证，特别在多角度多个图像输入时，人脸识别精度显著提高。后续多姿态人脸识别算法将在处理遮挡、多人面部交错等方面进行研究。

参考文献：

[1] Kanade T.Picture processing system by computer complex and recognition of human faces[D]. Kyoto University， Japan， PhD. Thesis，1973.

[2] Cox I J，Ghosn J，Yianilos P N.Feature-based face recognition using mixture-distance[C]//Proceedings CVPR IEEE Computer Society Conference on Computer Vision and Pattern Recognition.San Francisco，CA，USA.IEEE，：209-216.

[3] Kakadiaris I A，Abdelmunim H，Yang W，et al.Profile-based face recognition[C]//2008 8th IEEE International Conference on Automatic Face & Gesture Recognition.Amsterdam，Netherlands.IEEE，2008：1-8.

[4] Kotropoulos C，Tefas A，Pitas I.Frontal face authentication using morphological elastic graph matching[J].IEEE Transactions on Image Processing，2000，9（4）：555-560.

[5] Liu D H，Lam K M，Shen L S.Optimal sampling of Gabor features for face recognition[J].Pattern Recognition Letters，2004，25（2）：267-276.

[6] Timo A， Abdenour H， Matti P. Face recognition with local binary patterns[C]//In proceedings of the 8th European Conference on Computer Vision（ECCV2004）， Prague： Czech Republic，2004：469-481.

[7] 程正東，贾慧星，李乐.基于子空间的人脸识别[M].北京：清华大学出版社，2009.

[8] Rao C R.Linear Statistical Inference and its Applications[M].Hoboken，NJ，USA：John Wiley & Sons，Inc.，1973.

[9] Taigman Y，Yang M，Ranzato M，et al.DeepFace：closing the gap to human-level performance in face verification[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition.Columbus，OH，USA.IEEE，：1701-1708.

[10] Schroff F，Kalenichenko D，Philbin J.FaceNet：a unified embedding for face recognition and clustering[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition.Boston，MA，USA.IEEE，：815-823.

【通联编辑：唐一东】