基于测地线采样的三维表情人脸识别

曹元鹏，周大可，杨 欣，方三勇

(南京航空航天大学自动化学院，南京210016)

基于测地线采样的三维表情人脸识别

曹元鹏，周大可，杨 欣，方三勇

(南京航空航天大学自动化学院，南京210016)

针对测地线类人脸识别算法速度慢的问题，提出了一种基于测地线环带特征点采样的三维人脸识别方法。首先根据测地线距离以鼻尖点为中心在人脸表面绘制一系列等距测地线环;再对测地线环带进行特征点采样构成人脸描述特征，并进行PCA(Principal Component Analysis)运算和去相关处理;最终使用投票法融合各环带单独结果以识别人脸。在FaceWareHouse表情三维人脸数据集上进行的识别实验表明，该方法识别准确率与传统测地线法相当，而识别时间有明显减少，平均识别时间由2.55 s降至0.624 3 s。

人脸识别;测地线;特征抽取;主成份分析

0 引 言

人脸识别技术是模式识别与计算机视觉方向的研究热点之一，随着图像处理、机器视觉、模式识别和统计学习等众多相关学科领域的不断发展和研究深入，人脸识别技术得到了越来越广泛的关注［1，2］。近年来，三维人脸识别的研究也非常活跃。利用人脸形状信息的三维人脸识别能有效处理二维人脸识别中的一些难点问题，如姿态、光照等问题;但对于表情问题，由于表情变化会改变三维人脸的局域形状［3，4］，导致难以提取稳健的三维特征。因此表情问题也成为了三维人脸识别研究中热点问题［5-7］。

Wang等［8］提出了一种基于LDA(Linear Discriminant Analysis)的人脸分类系统，利用三维人脸的几何形状，并且在BU-3DFE(3D Facial Expression Database-Binghamton University)人脸库上达到了83.6%的识别率。Kyong等［9］首先在鼻子周边区域划分出多个相互重叠的区域，然后利用 ICP(Iterative Closest Point)匹配各个区域，最终将各区域的匹配结果相融合。实验结果表明，通过多区域投票匹配对表情有一定适应性，平均识别率为86.1%。文献［10］提出了一种基于多阶段匹配技术的全自动的三维人脸识别方法，利用形变图像对面部形状的变化和小波特征分别进行匹配识别，在FRGC v2数据库上识别率达到97%。Ajmal等［11］同时使用模型二维和三维信息，采用基于特征匹配和全局匹配的混合方式进行识别，平均识别率达到98.3%。Ocegueda等［12］利用马可夫随机场模型检测人脸有/无区别能力的信息，提出了一种新颖的三维人脸特征信息提取思路。

Berretti等［13］提出了一种基于三维测地线的方法。首先定义以鼻尖点为中心的一系列等间距测地环带，然后通过计算测地线环带间的内部距离和外部距离(3DWW距离［14］)进行局域匹配，最后融合多个测地线环的匹配结果。该方法对有表情人脸的识别率达到97.7%，明显优于其他的三维人脸识别方法。但3DWW距离计算量大、十分耗时，文献［13］虽然通过一些预处理方法减少计算量，但相对于其他人脸识别方法，其处理时间仍是难以接受的。2014年，Lei等人［15］提出了一种快速三维人脸识别方法，通过提取人脸上半部分(ARS:Angular Radial Signature)特征，再经过K-PCA进一步处理将特征投影到非线性空间，最后经过支持向量机进行人脸识别。

考虑到测地线特征对人脸表情变化稳健性较好，只是3DWW距离度量方式计算量巨大。为了处理三维人脸识别中的表情问题，笔者提出了一种融合测地线特征和ARS特征的人脸识别方法。该方法首先提取以鼻尖点为中心的一系列等间距测地线，并在等距测地线进行类ARS的离散点采样;然后使用PCA进行去相关处理及匹配，并利用投票法融合各等距测地线的匹配结果。实验结果表明，该方法在达到原方法识别率相当的情况下，速度大大提升。

1 三维人脸特征提取

1.1 人脸测地线特征

测地线又称大地线或短程线，数学上可视作直线在弯曲空间中的推广。在有距离函数定义存在时，测地线可定义为空间中两点的局域最短路径。简言之，两点间测地线距离就是曲面上两点延曲面表面的最短距离。Berretti等［13］将每个三维人脸样本划分为固定数目的、形同宽度且以鼻尖点为中心的环带。通过计算任意点与鼻尖点间的标准测地线距离，再将人脸分为N个区间:c1，c2，…，cN，得到人脸的测地线环带，既第i个环带为三维人脸样本上所有与鼻尖点距离¯r位于区间ci的点。其中上述过程中的测地线距离通过Dijkstra提出的算法实现，算法复杂度为O(n log n)。

通过合理的选择环带区间ci和环带数目N，测地线环带特征可明显区分面部表情变化的不同个体。测地线特征对表情稳健性基于以下两个原因:1)两点间的测地线距离在面部表情变化时，可保持充分的稳定［16］，即使在表情变化时，一个环带内的大多数点仍然会在此环带内部;2)当人脸的表情发生变化时，只有少部分的点的位置受到了明显的影响。

Berretti通过实验确定了环带数量、宽度、权重及面部区域对识别效果的影响后，建立了以鼻尖点为中心，10 mm宽的9个同心环带，并以鼻尖点为原点将人脸划分为上，左下，右下3部分。其采样的9个同心环带基本覆盖了全部面部区域。通过计算3DWW(3DWeighted Walkthrough)距离比较模型相似性，两模型间的3DWW距离定义如下

1．2 ARS特征

一般三维人脸模型由大量坐标点组成的三维点云组成。然而由这些坐标组成的点云原始数据通常包含大量对人脸识别无用的信息，以及对人脸表情变化敏感的信息，为了得到人脸的表情稳健特征信息，Lei等［15］通过定义曲线采样离散点作为人脸局部特征。ARS定义如下:以鼻尖点为圆心、以角度θ为间隔的一组射线(θ∈［0，π］，且ARS曲线的数量为N=π/θ+1)，通过每条射线的高度变化反映人脸特征的变化。为了提取ARS特征，文献［16］在人脸深度图上进行采样:每条射线上间隔3 mm采样，共采样20个点，则每个样本模型共采样20N个点，即共提取N个特征，每个特征为20维;同时指出，由于人脸存在非线性，提取的特征很难进行线性分类。笔者使用K-PCA将样本点投射到高维非线性空间中，解决提取特征线性不可分的问题，在进行K-PCA处理后，使用SVM进行一对多策略的分类进行识别。

1.3 笔者方法

根据Berretti的实验论证［13］，测地线环带表示人脸特征对表情变化具有一定的适应性，其可以充分表示人脸特征信息。然而该方法存在两个缺陷:1)9个同心环带几乎覆盖全部人脸区域，包含人脸模型的所有三维点;2)需要计算各个环带间的3DWW距离以表示人脸特征信息，而3DWW的计算过程十分耗时。Lei等［16］所提出的基于ARS的特征提取方式有较好识别率和不错的速度，但ARS利用深度图进行采样，采样点的稳定性较差。

为兼顾测点线方式对表情变化的稳健性以及ARS特征提取及分类的高效率，笔者将两种方法相融合，提出基于测地线采样的人脸特征提取方法。首先对同一人的不同表情模型以鼻尖点为中心，10 mm为半径的间隔采样人脸环带(见图1a)，在此环带上以角度θ为间隔采样M个点的高度信息(见图1b)。如图1b所示，同一个体的不同表情模型的采样点高度变化趋势相似。这是由于测地线对表情变化的稳健性，不同表情人脸的采样点高度信息表现出聚类效果，并通过实验测定，当θ=1/45π、M=30时，人脸识别效果最优。

图1 测地线环带Fig.1 Iso-geodisic curve

为验证采样特征对表情变化的稳健性，分别对同一个体的不同表情的人脸模型进行相同半径的等间隔测地线特征点采样，经采样后特征点的高度信息反映如图2所示。图2中相同个体不同表情模型的采样点的高度变化趋势相似，表明测地线上点的高度信息聚类性较强。

图2 相同个体的不同表情模型的采样点高度信息Fig.2 The height information of sampled points of same individual

虽然使用利用测地线特征已具有较好的聚类效果，但由于人脸几何特征的相似性，不同人脸采样点集间的区分度不高，故笔者利用PCA(Principal Component Analysis)对其进行去相关处理。在信号处理中，信号具有较大的方差，噪声具有较小的方差，PCA将原始数据投影到其协方差最大的特征向量组成的低维空间中，舍弃方差较小的特征，以去除数据的相关性及冗余。在经PCA处理前，同类数据间Pearson相关系数为0.99，异类间为0.7;处理后，同类数据间为0.99，异类间为0.4，降低了数据线性相关程度。

2 实验过程及结果

根据上述讨论，笔者提出的特征提取及人脸识别实现步骤如下:首先计算模型各点距鼻尖点测地线距离，提取距离为20 mm、30 mm、40 mm、50 mm、60 mm、70 mm的6个测地线环带;然后在环带上对模型进行采样，以采样点高度信息作为人脸局部特征;再对采样的局部特征进行PCA去相关处理，以增加其类间区分度;最后使用最邻近分类器对处理过的特征进行分类，并通过各个距离不同的环带的加权结果作为最终的识别依据。笔者实验安排如下:首先通过不同采样范围识别实验的识别率确定采样范围、再通过各个环带的单独识别率确定各个环带权值。经过上述实验确定了各个最优参数，通过与测地线方法和ARS方法对比，验证笔者提出识别方法的效果。

实验采用FaceWareHose［17］三维人脸数据库进行测试，该数据库包括150个个体，每个个体有19个有表情模型和1个无表情模型共3 000个样本。数据库中人脸模型为经过重采样和归一化后可直接进行使用的样本。笔者使用了每人1副无表情模型、4副有表情模型，100个人、共500个样本。

由图2可知，同一个体的不同表情模型在采样后虽然有很好的相似性，但在图2中［35-45］及［50-60］采样点处不同表情的采样点有较大偏差。笔者通过实验选取对表情变化稳健性较强的区域。实验使用无表情人脸模型作为训练样本，同时使用一组有表情模型作为测试样本。分别在范围内的实验结果如表1所示。

表1 测地线范围实验结果Tab.1 Result of Iso-geodesic range experiment

由表1可知，环带范围为2π时分类效果最不理想，因为该范围包含了嘴部区域，对表情变化最为敏感。随着环带范围的减小，分类正确率逐步上升，直到-附近，达到最高(95%)的分类正确率;当采样范围进一步减小时，由于采样区域范围过小，丢失过多有用信息而使分类正确率下降。因此，选择环带范围，该区域对表情变化的相对稳健且包含足够的分类信息。

通过实验确定各个采样环带的投票权重。分别单独使用距鼻尖点为20 mm、30 mm、40 mm、50 mm、60 mm、70 mm的环带采样点进行分类实验，根据实验结果分配各环带权重，20 mm～70 mm环带的权重分别为:0.17、0.13、0.11、0.15、0.14、0.15、0.15。

为了检验笔者算法的识别效果，与原ARS、测地线方法进行了对比试验。实验分别为:无表情人脸模型作为训练样本，同时使用一组有表情模型作为测试样本;随机4组样本训练、1组样本识别;随机3组样本训练、随机2组样本识别;随机2组样本训练、3组样本识别。其中，表1中正确率及训练识别时间以无表情人脸作训练样本，另4组以表情人脸作测试样本，共400次识别实验的平均值。表2为3种方法的平均训练及识别时间对比。

表2 平均耗时对比Tab.2 Average time consuming

表3 平均识别率对比Tab.3 Average accuracy

由表2、表3可知，传统测地线方法及笔者方法对有表情人脸的识别正确率明显优于ARS特征提取方法，但传统测地线方法在样本训练及识别过程中及其耗时;而笔者的改进方法在识别率和时间消耗上都优于传统测地线方法;而相对于ARS特征提取方法，笔者识别率高于ARS方法，但因笔者方法需要计算测地线距离，故训练时间和识别时间相对增加约0.5 s，但并不影响算法识别的实时性。

3 结 语

针对三维人脸识别中的表情变化问题，笔者提出了一种基于测地线采样的表情不变人脸识别算法。该算法首先对人脸模型进行测地线距离计算，然后提取等间距测地线环带，并在环带上进行采样作为人脸局部特征信息;将采样得到的特征进行PCA处理以减少类间相关度，最终使用加权投票的方式得到识别结果。实验表明，相对于Berretti的3DWW距离的测地线分类方法，笔者方法达到了与其相当的识别率，并在保证对表情变化鲁棒性的同时提升了算法识别速度，使识别时间由2.5 s左右下降为0.6 s左右。

［1］陈炳权，刘宏立.基于二次修正的LBP算子和稀疏表示的人脸表情识别［J］.中南大学学报:自然科学版，2014，45(5):1053-1058. CHEN Bingquan，LIU Hongli.Facial Expression Recognition Based on Improved IBPOperator and Sparse Representation［J］. Journal of Central South University:Science and Technology，2014，45(5):1053-1058.

［2］TEJA G P，RAVI S.Face Recognition Using Subspaces Techniques［C］∥Recent Trends in Information Technology (ICRTIT)，2012 International Conference on.Chennai，India:IEEE，2012:103-107.

［3］蔡泽民，闫敬文.人脸识别:从二维到三维［J］.计算机工程与应用，2011，47(11):155-159. CAIZemin，YAN Jingwen.Face Recognition:from 2D to 3D［J］.Computer Engineering and Applications，2011，47(11): 155-159.

［4］SELLAHEWA H，JASSIM SA.Image-Quality-Based Adaptive Face Recognition［J］.IEEE Transactions on Instrumentation and Measurement，2010，59(4):805-813.

［5］LIU Ding，DING Xiaoqing，FANG Chi.Continuous Pose Normalization for Pose-Robust Face Recognition［J］.Signal Processing Letters，2013，20(1):91-94.

［6］FALTEMIER，TIMOTHY C，KEVIN W，et al.A Region Ensemble for 3-D Face Recognition［J］.IEEE Transactions on Information Forensics and Security，2008，3(1):62-73.

［7］FALTEMIER，TIMOTHY C，KEVIN W，et al.Using Multi-Instance Enrollment to Improve Performance of 3D Face Recognition［J］.Computer Vision and Image Understanding，2008，112(2):114-125.

［8］WANG Jun，YIN Lijun，WEI Xiaozhou，et al.3D Facial Expression Recognition Based on Primitive Surface Feature Distribution［C］∥Computer Vision and Pattern Recognition.［S.l.］:IEEE，2006:1399-1406.

［9］KYONG ICHANG，KEVINW，PATRICK JFLYNN.Multiple Nose Region Matching for 3D Face Recognition under Varying Facial Expression［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2006，28(10):1695-1700.

［10］IOANNISA KAKADIARIS，GEORGIOS PASSALIS，GEORGE TODERIC，et al.Three-Dimensional Face Recognitionin the Presence of Facial Expressions:An Annotated Deformable Model Approach［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2007，29(4):642-649.

［11］AJMAL S MIAN，MOHAMMED BENNAMOUN，ROBYN OWENS.An Efficient Multimodal 2D-3D Hybrid Approach to Automatic Face Recognition ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2007，29(11):1927-1943.

［12］OCEGUEDA O，SHAH SK，KAKADIARIS IA.Which Parts of the Face Give Out Your Identity?［C］∥Computer Vision andPattern Recognition(CVPR).Milpitas，USA:IEEE，2011:641-648.

［13］BERRETTIS，BIMBO A D，PALA P.3D Face Recognition Using Isogeodesic Stripes［J］.IEEE Trans Pattern Anal Mach Intell，2010，32(12):2162-2177.

［14］BERRETTIS，BIMBO A D，PALA P.Weighted Walkthroughs between Extended Entities for Retrievalby Spatial Arrangement［J］.IEEE Transactions on Multimedia，2003，5(3):52-70.

［15］LEIY，BENNAMOUN M，HAYATM，et al.An Efficient3D Face Recognition Approach Using Local Geometrical Signatures［J］.Pattern Recognition，2014，47(2):509-524.

［16］BRONSTEIN A M，BRONSTEIN M，KIMMELM.Expression Invariant Representations of Faces［J］.IEEE Transactions on Image Processing，2007，16(1):188-197.

［17］CHEN Cao，WENG Yanlin，ZHOU Shun，etal.Facewarehouse:A 3D Facial Expression Database for Visual Computing［J］. Visualization and Computer Graphics，IEEE Transactions on，2014，20(3):413-425.

(责任编辑:张洁)

Expression Invariant3D Face Recognition Based on Geodesic Curve Features

CAO Yuanpeng，ZHOU Dake，YANG Xin，FANG Sanyong

(College of Automation Engineering，Nanjing University of Aeronautics and Astronautics，Nanjing 210016，China)

A new 3D face recognition method is proposed aming to speed up traditional Iso-geodesic method based on Iso-geodesic curves and features extraction.Thismethod ismainly composed by the following 3 steps: generating a serious of equidistant Iso-geodesic curves by geodesic distance，extracting feature points on every curves of first step and using PCA(Principal Component Analysis)method and voting to final face recognizes. Thismethod has higher recognition speed than the traditional Iso-geodesic method when at the same recognition rate under Face WareHouse dataset.The average recognition time decreased from 2.55 s to 0.624 3 s.

face recognition;Iso-geodesic curves;features extraction;principal component analysis(PCA)

TP391

A

1671-5896(2015)04-0429-06

2014-06-24

国家自然科学基金资助项目(61172135);南京航空航天大学研究生创新基地(实验室)开放基金资助项目(kfjj20130210)

曹元鹏(1990— )，男，呼和浩特人，南京航空航天大学硕士研究生，主要从事三维人脸重建与识别研究，(Tel)86-15850505602(E-mail)yp_cao@nuaa.edu.cn;周大可(1974— )，男，江苏涟水人，南京航空航天大学副教授，硕士生导师，主要从事生物特征识别、计算机图像处理研究，(Tel)86-25-84892305-5112(E-mail)dkzhou@nuaa.edu.cn。