基于Gabor的伸长局部二值模式及其人脸识别应用

吴　帅,陈　熙,尚振宏

(昆明理工大学 信息工程与自动化学院 通信系,云南 昆明　650500)



·信息科学·

基于Gabor的伸长局部二值模式及其人脸识别应用

吴帅,陈熙,尚振宏

(昆明理工大学 信息工程与自动化学院 通信系,云南 昆明650500)

提出一种基于Gabor的伸长局部二值模式(elongated local binary pattern, ELBP)的人脸识别方法。该方法首先对人脸图片进行Gabor滤波,得到一组Gabor幅值图像(Gabor magnitude maps,MMPs);然后利用ELBP提取每一幅幅值图像的纹理特征,并用ELBP纹理特征的直方图特征和平均最大距离梯度幅值特征联合表示该图像纹理特征;最后,通过比较测试图片和训练集的直方图交叉距离进行识别。在YALE，YALE-B，UCD-VALID，CMU-PIE等人脸库进行测试,所提方法取得了理想的效果,证明所提方法能够有效地进行人脸识别。

人脸识别;Gabor滤波;局部二值模式;伸长局部二值模式

模式识别[1]与图像检索[2]一直是图像处理中一个研究重点,而人脸识别则是模式识别中最具有挑战性的一个研究难点,因为人脸的特殊性,其受几何、光线、表情、年龄、饰品、遮挡等因素的影响极大。如何使人脸的识别算法更加鲁棒是不变的研究重点。自20世纪60年代起,人脸识别技术越来越受到广泛的关注,并且涌现出了众多的人脸识别算法。由Ojala等人提出的局部二值模式(LBP)[3]能够很好地描述图片的局部纹理特征,同时具有复杂度低、原理简单、易理解、光照不敏感等优点。LBP利用圆形邻域描述局部特征,但是经研究发现椭圆邻域更适合描述人脸细节特征,所以我们利用LBP算子的改进算子ELBP[4]进行人脸的描述。经生物学家发现,二维Gabor滤波器能够模拟人类大脑视觉神经网络,因此对人脸图像进行多方向、多尺度的滤波，能够有效地提高识别效果。除此之外,在进行特征描述之前对图像进行预处理以减弱甚至消除噪声、光线等干扰因子，同样有着深远的意义。

1　LBP，ELBP，Gabor简介

1.1LBP算法

局部二值模式LBP(local binary pattern)是1994年由Ojala提出的用来描述图像局部纹理特征的算子。

LBP算子定义在一个半径确定的圆形邻域中,以中心像素点的像素值为阈值,按顺序均匀地在圆周上取P个像素点，对比其与阈值的大小,若比阈值大则编码为1,若比阈值小则编码为0,然后选定一个点为起点，顺时针得到一个二进制数,将二进制数转化为十进制,该十进制数即为邻域的LBP值。

图1　LBP算子示意图Fig.1　LBP operator schematic

如图1,取P=8,P1～P8为邻域像素点,P0为中心像素点。则LBP值计算公式为

(1)

(2)

其中gi为邻域像素点的像素值,gc为中心像素值。

原始LBP具有256种模式,为了减少LBP的模式数目,Ojala和Maenpaa等人又提出了旋转不变统一LBP[5]。统一LBP的定义是:将某原始的8位二进制LBP值进行位移,发生跳变的位数不大于2,则该模式为统一模式。旋转不变LBP的定义是:将某原始的8位二进制LBP值进行旋转,得到的一系列二进制值中最小的一个即为旋转不变模式。统一模式与旋转不变模式结合就是旋转不变统一模式。大量统计实验证明,旋转不变统一模式包含了一幅图像中90%左右的LBP算子,且模式数只有10个。

1.2ELBP算法

在人脸图像中,眼睛、嘴巴等包含重要特征的器官大都是近似椭圆的形状,所以是否能够捕捉到人脸图像的各向异性信息对于人脸识别有着重要的意义。ELBP模式定义在一个椭圆邻域中,如图2所示。

图2　ELBP算子示意图Fig.2　ELBP operator schematic

ELBP具有3个参数,长轴b、短轴a、邻域像素点的个数n。当a等于b时,ELBP就变成了原始LBP,所以原始LBP是ELBP的特殊情况。由于ELBP比原始LBP更具有一般性,而且ELBP能够体现出图像的各向异性信息,因此ELBP比LBP具有更强的辨别能力。

设gix，giy为邻域像素点gi的X，Y坐标。则gix，giy的计算方法[2]如下式所示。

gix=Ri×cosθi，

giy=Ri×sinθi。

(3)

由坐标确定邻域像素值,与中心阈值对比,从而得到8位二进制的ELBP值。本文中用到的是旋转不变ELBP,其原理与旋转不变LBP相同,模式数目也相同,不再赘述。

1.3Gabor滤波

Gabor小波[6-7]与人类视神经简单细胞的刺激类似。所以对人脸图片进行Gabor滤波,可以提取多方向、多尺度的特征信息。

二维Gabor小波核函数表达式[8]为

(4)

kν,μ=kν·eiφμ，

(5)

(6)

图片滤波过程就是将原始图片与滤波器进行卷积。

G(x,y,ν,μ)=f(x,y)*ψν,μ(z)。

(7)

“*”表示卷积,f(x,y)表示输入图像,ψv,μ(z)表示滤波器,G(x,y,v,μ)就是卷积后得到的Gabor特征。

2　图片预处理

2.1Gamma校正

Gamma校正[9]是一种针对像素灰度值的非线性变化过程。它具有扩大图片暗区域像素值动态范围和压缩亮区域像素值动态范围的功能。表达式为

(8)

由于对数式缩放倍数比较大,容易将暗区域中的噪声放大,所以本文采用指数式。参数γ取0.2。

2.2高斯差分滤波

高斯差分(difference of gaussian,DoG)滤波器的传递函数是两个不同宽度的高斯函数的差分。高斯差分滤波器从频域上对图像的低频冗余信息和高频空域信息进行过滤,能够消除Gamma滤波消除不掉的阴影影响,对于极端光照有良好的处理能力,而且神经生物学研究者发现,人眼视网膜细胞的工作方式与高斯差分滤波器有很大的相似性。所以高斯差分滤波可以进一步改善图像质量。

高斯差分滤波器的传递函数[10]为

H(u,v,σ1,σ2)=G1-G2。

(9)

其中

本文中参数σ1,σ2分别取1.0,2.0。

2.3对比度均衡化

经过Gamma校正和高斯差分滤波后的图像仍然存在一些高光、阴影、边界模糊等区域的像素混叠。所以需要通过对比度均衡化对图像的整体对比度和亮度进行标准化。表达式为

(10)

I″(x,y)=

(11)

其中,α是压缩指数,用于降低少数方差较大的像素点的影响,τ是阈值,用来滤除过大的像素点。本文中取α=0.1,τ=10。

以YALE-B库为例,得到如图3所示的预处理结果。

图3　图片预处理前后对比Fig.3　Before and after the image preprocessing

3　平均最大距离梯度幅值

无论LBP还是ELBP都没能包含模式的梯度信息,所以本文利用平均最大距离梯度幅值(average maximum distance gradient magnitude,AMDGM)来表示ELBP模式的梯度信息[11]。在给出AMDGM的定义之前，先介绍一下距离梯度幅值DGM。

(12)

其中,gi，gc分别代表邻域中的邻域像素点和中心像素点,v=(x,y)表示各个点的坐标,Igi，Igc则代表各个邻域像素点和中心像素点的像素值。

在DGM的基础上,得到最大距离梯度幅值的定义

G(v)=maxgi|dI(gi,gc)|,i=1,2,…,n。

(13)

假设ELBP的每一种模式Mi(i=1,2,…,n)出现的数目为Ni,则平均最大距离梯度幅值定义为

(14)

其中,vk∈Mi。

AMDGM与ELBP结合,其本质原理是ELBP产生各种模式,而AMDGM则将各个模式在空间上的各向异性通过梯度信息融入到了编码当中。本文将AMDGM与直方图特征相融合,利用形成的新特征进行图片的分类。

4　基于ELGBP算法的人脸识别

ELBP的基本原理是将Gabor和ELBP相结合,其具体实施框架如图4所示:

图4　识别过程流程图Fig.4　The flow chart of indentification process

首先对人脸图片进行预处理,得到归一化图片,然后对归一化后的图片进行Gabor滤波,得到24副Gabor脸,再将每一幅Gabor脸分割成N×N小块,依次对每一小块区域进行ELBP编码,再用直方图统计每个小区域的各个ELBP模式的数量,将其串联,得到图片的直方图特征。

i=1,2,…，10。

(15)

(16)

其中,i表示ELBP模式的编号,f(i)表示第i个ELBP模式的值,f(x,y)表示图片中坐标(x,y)处的像素点的ELBP值。hi表示图片中第i个ELBP模式出现的数量。则直方图为

Hm={h1,h2,…,h10}，

m=1,2,…,24。

(17)

其中,m表示第m副Gabor脸。

最后再求24副Gabor脸的AMDGM特征,将之与直方图特征融合的结果作为图片分类的特征。如下式所示:

p={H1,A1,H2,A2,H3,A3,…,H24，A24}

(18)

其中,Hm表示第m幅Gabor脸的直方图特征,Am表示第m幅Gabor脸的AMDGM特征。

设两幅图片分别为B1，B2,且B1，B2的相似程度为S(B1,B2),则:

(19)

其中,p(b)表示如式(18)所示的最终分类特征，b表示特征中第b位,k表示特征的总位数。S(B1,B2)越小则说明两幅图片越相似,从而完成图片的识别过程。

5　实验与分析

5.1不同数据库上算法比较

为了验证本文所提出算法的有效性,分别在YALE，YALE-B，CMU-PIE，UCD-VILID等人脸数据库测试本文算法的效果,同时与其他算法结果相比较。

YALE人脸数据库和YALE-B人脸数据库都是由耶鲁大学计算视觉与控制中心创建。YALE库由11个人的人脸图片组成,共165张,每个人15张，其中包括光照、姿态、表情的变化。YALE-B库有38个人,共2 432张在严格的姿态、光照变化下采集的面部图片。CMU-PIE库是卡耐基梅隆大学创建的人脸库,其中包括68个人在不同光照和姿态下的共1 428张图片。在每个数据库中，对每人随机取5张作为训练样本,其余的作为测试样本。实验5次,取实验结果的平均值。本文中采用图片大小为64×64。

表1不同算法在5样本下的识别率对比表

Tab.1The contrast of recognition rate under different algorithm in 5 samples

/%

实验结果证明,本文提出的算法与PCA，Gabor，LBP等传统经典算法相比具有更高的识别率。

其中,基于Gabor子空间的人脸识别算法的基本原理如1.3节所述。在得到24幅Gabor 脸后,对下采样进行降维,最后利用最近邻分类器进行分类。

完整的中心、数值和符号联合的局部二值模式(completed local binary pattern_magnitude/center/sign,CLBP_M/C/S)是LBP算法的改进,介绍CLBP_M/C/S之前,需要先分别介绍CLBP_M，CLBP_C，CLBP_S算子[12](以1.1节为基础):

CLBP-CP,R=t(gc,c)，

(20)

(21)

(22)

其中,gc为中心像素点的像素值,gi为邻域像素点的像素值,c为阈值(整个图像的平均值)。

得到CLBP-C，CLBP-M，CLBP-S三个算子的直方图之后,将之联合成三维直方图即为CLBP_M/C/S,最后用最近邻分类器进行分类识别。

5.2不同训练样本数算法比较

在训练样本不同的情况下,本文提出的算法也具有优势,以YALE库为例,分别测试PCA，LBP，Gabor，ELGBP在2～6个样本下的识别率曲线图。

图5　YALE库上不同训练样本数的识别率Fig.5　The recognition rate of different training samples on YALE

由上表可以看出与其他算法相比,本文在不同训练样本数的情况下,无论是识别率还是稳定性都优于PCA，LBP，Gabor等算法,尤其在小训练样本的情况下。

6　结　语

本文提出了基于Gabor的伸长局部二值模式人脸识别算法,通过Gabor滤波得到不同方向、不同尺度下的人脸特征,用直方图序列描述后,与AMDGM特征相融合,有效地描述了图片的整体和局部信息,弥补了Gabor和LBP算法只依靠整体信息或局部信息的缺陷，并在实验中取得了良好的仿真效果。但由于本文提出的ELGBP算法需要通过Gabor滤波器提取24幅幅值域图谱,所以空间开销和时间开销较大。如何通过快速提取图片有效区域(例如眼睛、鼻子、嘴巴等)来弥补这一缺陷,是今后进一步研究的重点。

[1]马利克,彭进业,冯晓毅. 基于统计特征的人脸模拟画像检索[J].西北大学学报(自然科学版),2010，40(6):987-990.

[2]温超,耿国华,李展. 基于SIFT特征的文物图像检索[J]. 西北大学学报(自然科学版),2011,41(5):803-807.

[3]OJALA T,PIETIKAINEN M,HARWOOD D.A comparative study of texture measures with classification basedon feature distributions[J].Pattern Recognition,1996,19(3):51-59.

[4]LIAO S,CHUNG A C S. Face recognition by using elongated local binary patterns with average maximum distance gradient magnitude[M]∥In: Proceedings of the 8th Asian Conference on Computer Vision Tokyo,Japan, 2007: 672-679.

[5]OJALA T, PIETIKAINEN M, MAENPAA T. Multiresolution grayscaleand rotation invariant texture classification withlocal binary patterns[J]. IEEE Transactions on PauemAnalysis and Machine Intelligence, 2002, 24(7):971-987.

[6]LIU C,WECHSLER H. Gabor feature based classification using the enhanced fisher linear discriminate model for face recognition[J].IEEE Transactions on Image Processing,2002,11(4): 467-476.

[7]WISKOTT L,FELLOUS J,KRUGER N,et al. Face recognition by elastic bunch graph matching[J].IEEE Trans PAMI,1997,19(7): 775-779.

[8]LADES M, VORBRUGGEN J C, BUHMANN J. Distortion invariant object recognition in the dynamic link architecture[J].IEEE Transaction Computers, 1993,42(3):300-311.

[9]SHAN S, GAO W, CAO B, et al. Illumination normalization for robust face recognition against varying lighting conditions[C]∥IEEE International Workshop on Analysis and Modeling of Faces and Gestures, 2003: 157-164.

[10] GEUSEBROEK J, SMEULDERS M, WEIJER D. Fast anisotropic gauss filtering[J].IEEE Transaction on Image Processing, 2003, 12(8): 938-943.

[11] TAN Xiao-yang, TRIGGS B. Enhanced local texture feature sets for face recognition under difficult lighting Conditions[J]. IEEE Transaction on Image Processing, 2010, 19(6): 163-165.

[12] GUO Zhen-hua, ZHANG D. A completed modeling of local binary pattern operator for texture classification [J]. IEEE Transaction on Image Processing,2010,19(6): 1657-1663.

(编辑李静)

A method based on Elongated local Gabor binary pattern applied to face recognition

WU Shuai, CHEN Xi, SHANG Zhen-hong

(School of Information Engineering and Automation, Kunming University of Science and Technology, Kunming 650500， China)

In order to improve the face recognition rate, a method based on local Gabor binary pattern for face recognition is presented. Convolving the face image with Gabor filters to gain a group of magnitude maps (MMPs), and then extracting histogram of each magnitude map′s ELBP to indicate its textural features, uniting with Average Maximum Distance Gradient Magnitude. At the end, comparing the histograms of test images and training set through histogram crossing distance to identify people. Experiments are carried out on YALE、YALE-B、UCD-VALID、CMU-PIE face databases, and experimental results have validated the effectiveness of the proposed method. The results prove that the proposed method can effectively improve the face recognition rate.

face recognition; Gabor filter; local binary pattern; elongated local binary pattern

2015-04-11

国家自然科学基金资助项目(61262040);云南省应用基础研究计划基金资助项目(KKSY201203062， KKS0201503018)

吴帅，男，江苏徐州人，从事图像处理、模式识别领域研究。

TP391.4

A

10.16152/j.cnki.xdxbzr.2016-02-009