基于空间光谱信息融合的Gabor PCA高光谱人脸识别算法研究

施晓倩 肖志勇

(江南大学物联网工程学院 江苏 无锡 214000)

0 引 言

随着人脸技术的不断发展，现有的人脸识别算法在可见光人脸图像识别方面已取得较好的效果，但是仍然会受到光照、姿态、装饰物等外界因素的影响，人脸识别需要探索新的思路和方法。近来，由于高光谱相机的成本降低，以及高光谱图像技术的发展，高光谱图像在众多领域得到了广泛的应用和研究[1]，比如：地理学、地质学、生态学、环境科学、大气科学和海洋性等。高光谱图像数据是一个具有两个空间和一个光谱维度的图像立方体，在图像空间中每个波段对应一幅二维图像[2]；在光谱空间中每个像素点的光谱信息表示一条连续的光谱曲线，不同的物质在高光谱图像中具有不同的光谱反应曲线；近红外线的光谱测量可以感知人脸内部组织结构，这些结构在人与人之间有显著差异[3]。这为提高人脸面部识别精度提供了新的机会。

高光谱图像包含物体丰富的光谱信息，可以更大程度上描述物体特征，对物体分类和识别有巨大的贡献。高光谱图像覆盖的电磁波波长范围更宽(从可见光光谱波段到红外光谱波段)、光谱分辨率更高、图像波段众多，还可以根据研究的需要通过波段选择等技术手段突出某物体的特征，并对目标实现精细分类和有效识别。将高光谱图像处理技术与人脸识别技术进行结合，在理论上能够很好地帮助提高识别效果，但是高光谱成像在给人脸识别带来新的机会的同时，由于其数据量大、维数高、波段间相关性强导致的大量的数据冗余等特点，也为人脸识别带来新的挑战。

由于这些挑战，高光谱人脸识别相关的文献非常稀疏。最早的是Pan等[4]在NIR光谱(700～1 000 nm)的人脸位置使用31D(31波段)光谱特征进行面部识别。他们的方法在包含200个人脸的1 400个高光图像的专有数据库中有很高的识别率，但是在其他公开高光谱人脸数据库上并不能直接使用。Robila[5]使用光谱角度测量比较了不同面部区域的光谱特征，但是他们的实验仅限于由八个类别组成的非常小的数据库。Uzair等[6]使用3D-DCT在高光谱人脸图像中最佳地压缩了低频系数中的信息来提取特征，并结合PLS回归进行分类。Di等[7]将高光谱人脸数据投影到低维2D PCA空间，并对最具信息性的吸收特征带进行特征融合。

本文研究了空间-光谱信息融合结合Gabor PCA(Spatial-spectral fusion+Gabor PCA)的高光谱人脸特征提取方法，将高光谱人脸的所有波段的有效信息融合到一张人脸上。然后用Gabor小波提取每幅人脸图像不同方向、尺度的40个Gabor小波特征，并用PCA对所得特征进一步降维。最后利用KNN分类器分类。实验在CMU Hyperspectral[8]数据库上进行，并将结果与现有高光谱人脸算法进行比较。

传统的波段融合通过将高光谱数据投影到二维空间上来操作，类似于沿着光谱维度的加权平均，但是这种投影没有考虑到空间信息。空间-光谱信息融合(见图1)是在传统的波段融合上加入局部空间信息，通过平均光谱和空间信息来有效地去除噪声，并且有效地改善了小的身体运动，如眨眼或小的表情变化对识别效果的影响[9]。

图1 波段融合算法过程解析

(1)

式中：μp,q∈Rλ平均值向量。计算Lp,q的空间-光谱样本协方差矩阵Σp,q∈Rλ×λ作为Lp,q的二阶统计量：

(2)

Σp,q很好地反映了各个波段间相关性。然后将平均值向量μp,q和空谱协方差矩阵Σp,q的每一列按权重相加来融合子区域Lp,q的一阶和二阶统计量，通过计算其Frobenius范数，将所得到的λ×λ矩阵中存在的所有信息压缩为奇异变量：

τ=‖βΣp,q+αμp,q11×λ‖F

(3)

式中：11×λ是一个值为1的向量。

在实现过程中，每个子区域Lp,q在空间维上仅从前一个位置移动一行，因此每个人脸数据立方体Cj包含的子区域数量为(m-r+1)×(n-s+1)，其中r≤m，s≤n。对于每个Cj，定义一个二维矩阵Γj∈R(m-r+1)×(n-s+1)，对于空间维的每个位置(p,q)，Γj(p,q)=τp,q包含融合后的图像信息。这样，我们就将包含在高光谱数据立方体中λ个波段的信息融合到一个二维矩阵Γj中。

1.2 Gabor PCA

在众多特征提取方法中，Gabor小波由于其生物相关性和突出的计算性质而被认为是非常有效的特征提取方法[10]。在空域，一个二维的Gabor滤波器是一个正弦平面波和高斯核函数的乘积，可以同时在空间域和频率域取得最优局部化[11]，能够很好地提取人脸纹理特征，描述人脸对应于空间不同位置、不同频率及不同方向的局部结构信息，是特征提取的强大工具[12]。二维Gabor滤波器的核函数形式：

(4)

(5)

式中：v=0，κ,4；μ=0,κ,7。

将融合后的人脸图像与Gabor小波滤波器卷积来提取特征，本文使用其幅值特性提取人脸特征。用Γ(p,q)表示融合后的人脸图像，z0(p0,q0)是图像中的位置为(p0,q0)的点，Gabor小波提取了与点z0邻近区域的图像纹理特征，则Gabor小波滤波器与融合图像的卷积可以表示为：

(6)

人脸经过Gabor小波变换之后能取得很好的局部结构信息，但是也使得数据量增加了40倍，这在识别过程中会造成数据冗余和计算负担[13]。所以在对每幅人脸图像进行Gabor小波滤波后，使用PCA对提取的特征进行降维，提取对识别影响较大的特征向量。

1.3 基于最近邻距离(KNN)的判别方法

人脸识别的实质其实是图像间距离的判别，而最邻近判别是距离判别方法中较为常用简单的方法，被认为是基于即时的分类算法，且适合小样本识别，算法思想是：测试样本中的一个样本与训练样本中的k个样本最相似，如果这k个训练样本中的大部分属于某一个类别，则该训练样本也属于这个类别。本文通过计算测试样本投影矩阵Γj与训练样本投影矩阵Ψ之间的最小距离来判断测试样本的类别[14]：

(7)

2 实验和结果

将所提出的算法与Di等提出的算法Feature_band+2D PCA，以及Band_fusion+2DPCA，Feature_band+Gabor PCA进行比较。

2.1 高光谱人脸数据库

我们在CMU标准高光谱人脸数据库上进行了实验，表1给出了数据库的总结。CMU数据库是用原型光谱偏振相机获取的高光谱人脸数据库(CMU-HSFD)[8](如图2所示)。每个高光谱图像包含450～1 090 nm光谱范围的65个波段，步长为10 nm。对于照明，使用三个相同的具有600 W卤素灯泡的灯。数据库包含48个人脸类别，每个人脸在不同的时间段和不同的照明组合中获得4到20个高光谱图像。各个波段具有较低的信噪比，并且大多数拍摄对象在图像采集期间会有眨眼或小的移动。我们仅使用所有灯都开启的图像，并且选用的人脸图像都有3到5 个样本。因此，我们的实验数据由29个受试者中的125个高光谱图像组成，每个受试者有3到5个图像。

表1 高光谱数据库CMU介绍

图2 CMU-HSFD高光谱人脸数据

2.2 现有的高光谱算法

Di等[7]将高光谱人脸中最具信息性的吸收特征带进行融合，再进行2D PCA分类，很好地验证了所选波段包含的信息的有效性，本文参考Di的方法，选取每个人脸的530～700 nm波段进行融合(Feature band fusion)，并进行2D PCA分类(Feature_band+2D PCA)，分类精度在主成分数为4时达到最大值，最大分类精度为71.64%，图3为分类精度随主成分数变化图。

图3 Feature_band+2D PCA识别结果随主成分数变化图

2.3 本文算法

2.3.1 实验设计

本文首先对所有高光谱人脸图像进行预处理，再用Spatial-spectral fusion算法对每幅人脸图像进行融合，降低数据维度，然后用Gabor滤波提取融合后图像的5个尺度8个方向的小波特征，再用PCA算法对提取的特征进行降维，最后将所得特征放到KNN分类器分类，算法流程图如图4所示。

图4 Spatial-spectral fusion+Gabor PCA+KNN高光谱人脸识别算法流程图

2.3.2 实验结果

本文实验在Ubuntu 16.04 Intel Xeon(R) CPU E5_2360 v3 @2.40 GHz×32集群上，基于Matlab R2014a 平 台 ，通 过Matlab库函数、Matlab语言进行编程实现。在CMU人脸库上，共选用29个不同的人脸，每个人脸3～5张不同的样本，共125张人脸图像，选29个人的前2幅作为训练样本，其他作为测试样本，因此，训练样本共58幅，测试样本共67幅。

由于原始图像包含的噪声较多，有很多无用信息，所以先对所有人脸图像进行预处理，以人眼为定位点，截取一个包含眼鼻嘴等能表征人脸的图像，大小为188×188，然后将尺寸为3×3×65的立方体以一个像素的位移滑过高光谱人脸图像，对图像进行融合，并将融合后的图像缩放到35×35的尺寸来节约计算成本。图5为融合后的人脸图像，可以看出，融合后的图像特征更加突出，有肉眼可见的变化。接着对图像进行Gabor滤波，提取每幅图像不同方向、尺度的40个Gabor小波特征，再用PCA降维后的数据用Knn算法分类，PCA选取的主成分维数用Eigen_NUM表示。本文算法分类精度在主成分维数32～40范围内达到最高，最高精度为92.54%(见表2)。

图5 融合后人脸图像

Eigen＿NUM1020304050Bandfusion+GaborPCA/%80．0689．5589．5592．5491．04

图6为本文算法分类精度随主成分维数的变化图。从图中可以看出，当主成分维数小于20时，分类精度随着主成分维数的增加而持续上升，随后缓慢上升；在主成分维数为Eigen_NUM=32时，分类精度达到最高，最高精度为92.54%，称Eigen_NUM=32为最佳主成分维数；当主成分维数大于32 以后，分类精度保持不变或有略微下降，说明适当增加特征空间的主成分数可以提高分类精度，但是，处于后面的特征对识别贡献较小，即使继续增加主成分维数也不会对分类精度有大幅度提升，而且，选取的主成分数超出最佳主成分维数后，主成分维数的增加反而会造成数据冗余，影响识别过程，降低分类精度。

图6 Spatial-spectral fusion+Gabor PCA识别结果随主成分数变化图

表3为本文算法与Spatial-spectral fusion+2D PCA算法分类精度，Spatial-spectral fusion+2D PCA是在Di等提出的算法Feature_band+2D PCA基础上，使用本文的融合算法融合每幅人脸图像的全部波段得到的图像进行2D PCA分类。可以看出，同样的融合图像，本文算法分类精度比算法Feature_band+2D PCA分类精度高17.91%，本文的Gabor PCA能通过不同方向、尺度的40个Gabor 滤波器对人脸图像进行滤波，提取人脸纹理特征，能够抑制姿态、装饰物等外在条件对分类结果的影响，提高分类精度。

表3 本文算法与算法Spatial-spectral fusion+2D PCA分类精度

表4为本文算法与算法Feature_band+Gabor PCA，Feature_band+2D PCA分类精度，Feature_band+Gabor PCA是在Di等提出的算法Feature_band+2D PCA基础上，使用本文的融合算法融合每幅人脸的530～700nm波段得到的图像进行Gabor PCA+Knn分类。可以看出，本文算法分类精度比算法Feature_band+Gabor PCA分类精度高5.97%，虽然Di等很好地验证了高光谱人脸图像的530～700 nm波段包含对人脸识别影响较大的两个血红蛋白吸收带，但是本文算法的融合图像包含来自所有波段的综合信息，且本文算法比Di等提出的算法Feature_band+2D PCA分类精度高20.9%。图7为Spatial-spectral fusion+Gabor PCA与Feature_band+Gabor PCA识别结果随主成分维数变化的对比图。从图中可以看出，本文算法分Spatial-spectral fusion+Gabor PCA分类精度总体上高于Feature_band+Gabor PCA。在相比较的所有算法中，本文提出的高光谱人脸识别算法始终保持最高识别精度。

表4 算法Spatial-spectral fusion+Gabor PCA与算法Feature_band+Gabor PCA，Feature_band+2D PCA分类精度

图7 Spatial-spectral fusion+Gabor PCA与Feature_band+Gabor PCA识别结果比较

3 结 语

高光谱人脸图像具有光谱分辨率高，图谱合一的特点，具有人脸丰富的光谱信息和空间信息。为了后续处理的要求，在保证有效信息不被破坏的情况下，需要对高光谱人脸图像进行一定的处理来进行分类。本文提出了Spatial-spectral fusion+Gabor PCA+KNN的高光谱人脸识别算法，能够抑制姿态、装饰物等外在条件对识别结果的影响，提高识别率。融合算法在传统的波段融合上加入局部空间信息，有效地将高光谱人脸的所有波段信息融合到一张人脸上；Gabor PCA利用不同方向、尺度的40个Gabor滤波器对融合后人脸图像进行滤波，提取人脸纹理特征，然后使用PCA对提取的特征进行降维，提取对识别影响较大的特征向量，减少计算量，提高识别实时性。实验表明本文使用的方法识别率比Feature_band +2D PCA的方法提高了 20.9%，在高光谱人脸识别中应用前景广阔。

参考文献

[1] 孟贵宇. 基于非负结构稀疏表示的光谱图像超分辨率重建[D]. 西安电子科技大学, 2014.

[2] 李媛媛, 景文博, 刘学,等. 基于混合预测高光谱图像无损压缩[J]. 长春理工大学学报(自然科学版), 2016(1):77-81.

[3] 周爽. 蚁群算法在高光谱图像降维和分类中的应用研究[D]. 哈尔滨工业大学, 2010.

[4] Pan Z, Healey G E, Prasad M, et al. Face Recognition in Hyperspectral Images[J]. Pattern Analysis & Machine Intelligence IEEE Transactions on, 2003, 25(12):1552-1560.

[5] Robila S A. Toward hyperspectral face recognition[J]. Proceedings of the SPIE, Image Processing: Algorithms and Systems VI, 68120X. 2008.

[6] Uzair M, Mahmood A, Mian A. Hyperspectral Face Recognition using 3D-DCT and Partial Least Squares[C]//BMVC 2013, At University of Bristol, UK. 2013.

[7] Di W, Zhang L, Zhang D, et al. Studies on Hyperspectral Face Recognition in Visible Spectrum With Feature Band Selection[J]. IEEE Transactions on Systems, Man, and Cybernetics-Part A: Systems and Humans, 2010, 40(6):1354-1361.

[8] Denes L J, Metes P, Liu Y. Hyperspectral Face Database[R]. Tech. Report, CMU-RI-TR-02-25, Robotics Institute, Carnegie Mellon University, October, 2002.

[9] Uzair M, Mahmood A, Mian A. Hyperspectral Face Recognition With Spatiospectral Information Fusion and PLS Regression[J]. IEEE Trans Image Process, 2015, 24(3):1127-1137.

[10] Vinay A, Shekhar V S, Murthy K N B, et al. Face Recognition Using Gabor Wavelet Features with PCA and KPCA-A Comparative Study[J]. Procedia Computer Science, 2015, 57:650-659.

[11] Ameur B, Masmoudi S, Derbel A G, et al. Fusing Gabor and LBP feature sets for KNN and SRC-based face recognition[C]//International Conference on Advanced Technologies for Signal and Image Processing. IEEE, 2016:453-458.

[12] Norouzi M R, Vafadoust M. Face Detection by Gabor Transform[J]. Molecular Microbiology, 2014, 94(2):340-352.

[13] 李彦璇, 王蓉. 基于Gabor小波特征提取的PCA人脸识别方法[J]. 电脑知识与技术, 2015, 11(32):138-141.

[14] 李靖平. 基于分块的2DPCA人脸识别方法[J]. 长春师范大学学报, 2014, 33(2):93-98.