基于相关滤波的改进Staple人脸跟踪算法∗

刘鹏，赖惠成，王俊南，王睿

(新疆大学信息科学与工程学院，新疆 乌鲁木齐 830046)

0 引言

人脸检测与跟踪是计算机视觉领域中的研究热点，其成果可广泛应用于视频监控、边境安检、家庭安全、政府安防等多种领域[1−9]，应用领域十分广阔，与人类生活息息相关.近年来，各种优秀的人脸跟踪算法不断被提出，但在应对人脸旋转、消失、被遮挡等情况下效果并不理想，因此，研究复杂运动中的人脸跟踪尚有重要的意义.

现阶段，最早将相关滤波用于目标跟踪的是MOSSE[10]算法，其采用的是灰度特征，速度能达到615fps，远超同时期的其他算法.但相应的，由于采用的特征单一，其准确度并不高.CSK[11]在MOSSE的基础上提出了稠密采样，并且引入了循环矩阵和核的概念，仍采用灰度特征，速度上达到了320fps，精度上相比MOSSE有所提升，从此循环矩阵和核函数在相关滤波的目标跟踪领域大放异彩.两年后，作者在CSK的基础上进行完善，提出了KCF算法[12].KCF采用的HOG多通道特征，其中由CSK的单通道特征拓展到多通道特征这一点对后来的算法启发价值很大，既有循环矩阵傅里叶对角化的利用来简化计算，又有对单通道特征应用的拓展，可以适应更多优秀的特征描述子，这才有了以后众多基于相关滤波器的优秀算法.CN[13]同样也是在CSK的基础上提出来的，它采用多通道颜色特征Color Names(CN)，将RGB的三维红、绿、蓝颜色通道映射到符合人眼观察的十一维颜色通道，并归一化得到十维颜色通道特征.为了提高运算速度，采用PCA降维的方法，将十维的特征降维到二维，提升了计算性能.Staple[14]是HOG特征和颜色概率特征的结合，不同于DSST[15]，它是在响应阶段的融合，不是在构建特征模板阶段的融合.颜色概率特征采用的是传统的颜色直方图，它将滤波响应图和颜色概率图以一定的权值比例分配，融合特征结合后的得分图来定位目标.Staple速度上能达到80fps，而且跟踪精度也相当高.相关滤波在跟踪时具有高速性、鲁棒性，将其应用到人脸跟踪领域中需要克服目标人脸消失、遮挡、脱离镜头时的难题.

本文在Staple算法的启发下，提出一种自适应置信机制的人脸跟踪算法.首先利用位置滤波器提取人脸检测出来的人脸特定HOG特征与颜色概率模型提取人脸检测出来的人脸颜色概率模型保留作为先验特征，并将人脸HOG特征相关滤波器与颜色概率特征分配一定的权重，进行线性加权运算得到多个不同判定偏向性的融合特征.然后建立一个置信度机制，对人脸融合特征进行可信度判定，选取滤波器响应值得分较高的融合特征作为跟踪特征，以此来估计人脸的候选位置.在跟踪过程中若最高可信度低于可信度阈值，则利用视频首帧提取的HOG特征与颜色概率模型作为滤波模板，重新进行滤波器的运算.由于Staple是在响应阶段融合特征的，所以滤波模板不断更新确保模型对跟踪时特征描述的准确性.基于存在人脸消失、遮挡、脱离镜头的测试库算法分析，结合实际场景进行性能验证.

1 相关滤波

相关滤波方法是近年来目标跟踪领域的主流方法.其基本思想是在信号处理中，用相关性来描述两个因素之间的联系，目标越相似其相关值越大，滤波器得到的响应值越大，最大响应处作为跟踪区域.2010年，David首次在目标跟踪中用到了相关滤波的方法，在此之后，大量基于相关滤波的跟踪算法如雨后春笋不断提出.

1.1 相关滤波的原理

相关性的直观解释就是衡量两个函数在某个时刻相似程度.假设存在两个信号f和g，那么两者之间的相关性为：

其中f∗表示f的复共轭.这时需要一个滤波函数，计算出其在目标上的响应值.滤波器如下：

其中g为系统响应值，f为输入信号，h为滤波模板.对f输入信号与h滤波模板进行卷积计算，便可得到系统响应值，卷积的计算比较耗时，所以David对其进行快速傅里叶变换.变换后，卷积计算变成了点乘计算，降低了计算量.快速傅里叶变换后的公式：

即：

在跟踪领域中，被跟踪的目标会在外观上有所变化，会产生多幅图像，需要对多幅图像进行相关滤波计算，David考虑到这一点，提出了MOSSE模型：

通过这个公式提高了滤波器模板在图像处理中的鲁棒性.为了进行元素级操作，可将上式转换为：

对上式求导可得最小的滤波模板Hwv∗，如下公式：

推导后的滤波模板H为：

在跟踪领域中，David对目标跟踪区域进行随机仿射变换，获得Fi训练样本，那么gi便是fi中心点的高斯函数峰值.

David又设计如下的模板更新策略：

η为一个参数，在过程中不断更新，在这个模板更新策略下，滤波器对目标形变、光照变化具备更好的鲁棒性.

在本文中，位置滤波器和颜色概率模型用于提取样本特征.然后通过对两个响应图通过线性加权的方式进行组合，得到最终的目标位置响应图.其组合公式如下：

融合特征的响应函数为ff，权重分配因子为ω，颜色概率模型的响应函数为fc，位置滤波器的响应函数为fcf.通过对位置滤波器与颜色概率模型的响应函数线性加权，合理分配权重因子ω，得到融合特征的响应函数.

权值分配因子[16]ω的变化，会使融合出的特征具有特征偏向性，以应对变化的目标及背景信息.本文在参考前人基础上，通过大量实验得出了表现效果比较好的权值分配比例，具体如表1.

表1 融合特征多权重分配方式Tab 1 Fusion feature multi-weight distribution

1.2 基于Staple的改进人脸跟踪算法

Staple在跟踪准确性与实时性上都表现出较好的效果，因此本文算法采用Staple算法作为基本框架.

跟踪框架主要分为滤波模板的建立、跟踪区域的估计、和滤波模板更新等三个阶段.

（1）根据人脸检测出来的目标人脸位置信息，利用位置滤波器提取人脸特定的HOG特征，利用颜色概率模型统计人脸区域的颜色特征，对两者特征进行训练，训练出一个能估计目标位置和目标尺度的相关滤波器，以此来建立目标人脸模型.

（2）提取当前帧的估计区域的HOG特征和统计颜色概率特征，使用前一帧确定的目标人脸模型对两种基础特征分别进行相关滤波处理.然后对得出的位置滤波器响应值与颜色概率模型响应值分配不同的权重进行融合，在置信度机制下，对融合特征进行可信度判定，选取相关性得分较高的融合特征作为跟踪特征，估计人脸的候选位置.若最高可信度低于可信度阈值，则将视频首帧的融合特征作为滤波模板，并进行计算.最后使用尺度滤波器对目标人脸进行估计，完成跟踪过程.

（3）更新阶段.由于Staple是在响应阶段融合特征的，所以在跟踪阶段，需要对位置滤波器、肤色概率模型和尺度滤波器进行不断地更新.

位置滤波器主要是用来提取人脸区域HOG特征[17,18]，HOG特征的优点是对颜色变化处理稳定，缺点是当目标人脸发生旋转、消失与快速移动时较敏感.

位置滤波器主要是提取目标区域的HOG特征并将其转化为响应图.对目标人脸区域提取d维特征，记作Fl,l∈(1,2,...,d)，为最优的相关滤波器hl，需要构建一个最小化代价函数，公式如下：

1.2.2 颜色概率模型

颜色概率模型[17]主要提取人脸区域颜色信息，以此来获取相应的响应图.颜色统计特征不属于相关滤波的范畴，不受边界效应的影响，对于人脸旋转、移动以及表情变化表现效果较好，但受光照影响较大.

对颜色概率直方图进行归一化操作，依靠统计的颜色特征判别是否为目标人脸区域，以此来得到前景概率响应图.前景位置的响应分数越高就越有可能是目标人脸的位置.响应图的得分公式如下：

M为像素个数，α为模型参数，φ(x)是第x帧中统计颜色特征的函数.通过公式16计算出每个像素点的响应分数，从而得到目标人脸区域的颜色概率响应图.运动中的人脸需要时刻的更新模型，所以采用最小化损失函数的方法.公式如下：

一方面，行政机构多项税制改革作为国库支付制度改革、政府收支分类改革的基础，可以使财政资源使用效率得到很好的改善。

本文在RGB颜色空间中采用平均加权的方法统计直方图得分.上式中，O为颜色概率模型所提取的目标人脸区域的图像个数，B为颜色概率模型在背景区域提取的图像个数，α为模型参数，对于相关岭回归问题，采用下式解决：

在公式(19)中，ρj(O)为目标人脸的特征j的非零区域中像素比，ρj(B)为背景区域中特征j的非零区域中像素比，j为特征的维度数量，λ为权重.

在第t帧，学习率为η时，采用下式更新像素比：

1.2.3 多尺度滤波

在跟踪过程中构建一个尺度相关滤波器，实时的调整跟踪框形状大小.尺度滤波器模型的期望响应函数是高斯函数，符合使用相关滤波的条件，构建尺度池的方法如下：

其中W×H为前一帧人脸的大小，δ为尺度因子，n是比例滤波器的大小，S为特征维数，Sscale为尺度响应值.尺度滤波器原理类似于位置滤波器，期望函数也是高斯函数，不过是一维的而已.

1.2.4 跟踪置信度

实际情况中，当目标人脸发生旋转、消失与脱离镜头时，输入特征信号与特征滤波模板的响应值便不会很高，而此时估计区域的最大响应值便不具备参考性，更新之后的滤波模板可能掺杂了其他无关特征.

所以跟踪置信度机制的设定尤为关键，本文提出一个新颖的跟踪置信度机制，流程如下.

（1）首先，对首帧人脸检测后的人脸区域进行特征提取，设置一个滤波模板h0，此滤波模板h0不再发生变化.

（2）当跟踪在视频首帧时，将非人脸区域分为与人脸区域同等大小的多个分块，设这些分块区域为ji，计算ki=ji⊗h0，计算完毕后取一个最大的响应值maxki作为一个阈值.

（3）在视频跟踪过程中，人脸发生快速旋转、消失和移动时，此时g=f⊗h中的f便代表非人脸区域，h便代表人脸区域，此时g=f⊗h与ki=ji⊗h0表达等同.

（4）在发生（3）的情况下，若g≤maxki则将ho代入g=f⊗h中的h，之后再进行相关滤波的跟踪，然后若再发生（3）的情况便转入第（4）步.

本文算法实验流程如图1.

图1 基于改进Staple人脸跟踪算法Fig 1 Face tracking algorithm base on improved Staple

2 实验结果

为验证本文改进的人脸跟踪算法的性能，在Windows7、8G内存、英特尔Core(TM)i5-4590 CPU主频3.30GHz(3301 MHz)、MATLAB2016b环境中对该算法进行了模拟仿真.其中本文算法的特征融合阶段选择的比重为：HOG特征比重0.5，颜色特征比重0.5，HOG特征选取的维度为16，颜色选取的特征维度为3，式1-15中λ为0.001.将本文算法与改进Camshift人脸跟踪算法，Staple原算法的处理结果进行对比.测试视频为斯坦福大学的Girl，视频总1 000帧.另外本文采用了新疆大学自主建设的新疆人脸库中的SFT07，视频总402帧.Girl与SFT07视频中存在人脸尺度变化、人脸偏转、人脸消失等难点.便于充分验证本文所提算法的性能.

图2 本文算法对Girl的部分效果Fig 2 Part of the Results of This Algorithm on Girl

图3 本文算法对SFT07的部分效果Fig 3 Part of the Results of the Algorithm on SFT07

表2 Girl跟踪结果分析Tab 2 Girl Tracking Results Analysis

表3 SFT 07跟踪结果分析Tab 3 Part of the Results of This Algorithm on Girl

3 结论

在实验中，改进Camshift算法应对人脸尺度变化、偏转、消失时出现了跟踪框漂移等情况，Staple算法在对SFT07跟踪时虽然也呈现不错的效果，但也暴露出算法的弊端.当视频中的对象转身后或脱离镜头时，如果人脸在大约7帧之内再次出现，那么算法便能继续跟踪，并保持良好的跟踪效果.而当对Girl进行跟踪时，目标人脸在转身脱离镜头或者被非目标人脸遮挡时足足有10帧以上，此时跟踪效果并不理想.本文在置信度机制的改进大大避免了这种情况，虽然增加了些许计算量，但速度仍与Staple相当，而且准确率还有所提升，经实验仿真证明，已达到预期的效果.