多特征融合相关粒子滤波器视频目标跟踪算法

张汝佳，杨小军，王 海

(长安大学 信息工程学院，陕西 西安 710001)

0 引 言

视频目标跟踪是指在确定了跟踪目标后，从连续不断的图像序列中跟踪和定位目标[1]。视频目标跟踪是计算机视觉领域中的一个基本研究方向，在视频监控、智能交通、人机交互和运动分析等多个场景中都有极为广泛的应用[2]。

粒子滤波是20世纪90年代发展起来的一种基于Monte Carlo方法和递推贝叶斯估计[3]的新滤波方法,在处理非线性、非高斯系统的参数估计和状态滤波方面具有独到的优势，多年来一直被应用于视觉跟踪：文献[4]提出高斯混合自适应外观模型的Rao-Backwellized粒子滤波算法。该算法估计了目标状态和外观模型的联合分布；文献[5]提出箱粒子滤波算法。该算法将区间分析技术和粒子滤波相结合；文献[6]提出用粒子群算法对粒子滤波算法进行优化，一定程度改善了著名的粒子贫化和依赖问题。粒子滤波存在两大问题[7]：第一，众所周知，粒子滤波的思想是利用大量粒子模拟目标的状态分布，粒子数量越大，对于目标最终的位置估计越精确，但是粒子数量大使粒子滤波的计算复杂性增加；第二，粒子滤波是根据采样的粒子来确定目标的状态，若采样的粒子不能很好地覆盖目标状态，会导致错误跟踪。

近年来，相关滤波被证明具有较高的速度和稳定性[8]，相关滤波应用于目标跟踪方面的思想是：设计一个滤波模板，使得当它作用在跟踪目标上时，得到的响应最大，最大响应值的位置就是目标的位置。文献[9]提出了CSK算法，该算法利用核空间中相邻图像块的循环结构，其跟踪目标的精确性与准确性在当时的评估基准中达到了最高；文献[10]在CSK算法的基础上提出了核相关滤波器KCF，同时，应用线性核提出了一个快速多通道扩展的线性相关滤波器DCF；文献[11]提出DSST算法，该算法是在MOSSE和KCF基础上的改进，主要成果有两个方面：引入多特征融合机制；引入尺度估计。近年来，相关滤波的算法已经发展得较为成熟，但是这些基于相关滤波的跟踪器仍然不能很好地处理尺度变化和遮挡。

基于此，有学者提出相关粒子滤波算法[7]，该算法将粒子滤波与相关滤波进行结合，提高滤波器跟踪目标时的精确性和鲁棒性；文献[12]提出了一个创新的实时性的视频目标跟踪算法，在预测阶段将粒子滤波器与相关滤波器进行结合，使粒子滤波器能够进行准确的预测，减轻预测目标位置时的漂移现象。

基于相关粒子滤波算法框架，该文提出了一种多级特征融合的视频目标跟踪算法，具体算法思想可以概述为：

(1)对目标状态进行第一次粗略的估计：对于每个抽样粒子，选取颜色特征作为观测量进行滤波，并利用相关滤波算法训练该特征，得出每个粒子的响应图；

(2)再从得到的每个粒子响应图上选取响应值最大位置处作为第二次滤波的粒子分布位置，针对每个粒子，再次选取边缘特征作为观测量进行滤波，并用相关滤波器训练边缘特征，得到每个粒子的响应图，最后从得到的响应图中选取峰值位置，得到的位置即为目标最终预测的位置。

该算法基于多特征的相关粒子滤波，相比相关粒子滤波算法的实时性可能有所下降，但是提高了视频目标跟踪的精确性；相比于基于多特征的粒子滤波算法，该算法融合了相关滤波算法来引导粒子模拟目标状态的分布，减少了冗余粒子，降低了粒子滤波的计算复杂性，提高了跟踪的实时性。

1 相关粒子滤波器

1.1 粒子滤波器

该文提出的相关粒子滤波算法是基于粒子滤波框架的，粒子滤波以贝叶斯推理和重要性采样为基本框架，结构实际上就是在里面的Monte Carlo method加一层重要性采样。该方法的基本思想是用一组粒子来近似表示系统的后验概率分布，然后使用这一近似的表示来估计非线性系统的状态。此思想区别于卡尔曼滤波器只能处理线性高斯分布的概率问题，它可以使粒子滤波在滤波过程中处理任意形式的概率。

在视频目标的跟踪中，粒子滤波的目标模型包括运动模型和观测模型，预测阶段通过状态转移模型与上一时刻的后验概率分布得到该时刻的先验概率分布，更新过程利用贝叶斯公式，由先验概率得到此时的后验概率：

(1)

其中，xt为t时刻目标的状态函数，yt为目标的观测函数。

1.2 相关滤波器

相关滤波器应用于视频目标跟踪中，简而言之就是衡量两个信号相似值的度量，如果两个信号越相似，其相关值就越高；如果两个信号越不相似，其相关值就越低。而在视频目标跟踪中，就要设计一个滤波模板，当它作用于跟踪目标上时，得到的响应最大。

相关滤波的原理可以如下表示：假设有两个信号f和g，这两个信号的相关性为：

(2)

相关滤波器实际意义就是可以将输入图像映射到一个最为理想的响应图中，当这个响应图的最高峰与目标的中心点对应起来，可以得到理想的目标跟踪位置。映射的实现就是通过一个滤波器对测试图像样本的每个点积来评估相似度。

1.3 相关粒子滤波器

该文所提的相关粒子滤波器，是基于粒子滤波器与相关滤波器的改进。在视频目标跟踪中，通过在粒子滤波中结合相关滤波，在粒子滤波器的算法框架下，结合相关滤波器引导粒子分布，减少模拟目标状态所需的粒子数，从而降低了粒子滤波算法的计算复杂度；再通过相关滤波器来训练提取的目标特征，得到每个粒子的响应图，最后从得到的响应图中选取峰值位置，得到的位置即为目标最终预测的位置。

首选，在视频目标的跟踪中，粒子滤波的目标模型包括运动模型和观测模型，它们可以表示为：

(3)

其中，st表示t时刻目标的状态，ft表示模拟系统的传递函数，vt表示系统噪声；yt表示观测量，ht表示模拟系统的观测函数，ut表示观测噪声。

预测阶段通过状态转移模型与t-1时刻的后验概率分布得到t时刻的先验概率分布：

(4)

更新过程利用贝叶斯公式，由先验概率得到t时刻的后验概率：

(5)

其次，用相关滤波引导粒子至目标状态分布的模式，最后要将滤波的结果集成到该跟踪算法中，因此训练的相关滤波器可以表示为：

ε=‖α*φ(x)-y‖2+λ‖α‖2

(6)

利用最小化脊回归的损失函数获得所需的滤波器α，其中*表示循环相关，λ>0是正则化系数，得到封闭形式的解如下：

(7)

在预测阶段，通过粒子滤波器在前一个位置绘制样本φ(zi)，并在傅里叶域中计算关于第i个样本的响应映射的峰值：

(8)

最后，该文所提的相关粒子滤波算法中，粒子权重可以更新为：ωi=max(gi)，其中，g表示响应图，i表示第i个粒子。

此时可以预测目标最终的位置为：

(9)

2 多级特征融合的相关粒子滤波器

2.1 特征提取

2.1.1 色彩特征

在视频目标跟踪过程中，色彩分布特征经常被选择，来对跟踪目标对象进行建模，因为它对部分遮挡、旋转和尺度变化具有鲁棒性。假设用点集{xi},i=1,2,…,n来描述跟踪区域，目标区域的中心位置为x0，颜色分布被离散为m-bins，颜色直方图用函数h(xi)表示。通常在RGB色彩空间内，设置8*8*8=512来构建目标的颜色直方图，在位置xi处的颜色分布可以表示为：

(10)

其中，C是归一化常数，K是核函数，h是核带宽，δ是Kronecker delta函数[13]，n是跟踪目标区域中的总像素，h(xi)是目标区域xi处像素的色彩值，u是直方图的色彩索引。

为了提高模型在跟踪区域中的效率，该文定义了一个中心区域周围像素的假设函数，具有更大权重，而区域边距的像素具有较少的权重，该函数定义如下：

(11)

其中，r表示距离中心像素的距离。

在实时跟踪方法中，通过加入新的观测值来更新每一步的目标估计状态，通常，用巴氏系数来度量目标模型和候选模型之间的相似性，公式表示为：

(12)

因此，获得了目标的色彩特征响应值：

(13)

上式中，σ1为方差。

2.1.2 边缘特征

边缘特征作为传统的目标特征之一，在目标识别、图像分割等领域有着极为广泛的应用。边缘直方图是描述目标边缘特征的一种常见方式。在对跟踪目标进行边缘检测时，可以选取Roberts算子、Prewitt算子、Sobel算子和Canny算子等算子方法进行检测，得到目标的边缘点[14]。该文使用Sobel算子与跟踪目标图像进行卷积运算，得到水平和垂直方向的差分图像，分别用Gx,Gy表示，可以得到边缘点的边缘方向和梯度幅值的计算公式，分别如下：

(14)

上式中，xi表示像素点的坐标向量，θ表示边缘点的特征值。

再对特征值θ进行量化，将其分为m等份，则目标的边缘特征可以建模为：

(15)

与上述色彩特征的提取原理相似，得出目标边缘特征的响应值：

(16)

上式中，σ2为方差。

2.2 多级串联特征融合

该文所提多级串联结构的相关粒子滤波算法可以通过图1更为清晰地描述。

基于多特征目标跟踪算法的核心就是如何融合多个特征来描述所要跟踪的目标，因此，选择多特征的融合方式显得尤为重要。

该算法的思想是：采用相关粒子滤波框架，滤波的粒子分级融合了目标的不同特征。首先，跟踪过程的第一级滤波：按照粒子滤波的方法用大量粒子模拟目标状态分布st=ft-1(st-1,vt-1)，然后选择色彩特征作为滤波的观测量对每个粒子进行评估，并用相关滤波器训练色彩特征，得到每个粒子的响应图，这时候粒子集已经集中于目标的真实状态附近；接着在上述每个粒子响应图上选取响应值最大位置处作为第二级滤波的粒子分布位置，针对每个粒子，再次选取边缘特征作为观测量进行滤波，并用相关滤波器训练边缘特征，得到每个粒子的响应图，最后从得到的响应图中选取峰值位置，得到的位置即为目标最终预测的位置。相比于已有的相关粒子滤波算法，该文提出的基于相关粒子滤波的多特征融合算法可以更为准确地预测出目标的位置，多个特征的选取可以使跟踪目标更有效地区别于背景以及光照的变化，在面对复杂背景、目标形变和光照变化等多种具有挑战性影响因素的情况下，展现出了更强的鲁棒性。

2.3 模板更新

光照条件、视角以及摄像机参数等因素都会影响粒子相关滤波器对于视频目标跟踪的性能[12]。为了克服这些问题，该文在缓慢变化的图像观测中更新目标模板，通过丢弃图像序列中的异常值，在目标被遮挡或背景嘈杂的地方，可以确保当跟踪器丢失对象时模型不会更新。更新条件为：πE[s]>πT，其中E[s]是平均状态的观测概率,T是阈值。目标模板的更新方程为：

(17)

其中，α是更新系数，α∈[0,1]。

因此，该文提出的多特征融合相关粒子滤波器的视频目标跟踪算法步骤可以详述为：

Step2 第一次滤波：提取每个粒子的色彩特征作为滤波的观测量对每个粒子进行评估，并用相关滤波器训练色彩特征，得到每个粒子的响应图，这时候粒子集已经集中于目标的真实状态附近；

Step3 第二次滤波：从上一步每个粒子响应图上选取响应值最大位置处作为第二次滤波的粒子分布位置，针对每个粒子，再次选取边缘特征作为观测量进行滤波，并用相关滤波器训练边缘特征，得到每个粒子的响应图，最后从得到的响应图中选取峰值位置，得到的位置即为目标最终预测的位置；

Step4 模板更新：所提视频目标跟踪算法的目标更新由公式(17)确定。

3 实验结果与分析

3.1 实验准备

实验部分主要从跟踪精确度与跟踪成功率上对该算法的跟踪性能进行评价，为了方便比较，对于选取的与文中算法进行比较的算法，一律采用默认参数：正则化参数λ=0.01。由于粒子滤波器是通过增加粒子数来提高算法的跟踪性能，但是粒子数过多时就会影响跟踪的实时性，因此实验设置的粒子数为4，来权衡跟踪器的性能。

为验证文中算法的跟踪性能，选取公开的标准测试数据集OTB100中的Biker、Dancer2、david、blot、coke、couple、crossing、deer、fish、girl、Gym和Man这12段具有挑战性的视频序列进行实验测试。

与近年来具有代表性的4个优异算法进行对比，包括：MOSSE、KCF、 BACF[15]和CPF。为了评价这些跟踪器，用距离精度(DP)和成功率(SR)作为评价指标[16]，中心位置误差(CLE)即为预测目标中心和实际目标中心间的欧氏距离。

DP=lDP(CLE≤T0)/l

(18)

(19)

上式中，lDP表示中心位置误差小于等于阈值的帧数，T0表示阈值像素，一般设置为T0=20 px,l表示当前视频序列的总帧数；MT表示跟踪所得的目标区域，MG表示目标的真实区域，T1为阈值，一般设置为T1=0.05。

3.2 实验仿真与性能分析

与近年来跟踪性能较为优异的4个算法进行了对比。文中算法是多级串联多特征融合的相关粒子滤波算法，通过融合目标状态的色彩特征和边缘特征，极大地提高了跟踪性能。其跟踪结果的精确度和成功率如图2所示。

图2 算法的精确度、成功率

由图2可以清楚地看出，不论是跟踪的精确性还是成功率，该算法相比于所选取的其他算法，都显示出了较好的性能。实验选取的视频序列中，包含了尺度变化、目标形变、平面旋转和遮挡等多种挑战性因素，为了更加凸显该算法的优越性，针对这些挑战性因素与选取的算法进一步进行测试比较。代表性地选取尺度变化这个挑战因素，其对比如图3所示。

图3 尺度变化精确度、成功率

为了更好地体现文中跟踪算法的优异性能，再次在数据集OTB100中选取了一些代表性的视频序列进行测试，且与不同的算法进行对比。选取具有代表性的快速运动视频序列Diving_1进行对比，实验结果如图4所示。

图4 Diving_1

如图4所示，在序列第12帧，即目标刚开始运动时，所有跟踪器都准确地锁定目标；而当序列进行到第143帧时，MOSSE和KCF跟踪器已经丢失目标；当序列进行到188帧时，只有文中算法跟踪器准确地锁定目标，其他的都已经产生漂移现象。实验说明，文中算法同样适用于快速运动的情况，展现出了鲁棒的跟踪性能。

4 结束语

针对视频目标跟踪中遮挡和形变等问题导致单一特征目标跟踪鲁棒性弱的问题，该文提出了基于相关粒子滤波框架下的多特征融合的视频目标跟踪算法。在相关粒子滤波算法框架下，首先对于每个抽样粒子，选取色彩特征作为观测量进行滤波，用相关滤波器训练色彩特征，得到每个粒子的响应图；再从得到的每个粒子响应图上选取响应值最大位置处作为第二次滤波的粒子分布位置，针对每个粒子，再次选取边缘特征作为观测量进行二级滤波，对于每个粒子，用相关滤波器训练边缘特征，得到每个粒子的响应图，最后从得到的响应图中选取峰值位置，得到的位置即为目标最终预测的位置。实验结果表明，相对于现今已有的跟踪算法，该算法显示出了优越的性能，展现出了更强的鲁棒性。