结合自适应时间权重的改进STRCF 目标跟踪*

吴 捷，马小虎

（1.泰州职业技术学院信息技术学院，江苏 泰州 225300；2.苏州大学计算机科学与技术学院，江苏 苏州 215006）

0 引言

目标跟踪是计算机视觉领域的一个重要研究分支，其在视频监控、行为分析等领域都有着十分广泛的应用［1］。尽管诸如ECO 等一系列优秀的跟踪算法相继涌现，但由于前景和背景变化等诸多复杂因素的影响，设计一个鲁棒且高效的跟踪器仍然是一个艰难的任务。

近年来，基于相关滤波的跟踪算法（CF）取得了很大的进展［2-4］。通常，基于CF 的跟踪器利用大量周期性位移对样本进行学习，并将空间域的相关运算转化为频域的运算以降低计算复杂度，提高跟踪速度。然而，早期基于CF 的方法在循环移位采样过程中，在边界位置上总是会出现周期性的重复，使得一部分不真实的样本被用于CF 模型的训练，即边界效应问题。使用余弦窗技术可以弱化边界效应的影响，但是同样会屏蔽有用的背景信息，降低跟踪器的判别力。2015 年，Danelljan 等［5］提出了基于空间正则化约束的相关滤波（SRDCF）跟踪算法，为解决这类问题提供了很好的思路。但是该算法通过高斯-赛德尔方法优化求解目标函数，跟踪速度极慢，无法满足实际应用需要。2017 年，Danelljan 等基于C-COT［6］又提出了有效卷积运算（ECO）跟踪算法［7］，在特征提取方面使用PCA 技术降低特征维度，采用高斯混合模型（GMM）简化了训练集且保证样本多样性，并改进模型更新策略，但出现遮挡时会发生模型漂移的现象。2018 年，Li 等［8］提出了时空正则化（STRCF）跟踪算法，该算法在SRDCF的基础上，引入时间正则化项，并且无需保留以往样本信息，可以实现实时跟踪，仅用纯手工特征就能达到很好的跟踪效果。但其时间权重因子是固定的，在跟踪过程中不会发生变化，无法充分利用不同时间跟踪目标的多样性信息，且处理长时遮挡的效果不佳。

针对上述问题，提出了一种自适应时间权重学习的目标跟踪算法。利用峰值旁瓣比在线动态更新时间权重因子，另外在跟踪器中嵌入遮挡判断模块用于评估当前帧的跟踪效果，根据结果来判断是否对滤波器的样本模型予以更新。在OTB-100 上的测试表明，和7 种达到优秀的相关滤波类算法相比，本文提出的改进算法可以实现更精准的目标跟踪。

1 STRCF 跟踪算法

STRCF 算法的主要思想是将时间正则化方法引入到单图像SRDCF 中，得到时空正则化相关滤波器。其滤波器系数f 的求解公式为：

可以引入一个辅助变量g 和步长参数γ，且令g=f，利用ADMM（交替方向乘子算法）［9］对式（1）进行求解。则式（1）可以表述为：

将式（3）划分为3 个子问题迭代求解，即：

将式（4）中第1 行公式进行离散傅里叶变换并取导数为0，可求得闭合形式的解，再进行逆傅里叶变换即可得到滤波器系数f。笔者经过推导同样求出参数g 和γ，并利用f 和g 求解h，具体公式推导可见原文。

利用求得的滤波器系数可以计算得到响应图：

响应图中值最大的点标记为当前目标位置，响应最大值目标模板对应的尺度作为目标估计尺度。

2 本文改进算法

基于STRCF 提出了自适应时空正则项跟踪算法。为了提高算法运行速度，没有使用深度特征，仅选择HOG、CN 及Gray 共3 种手动特征，利用峰值旁瓣比动态设置式（1）中的时间权重因子，并在跟踪器中嵌入遮挡检测模块以提升跟踪器处理遮挡的能力。

2.1 自适应时间权重因子设置

STRCF 算法在SRDCF 基础上引入时间正则项记录相邻两帧目标的变化信息，可以起到平滑多通道相关滤波的作用，进而在减少训练样本数目的同时仍可以保持较强的鲁棒性。但STRCF 在目标跟踪过程中将时间权重因子设为固定值15，没有充分利用不同时间跟踪目标的多样性特征。为了更加准确地设置时间权重因子，本文分别使用10、12、15 这3种时间权值随机测试了10 组视频的跟踪成功率。从表1 可以看出，将时间权值设置较大在很多场景下并不能获得最优结果。一般来说，当跟踪模型可靠性较高时，可以增大时间权重因子以更快地响应变化；相应地，当跟踪可靠性较低时应当适当减小时间权重因子。

表1 不同时间权值的跟踪成功率对比

本文引入峰值旁瓣比作为跟踪模型可靠性的度量因子，在线动态计算并更新时间权重因子。下面首先给出峰值旁瓣比的定义：

设第t 帧的特征响应图为ft，则其峰值旁瓣比（PSR）定义为：

其中，max 为求最大值函数，μt、σt分别为特征响应图的均值和方差。峰值旁瓣比主要体现跟踪的可靠性。因此，峰值旁瓣比和时间权重因子应该成正比关系，当峰值旁瓣比较大时，说明目标定位的可靠性较高，增大时间权重因子可以加快模型学习速度。

本文通过下式计算得到时间权重因子μ：

2.2 遮挡检测机制

视觉目标在运动过程中可能被静止的物体或者运动的物体遮挡，如何进行遮挡检测一直是目标跟踪领域的一大难点。和已有的跟踪算法相比，STRCF 在跟踪模型中引入了时间正则化方法，可以有效防止跟踪模型腐化，对短时遮挡具有较强的鲁棒性，但在遇到长时遮挡时仍会出现跟踪漂移的情况。

已有的文献主要使用滤波器最大响应值、平均峰值相关能量［10］等指标来检测遮挡是否发生。其中，文献［11］利用滤波器最大响应值来触发随机蕨丛分类器进行遮挡判断，并基于滑动窗口机制进行目标检测，算法的时间复杂度较高，无法做到实时跟踪。文献［12］通过计算目标的峰值旁瓣比检测目标是否丢失，并利用Kalman 算法作为目标遮挡后搜索目标的策略，该方法在非线性环境下鲁棒性并不强。

本文通过将当前峰值旁瓣比与历史峰值旁瓣比极值及均值分别做比较，设定满足式（5）条件即认为发生了遮挡，停止对目标位置的更新，但仍然利用时间权重因子保持对跟踪模型的更新。测试结果表明，该方案可以提升跟踪器处理长时遮挡的能力。

3 实验结果与分析

为了对本文提出的算法进行性能测评，利用benchmark 平台进行了实验并与STRCF、ECO_HC、BACF［13］、Staple_CA［14］、fDSST［15］、SAMF［16］、KCF［17］这7 种优秀的相关滤波算法进行对比分析。实验的硬件环境为Inter（R）Xeon（R）E3-1225（3.3 GHz）的CPU 和16GB 内存，软件环境为Matlab 2016b。本文算法所使用的主要实验参数为：遮挡阈值λ1=0.56，λ2=0.35，其他参数和STRCF 原文一致。接下来将从定性比较和定量比较两个主要方面来分析本文算法的鲁棒性和有效性。

3.1 定量分析

定量分析采用以一次通过评估（One-Pass Evaluation，OPE）运行得到距离精度（DP）和重叠成功率（OP）作为主要评价指标。

所用公开数据集为OTB-100［18］，其由100 个完全标注的视频序列组成，这些视频序列包含遮挡、形变、旋转等11 种典型干扰。

下页图1 是8 种算法在100 组视频上的总精确度图和成功率图，从图1 中看出本文提出的改进算法的精确度和成功率分别为0.880 和0.814，精确度和成功率均排名第一。相对于ECO-HC 算法，精确度和成功率分别提升了4.1 豫和5.4 豫，和本文的基准算法STRCF 相比，改进算法在精确率和成功率方面分别提高了2.6 豫和2.0 豫，证明了改进算法性能较好。

图1 8 种算法在OTB-100 的距离精度曲线图和成功率曲线图

为更加直观评价本文算法在复杂环境下的性能表现，表2 和表3 给出了本文算法与其他7 种目标跟踪算法在OTB-100 基准数据集中11 个具有挑战性的属性上的精确度图和成功率图统计数据，以粗斜体标识单个属性的最优结果。本文算法在10种属性的精确度图和成功率图中排在第1 位，只有低分辨率（LR）属性排在第2 位，且全部优于STRCF算法，其中在出视野（OV）干扰下跟踪的成功率提升了10.4 豫。本文算法处理遮挡（OCC）的成功率相比STRCF 算法提升了3.0 豫，说明增加的遮挡检测机制有效增强了遮挡情形下算法对目标的跟踪能力。一系列对比数据有力地证明了本文改进算法的合理性及有效性。

表2 8 种算法在不同场景属性下的DP 值

表3 8 种算法在不同场景属性下的OP 值

3.2 定性分析

图2 给出了本文算法与STRCF、ECO_HC、BACF 等7 种算法在6 个具有挑战性的视频序列的对比结果，这6 个视频依次为Biker、DragonBaby、Diving、Girl2、Bird1 和Soccer。下面进行定性分析：

图2 8 种算法在6 个视频序列的跟踪结果比较

1）Biker、DragonBaby、Diving 这3 组视频序列存在旋转、变形、快速变化等干扰因素。本文算法采用自适应时间权重因子，在时间意义上可以起到更好的平滑滤波作用，相比STRCF 算法可以更精确地定位目标。

2）Girl2 视频序列存在完全遮挡且遮挡物处于移动状态。在第110 帧时目标被完全遮挡，遮挡结束后包括STRCF 在内的6 种算法被背景干扰导致出现漂移，ECO_HC 采用了周期更新模型的策略可以正确跟踪，本文算法因为加入了遮挡检测机制，同样可以准确跟踪目标。

3）在Bird1 和Soccer 序列中存在长时遮挡、相似背景干扰、尺度变化、变形等多种复杂因素的干扰。Bird1 序列中，125 帧时目标逐渐被云雾遮挡，185 帧结束长时遮挡时其他7 种算法均丢失目标，只有本文算法可以一直跟踪到最后。Soccer 序列中，STRCF、ECO_HC 等算法在第176 帧时均发生漂移，只有本文算法和fDSST、KCF 能准确跟踪，相比fDSST 和KCF，本文的算法目标定位及尺度估计更加精确。

3.3 算法运行速度

跟踪速度也是评价算法的一个重要指标，本文算法在STRCF 基础上，增加了时间权重因子计算及遮挡处理模块，因此，算法跟踪速度略慢于STRCF的29.30 帧/s，但仍然达到了28.61 帧/s，即使在CPU 上也完全可以实现实时跟踪。

4 结论

由于STRCF 时间权重因子固定且在目标遮挡严重时会跟踪失败，因此，本文提出了自适应时间权重的改进时空正则项跟踪算法。利用峰值旁瓣比动态更新时间权重因子，并设定多条件判断目标遮挡情况，从而决定模型更新策略，提升了跟踪器处理各种复杂场景的能力。在OTB-100 数据集上评估本文算法的性能，跟踪精度达到0.880，成功率为0.818，相对于STRCF 算法有了一定幅度的提高，超过目前已有的相关滤波类算法。将来的工作在于进一步优化跟踪模型，提升算法性能。