局部模板更新逆向联合稀疏表示目标跟踪算法

虞虹玲，陈颖频，许艳萍，林 晨，蒋旻佚，罗崇淼，陈 悦，林耀进

局部模板更新逆向联合稀疏表示目标跟踪算法

虞虹玲1,2,3，陈颖频3，许艳萍3，林 晨3，蒋旻佚3，罗崇淼3，陈 悦3，林耀进1,2

(1. 闽南师范大学计算机学院，福建 漳州 363000；2. 闽南师范大学数据科学与智能应用福建省高校重点实验室，福建 漳州 363000；3. 闽南师范大学物理与信息工程学院，福建 漳州 363000)

逆向联合稀疏表示算法可充分利用跟踪过程中的时间相似性和空间连续性，但由于遮挡、光照变化等的影响，易出现跟踪漂移。为解决上述问题，提出一种基于局部模板更新逆向联合稀疏表示目标跟踪算法，其通过逆向局部重构目标模板集完成逆向联合稀疏表示。首先，在首帧初始化目标模板集，利用粒子滤波获取候选图像，并对其分块处理，构建逆向联合稀疏编码模型；然后，利用交替方向乘子法求解出稀疏编码系数，并通过2步评分机制获取最优候选图像；最后，根据相似性得分判断当前帧是否存在局部遮挡，若无遮挡，则局部更新目标模板集以减少跟踪漂移现象。实验结果表明，本文算法的跟踪精度和成功率在OTB-2013数据集上分别达到了85.4%和62.8%，在OTB100数据集上分别达到了76.8%和68.6%，速度达到每秒5.76帧，能有效提高鲁棒性，减少跟踪漂移。

目标跟踪；逆向联合稀疏表示；时-空信息；局部模板更新；交替方向乘子法

目标跟踪[1-2]是计算机视觉、模式识别和图像处理等领域中重要的研究课题之一。其广泛应用于安全系统[3]、智能监控系统[4]、人机交互[5]和无人机跟踪[6]等领域，具有广阔地应用前景。

从目标外观模型的角度而言，已有的目标跟踪算法可分为判别式算法和生成式算法2种。判别式算法[7]适用于较多类别的识别，可反映其之间的差异性。生成式算法能建立一个最能描述目标外观的表示模型，可反映同类数据之间的相似性。一般可将生成式算法分为3类：基于模板的算法、基于子空间的算法和基于稀疏表示的算法。基于模板的均值漂移算法[8]计算量小，但其对目标的尺度变化敏感且不能有效更新目标的局部信息，容易出现跟踪漂移现象。相比均值漂移算法，基于子空间的增量学习算法[9]能更好地适应目标的外观变化，然而，其对于局部遮挡比较敏感，在严重遮挡下的跟踪效果较差。而联合稀疏表示算法[10-11]具有强大的发现并充分利用不同个体间共同信息的能力，能够更好地利用目标在运动过程中的时间、空间连续性，解决跟踪过程中目标外观变化的问题。

然而，稀疏表示算法的计算复杂度较高，运行速度较慢。逆向稀疏表示算法[12]能进一步提升稀疏表示算法的运行速度。这类方法用候选图像集作为字典来重建目标模板集，由于目标模板的数量远远小于候选图像的数量，因此每一帧只需要解决少数稀疏表示问题，极大降低了计算复杂度。另一方面，这类方法考虑到目标模板之间的相似性，逆向稀疏编码也会具有结构稀疏特性，因此，利用联合稀疏表示表征这种结构特性能更好地捕捉跟踪过程的时-空信息。目前已有的逆向稀疏跟踪算法有：基于粒子滤波的逆向稀疏算法[13]、基于加权多任务学习的判别逆向稀疏算法[14]、基于局部加权的逆向联合稀疏算法[15]和低秩逆向稀疏算法[16]等。

目前大部分目标跟踪算法是整体更新模板，未充分利用局部信息。由于目标局部遮挡会对跟踪造成很大影响，以致带来不准确的相似性度量结果，导致跟踪漂移。为解决上述问题，提出一种局部模板更新逆向联合稀疏表示跟踪算法。该算法充分利用了候选图像与目标模板之间的联合稀疏性和空间相似性，使相邻帧间的有效信息得到挖掘。通过局部相似性度量筛选出最优候选图像以更新目标模板集，可以降低出现异常模板的可能性。且局部模板更新机制包含遮挡检测，进一步避免模板被“污染”，提高了算法的鲁棒性和跟踪精度。

1 相关工作

1.1 粒子滤波算法

粒子滤波算法[17]是一种以重要性采样和贝叶斯推理为基本框架的基于粒子分布统计的方法。可分为3个步骤：

(2) 校正阶段。采样个粒子，并更新为

其中，为狄拉克函数；()为粒子权重。

(3) 输出。

1.2 逆向联合稀疏表示

多任务学习[18]与粒子滤波相结合，可构建联合稀疏表示模型[19]。目前有2种结合方式：①将不同个体的稀疏表示看作多个任务，将所有个体放在一起表示，该方法的目的是充分利用任务间共享的相关信息；②处理单个个体，并用多个特征描述，其目的是寻找特征的最优组合。所提算法将第一种方法运用到逆向联合稀疏表示模型中，且多任务有2层含义：一个是时间多任务，将所建立的模板图像的稀疏表示看作多个任务，并用联合稀疏约束项来表示；另一个是空间多任务，将候选图像与目标模板分块并用局部相似性度量协同评价粒子优劣，从而有效抑制离群点的不良影响。

2 提出方法

本节详细介绍局部模板更新逆向联合稀疏表示跟踪算法(the reverse joint sparse representation tracker，RJST)。

2.1 构建模型

目标模板集中的不同模板反映了不同观测时刻的目标外观，其生成包括初始化和更新2个过程。初始化过程通过简单的最邻近算法获取初始10帧的目标模板，更新过程则在2.4节阐述。

引入2,1范数可以将上述非凸优化问题转化为凸优化问题，即

其中，和分别为矩阵的行号和列号的索引；和分别为矩阵的行数和列数。

2.2 稀疏编码矩阵求解器

在迭代过程中，不同局部图像块的外观表示模型是相互独立的，且式(4)中的模型是凸的，可以通过交替方向乘子法获得全局最优解。将其转化为增广拉格朗日函数形式，即

将式(6)转化为

3个子问题的解为

2.3 2步评分机制

第一步，分别对个×维的稀疏编码矩阵从空间维度计算联合稀疏值，将得到的空间二维矩阵通过行求和转换为×1维的列向量。对其降序排列，筛选出前个优秀粒子，其原先的位置索引用表示。则各粒子对应的权值为

通过上述过程，可去除离群点的影响，降低异常模板出现的可能性。且由于远小于，减少了算法运算量。

然后，用直方图统计这些粒子的相似度得分并赋予相应的权值，即

最终获得的最优候选图像具有联合稀疏特性，且充分利用了目标模板的局部空间信息。

2.4 局部模板更新机制

在实际跟踪中，采用整体更新模板的算法容易引起漂移现象。本文提出一种局部模板更新机制，通过只更新被遮挡的局部模板块，提高跟踪鲁棒性。此外，将更新频率定为3帧，这样可以避免因模型频繁更新导致的累积误差，且能更好地适应目标外观变化。

最后，得到局部模板更新条件

若式(16)成立，则认为目标的局部外观变化较小，需更新相应目标模板集的局部块。反之，则说明目标外观变化过大，有可能是局部遮挡导致，则不更新模板集。

3 实验

实验测试序列选自OTB-2013[21]和OTB100[22]数据集，其普遍存在光照变化、异面旋转、遮挡和尺度变化等挑战。为评估本模型的性能，将与其他10个主流算法进行定量和定性比较。这些方法包括：基于稀疏表示的SCM[23]，ASLA[24]和MTT[25]，逆向联合稀疏表示方法LWRJM[15]，基于相关滤波的SAMF[26]，DSST[27]，Staple[28]，LSTM[29]和CSR-DCF[30]，基于孪生网络的SiamFC[31]。选择相关滤波和孪生网络方法主要是考虑到其具有优异的跟踪性能，且是目前计算机视觉领域的研究热点之一。

3.1 定量分析

图2(a)～(d)分别是本文算法RJST与其他先进算法在OTB-2013和OTB100数据集中的精确度和成功率对比图。在OTB-2013数据集上的评估结果显示，RJST的精确度达到85.4%，成功率达到60.8%，相比于同类算法LWRJM，分别提高了9.6%和7.8%。在OTB100数据集上，RJST的精确度达到76.8%，成功率达到68.6%，与排名第二的相关滤波算法CSR-DCF相比，精确度与成功率分别提高了3.5%和0.4%。

表1给出各跟踪算法在不同序列中取得的平均中心点误差值。平均中心点误差越小表示算法的精度越高。加粗、下划线和波浪线分别表示排名前3的算法。

表1中，RJST算法的总平均中心点误差值为5.32像素，低于其他10个先进算法，与同类算法LWRJM相比，低了2.28像素。在Car4序列中，RJST的平均中心点误差最低，为1.59像素，分别低于排名第二(LWRJM)和第三(DSST)的算法0.01像素和0.27像素。在Vase序列中，RJST的平均中心点误差分别比排名第二(SAMF)和第三(SiamFC)的算法低0.53像素和0.58像素。其中，Car4存在快速运动挑战，Vase序列中存在旋转和尺度变化挑战。此外，RJST在Faceocc2，Football和Walking2序列中的平均值中心点误差值与其他算法相比位列第二，这些序列均存在遮挡挑战。上述实验数据说明RJST充分发挥了其联合稀疏特性，对于局部图像块遮挡情况，仍有较好地跟踪性能。

表1最后一行列出各对比算法的速度。本文提出的RJST算法速度为5.76帧/秒，比其他基于稀疏表示或逆向稀疏表示的算法SCM，ASLA，LWRJM的运行速度分别提高了5.40，0.90，1.77帧/秒。相比于多任务跟踪器MTT，RJST仍然具有较大优势。虽然本文算法在速度方面没有基于相关滤波和孪生网络的算法好，但在整体性能上表现良好。

表2为本文算法与其他7种先进算法LWRJM[15]，LSTM[29]，CSR-DCF[30]，Staple[28]，SiamFC[31]，ASLA[24]和SAMF[26]在OTB-2013数据集上11个属性及综合的精度对比结果。这些属性包括全局遮挡(occlusions，OCC)、背景杂波(background clutter，BC)、光照变化(illumination variations，IV)、快速运动(fast motion，FM)、形变(deformation，DEF)、尺度变化(scale variations，SV)、平面内翻转(out-of-plane rotation，OPR)、平面外翻转(in-plane rotation，IPR)、视野外(out-of-view，OV)、运动模糊(motion blur，MB)和低分辨率(low resolution，LR)。

表2中，黑体、下划线和波浪线分别表示排名前3的算法，精度越高表示算法的性能越好。在OCC，BC和DEF情况下，RJST的精度分别达到85.9%，79.9%和87.5%，均高于其他7种算法。在全局遮挡情况下，相比同类算法LWRJM，ASLA和SAMF，RJST的跟踪精度分别提高了10.9%，3.7%和1.8%。在背景杂波情况下，RJST的跟踪精度分别比排名第二(LSTM)和排名第三(CSR-DCF)的算法高出0.3%和4.5%。在形变情况下，RJST的跟踪精度分别高出0.2%和4.6%。

表1 各跟踪方法在各序列中的平均中心点误差

注：黑体、下划线和波浪线分别表示排名前3的算法

从上述OTB-2013和OTB100数据集上实验结果的定量分析可知，本文算法相对相关滤波和孪生网络方法而言，在遮挡等复杂情况下的跟踪具有优势。其中，相关滤波跟踪器的优势在于能达到实时跟踪，但在复杂条件下效果不佳，精度提升较难。孪生网络跟踪器则一般基于深度学习提取特征，特征建模能力强，但计算量大需要使用GPU，对设备要求较高。而本文的跟踪器是基于粒子滤波的逆向稀疏表示方法，其优势在于通过重构目标模板，能及时发现目标是否被遮挡或产生运动模糊，有利于提高模型的精度。

3.2 定性分析

3.2.1 参数敏感性分析

本实验共选取4个目标外观变化较大的序列：Boy，Deer，Football和Girl。通过比较不同正则化参数值，观察对于同一序列的中心点误差与重叠率的影响，验证了RJST算法具有较低的参数敏感性。

图3是部分序列的动态中心误差曲线图。曲线波动越小则平均误差越小。如图3(a)所示，在Boy序列的第400～600帧，蓝色曲线(=0.5)的波动最小，暗红色曲线(=0.0001)的波动最大。如图3(b)所示，在Deer序列中，由于目标快速运动导致外观变化较大，跟踪具有一定难度，因此参数大小对中心点误差的影响较大，各曲线分层明显。其中，玫红色曲线(=1)的波动最小。如图3(c)所示，在Girl序列第450～500帧，目标发生严重遮挡，=0.01和=0.5的曲线误差最小，低于20像素。如图3(d)所示，在Football序列中，从第210帧开始，=0.0001时跟踪误差趋于50像素，而=0.1，=0.5，=1的曲线始终保持小幅波动。

表2 OTB-2013不同属性下的精度对比结果(%)

图3 动态中心误差曲线图

这一组实验证明，联合稀疏正则项在平衡参数选取合理的前提下，对鲁棒跟踪目标起到积极作用，且算法对参数在合理范围内的变化不敏感。

3.2.2 有无局部模板更新机制对比实验

为证明提出的局部模板更新机制的有效性，本文进行了对比实验。通过改变模板更新的方式，即局部更新或全局更新，来观察算法在遮挡情况下的性能。实验过程中的参数设置均一致，模板更新频率也相同。实验在典型的具有多个遮挡情况的视频序列David3下进行。

如图4所示，蓝框代表局部更新，绿框代表全局更新。当目标经过树干时出现严重遮挡，局部更新方法始终稳定地跟踪目标。而采用全局更新时，在第132帧随着目标出现异面旋转，产生较大偏移，无法重新捕捉目标。在第187帧，全局更新导致跟踪误差持续加大，出现累积误差现象。相反，在整个跟踪过程中，局部更新方法始终稳定且准确地跟踪目标，在遮挡严重和旋转导致外观变化时，算法仍具有鲁棒性。

该组实验证明，联合稀疏正则项对目标跟踪起到积极作用，且算法对参数在合理范围内的变化不敏感，具有一定的鲁棒性。

3.2.32,1范数对实验结果影响分析

为分析2,1范数对于实验结果的影响，在保证模型结构及参数设置均一致的情况下，本文分别对比了运用2,1范数或0,2范数处理稀疏编码矩阵的方法在3个典型的序列Board，David3和Jumping中的效果。

图5是跟踪重叠率曲线图，红色曲线代表用2,1范数处理稀疏编码稀疏矩阵的方法，即本文算法；蓝色曲线代表用0,2范数处理稀疏编码稀疏矩阵的方法。在Board序列第200～300帧，目标出现运动模糊、快速运动和尺度变化，导致外观变化明显，蓝色曲线波动较大，而红色曲线表现较好；在David3序列中，每当目标被遮挡，蓝色曲线就出现较大误差；在Jumping序列中，目标快速运动，蓝色曲线的效果明显略逊于红色曲线。

图5 2种范数的实验结果

((a) Board; (b) David3; (c) Jumping)

根据上述分析，用2,1范数来处理稀疏编码矩阵有利于提高算法的鲁棒性和跟踪精度，特别是在快速运动和遮挡挑战下的性能较好。

3.2.4 定性实验结果

图6是在OTB100数据集上具有挑战性的序列的定性实验结果。图6(a)～(e)分别对应序列David3，Deer，Surfer，Vase和Jumping。分场景分析如下：

(1) 遮挡情况。David3中的目标经过2次部分遮挡，2次全部遮挡，ASLA，MTT，DSST和SCM算法产生较大的跟踪误差导致跟踪失败。这是因为在遮挡发生时，更新模板导致其被“污染”，目标跟踪失败。而RJST基于局部的外观建模，充分利用了目标模板集的空间信息，且局部模板更新机制有效地防止了模板漂移，因此始终跟踪良好。

(2) 快速运动和运动模糊的情况。在Deer序列中，只有RJST，CSR-DCF和LWRJM始终稳定地跟踪，其他算法在跟踪过程均出现不同程度的漂移。在Surfer序列中，目标快速运动且有较明显的运动模糊，只有RJST和SAMF始终准确且稳定地跟踪目标。在Jumping序列中，只有RJST和CSR-DCF算法成功跟踪，其他均失败。这是由于剧烈运动导致局部图像块之间的差异性较大，目标模板之间的关联性较少，联合稀疏表示无法发挥其捕捉共同信息的能力，导致跟踪效果较差，而RJST的2步评分机制有效地排除冗余信息，避免离群点的影响，极大地提高了跟踪鲁棒性。

(3) 背景混乱情况。在Deer序列中，基于稀疏表示的SCM和ASLA算法跟踪失败。这是由于背景图像块一直在无规律地变化，因此对应编码系数不具有联合稀疏性质，而RJST算法通过2步评分机制有效降低了混乱背景对目标的影响，提高了跟踪精度。

(4)旋转情况。序列David3存在异面旋转情况，从第136～160帧，目标转换行走方向，LWRJM算法在短时间内丢失目标，但在一段时间后又重新追踪到目标。在Vase序列中存在大量的旋转和尺度变化情况，但RJST算法可以很好地适应外观的尺度和旋转导致的外观变化，而其他算法均产生了不同程度的跟踪误差。这是由于旋转或尺度造成的目标外观变化通过仿射变换可以实现校准，跟踪框也可旋转角度，从而提高跟踪的精确度。

(a) (b) (c) (d) (e)

4 结束语

本文提出了一种具有鲁棒性的逆向稀疏表示跟踪算法。利用多个模板的时间信息及局部图像块之间的空间信息，有效提高了跟踪鲁棒性。为降低模板被遮挡物“污染”的可能性，还提出局部模板更新机制，有效提高遮挡场景下的算法稳定性。实验证明本文方法相比其他基于稀疏表示或逆向稀疏表示的算法具有更好的性能，显著提高了跟踪精度和鲁棒性，以及运行速度。就整体性能而言，优于部分相关滤波算法。但由于该算法选择的粒子数较多，导致速度提升不够明显。针对这一问题，下一步将从粒子优选的角度进行改进。

[1] 孟琭, 杨旭. 目标跟踪算法综述[J]. 自动化学报, 2019, 45(7): 1244-1260.

MENG L, YANG X. A survey of object tracking algorithms[J]. Acta Automatica Sinica, 2019, 45(7): 1244-1260 (in Chinese).

[2] CIAPARRONE G, LUQUE SÁNCHEZ F, TABIK S, et al. Deep learning in video multi-object tracking: a survey[J]. Neurocomputing, 2020, 381: 61-88.

[3] RONALD A, YESMAYA V, DANAPARAMITA M. Personal security tracking based on android and web application[J]. TELKOMNIKA: Telecommunication Computing Electronics and Control, 2018, 16(2): 771-775.

[4] MANGAWATI A, MOHANA, LEESAN M, et al. Object tracking algorithms for video surveillance applications[C]// 2018 International Conference on Communication and Signal Processing. New York: IEEE Press, 2018: 667-671.

[5] RAUTARAY S S, AGRAWAL A. Vision based hand gesture recognition for human computer interaction: a survey[J]. Artificial Intelligence Review, 2015, 43(1): 1-54.

[6] LIN F L, FU C H, HE Y J, et al. BiCF: learning bidirectional incongruity-aware correlation filter for efficient UAV object tracking[C]//2020 IEEE International Conference on Robotics and Automation. New York: IEEE Press, 2020: 2365-2371.

[7] 王楠洋, 谢志宏, 杨皓. 视觉跟踪算法综述[J]. 计算机科学与应用, 2018, 8(1): 35-42.

WANG N Y, XIE Z H, YANG H. A review of visual tracking[J]. Computer Science and Application, 2018, 8(1): 35-42 (in Chinese).

[8] XIANG Z Q, TAO T, SONG L F, et al. Object tracking algorithm for unmanned surface vehicle based on improved mean-shift method[EB/OL]. [2021-05-03]. https://journals. sagepub.com/doi/10.1177/1729881420925294.

[9] LOSING V, HAMMER B, WERSING H. Incremental on-line learning: a review and comparison of state of the art algorithms[J]. Neurocomputing, 2018, 275: 1261-1274.

[10] ELAYAPERUMAL D, JOO Y H. Visual object tracking using sparse context-aware spatio-temporal correlation filter[EB/OL]. [2021-05-04]. https://doi.org/10.1016/j.jvcir.2020.102820.

[11] LAN X Y, YE M, ZHANG S P, et al. Modality-correlation- aware sparse representation for RGB-infrared object tracking[J]. Pattern Recognition Letters, 2020, 130: 12-20.

[12] WANG D, LU H C, XIAO Z Y, et al. Inverse sparse tracker with a locally weighted distance metric[J]. IEEE Transactions on Image Processing, 2015, 24(9): 2646-2657.

[13] YI S Y, HE Z Y, YOU X G, et al. Single object tracking via robust combination of particle filter and sparse representation[J]. Signal Processing, 2015, 110: 178-187.

[14] YANG Y H, HU W R, ZHANG W S, et al. Discriminative reverse sparse tracking via weighted multitask learning[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2017, 27(5): 1031-1042.

[15] LI M H, PENG Z M, CHEN Y P, et al. A novel reverse sparse model utilizing the spatio-temporal relationship of target templates for object tracking[J]. Neurocomputing, 2019, 323: 319-334.

[16] 田丹, 张国山, 张娟瑾. 变分调整约束下的反向低秩稀疏学习目标跟踪[J]. 中国图象图形学报, 2020, 25(6): 1142-1149.

TIAN D, ZHANG G S, ZHANG J J. Object tracking via reverse low-rank sparse learning with variation regularization[J]. Journal of Image and Graphics, 2020, 25(6): 1142-1149 (in Chinese).

[17] MOGHADDASI S S, FARAJI N. A hybrid algorithm based on particle filter and genetic algorithm for target tracking[EB/OL]. [2021-05-05]. https://doi.org/10.1016/j.eswa.2020.113188.

[18] 姚翰, 殷雪峰, 李童, 等. 基于多任务模型的深度预测算法研究[J]. 图学学报, 2021, 42(3): 446-453.

YAO H, YIN X F, LI T, et al. Research on depth prediction algorithm based on multi-task model[J]. Journal of Graphics, 2021, 42(3): 446-453 (in Chinese).

[19] LI Z T, ZHANG J, ZHANG K H, et al. Visual tracking with weighted adaptive local sparse appearance model via spatio-temporal context learning[J]. IEEE Transactions on Image Processing, 2018, 27(9): 4478-4489.

[20] CHEN Y P, PENG Z M, GHOLAMI A, et al. Seismic signal sparse time-frequency representation by Lp-quasinorm constraint[J]. Digital Signal Processing, 2019, 87: 43-59.

[21] WU Y, LIM J, YANG M H. Online object tracking: a benchmark[C]//2013 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2013: 2411-2418.

[22] WU Y, LIM J, YANG M H. Object tracking benchmark[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(9): 1834-1848.

[23] ZHONG W, LU H C, YANG M H. Robust object tracking via sparsity-based collaborative model[C]//2012 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2012: 1838-1845.

[24] JIA X, LU H C, YANG M H. Visual tracking via adaptive structural local sparse appearance model[C]//2012 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2012: 1822-1829.

[25] ZHANG T Z, GHANEM B, LIU S, et al. Robust visual tracking via multi-task sparse learning[C]//2012 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2012: 2042-2049.

[26] LI Y, ZHU J K. A scale adaptive kernel correlation filter tracker with feature integration[M]//Computer Vision - ECCV 2014 Workshops. Cham: Springer International Publishing, 2015: 254-265.

[27] DANELLJAN M, HÄGER G, SHAHBAZ KHAN F, et al. Accurate scale estimation for robust visual tracking[C]//The British Machine Vision Conference 2014. Nottingham: BMVA Press, 2014: 1-11.

[28] BERTINETTO L, VALMADRE J, GOLODETZ S, et al. Staple: complementary learners for real-time tracking[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2016: 1401-1409.

[29] MA C, HUANG J B, YANG X K, et al. Adaptive correlation filters with long-term and short-term memory for object tracking[J]. International Journal of Computer Vision, 2018, 126(8): 771-796.

[30] LUKEZIC A, VOJIR T, ZAJC L C, et al. Discriminative correlation filter tracker with channel and spatial reliability[J]. International Journal of Computer Vision, 2018, 126(7): 671-688.

[31] BERTINETTO L, VALMADRE J, HENRIQUES J F, et al. Fully-convolutional Siamese networks for object tracking[M]// Lecture Notes in Computer Science. Cham: Springer International Publishing, 2016: 850-865.

Object tracking of reverse joint sparse representation with local template update

YU Hong-ling1,2,3, CHEN Ying-pin3, XU Yan-ping3, LIN Chen3, JIANG Min-yi3, LUO Cong-miao3, CHEN Yue3, LIN Yao-jin1, 2

(1. School of Computer, Minnan Normal University, Zhangzhou Fujian 363000, China; 2. Key Laboratory of Data Science and Intelligence Application, Minnan Normal University, Zhangzhou Fujian 363000, China; 3. School of Physics and Information Engineering, Minnan Normal University, Zhangzhou Fujian 363000, China)

The reverse joint sparse representation algorithm can make full use of the temporal similarity and spatial continuity in the tracking process. However, tracking drift can be easily incurred under the influence of occlusion and illumination change. Aiming at this problem, we proposed the reverse joint sparse representation tracker (RJST). It can accomplish the reverse joint sparse representation through the reversely local reconstruction of the object template set. Firstly, the object template set was initialized in the first frame, and the candidate images were generated by particle filtering. They were partitioned into blocks, and the reverse joint sparse representation model was constructed. Then, the sparse coding matrix was solved using the alternating direction method of multipliers. The optimal candidate image was acquired by the two-step scoring mechanism. Finally, whether the current object had local occlusion was evaluated according to the similarity score. If there was no occlusion, the object template set was locally updated to eliminate the tracking drift. Experimental results show that the precision and success rate of RJST reached 85.4% and 62.8% on the OTB-2013 benchmark, and 76.8% and 68.6% on the OTB100 benchmark, respectively, and that the speed was 5.76 frames per second, which can effectively boost robustness and eliminate tracking drift.

object tracking; reverse joint sparse representation; spatio-temporal information; local template update; alternating direction method of multipliers

20June，2021；

TP 391

10.11996/JG.j.2095-302X.2022010060

A

2095-302X(2022)01-0060-10

2021-06-20；

2021-08-21

21August，2021

闽南师范大学校长基金项目(KJ19019)；福建省中青年教师科研教育项目(JAT190378，JAT190393，JAT190382)；闽南师范大学高级别项目(GJ19019)；福建省大学生创新创业训练计划(202010402016，202110402012)；福建省自然科学基金项目(2020J01816)

Principal Fund of Minnan Normal University (KJ19019); Young and Middle-aged Teachers Research and Education Project of Fujian Province (JAT190378, JAT190393, JAT190382); High-level Project of Minnan Normal University (GJ19019); Fujian University Studentsʹ Innovation and Entrepreneurship Training Plan (202010402016,202110402012); Natural Science Foundation Project of Fujian Province (2020J01816)

虞虹玲(1998–)，女，硕士研究生。主要研究方向为目标跟踪。E-mail：yhl_sylvia@163.com

YU Hong-ling (1998–), master student . Her main research interest covers object tracking. E-mail：yhl_sylvia@163.com

陈颖频(1986–)，男，副教授，博士。主要研究方向为图形图像处理、计算机视觉等。E-mail：110500617@163.com

CHEN Ying-pin (1986–), associate professor, Ph.D. His main research interests cover graphic image processing, computer vision, etc. sE-mail：110500617@163.com