遮挡判别下自适应融合更新相关滤波跟踪

孔菁泽,刘万军,姜文涛,邴晓环

1(辽宁工程技术大学 研究生院,辽宁 葫芦岛 125105)2(辽宁工程技术大学 软件学院,辽宁 葫芦岛 125105)

1 引 言

针对运动目标的跟踪,是机器视觉方向的重要研究课题[1-3],在智能交通、国防安全、工业领域等方面均有广泛的应用[4-6].近年来,在快速提高的硬件计算能力和蓬勃发展的机器视觉前提下,基于数据集驱动的深度学习跟踪方法,受到越来越多研究者的青睐.但由于训练阶段消耗过多的时间,不能较好地实现实时跟踪,因此兼顾跟踪精度和跟踪速度相关滤波类目标跟踪,是目标跟踪领域研究的一个重要方向.

近年来,由于在目标跟踪过程中引入了通信领域的相关滤波器的概念,目标跟踪的准确性得到进一步的提升.相关滤波跟踪算法就是将跟踪问题转化为二分类问题,通过建立对应的相关滤波跟踪模型,区分出目标特征和背景特征,根据响应图的峰值变化标记出目标的准确位置,并采用快速傅里叶变换方法优化计算过程,提高计算速度.2010年Bolme等人[7]最先提出相关滤波跟踪算法,该算法利用跟踪输出结果的平方差最小值来训练相关滤波器,仅利用灰度特征跟踪目标区域,跟踪速度高达600帧/s.2014年,Danelljan等人[8]在CSK算法基础上,提出了颜色空间(Color Name,CN)的跟踪算法,该算法对CSK算法中提取到的特征进行微调,并将三色通道RGB拓宽为11种相异色系的通道.虽然这种拓展通道的方法使目标跟踪的精度得到一定的提高,但这种特征多通道的计算方式同样带来了计算量的增加,为了降低计算复杂度,作者利用主成分分析方式将特征的11维通道降维至2通道.Henriques等人[9]继续对循环核结构CSK算法进行改进,提出了核相关滤波KCF算法,在相关滤波跟踪过程中,补充目标特征的通道数,利用梯度方向直方图(Histogram of Oriented Gradient,HOG)将单通道变为多通道,并在此基础上采用核函数将线性岭回归问题映射到非线性空间,在非线性空间中依据循环矩阵在傅里叶空间形成对角化的原理,简化计算,大幅度地提高计算效率.研究人员发现现实场景的环境复杂多变,进行跟踪时仅使用单一的特征不能完全应对,因此考虑将目标的多个特征进行融合跟踪.LI等人[10]通过采用矢量链接的方式,将CN特征、灰度特征和HOG特征进行融合,获取目标的跟踪特征,进而增强跟踪器的跟踪稳固性.Bertinetto 等人[11]基于DSST算法[12]中的独立滤波器的启发下,提出基础特征之间聚合、互补的Staple算法,作者充分利用存在差异的应用场景下,两种特征互补特性,有效地融合了目标的颜色直方图特征与HOG特征,提高训练出的目标跟踪器的跟踪准确度.为缓解边界效应对基于滤波器的算法造成干扰,Danelljan等[13]设计了空间约束的相关滤波器(Spatially Regularized Correlation Filter,SRDCF),拓展了目标所在的区域,同时在算法中引入空间正则化的概念,使得目标的中心区域,受到的极小的约束;反之,远离目标的区域受到更大的约束.该方法削弱了边缘特征对整体部分的干扰,从而提高了分类器性能的稳定性和跟踪精度.

国内外研究者利用深度学习方法对目标跟踪进行研究,并基于深度卷积网络训练了大量数据集,有效提高了目标的跟踪效果.Danelljan等人[14]提出连续卷积算子的算法,该算法是利用卷积学习连续的空间域特征,采用连续卷积公式对目标实现亚像素级定位.在连续卷积算子的基础上,Yun等人[15]提出ECO(Efficient Convolution Operators)算法,该算法对特征提取做了一定的简化,基于高斯混合模型简化训练阶段的样本,同时为减少模型的更新次数,设置模型每6帧更新一次,提高了模型的时间和空间效率.DeepSTRCF[16]引入了基于STRCF的深度特征,以确保模型在复杂场景中仍然能进行精确稳定的跟踪.

在相关滤波框架的基础上,本文提出一种遮挡判别下自适应融合更新的相关滤波跟踪方法.该方法选取目标互补的两种基础特征,通过引入可信度策略,对基础特征进行两次自适应融合,利用可信度较高的融合特征充分描述目标区域.然后对跟踪结果进行遮挡判断,若判断结果为遮挡,则激活遮挡重检测机制对目标重新定位.最后精确定位目标后,自适应更新检测模型,实现对目标的稳定跟踪.此外,本文使用文献[17]的尺度估计方法,来解决目标在变化过程中的尺度变化问题.在标准跟踪数据集OTB100(Object Tracking Benchmark)选取所有具有遮挡属性的视频序列进行实验验证.

2 相关滤波跟踪器

2.1 fDSST跟踪器

fDSST算法[17]是Danelljan基于DSST算法提出的一种相关滤波器跟踪算法.该算法中采用相互独立的滤波器的思想来对目标的位置和尺度进行跟踪,通过训练位置滤波器对目标在当前帧的位置进行确定.在搜索区域中,滤波器响应图是由位置滤波器提取出来的HOG特征转化而来的,图中响应分数最高的位置作为目标的中心位置.该方法目标是通过设计最优的相关滤波器hl,构造最小化的代价函数ε,计算公式为:

(1)

式中Δ表征了循环间的关联程度,g代表由高斯函数计算出的最佳期望响应值,d是对特征中通道的遍历,fi是滤波器提取的第l维特征,式中l∈{1,2,…,d},公式(1)中后半部分表示的是能够使模型的泛化能力显著增强的正则化项,它的权重参数是λ.

为降低运算过程中的耗时,将公式(1)的计算过程从时域转到频域,其对应的转换结果为:

(2)

(3)

(4)

(5)

公式(5)的rt代表计算得到的最终响应值,F-1表示傅里叶逆变换,响应值rt最大的位置即为当前帧中待跟踪目标的位置.

2.2 多尺度跟踪器

由于目标在跟踪过程中,其尺度会在运动的过程中不断发生变化,因此文献[17]提出一种基于相关滤波器的尺度自适应算法.本文借鉴该方法,建立了一个相对独立尺度滤波器,即使在跟踪目标的过程中出现尺度变化,跟踪器也能很好地适应.对比滤波器中各尺度的响应值,选择响应数值最大的尺度,该尺度便是当前帧视频序列所对应的最佳目标尺度.因此,尺度池的建立可以定义为:

Sscale=(σn×W)×(σn×H)

(6)

公式(6)中尺度因子用σ表示,W×H是前一帧序列中被跟踪目标的尺寸,S表示被滤波器缩聚后特征的维度.尺度滤波器的计算步骤为:首先采用不同比例的矩形框,围绕目标的位置得到不同尺度的图像块并提取其中的HOG特征,采用一维高斯函数作为目标的期望响应函数.在实现频域转换后,相应的得出不同尺度下的响应向量,在最后阶段,计算每种尺度的目标响应数值,选取响应最大的尺度作为当前视频序列最合适的尺度.

3 遮挡判别下自适应融合更新的相关滤波跟踪方法

本文提出的方法以fDSST算法为基础框架,针对fDSST算法采用单一特征和固定学习率逐帧更新方式跟踪效果较差的问题,本文从多特征融合和自适应学习率的角度入手,通过融合两种互补特征,增强模型对目标的识别能力,同时对跟踪结果的可信度进行判定,进行遮挡判别和自适应更新,总体设计框架图如图1所示.

图1 整体框架示意图

3.1 直方图概率模型

由于单一特征不能全面地描述目标的所有信息,本文在文献[11]中处理颜色直方图的方法基础上,通过提取目标的颜色直方图特征建立直方图概率模型.其主要思想为:首先区分特征图中的目标特征和背景区域,接着统计背景与目标区域的颜色直方图,对其进行归一化处理,最后通过计算得出最终的概率响应图,该响应图为像素级别.目标的位置就是其中响应值最大的位置.响应图的计算方式为:

(7)

公式(7)中M是搜索区域包含的像素网格的数量,a是模型参数,Φ(x)表示搜索区域中统计第x个像素网格区域的颜色直方图得分的函数.通过分别提取统计前、背景的颜色直方图信息,并计算像素的响应值,获得颜色直方图特征的概率响应图.对于模型参数a,计算公式为:

(8)

公式(8)中ρj(Ο)表示目标区域中颜色特征j非零部分对应的像素比例,ρj(Β)表示背景区域中颜色特征j的非零部分对应的像素比例,j代表不同的颜色通道,γ则表示颜色概率模型的权重,是防止模型过拟合而设定的参数,一般设γ=0.001.在实现对第t帧序列中的目标跟踪时,学习率要设定为η,同时需要更新像素比例,具体的更新方式为:

(9)

(10)

3.2 自适应融合特征选择

在进行目标跟踪的过程中,提取到的特征是否能够有效表征目标,对跟踪的结果有着至关重要的影响.首先,提取得到的跟踪特征,需要可以有效地描述目标的特征信息.其次,目标的不同特征在不同的环境中具有不同的描述能力,单一特征对于目标表征能力,随着场景的转变被弱化,从而导致跟踪在场景变化过程中失败.最后,跟踪器对目标的跟踪需要具有实时性,才有应用的实际意义,所以提取特征的过程应当越简便越好.为了满足以上要求,本文提出了自适应融合的特征选择方法.颜色直方图特征在光照变化和运动形变等因素影响下依旧具有较高的稳定性以及较为突出的跟踪效果,因此选取颜色直方图和HOG的融合特征作为基础特征,选用不同的权值融合这两种特征,确保初步特征可以描述不同的信息,之后基于可信度方式筛选初步特征,实现可信度高的初步特征的自适应融合,相关滤波响应图反映了其对各个特征的跟踪能力,利用响应图完成融合过程的特征自适应选择.特征的自适应选择融合过程如图2所示.

图2 自适应特征融合示意图

3.2.1 特征融合

在本文中,特征的初步融合思路是采用线性加权的方式,对提取计算出的两种基础特征的概率响应图进行组合,在组合阶段调整线性权值,从而获取偏向融合特征的不同关注点.线性加权具体定义为:

ffuse=ωfcolor+(1-ω)fcf

(11)

公式(11)中，ffuse是响应特征初步融合的函数,fcolor代表响应颜色直方图特征的函数,fcf则是响应HOG特征的函数,ω是不同的权重值.采用线性加权的方式对提取得到的两种基础特征进行组合,获得初步融合后的偏向性表达特征.在跟踪过程中,为了处理目标和背景信息的变化,要保证初步融合特征具有不同的偏向性表达,因此权重ω的选取对融合特征的获取有很大的影响.权重分配的偏向性太大或太小均会影响融合特征的表达能力,前者使得融合特征与单一特征的跟踪效果类似,后者的分配方式可视为等比值分配.本着穷举分配的原理,在大量实验数据基础上,本文详细分析了跟踪性能较佳的三类权重分配方法,同时利用这3种方式加权融合特征.具体的权重分配见表1.

表1 权重的多种分配方式

3.2.2 自适应选择融合

在完成特征的初步融合后,依据其可信度对于具有不同偏向性的初步特征响应图进行了判断,将其中可信度最小的融合特征进行剔除,采用原有的可信度策略自适应融合其他的初步特征,融合之后所得到的最终特征即为当前一个帧的追踪特征.本文采用平均峰值对应的相关能量[18](APCE,average peak-to correlation energy)计算可信度,具体定义为:

(12)

公式(12)中Fmax、Fmin分别表示特征图中的最大、最小响应值,Fw,h则代表特征图(w,h)中相应位置的响应,mean()是均值函数,EAPCE反映了响应值的整体波动程度,当EAPCE变小时,在特征响应图中,表明峰值区域之外的其他区域也有剧烈的波动,目标对背景区域的响应较为一般,可信度越低,反之则可信度越高.为简化后续的计算过程,归一化处理得到的初步融合特征的可信度,即将第t帧的不同融合特征的EAPCE值与前(t-1)帧相对应的融合特征的最大EAPCE值进行归一化,其运算过程表示为:

(13)

公式(13)中G(t)表示第t帧的融合特征进行归一化处理之后的平均峰值相关能量值.归一化处理完初步融合特征的可信度后,利用自适应的权重分配方式,加权融合两种置信度较高的初步特征,权重分配方式定义为:

(14)

W2=1-W1

(15)

上述两个公式中的W1、W2分别表示特征自身的权值,G1(t)、G2(t)代表在对两种特征归一化后,得到的特征置信度.经过上述两个公式输出特征对应的权重后,利用响应函数f1和f2自适应融合特征,并将融合后得到的特征作为当前帧的跟踪特征.融合计算公式为:

ffinal=W1f1+W2f2

(16)

3.3 遮挡重检测模型

为对跟踪结果的可靠性进行判定以及获取更为精确的目标位置,本文提出了一个遮挡重检测模型.在该模型中,ΔFAPCE是目标可信度的历史均值与当前帧最大可信度的差值,同时提前设定一个重检测阈值常量,通过比较ΔFAPCE与重检测阈值的大小关系,判断跟踪结果的可靠性,从而进一步判断是否需对跟踪结果重新检测.当差值ΔFAPCE超过设定阈值常量时,表明在目标被遮挡的情况下,跟踪区域的响应图有强烈的峰值波动,所以需要开启遮挡下的重检测机制进行目标位置重检;否则正常更新模型,不启动重新检测过程.在这个过程中,跟踪结果的产生很大程度上取决于能否选取恰当的重检测阈值.若设定的重检测阈值过大,可能给予可信度较小的波动范围,应当触发重检测模型从而缓解检测器的误判行为,但是这样会加大模型的计算复杂度;若重检测阈值设定的过小时,则可信度波动的范围相应变大,增加了跟踪器漏判目标的几率,出现跟踪漂移的现象.在采用穷举的方式进行大量实验数据的测试,将重检测阈值设置为θ=0.6×Fmean,Fmean是可信度数值的历史均值,它能够较好地反映在以往的检测帧中,目标响应图的波动均值.在寻求最大可信度的基础上,本文设计的重检测机制,可以最大程度缓解ΔFAPCE过高的情况.首先通过前一帧的跟踪结果,对当前帧搜索区域中目标可能出现的位置进行预测,同时扩展当前帧目标的搜索范围,计算并比较不同预测区域中各个目标位置的响应可信度,当前帧目标位置应选择可靠程度最高的目标预测位置,从而实现跟踪.

在视频序列中,帧与帧之间的目标位置移动不会发生跳跃性的变化,而应该是缓速渐进的一种移动方式,这就表明即便出现目标被遮挡的情况,也会出现若干帧目标逐渐被遮挡的过程,而不会是目标突然消失.因此,可以在前一帧得到准确目标位置的基础上,向不同的方向延伸,在不同方向分别设定预测区域,对当前帧的目标位置进行预测.当前帧可信度较低的问题不只会发生在跟踪漂移时,还会发生在目标特征的提取度较低的情况中,因此即使当前帧确定的目标位置可信度不高,但是为了得到更加精准的目标定位,仍然可以将预测结果看作一个可能存在目标的位置,并与设置的其他预测位置相比较.本文在进行遮挡重新检测的过程中,共设置5个不同的预测区域,集合表示为L={L1,L2,L3,L4,L5},在预测区域集合中L5是由当前帧确定的目标区域,但是可信度不高,而L1,L2,L3,L4则是在前一帧跟踪结果中确定的目标位置基础上,向不同的方向进行延伸所得到预测的目标区域.图3为各个方向的预测图.

从图3可以看出,P0点是根据前一帧跟踪结果确定的中心点目标,P1、P2、P3、P4则分别表示以P0点为基准向左上、右上、左下、右下4个方向拓展得到的预测区域的中心点.以P1点的位置为例,记前一帧确定的目标尺寸大小为wprior×hprior,P1点坐标的获取过程为:P0点在垂直方向朝上移动φ×hprior的单位的距离,然后在水平方向朝左移动φ×wprior的单位的距离,即可得到P1点坐标.P2、P3、P4点坐标的获取方式P1点类似,移动的距离相同,只是在移动的方向上有所不同.根据大量实验数据分析时预测得到的φ=0.25效果最好.

图3 各个方向预测示意图

图3中的实线矩形框表示以P0点为中心位置坐标的搜索区域,虚点框则表示以P1点为中心坐标的预测搜索区域,虚线框是P1、P2、P3、P4 4个中心坐标点所确定的搜索区域的最大范围.

在重检测模型的构建过程中,考虑到当前帧得到的跟踪结果可信度较低的原因主要是特征融合的方式不能很好地提取到目标的特征,因此在重检测模型中,改变二次特征融合时的融合方式,旨在通过改变融合方式增强跟踪器对于不同场景变化的适应能力.针对不同方向的预测区域的重检过程为:首先,在每个预测区域中提取基础特征并进行初步融合;然后,通过使用可信度的方式判定融合得到的偏向特征,并输出可信度值的集合Q={Q1,Q2,Q3},将可信度集合中的元素每两个分为一组,采用公式(14)对不同的组进行计算得到权重集合w={w1,w2,w3,w4,w5,w6};最后,利用计算出的不同权重,在可信度值集合的分组方式下,对特征值进行二次自适应融合,并且利用可靠性来筛选得到的各个融合特征的跟踪结果,当前帧重检测的目标位置是由可信度最高的跟踪结果来决定的,即该结果的中心作为目标的所在位置.重检模型中的特征融合过程如图4所示.

图4 重检模型中的特征融合过程图

3.4 自适应模型更新策略

在跟踪器跟踪目标时更新目标模型,可以确保模型始终做到准确描述目标特征.若采用逐帧固定学习率的更新方式,如果有序列帧存在遮挡目标或背景干涉目标,出现目标的特征不突显的情况,此时对获取到的特征进行更新,则将削弱跟踪器对目标的跟踪准确性,造成一定的跟踪误差,随视频序列的增加,误差会在逐帧更新中累积,使得跟踪效果逐渐变差.针对以上问题,本文提出一种自适应更新学习率的方法,对跟踪器进行更新学习.其主要思想是首先设定一个固定阈值,然后计算当前帧跟踪结果的可信度和以往最佳可信度的比值,假如当前帧的目标特征可靠性强,则该比值高于固定阈值,此时需要初始化的固定学习率更新跟踪器即可;反之,若提取到的目标信息可靠程度较低,比值也会相应降低,需要根据当前帧的实际采集情况计算自适应学习率对跟踪器进行更新.自适应学习率的计算3个因素决定,分别是前一帧视频序列的响应情况、当前帧的响应情况和响应峰值,学习率计算方式定义为:

η=φ1ρ+φ2rmax

(17)

公式(17)中学习率η的计算由两项组成,其中φ1和φ2代表两种相异的权重参数,第1项中τ代表前后两帧间的平均峰值波动比,第2项中的rmax表示当前帧响应的最大值.如果有遮挡目标的情况出现,使得当前帧的波动状况比较强烈,且τ和rmax的值会受到影响而降低,最终导致学习率也相应减小,这样当面对当前帧的目标干扰信息时,跟踪器能够有效降低性能;若相反,则可以极大地提高跟踪器的性能.τ的计算结果定义为:

(18)

(19)

(20)

公式(18)中,Reo代表当前帧视频中各个像素位置的响应值相加的结果,Rpre_eo则对应表示前一帧响应图中各个像素的响应值和,公式(19)和公式(20)分别表示了这两个变量的计算过程,两个公式中的(w,h),(w1,h1)则分别代表当前帧和前一帧计算得到的概率响应图的尺寸大小,ri,j则是响应图中像素坐标(i,j)处的响应数值.

本文的跟踪器模型设置了相互独立的两个滤波器模型,分别为定位滤波器模型和尺度滤波器模型,所以在对模型更新时,两个滤波器模型也是独立更新.以测试序列的第t帧为例,跟踪器的更新方式为:

β=(1-η)βt-1+ηβt

(21)

χ=(1-η)χt-1+ηχt

(22)

式中β表示定位滤波器模型,χ表示尺度滤波器模型.

4 实验结果及分析

4.1 实验参数设置及数据

为了有效地验证本文的跟踪性能,选取标准测试数据集OTB100中包含遮挡属性的视频序列进行实验.实验中跟踪性能的评估标准为跟踪准确率,跟踪成功率以及跟踪速度,采用OPE(one-pass evaluation)评价准则来计算跟踪的准确率和成功率.跟踪准确率(DP)是真实框中心与目标预测框中心的位置误差小于像素阈值的视频序列占视频总序列的比重;跟踪成功率是目标预测框与真实框的重叠率高于像素阈值的视频序列,占据视频总序列的比重,重叠率表示预测框与真实框的重叠面积与总面积之比.跟踪速度(FPS)表示跟踪器在1秒时间读取的序列帧数.在本文中准确率阈值设置为20个像素,同时设置成功率阈值为0.5.

4.2 实验结果与分析

选取7种近年来主流的表现较好的跟踪方法,与本文提出的跟踪算法作对比,从跟踪准确性和时效性两个方面进行跟踪效果对比,这些方法分别是fDSST[15]、SAMF[10]、SRDCF[13]、BACF[19]、STRCF[20]、STAPLE[11]、ECO[15].在这些方法中,有相关滤波方法,也有基于相关滤波的改进方法和深度学习方法.

4.2.1 准确性分析

在本文实验过程中,为了使自适应更新模型在自适应更新学习率的过程中,有更多的有较为可靠的历史数据参考更新,因此在OTB数据集所有包含遮挡属性的序列中,去除了遮挡不明显和视频序列较短的序列,选择42个包含遮挡属性的序列进行实验测试,对比不同方法之间的距离精确度和重叠跟踪率.表2和表3分别给出了8种方法在部分序列上的跟踪精确度和跟踪成功率.表中不同的数据集有不同的属性,涵盖变化的尺度(Scale Variation,SV)、遮挡(Occlusion,OCC)、光亮变化(Illumination Variation,IV)、形变(Deformation,DEF)、背景杂波(Background Clutter,BC)、平面外部旋转(Out-of-Plane Rotation,OPR)、平面内部旋转(In-Plane Rotation,IPR)以及快速运动(Fast Motion,FM)[21]等各种情况.

表2 不同方法的跟踪精确度的对比(%)

表3 不同方法跟踪成功率的对比(%)

结合表2和表3中的数据可以看出,本文虽然在每个序列的跟踪精确度和准确率方面不一定是最优的,但是总体表现较为稳定.在背景因素简单有遮挡的序列能够达到与其他方法相同的效果,在背景因素复杂有遮挡的序列,依然能够表现出较好的跟踪性能,精确度和成功率在数值上没有出现较大的波动,进一步表明本文稳定性较高.

表4列出了8种方法在所有具有遮挡属性序列的平均DP和平均OP,其中排在前3名的依次是ECO、本文和STRCF,对应的跟踪精度曲线和成功率曲线如图5所示.图5(a)、图5(b)两图的横轴分别代表位置误差阈值和重叠阈值,纵轴均表示符合设定条件的帧数占视频总帧的比重.

表4 8种跟踪算法平均跟踪性能比较

图5 8种跟踪算法在OTB-100遮挡序列上的精确率和成功率对比

结合表4和图5中的曲线图可以看出,本文提出的方法在跟踪精确度上与ECO方法相比,下降了9%左右,略优于STRCF方法.在跟踪成功率上,仅次于ECO方法,有4%左右的降低,但优于其他6种方法.相比于同样是使用特征融合进行跟踪的Staple算法,在跟踪精确度和成功率上分别提高了7%和9%.与本文的基础框架fDSST算法相比,精确度和成功率都有较为明显的提高.综上所述,表明提出的方法相比于深度学习方法,在精确度和成功率上有一定差距,但是多数情况下,依然展现出了较好的跟踪效果,可以准确地、稳定地跟踪目标.相较于针对遮挡的STRCF方法,本文中的遮挡重检测机制和自适应更新机制能够有效的克服遮挡对模型的影响,对目标进行稳定地跟踪.结合表2和表3来看,与同样采用多特征融合跟踪的Staple方法相比,本文方法有效地提高了跟踪的成功率和精确度.同时虽然本文中的跟踪滤波器是基于fDSST算法基础上的改进,但是很大程度上提升了跟踪性能,为更直观地展示不同算法的跟踪效果对比,选择具有代表性的视频序列进行可视化,跟踪效果的对比如图6所示.

图6 8种跟踪方法在部分序列上跟踪结果

Basketball序列中目标存在遮挡、光照变化和快速运动属性,在第5帧到第489帧的跟踪过程中,跟踪的目标快速运动并被不同的干扰目标遮挡,部分方法出现了跟踪漂移,尤其在第661帧时,目标被相似干扰物遮挡后,SAMF方法丢失目标,被相似目标吸引,导致跟踪失败.本文在该序列目标被遮挡且快速移动时,一直能准确地跟踪目标,表明本文对于快速运动的遮挡目标有跟踪鲁棒性.

在对序列Box的跟踪时,跟踪目标均存在大面积遮挡和消失的情况,对于Box序列,在目标尺度变化和轻微遮挡的情况下(10、321帧),8种方法都能成功地跟踪到目标,但当目标被遮挡的范围较大和消失时(462、575帧),部分跟踪器丢失目标,最终在1161帧时,只有本文和ECO方法准确地跟踪到目标.本文的遮挡重检测机制,在目标被大面积遮挡和消失时,扩大搜索区域并降低模型的学习能力,有效地避免了因遮挡目标丢失的情况.

Human3序列中存在遮挡和尺度变化的属性,在第5帧到第100帧的跟踪过程中,Staple、SRDCF以及fDSST方法由于目标被遮挡,学习到错误的信息更新模型,导致跟踪漂移.目标在持续运动中(878、1445帧)ECO方法和BACF方法在尺度上均有不同程度的漂移,不能精确地定位目标的位置.本文通过当目标被遮挡时,自适应更新目标模型的机制,有效地克服了目标在非理想状态下的更新,保证了模型对目标描述的准确性.

Girl2序列中具有完全遮挡以及运动模糊的属性.在目标被遮挡时(123帧),除本文和ECO方法外,其余方法由于逐渐累积更新错误的目标信息,最后被遮挡物吸引,不能正确地跟踪目标.在第260帧到第1500帧的过程中,STRCF方法虽在目标被遮挡时,已经发生了严重的漂移现象,但是由于目标重新运动至其搜索区域中,最终仍成功跟踪了目标,只是这种情况具有一定的偶然性.在对目标的整个跟踪过程中,最终仅有本文与ECO方法能够实现对目标稳定的跟踪,其中ECO方法在目标被遮挡重现过程中,也发生了轻度的漂移现象,进一步说明了本文的遮挡重检测以及自适应更新机制,对于遮挡目标的跟踪的鲁棒性.

4.2.2 时效性分析

对跟踪方法的性能评估标准除了跟踪准确性之外,跟踪的时效性也是一个重要指标.不同算法的跟踪速度对比结果见表5和表6.其中表5展示的是8种方法在部分序列的跟踪速度,表6则给出了各方法在所有具有遮挡属性序列的平均跟踪速度.

表5 不同方法在实验图像序列上的跟踪速度

表6 8种跟踪算法平均跟踪速度比较

结合表2、表3和表5中数据可以发现,本文虽然在有些序列上的跟踪效果略低于其他算法,但是在跟踪速度上,提出的方法相较其他算法有较为明显的优势.尤其是ECO算法,其跟踪速度不能较好地满足实时性的要求,本文在跟踪速度上具有较大优势.在表4和表6的数据中可以看出,虽然ECO方法在距离准确度和跟踪成功率上都略优于本文,但是其跟踪速度较慢,跟踪时效性较差.STRCF方法与本文在精确度和成功率上效果相当, 但是本研究在跟踪速度上明显优于该方法.由于本文二次融合特征且加入了遮挡重检测机制,因此在跟踪速度上相较fDSST方法和Staple方法有一定的降低,但本文的跟踪速度可以达到实时效果,并且跟踪准确率比这两个方法更高,跟踪性能更好.

5 结 论

本文的遮挡判别下自适应融合更新的相关滤波跟踪算法,主要思想是提取两种基础特征进行两次融合,得到不同种融合特征,选择最优的融合特征去跟踪目标,并对跟踪结果做出判别和评估.通过遮挡重检测机制与自适应更新策略相结合,有效的解决了目标被遮挡跟丢目标的问题和固定学习率更新策略的错误累积问题,实现对目标稳定准确的跟踪.实验结果表明,本文兼顾跟踪精度和跟踪速度,具有一定的跟踪鲁棒性和较高的跟踪准确率,尤其在处理遮挡目标的跟踪,跟踪精确度和成功率分别为0.817和0.767,且跟踪平均速度为40.1帧/s,能够满足实时性的要求.下一步的研究重点为优化计算方式,进一步提升算法的跟踪速度.