多特征融合和尺度估计的战斗机跟踪算法研究

王倩楠， 李东兴， 杜文汉， 钟 欣， 常君杰

(山东理工大学机械工程学院，山东 淄博 255000)

0 引言

目标跟踪技术可以理解为对视频中的目标进行定位和跟踪，并在后续视频帧中提供完整的目标区域。近些年来，目标跟踪算法的发展十分迅速，然而在对背景复杂的目标，尤其是对执行空战、对地打击作战等复杂任务的战斗机进行跟踪时，由于战斗机尺度变化、背景遮挡以及图像模糊等干扰的影响，对战斗机进行实时且准确的定位与跟踪仍是十分严峻的挑战。

BOLME等[1]在目标跟踪领域内最早应用了相关滤波算法，提出了最小均方误差和滤波器(Minimum Output Sum of Squared Error，MOSSE)算法，提取目标的灰度特征来进行目标跟踪，此算法的跟踪速率高，但准确性不够。基于MOSSE算法，HENRIQUES 等[2]引入了采用循环矩阵进行稠密采样和核技巧的核循环结构(Circulant Structure of tracking-by-detection with Kernel,CSK)算法;不久,高鲁棒性、高速度的核相关滤波(Kernel Correlation Filters，KCF)算法[3]也被提出，它通过提取方向梯度直方图特征(Histogram of Oriented Gradient,HOG)进行跟踪，该特征为多通道特征。DANELLJAN等[4]在以往算法的基础上增加了尺度滤波提出了跟踪器(Discriminative Scale Space Tracking，DSST)算法，首先，提出了分别建立平移检测模型和尺度检测模型，使其各自进行训练和优化的方法;之后，又提出颜色名(Color Name，CN)跟踪算法[5]，该算法对颜色特征的鉴别能力较强，然而,若是目标被遮挡，也会发生跟踪漂移的情况。

为了避免上述传统算法存在的问题，提高对目标战斗机跟踪的鲁棒性，本文基于核相关滤波算法提出了一种将多个特征进行融合[6-8]的改进算法，特征为传统特征与卷积深度特征，传统特征包含CN颜色名特征以及LBP纹理特征[9],同时,在对战斗机的尺度变化情况进行估计时，提出采用尺度滤波器。模板更新时，引入旁瓣比的概念对是否发生遮挡进行判断，保证模板更新的准确度。

1 相关算法改进

1.1 特征融合

CN颜色名特征经过概率映射的方法使图像从最开始的3维RGB空间转换为11维的颜色特征空间，任一像素点处的RGB值映射成11维的概率分布矢量，并作为特征展示。在战斗机飞行过程中的光照变化、背景复杂等情况下，CN特征性能卓越。然而在旋转、遮挡等因素的干扰下，CN特征达不到准确跟踪目标的要求。基于弥补缺陷的考量，改进算法将CN特征、LBP特征和深度卷积特征进行融合。

LBP是用于描述图像局部纹理信息的算子。中心点周围3×3邻域内的8个点与其进行比较可生成一个8位二进制数，即可得到中心点处的LBP值，用来表达唯一表征局部纹理特征，表示以(xc,yc)为中心的局部区域纹理特征，即

(1)

式中：p为像素个数；r为邻域半径;gi为邻域像素；gc为中心像素；

(2)

卷积神经网络(Convolutional Nural Network,CNN)归类于人工网络的一种，可以直接将图像输入网络，自动进行特征的提取，该网络对特征平移、特征缩放和扭曲具有高度不变性的优势。VGGNet模型[10]在诸多迁移学习任务中表现优越，其广泛应用于图像分类[11-12]，从视频图像中提取深度卷积特征，VGG网络为首选，因而本文选用VGGNet模型提取深度特征。

CNN提取特征时，浅层卷积包含较多的空间信息，可对目标进行精确定位，但不能应对较大的目标外观变化；深层特征中含较多的语义信息，对目标形状的变化较为敏感,但其因空间分辨率低而使得定位精度低，深度特征的优势不能得到发挥。所以本文采用conv1和conv5进行目标特征的提取，优势互补。因特征参数不同，采用双线性插值算法对特征图进行运算处理。

为避免背景杂波等无谓信息的影响，对特征进行方差筛选[13]，即

(3)

式中:Fm,n为当前通道的特征值;Fave为当前通道特征的平均值。

本文的特征融合方式为先串行后并行[14]，先将LBP纹理特征和CN颜色特征进行融合得到响应特征图，再将得到的特征图同卷积深度特征图融合，得出最终的融合特征作为核相关滤波算法的输入。

1.2 尺度滤波器

(4)

经过计算得最优滤波器模型后，进行战斗机位置检测时，提取其不同维度特征z，求对应的频域Zl,通过Parseval公式在傅里叶域内求解得计算特征与滤波器的相关值为

(5)

式中，y所得最大值对应的尺度为最终战斗机的尺度结果。

1.3 模板更新

目标所处环境等的复杂变化会影响目标模板的准确度，判断目标的模板是否需要更新时，采用峰值旁瓣比(Peak Sidelobe Ratio，PSR)[1]作为标准，即

(6)

式中：ymax,ymin分别为图像响应的最大、最小峰值;mean(·)为求括号内的均值;ym,n为(m,n)处的响应值。计算值大于阈值，表明目标处于正常环境运行，目标信息受影响较小，更新模板；计算值小于阈值，说明当前目标受遮挡，跟踪框含较多错误信息，不更新目标模板。

2 结果分析

为综合、直观地评价算法性能，本文以2个指标为标准判断：1) 4种算法在测试集的不同场景下的跟踪精度；2) 判断指标为各算法在测试集不同场景下跟踪的成功率情况[15]。测试集的各挑战类别[16]如下：光照变化(Illumination Variation，IV)，即目标区域的光照变化显著；尺度变化(Scale Variation，SV)，即镜头相对目标距离变化导致目标尺度变化；目标遮挡(Occlusion，OCC)，即目标的部分或者整体被遮挡；形变(Deformation，DEF)，即目标表观形态变化与第一帧差距过大；运动模糊(Motion Blur，MB)，即获取的视频帧像素退化；快速运动(Fast Motion，FM)，目标变化位移量大于20个像素点；平面内翻转(In-Plane Rotation，IPR)；平面外翻转(Out-of-Plane Rotation，OPR)；超出视野(Out of View，OV)，即目标的部分区域消失；背景杂乱(Background Clutters，BC)，背景包含同目标相差不大的颜色和纹理特征；低分辨率(Low Resolution，LR)，即边界框内像素点个数少于400。算法的参数设置：正则化参数τ=0.01，模型更新率η=0.025。

为了更清晰地验证本文算法是否有效，选取KCF算法、DSST算法以及MOSSE算法等3种算法进行对比情况分析，从准确性和效率性2个指标进行定量和定性分析。

2.1 定量分析

将本文算法与3种对比算法在测试序列上进行实验，得到图1所示的算法跟踪精确度及成功率图。

图1 在测试集上测试的跟踪精确度和跟踪成功率Fig.1 Tracking accuracy and success rate on the test set

图1显示位置误差阈值的范围为0～50，当阈值为20时，本文改进算法的精确度为77.6%，与排在第二位的KCF算法进行比较，其精确度提高了5.5%。图2所示跟踪成功率曲线图，重叠阈值的范围为0～1，当阈值为0.5时，本文改进算法的成功率为73.3%，比KCF算法提高了3.5%。综上可知，与其他传统主流算法对比，本文算法不论是在跟踪的精确度还是在跟踪的成功率方面，都表现十分优越。

表1列出了4种算法在不同场景属性下的跟踪精确度与成功率对比情况。

由表1可知:本文算法在IV,DEF,FM,IPR,OPR,OV,BC,LR属性下跟踪精确度排名均为第一，优于其他的相关滤波算法；在SV,OCC,MB这3个属性下排名第二；本文算法在不同场景下的跟踪成功率情况，除了在BC属性表现一般，其他属性均为最优。

表 1 4种算法在测试集不同场景下的跟踪精确度和成功率汇总表Table 1 Summary of tracking accuracy and success rate of the four algorithms in different scenarios of the test set

2.2 定性分析

选取了6组直观且具有代表性的视频测试序列用于分析改进算法与对比算法的跟踪效果情况，测试结果如图2所示。

图2(a)所示为战斗机在滑行过程中被背景物体遮挡，算法不能获得有效的信息。本文算法引入峰值旁瓣比来判断更新目标模板，能够稳定地跟踪目标，KCF算法出现偏移，其余两种算法丢失目标。

图2(b)所示为战斗机即将降落的视频序列，机轮着陆时,战斗机的形态发生较大变化。从图中可直观得出,本文算法的跟踪效果在这几种算法中性能最优。

图2(c)选取的测试序列为2架相同型号的战斗机飞行场景。因2架战斗机的外观以及飞行姿态较为相似，准确跟踪的难度大大提高。结果显示，只有改进算法在飞行过程中能准确地对目标战斗机进行跟踪。

图2(d)所示为战斗机所处环境与战斗机含相似的纹理信息。对比算法在跟踪过程中均发生不同程度的漂移，仅改进算法能够较完整地跟踪目标。

图2(e)所示为在相同的目标背景下，战斗机和相机之间距离变化使战斗机尺度发生变化，KCF,DSST,MOSSE算法的目标框出现不同程度的偏移，改进算法能够较稳定地跟踪目标。

图2(f)所示为战斗机飞行过程中出现翻转的情况，与3种对比算法相比，本文改进算法能够提取较少的杂质信息，持续稳定地跟踪目标。

图2 不同算法跟踪结果展示图Fig.2 Tracking results of different algorithms

3 结论

由于执行任务的特殊性和复杂性，战斗机的运动情况也会存在诸如尺度变化、形变、遮挡、背景杂乱等特点。本文提出的多特征融合和尺度估计的核相关滤波算法将目标战斗机的传统特征和深度特征进行融合,同时添加尺度滤波器以适应战斗机的尺度变化，极大程度地提高了实时性和准确性。定性和定量两方面的实验结果表明，改进算法在对战斗机进行跟踪时呈现较好的适应性和准确性。