复杂红外背景中运动小目标快速跟踪技术

汪嘉鑫，徐贵川，于婷洋，刘正君

（哈尔滨工业大学 仪器科学与工程学院 超精密光电仪器工程研究所，黑龙江 哈尔滨，150001）

引言

红外探测成像技术由于具有灵敏度高、抗电磁干扰能力强、环境适应性好、大动态范围以及全天候工作能力等优势，已被广泛应用于红外制导与红外反导等军事场景中。军事场景复杂多变，目标运动速度快、难以捕获，成像距离远且目标弱小。采用红外弱小目标跟踪算法，可使复杂背景下红外成像技术对目标的检测、锁定、跟踪更有优势。因此，将红外探测成像技术与红外弱小目标跟踪算法相结合，并应用于各种类型现代化军事武器，已成为世界各军事强国竞相研究的热点[1]。

在红外背景图像中，目标占据像素少、对比度低、无具体形状，目标边缘不明显、缺少纹理且呈点状，在跟踪过程中常存在目标遮挡、背景杂波、迅速移动等难题，这些因素增加了红外弱小目标[2]的跟踪难度。通用、高效、鲁棒及实时性好的红外弱小目标跟踪算法未见报道。

目标跟踪算法主要分为生成式方法、判别式方法和基于深度学习方法3类。生成式方法是对跟踪目标建立表观模型，在下一帧图像中选取相似度最大区域定位，代表算法有卡尔曼滤波[3]、粒子滤波[4]、均值漂移[5]等。判别式方法对整张图像进行建模，将目标区域和背景区域划分为正负样本，训练分类器将目标和背景进行区分。相关[6]、多示例学习[7]、随机森林[8]等属于判别方法。现有判别式方法多用于可见光大目标情况，不适用红外场景中小目标跟踪。主要原因是可见光成像与红外成像的图像特性差别大，选取适用于红外目标的模型非常关键。深度学习目标跟踪算法因独特的深度特征、稳定的跟踪效果、弱边界效应等优点备受关注，主要有结合深度特征的相关滤波算法和互补孪生网络[9]（siamese networks，SN）框架的跟踪算法。由于弹载平台中计算单元受散热、空间、功率等限制，高性能GPU往往无法配置，只能使用计算性能有限、体积小、功耗低的嵌入式设备，硬件上无法满足深度学习算法的要求，因此深度学习方法不适用弹载情况。

本文兼顾跟踪精度与运算速度，以判别尺度空间跟踪算法[10]（discriminative scale space tracking，DSST）为基础，根据红外小目标与邻域像素无关联和结构差异的特点，采用广义结构张量特征提取算法，可有效反映目标区域灰度突变特性和目标形状信息，提高算法鲁棒性。对模型更新策略进行改进，引入平均峰值相关能量指标，根据跟踪结果的置信度自适应更新目标模型，避免模型受到错误样本污染，提高模型的稳定性。实验结果表明改进后的方法更有优势。

1 判别尺度空间跟踪算法

判别尺度空间跟踪算法是一种在视觉跟踪中精准的尺度估计方法。通过多维特征的判别相关滤波估计目标位置，增加尺度滤波器估计目标尺度信息。该算法具有效率高、适用性强、性能优良、可移植性高等优点，分为位置滤波器和尺度滤波器，两个滤波器相互独立。当样本提取多特征m∈{1,···,d}时，构造最优滤波器可表示为

式中：g是 通过训练f得到的理想输出；参数 λ为正则项系数；“*”表示卷积。根据Parseval定理，（1）式转换到频域为[10]

式中：n为所有的频率分量；角标c表示取矩阵的复共轭和转置。进而推导出：

在跟踪目标第一帧时，可将上述方程写为

式中参数 λ为正则项，能够消除f频谱中零频分量影响，避免分子为零。由于求解d×d线性方程非常耗时，为获得鲁棒性的近似结果，对和Bt进行单独更新：

式中 η为学习率，对于新一帧M×N的样本Z，目标位置最大响应为

除目标精确定位外，判别尺度空间跟踪算法还提出快速动态尺度估计，在每帧图像中，尺度均更新为最优值，将位置滤波和尺度滤波组合达到更好跟踪效果。二维位置相关滤波用于确定目标新坐标，一维尺度相关滤波用于计算最优尺度，后对和Bt更新。其流程主要包括样本获取、特征提取、目标定位、模型更新。

2 改进的目标跟踪算法

红外弱小目标图像具有像素少、对比度低、无固定形状和纹理、边缘不明显等特点，在特征提取时难度极大。判别尺度空间跟踪算法虽能提取目标的多维纹理特征，但跟踪效果往往不佳。难以找到合适的红外弱小目标特征提取方法，是现有红外弱小目标跟踪算法跟踪不稳定的主要原因。本文基于判别尺度空间跟踪算法，从目标特征提取和模型更新两方面对原有算法进行改进，新的目标跟踪算法如图1所示。目标特征提取采用广义结构张量表征图像局部结构差异性，从图像方向和结构方面有效降低梯度信息对噪声敏感性。广义结构张量可同时利用目标灰度突变特性和形状信息。模型更新采用自适应模型更新策略，根据目标外观模型变化程度和跟踪结果可靠性，降低更新频率，避免错误样本污染正确的模型，抑制跟踪漂移。

图1 改进的目标跟踪算法流程图Fig.1 Flow chart of improved target tracking algorithm

2.1 基于广义结构张量的红外弱小目标特征提取算法

在红外图像中，目标区域周围像素梯度较大。目标可视为高频率瞬态冲激信号，呈现高斯结构分布，与邻域像素并不关联。利用目标结构差异，广义结构张量可提取邻域内像素值变化量和图像变化方向，量化表征该像素点邻域内图像信号复杂性[11]，算法计算过程如图2所示。

图2 广义结构张量红外小目标特征提取算法原理图Fig.2 Schematic diagram of generalized structure tensor small infrared target feature extraction algorithm

基于张量积的局部正则化[12]，构造2×2结构张量：

式中Dx和Dy是偏导算子。结构张量可等效表达为二阶复数矩形式：

式 中：λmax和 λmin分 别是结构张量S(fL)的最大和最小特征值；φ是主特征向量方向角。

对于整幅图像，广义结构张量的离散形式定义为

式中：h是 复值滤波器；⊗表示卷积算子；fk是离散图像；c是依赖图像灰度级的常量；Гσ1是一阶高斯对称偏导滤波器，其计算式为

式中：g1是 标准方差为 σ1的 二维高斯函数；σ1取值决定有高频作为噪声的范围；xk和yk是连续变量x和y的离散形式。检测具有方向，描述为exp(inφ)的n阶对称模式，相应复值滤波器[13]可通过（14）式计算：

式中：g2是 标准方差为 σ2的 二维高斯函数；σ2决定有效邻域窗口大小。当n=−2为螺旋模式和圆对称模式。红外小目标的形状通常为圆形，外形上显示为亮斑点。因此，红外小目标可看成是圆对称模式，则相应检测滤波器为hσ−22。 处理结果Cr的计算公式[14]为

图3 红外小目标特征提取结果（图片来源于参考文献[16]）Fig.3 Feature extraction results of infrared dim and small targets（images from reference [16]）

2.2 模型更新策略

目标跟踪过程中，目标和背景外观模型会随时间改变。为适应外形变化，滤波器系数和目标外观模型须及时更新。判别式尺度空间跟踪算法将前一帧跟踪结果作为训练样本用于目标模型的更新，但这样做法不可靠，缺乏自适应性，不能充分捕获外观模型变化。当所跟踪目标受到遮挡或完全丢失时，模型仍然正常更新，导致学习到非目标特征，当目标离开遮挡物时，因目标特征与模型不符而导致跟踪失败。因此需要使用鲁棒模型更新方案提高更新模型的稳定性，在模型受到污染时及时恢复模型。

本文引入平均峰值相关能量[15]（APCE），其定义如（16）式：

式中Fmax、Fmin和Fi,j分别代表响应图中最大值、最小值和第i行 第j列元素。训练后模型提取目标特征而得到响应图，在一定程度上体现跟踪结果置信度。当检测到的目标与正确的目标高度匹配时，响应图将包含一个高峰并且其他区域响应值是平滑的。高峰越尖锐，定位精度越高。当不正确样本更新跟踪模型时[1]，模型将被污染，所到响应图存在剧烈震荡。

APCE公式体现响应图的震荡程度和尖锐程度。等式右边的分子部分是最大响应值与最小响应值差值的平方，代表响应图的尖锐程度，分母部分是响应图中各点响应值与最低响应值差值平方的平均值，代表响应图的震荡程度。APCE指标越小，表明目标响应图震荡剧烈、跟踪结果可靠性低，可能遇到遮挡、运动模糊或者目标丢失等情况；取值较大时，置信度越高，表明跟踪结果更可靠。

考虑到经常更新的滤波器模型能体现目标最新的外观变化，而更新频率低的滤波器模型则有着较强的训练鲁棒性，故将快更新模型的强表现性和慢更新模型的强鲁棒性结合起来。在第1帧进行跟踪算法初始化后，保留初始化后的模型hS0T，该模型作为慢模型始终不更新，之后将hS0T和最近的短期目标模型hStT进行凸组合，构成最新目标模型[1]：

其中混合权重 βt=e−αDΔt取 决于混合参数 αD（这里设为1）和最近连续得到的低置信度帧数 Δt。当模型受到污染而导致目标跟踪结果置信度长期较低时，随着低置信度计算结果次数增加，模型通过（17）式将逐渐恢复到未受污染的初始化模型hS0T，保证目标模型从潜在污染中完全恢复；而当模型未受到污染而保持较高的置信度时，则逐渐变为短期目标模型hStT，保持其强表现型。

3 实验结果与分析

3.1 测试数据集及评价指标

本文使用国防科技大学电子科学学院ATR重点实验室回丙伟等所公开的《红外序列图像中小飞机目标检测跟踪数据集》[16]。该数据集包括尺度变化、形变、快速运动、运动模糊、出视野、背景杂乱以及低分辨率等跟踪挑战，有效覆盖目标不确定性和背景复杂性。选取其中8种有代表性的场景进行测试，数据集特征描述如表1所示。

表1 数据集描述Table 1 Data set description

本文实验硬件平台配置Intel（R）Core（TM）i5-8250U CPU @ 1.60 GHz和RAM @ 12 GB的计 算机。采用4种标准评价指标[17]，分别为重叠精度（overlap precision，OP）、目标中心定位误差（center location error，CLE）、距离精度（distance precision，DP）和跟踪速度（frames per second，FPS）。OP值为跟踪目标框与标注目标框的交并比大于给定阈值的帧数占比，本实验设置的阈值为0.8。CLE定义为标注目标框中心与跟踪目标框中心之间的欧氏距离；DP定义为CLE小于给定阈值的百分比，这里设定的阈值为5个像素。我们提供重叠精度曲线图和距离精度曲线图，可反应跟踪算法精度随阈值变化情况。

3.2 不同特征提取方法对比

特征提取对目标跟踪任务至关重要，合理选择特征能显著提高跟踪算法性能。特征描述越本质，外观模型可鉴别性越好，越利于目标跟踪。针对红外小目标的目标特性，像素少、强度弱、对比度低、无固定形状、特征提取困难等问题，本文以判别尺度空间算法为跟踪方法框架，分析6种常用的特征提取方法，对比不同特征提取方法，有纹理特征提取方法[10]（histogram of oriented gradient，HOG）、灰度特征提取方法（Gray）、颜色特征提取方 法[18]（color name，CN）、边缘特征提取方法（Edge）、局部标准差对比度增强方法（local standard deviation，LocalStd）和广义结构张量方法[12]（generalized structure tensor，GST）。测试结果如表2所示。

HOG特征对目标轮廓和表面纹理有良好的描述能力，在可见光、大目标的数据集上表现良好，但不适用于红外小目标的跟踪；Gray特征过于简单、描述能力弱，但在本实验数据集上表现较好，最显著的优点是运行速度快；CN特征可以有效利用颜色信息，对目标形变鲁棒性好，但在红外图像数据集上，颜色信息单一，发挥不出其优势；Edge特征选用Sobel算子对目标的边缘信息进行提取，由于目标过小且在复杂背景下存在巨大干扰，在这里的表现一般；LocalStd方法是在Gray特征的基础上对红外小目标求标准差从而实现目标增强，增大对比度，不过最终的提升效果并不明显。本文所引入的GST方法可有效提高跟踪精度，精度指标显著优于其他几种方法，且运行速度也足够快，适用于红外小目标的快速特征提取，所以将DSST算法中原有HOG特征提取方法替代为GST特征提取方法。

3.3 不同目标跟踪算法性能对比

为证实提出算法的有效性，将该算法与其他7种目标跟踪算法进行对比分析，其他算法分别为：简化特征提取和降低更新频率的ECO[19]（efficient convolution operators）算法；在非线性、非高斯场景下表现优越的PF[20]（particle filters）算法；利用时间正则化近似多幅图像，将多幅图像训练有效简化为单幅图像训练的STRCF[21]算法（spatialtemporal regularized correlation filters）；利用中心区域到边缘区域平滑的滤波器系数约束权重，有效抑制边界效应的SRDCF[22]算法（spatially regularized discriminative correlation filters）；有效解决跟踪过程中目标遮挡问题的ROT[23]（real-time object tracking）算法；利用循环移位构造密集样本，加入正则项防止过拟合的KCF[24]（kernelized correlation filters）算法；构造多个尺度图像金字塔以自适应尺度变化的SAMF[25]（scale adaptive with multiple features）算法。表3为8种目标跟踪算法的性能对比表，给出算法在数据集上的平均CLE、平均DP、平均OP和平均运行速度。表中标注加粗的为最优数据，标注斜体的为次优数据。从数据集测试的结果可以看出：我们的算法在精度上占据绝对优势，精度远高于表现较好的ROT算法，速度上虽然不是最优的，但也可达到315 FPS，在这些方法中排序第2，综合性能最优。这里表3和表2一样，使用同一组实验图像，所以我们方法和GST法的数值相同。

表2 不同特征提取方法性能对比Table 2 Performance comparison of different feature extraction methods

表3 不同目标跟踪算法性能对比Table 3 Performance comparison of different tracking algorithms

为更好展示上述算法在不同场景中的表现，我们给出距离精度（DP）曲线图和重叠精度（OP）曲线图，如图4、图5所示，距离精度设定的阈值范围为0～50像素，重叠精度设定的阈值范围为0～1，图例中的数值为AUC（area under curve），可定量分析算法在不同场景中的表现，AUC值越大，精度越高，跟踪效果越好。在场景4、场景6、场景8中，本文算法在精度稍逊色于PF、ROT、ECO算法，但在速度上有更大优势，特别是ECO在没有GPU加速情况下，只能达到1.9 FPS，无法满足快速跟踪的要求，更难以部署在计算性能受限的嵌入式设备上。在其他场景中，本文算法是最优的，特别是在场景7中，由于目标微弱，背景与目标相近难以区分，本文算法仍能高精度稳定跟踪。

图4 8种场景的距离精度曲线图（图例中的数值为AUC）Fig.4 Curves of distance precision in 8 scenes (values in figure is AUC)

图5 8种场景的重叠精度曲线图（图例中的数值为AUC）Fig.5 Curves of overlap precision in eight scenes (values in figure is AUC)

图6中，我们在每种场景随机选择4帧以展示算法跟踪效果。从图中可看出，所跟踪的目标大多成微弱的点状亮斑，且背景复杂多变，存在与待跟踪目标相近的亮点干扰。特别是场景7中存在大片白色区域，待跟踪目标经过白色区域时肉眼都难以区分，不过本文跟踪算法依然能稳定、准确地跟踪。稳定跟踪效果主要取决于目标的特征提取方法。其他跟踪算法的特征提取方法有HOG纹理特征、Gray灰度特征、CNN神经网络高层抽象特征、CN颜色特征等，但在这些场景中是失效的，这再一次验证了本文广义结构张量特征提取方法的有效性。

图6 8种场景中8种算法跟踪效果Fig.6 8 algorithm tracking effects in eight scenes

3.4 干扰弹数据集测试

军事场景中，敌机会投下干扰弹当作伪目标，背景中也常存在呈现高辐射、高亮度的虚警源。由于成像设备的缺陷、天气环境不确定因素的干扰以及远距离成像造成的能量损耗，导致所拍摄的红外图像常伴有一定程度的“竖线状”噪声。考虑到上述困难情况，我们增加一组干扰弹测试集进行测试。现有公开的红外图像数据集中没有干扰弹数据集。我们制作了250帧大小为256×256像素的干扰弹数据集和竖线状噪声数据集。测试效果如图7所示，可见算法的跟踪效果准确且稳定。从表4的跟踪误差定量分析可知，跟踪结果最大偏差在2像素之内，且速度足够快，充分满足快速跟踪任务需要。

图7 提出算法在干扰弹及竖线状噪声场景下跟踪效果Fig.7 Tracking effect of proposed algorithm in scene of jamming bomb and vertical line noise

表4 干扰弹及竖线状噪声场景下跟踪误差值（均值±标准方差）及时间效率Table 4 Tracking error (mean ± standard deviation) and time efficiency in jamming bombs and vertical noise scenarios

4 结论

针对现有成熟的目标跟踪算法无法适用于红外小目标场景的问题，本文提出一种红外小目标快速跟踪算法，利用广义结构张量算法提取红外小目标特征并与判别尺度空间跟踪算法结合，同时添加自适应模型更新策略，实现高效稳定的跟踪。特别是在相似背景与干扰弹场景下，提出的算法具有显著的优势，运算效率高，计算量小，易于部署在嵌入式计算力受限的装备。