联合在线分类的双注意力RGBT孪生网络跟踪

张兆宇，田春娜，周 恒，田西兰

(1.西安电子科技大学 电子工程学院，陕西 西安 710071；2.中国电子科技集团第38研究所 数字技术研发中心，安徽 合肥 230088)

视觉目标跟踪可以确定各种场景下的视频序列中给定目标的位置和大小，是计算机视觉和模式识别交叉领域的一项经典研究课题，在视频监控、自动驾驶和人机交互等方面应用广泛[1-2]。尽管目前相关的研究取得了很大进展[3-5]，但单模态信息的局限性和不确定性影响了跟踪效果[6]，如可见光成像受光照、雨、烟和霾等环境条件的影响较大。红外成像虽受环境影响小，但其成像机理导致红外图像分辨率较低、纹理少，在热交叉条件下目标与背景难于区分等。因此，越来越多的研究转向融合可见光和热红外(RGB/Thermal，RGBT)的目标跟踪方法[7]，旨在利用两种模态的关联和互补信息，降低单模态信息的局限性和不确定性，提高跟踪的鲁棒性。

RGBT目标跟踪算法可分为传统算法、基于相关滤波的算法和基于深度学习的算法。传统算法主要是采用手工特征，如方向梯度直方图(Histogram of Oriented Gradient，HOG)、尺度不变特征变换(Scale-Invariant Feature Transform，SIFT)等，结合卡尔曼滤波[8]、粒子滤波[9]等运动估计算法实现跟踪。相关滤波算法通过滤波模板与目标候选区域特征的相关运算，获得输出响应，根据响应峰值来确定目标位置。ZHAI等[10]提出一种基于交叉模式相关滤波器的RGBT跟踪算法，在跟踪过程中，对每个模态采用相关滤波，然后引入低秩约束来联合学习滤波器，实现模态协同融合。YUN等[11]提出一种判别融合相关学习模型，通过早期估计与晚期融合获得融合学习滤波器，以提高基于判别相关滤波器的跟踪性能。……