核相关滤波跟踪方法研究

摘  要：核相关滤波跟踪方法作为一种效果较佳的目标跟踪方法得到了广泛应用。本文介绍了基于前景和基于背景的两类目标检测的特点，以及目标跟踪的相关知识。重点以核相关滤波跟踪方法为主，详细介绍了该方法的特点、算法实现，包括相关滤波、构建岭回归模型、构造循环样本和核函数映射，讨论了其性能优势以及算法设计开发中的数据集。多通道和输入梯度直方图等特征使核相关滤波跟踪方法获得了效率高、速度快、识别能力强、稳定性高的特点。

关键词：核相关滤波;目标跟踪与检测;核函数;岭回归模型

中图分类号：TP391.41      文献标识码：A 文章编号：2096-4706（2019）10-0014-03

Abstract：As a better method of generating target tracking，kernel correlation filter tracking has been widely used. This paper introduces the characteristics of two kinds of target recognition based on foreground and background，and the related knowledge of target tracking. This paper mainly focuses on of kernel correlation filtering tracking. The characteristics and algorithm implementation of this method are introduced in detail，including correlation filtering，ridge regression model，cyclic samples and kernel function mapping. Its performance advantages and data sets in algorithm design and development are discussed. The features of multi-channel and input gradient histogram make the kernel correlation filtering tracking obtain high efficiency，fast speed，strong recognition ability and high stability.

Keywords：kernel correlation filtering;target tracking and detection;kernel function;ridge regression model

0  引  言

目標跟踪是一个具有挑战性的问题。由于对象的突然运动、对象和场景的外观模式的变化、非刚性对象结构、对象到对象和对象到场景的遮挡以及相机的运动，跟踪对象可能会出现困难。

通过图像追踪，可以实现诸如交通监管、靶场演练、人流分析等诸多实际功能。在具体应用领域，目标跟踪可用于工业制造、航空航天、通信工程、机器人视觉、视频和多媒体系统等诸多领域。可以看到，目标跟踪是一块涉及多学科、功能强大、与人们生活息息相关的研究领域。广泛的应用领域也使得目标跟踪受到了更多人的关注，并使其拥有了越来越高的研究价值。而对目标跟踪技术的进一步认识与研究也决定着未来智能社会的发展步伐。

1  目标检测

目标检测将所关注的目标与其周围的不相关目标以及背景相分离，通过不同的分割算法可实现多种效果不同的分割方式，进而实现多种性能不同的目标检测方式[1]。目标检测可分为基于背景的目标检测与基于前景的目标检测两大类[2]。其中，基于前景的目标检测有着识别效果好、不易受环境影响的优点，核相关滤波算法就属于此类。但基于前景的目标检测同样也有着训练难度大、目标形变对结果影响大等诸多处理上的困难。与此同时，基于背景的目标检测有着不用大量数据训练、识别速度快等优点，但其缺点是识别环境单一，背景的变化与扰动容易对其造成较大影响。在实际应用过程中，要兼顾效率与准确性两方面，对于具体问题应用合适的方法进行处理。

2  目标跟踪

目标跟踪是物体围绕一个场景运动时在图像平面中形成的轨迹，目标跟踪的过程是在每一帧图片中定位目标，并将目标在多帧图片中连接起来，从而形成一个连续的运动轨迹。

在相关滤波方面比较著名的算法有利用循环结构的核跟踪检测算法CSK[3]（下称CSK算法）、基于自适应选择颜色属性的实时视觉跟踪算法CN[4]（下称CN算法）、时空上下文视觉跟踪算法STC[5]（下称STC算法）、核相关滤波跟踪算法KCF[6]（下称KCF算法）等等，均可以满足实际应用中目标跟踪的需求。

3  核相关滤波跟踪方法（KCF）

核相关滤波跟踪方法是近些年提出的一种新的目标跟踪方法。它是在CSK算法之上的一种改进算法，与CSK算法内核基本相同，但输入的图像从原来的单通道灰度特征换成了多通道特征，并支持输入梯度直方图特征（HOG）。其具有效率高、速度快、识别能力强等诸多优点。与绝大多数跟踪算法的核心相同，核相关滤波跟踪方法的目的是训练一个具有判别能力的分类器，然后利用该分类器将目标和背景环境区分开来。相较于一般滤波方法，核相关滤波引入了核函数[7]和岭回归模型[8]，这使得核相关滤波具有更快的速度和更高的稳定性。同一般的神经网络训练方式一样，在核相关滤波跟踪方法训练分类器时，也需要经过设定损失函数、求损失函数最小值、梯度下降等一系列步骤。通过训练得到的分类器便可用于识别图像中特定的目标。

3.1  相关滤波

相关滤波[9]是将信号处理中相关性（correlation）的性质应用在图像处理中的一种处理方法。其主要思路是设计一个相关滤波器，该相关滤波器是对图像中所关注的目标进行区域取样形成的。可知，图像中所有与该滤波器大小相等的区域与滤波器作相关操作之后，和相关滤波器最相似的区域得到的值最大，而该区域即为关注的目标所在位置。利用相关滤波器的这一特征可设计出用于实现核相关滤波的分类器。

在目标跟踪领域，相关滤波的具体操作是首先从输入的第一帧中提取出要跟踪的区域的特征。然后对分类器进行训练，得到一个适用于该目标的分类器;之后对于输入的每一帧，首先从图像中裁剪下预测的区域，并对该区域进行特征提取，将提取到的特征由FFT转换到频域中与分类器相乘，再将结果进行IFFT，获得最大响应点的位置即为目标所在位置。最后再用这个新位置进行下一轮的“训练+检测”，直到目标跟踪完毕。

3.2  岭回归模型

同最小二乘法的无偏性特点不同，岭回归法的核心是一种有偏的回归方法，是对最小二乘法的一种改进。岭回歸模型的表达式为：

式（1）中x表示样本，y表示样本对应的标签。可以看出，岭回归模型是在最小二乘法的基础上增加了末尾的一项偏置。该式的目标是训练得到参数w，通过矩阵计算可得该最小化问题的解析解为w=（XTX+λI）-1XTy。

岭回归模型放弃了最小二乘法的无偏性，以降低精度、损失信息为代价获得更为符合实际的回归系数，进而构造更可靠的回归函数。岭回归的目的是找到一个在样本数据中使方差和误差均保持在可接受范围内的一个权衡点。一般来说，拟合的误差值越大，参数w的各个元素的方差越低;拟合的误差值越小，参数w的各个元素的方差越高。从拟合效果上来讲，岭回归模型对病态数据的拟合程度要优于最小二乘法，并且良好地预防了过拟合问题。

3.3  循环样本的构造

由于分类器在训练过程中需要大量的样本数据，但在目标跟踪的分类器的训练过程中，一般的数据对于训练达不到很好的效果。为了提高训练的效率以及精确程度，在核相关滤波跟踪算法中利用循环矩阵生成训练集。利用线性代数以及矩阵分析中的知识可知循环矩阵的生成可由左乘一个单位矩阵或右乘一个单位矩阵完成，其中左乘是行变换，右乘是列变化，这样做目的是得到更多的样本。因为每乘一次都能得到一个新的样本，这样就可以由一张原始图片生成出n*n个样本，这也是循环矩阵在该算法中最大的用处——增加样本的数量。而在循环样本的边缘会比较明显地带有人造样本痕迹，可以通过应用余弦窗和增加padding来缓解该缺点。

由定理可知，所有的循环矩阵都可以通过快速离散傅里叶变换将其对角化。所以在训练的过程中，可以利用该性质大大减少运算时间，通过循环矩阵的对角化可快速求得分类器参数w的值，这也是循环矩阵在该算法中的又一大优势。

3.4  引入核技巧

核函数（Kernel Function）是支持向量机（SVM）中的重要组成部分，它可以表示为将输入空间映射到高维特征空间的一个非线性变换φ（x）。核函数可表示为K（x，y）=，其中x和y是n维空间中的输入值，f（·）是从n维空间到m维空间的映射，表示f（x）和f（y）的内积。通过核函数的处理可以不必在高维空间内进行繁琐而复杂的计算，只需在低维空间内计算相应的核函数K的值便可实现简化计算的目的。甚至在解被映射到无限维空间而无法求解时，核函数也能将其在有限的n维空间内计算得解。

由定理可知，对于任意一个置换矩阵M，若核函数满足K（x，y）=K（Mx，My），可证明该核矩阵K具有循环结构。通过该定理，可以确定满足上述性质的核函数，如高斯核函数、线性核函数、多项式核函数等。在具体问题的处理过程中，要经过对实际情况的分析，选取合适的核函数进行处理。

在对岭回归模型得到的分类器f（z）进行核函数映射时，可表示为：

通过矩阵计算可得上式的解为α=（K+λI）-1y（其中K为核矩阵，α为αi构成的向量），因为核矩阵具有循环结构，所以经过化简运算处理后，可得最终结果为 。至此，得出了分类器的最终表示形式。

4  结  论

在算法设计开发的过程中，数据集作为必不可少的参与部分也应得到相应的更新。OTB50[10]、OTB100[11]等数据集已经被广泛使用。但不可否认的是，在OTB50数据集公开之后，许多论文中的算法存在着依靠数据集调参的情况，这将使算法不具有泛化能力且不利于科研的发展。类似于VOT竞赛中每年更新的数据集给了不同算法之间公平竞争的平台，但这样的数据想要应对未来的发展还是远远不够的，需要更多能够走出实验室在实际生活中稳定应用的目标跟踪方法来适应社会的发展节奏。

参考文献：

[1] Yilmaz，Alper，Javed，Omar，Shah，Mubarak. Object tracking：A survey [J]. ACM Computing Surveys，2006，38（4）：13.

[2] 尹宏鹏，陈波，柴毅，等.基于视觉的目标检测与跟踪综述 [J].自动化学报，2016，42（10）：1466-1489.

[3] João F. Henriques，Caseiro R ，Martins P ，et al. Exploiting the Circulant Structure of Tracking-by-Detection with Kernels [M]// Computer Vision–ECCV 2012. Springer Berlin Heidelberg，2012.

[4] DANELLJAN M，KHAN FS，FELSBERG M，et al. Adaptive Color Attributes for Real-Time Visual Tracking [C]// Computer Vision and Pattern Recognition （CVPR），2014 IEEE Conference on. S.l.：s.n.，2014：1090-1097.

[5] Kaihua Zhang，Lei Zhang，Qingshan Liu，et al. Fast Visual Tracking via Dense Spatio-temporal Context Learning [M]. Cham：Springer International Publishing，2014：127-141.

[6] Henriques J F，Rui C，Martins P，et al. High-Speed Tracking with Kernelized Correlation Filters [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence，2015，37（3）：583-596.

[7] Bernhard Schölkopf. Advances in Kernel Methods-Support Vector Learning [M]// Advances in kernel methods：support vector learning. MIT Press，1999.

[8] HOERL A E，KENNARD R W. Ridge regression：Biased estimation for nonorthogonal problems [J]. Technometrics，2000，42（1）：80-86.

[9] Bolme D S，Beveridge J R，Draper B A，et al. Visual object tracking using adaptive correlation filters [C]// Computer Vision & Pattern Recognition. 2010.

[10] Wu Y，Lim J，Yang M H . Online Object Tracking：A Benchmark [C]// 2013 IEEE Conference on Computer Vision and Pattern Recognition. IEEE Computer Society，2013.

[11] Wu Y，Lim J，Yang M H. Object Tracking Benchmark [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence，2015，37（9）：1834-1848.

作者簡介：孟祥瑞（1997.10-），男，汉族，河北张家口人，本科在读，研究方向：图像处理、人工智能。