多特征融合的粒子滤波红外单目标跟踪

程文 齐美彬

摘要：提出了一种融合颜色特、边缘特征以及纹理特征的粒子滤波红外单目标跟踪算法。首先，对红外目标进行多种特征提取，并根据不同特征对目标的不同特性，采用权重分配的特征融合策略，在相似似然函数中对目标特征进行加权融合，最后将融合后的特征进行粒子滤波处理，预测粒子运动状态，得到跟踪结果。实验结果表明，算法能克服各种噪声、遮挡等干扰，保证了跟踪的鲁棒性和准确性。

关键词：红外目标跟踪；特征融合；加权融合；粒子滤波

中图分类号：TP751 文献标识码：A 文章编号：1009-3044（2018）14-0178-03

Abstract：A particle filter infrared single target tracking algorithm which combines color features， edge features and texture features is proposed. Firstly， a variety of features are extracted from the infrared target. According to the different characteristics of the target， the feature fusion strategy of weight assignment is used to fuse the target features in the similarity likelihood function. Finally， Filter processing， predict particle motion， get the result of tracking. Experimental results show that the proposed algorithm can overcome various noise， occlusion and other interferences， and ensure the robustness and accuracy of tracking.

Key words： Infrared target tracking；Feature fusion；Weighted fusion；Particle filter

红外目标跟踪一直是计算机视觉领域的研究热点，在交通运输、视频监控、军事侦察等有广泛的应用。相比普通图像，红外图像本身具有特殊性，使红外目标跟踪的难度增加。

红外目标跟踪算法研究主要分为以下两个方面：跟踪算法设计和红外特征描述。经典的红外目标跟踪算法有均值漂移法、光流法、卡尔曼滤波、粒子滤波等。文献[1]采用自适应均值漂移法，简单快速，但是红外目标出现噪声干扰或者被遮挡时，跟踪效果很差。文献[2]采用权重系数的自适应光流法，跟踪效果效果较好，但是受光照影响严重，且算法复杂度高；文献[3]采用卡尔曼滤波和改进的均值漂移结合的算法，跟踪较为快速，但是卡尔曼滤波仅适用于线性、离散和有限系统。文献[4]采用粒子滤波算法进行目标跟踪，鲁棒性高，适用性更广。所以本文也采用粒子滤波作为基本跟踪框架。

红外特征提取方面，由于红外图像特征信息较少，单一特征表达缺乏鲁棒性，容易引起跟踪失效，越来越多的研究者倾向于特征融合处理。文献[5]采用单一特征的粒子滤波得到红外目标图像的跟踪效果，但是效果因为单一特征缺乏鲁棒性受到影响，文献[6]采用融合灰度特征和三帧差分的运动特征的方法进行目标跟踪，但是三帧差分法帧间间隔的选取对运动目标特征的提取影响较大，容易丢失目标信息。本文也采用了特征融合的方法，不同的是，我们在颜色、边缘与纹理三个方面进行特征提取和融合，充分挖掘红外图像的表征特性。

另外，特征融合的方式對最终目标跟踪的结果也起到很大的影响，一般的融合方式没有侧重性，而且容易使融合特征过于复杂，融合特征向量维数较高。本文提出了一种基于权重分配的特征融合策略，在相似似然函数中对目标特征进行加权融合。

1 特征提取

红外目标跟踪研究的一大重点就是特征表达，由于红外图像的特殊性，因此设计出鲁棒性高，表达能力强的特征描述子也成为一大难点。基于此，本文提出了基于多特征融合的红外目标跟踪算法，与其他融合特征算法[7-10]不同的是我们采用了颜色、边缘和纹理三种特征进行融合处理，下面我们将详细介绍三种特征的提取过程。

1.1 颜色特征

由于HSV颜色空间能够更加直观的表达色彩的明暗、色调、颜色程度，我们抛弃普通图像常用的RGB颜色空间，采用HSV颜色空间提取颜色特征。首先对HSV空间中三个颜色分量进行非等间隔量化表示成一维矢量，然后将三个颜色分量进行向量相加合成为一维特征向量：

式中，H，S，V是三个颜色分量，Qs和Qv分别是S和V的量化级数，L是最后得到一维特征向量。

由于直接使用颜色直方图模型鲁棒性较差，跟踪效果往往不佳，所以本文采用常用的颜色核函数直方图，公式如下：

其中r为像素点距离区域中心的距离，则位于y出的像素点颜色分布概率密度函数[py]可由下式表示：

其中n为选中区域像素数，[x0]为区域中心坐标，f为归一化因子，[Hx]和[Hy]分别为区域宽和高，[δhyi-u]为单位冲激，目的是判断像素[yi]处的颜色值是否属于直方图中的第u个单元，等于为1，不等为0。

1.2 边缘特征

由于红外目标边缘特征[11]较为突出，所以第二种特征采用边缘特征，由于canny边缘算法不容易受噪声干扰，能够检测到真正的弱边缘，所以本文选择canny算子计算边缘轮廓，具体特征提取步骤如下：

1）图像灰度化；

2）将图像进行canny边缘算子运算，得到（x，y）点的dx和dy：

3）計算各个像素的梯度值和边缘方向值：

4）将边缘方向值进行量化。

5）将边缘方向值[θ]进行直方图统计并归一化。

1.3纹理特征

红外图像的纹理特征通常不明显，所以容易被大多数研究者所忽略，但是纹理特征仍能表达红外图像的有用信息，文献[12]表明了纹理特征的重要性。本文除颜色和边缘特征外，也提取了纹理特征。

由于LBP算法计算简单，对光照变化等造成的灰度变化鲁棒性强，所以本文直接采用LBP算法提取红外目标的纹理特征。将目标检测窗口划分为16*16小区域，对于每一个cell的一个像素，将相邻8个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0.这样，3*3邻域内8个点经比较可产生8位二进制数，即得到窗口中心像素值的LBP值，用公式表示如下：

其中（x，y）是中心像素点，p是相邻像素值个数，i是中心像素点像素值，[ip]是相邻像素点像素值，s是一个符号函数。

通过公式（9）计算每个cell中的直方图，然后对直方图进行归一化处理；最后将归一化后的直方图进行连接成为一个特征向量即检测窗口的LBP纹理特征向量。

2 多特征融合与粒子滤波

粒子滤波中一个重要过程是求解粒子权重，本文采用相似似然函数来得到最终权重。与一般方法不同的是，我们在求解相似似然函数时加入特征融合过程，详细过程介绍如下。

2.1特征融合

首先将三个特征分量进行各自的似然函数求解，本文采用用来表示初始目标与跟踪目标相似性的Bhattacharyya系数，公式如下：

公式说明，ρ即B式系数，系数越大，表示两个目标相似性越高。然后在将系数ρ代入似然函数中，如式11：

[H0]表示初始目标，即给定的待跟踪目标，[Hi]表示候选目标，公式说明。当结果越大时，目标[H0]与候选目标[Hi]最相似。则由此得到三种特征的似然函数如下：

然后我们需要将三个似然函数进行融合，在融合过程中我们加入权值[α]，[β]，[χ]分别表示颜色，纹理，边缘特征所占比重，权重越大，表示目标对某个特征依赖值大，得到最终目标联合似然函数如下式：

采用梯度下降的权重优化方法对[α]，[β]，[χ]进行权重确定，得到最终的权重值为：[α]=0.5，[β]=0.2，[χ]=0.3。公式（14）最终的结果作为目标跟踪粒子滤波中的粒子权重。

2.2粒子滤波

粒子滤波是从带噪声的数据中估计运动状态的技术，在状态空间中通过传播大量带权离散随机变量近似概率分布并递归。这里的随机变量被形象地称为粒子，当粒子个数趋于无穷时可以逼近任何形式的概率分布。通常视频目标运动状态估计是非线性、非高斯的，粒子滤波由于其独特的优越性被广泛应用于目标跟踪领域。

本文粒子滤波与一般粒子滤波不同的是，在粒子滤波更新阶段，计算融合特征后的联合似然函数，具体采用步骤如下：

1） 初始化阶段，人工标注第一帧图像中的跟踪目标，以其为中心，初始化粒子集，初始所有粒子等权重，具有相同属性；

2） 预测：利用状态转移方程：

转移粒子，得到新的粒子群。其中，A为状态转移矩阵，[wt-1]为高斯噪声。

3） 更新：得到被跟踪目标在当前帧的预测位置，对集合[st]中每一个粒子利用式（11），（12），（13），（14）计算特征对应的联合似然函数，此似然函数即每个粒子对应的权重；

4） 重采样：采用权值优化的重采样法从集合中根据权重重新挑选N个样本；

5） 目标位置估计：由重采样结果估计目标位置；

6） 判断是否结束，不结束则k=k+1，返回步骤二。

3 实验结果与分析

为了证实本文方法的准确性和稳健性，对3视频序列进行了测试，测试视频来自OTCBVS数据库。算法是基于Matlab的编程，电脑配置是Intel（R） Core（TM）i5-6300HQ CPU 2.30GHz，内存8GB。

定义跟踪误差为目标跟踪算法中目标中心点与人工标定中心点之间的距离，即：

其中（x，y）目标中心坐标，[x0，y0]表示人工标定中心点坐标，跟踪误差d越大，表示跟踪效果越差。

第一组实验数据是OTCBVS Dataset03中的第4组，序列图像存在相似干扰。

图1是采用单一颜色特征的粒子滤波和本文算法的跟踪效果图，同一列表示同一个算法的跟踪效果，图2是两种算法的跟踪误差对比，可以看出，单一颜色特征的粒子滤波算法在两行人相遇时会跟错目标，跟踪误差也越来越大，而本文算法不会跟错目标，并且跟踪误差较小并且稳定。

第二组实验数据是OTCBVS Dataset03中的第1组，序列图像存在相似干扰。

图3是文献[6]算法和本文算法跟踪效果比较，同一列表示同一个算法的跟踪效果，图4是两种算法的跟踪误差曲线比较，可以看出本文算法总体跟踪误差比文献[6]算法小，在跟踪经过一段时间后，文献[6]算法跟踪出现偏差，跟踪误差也变大，而本文跟踪误差较为稳定，跟踪效果较为准确。

4 结语

本文根据红外图像的特点，选取具有软相关性、强互补性的颜色特征和边缘特征以及纹理特征，借助粒子滤波的天然框架，克服了单一特征提供信息量少的缺陷，同时克服了目标在遮挡、相似干扰情况下发生的跟踪效果急剧下降缺陷，实验结果表明，本文算法能准确实现目标的跟踪。

参考文献：

[1] 王保云，范保杰.基于颜色纹理联合特征直方图的自适应Mean shift跟踪算法[J].南京邮电大学学报：自然科学版，2013，33（3）：18-25.

[2] 刘洪彬，常发亮.权重系数自适应光流法运动目标检测[J].光学精密工程，2016，24（2）：460-468.

[3] 杨海燕，李春光，刘国栋.基于Kalman滤波和改进的Mean Shift算法的目标跟踪[J].江南大学学报：自然科学版，2013，12（6）：693-697.

[4] 高晶， 孙继银， 吴昆，等. 基于形状特征的红外目标检测方法[J].激光与红外，2013，43（1）：49-53.

[5] 程建， 周越， 蔡念，等. 基于粒子滤波的红外目标跟踪[J].红外与毫米波学报，2006，25（2）：113-117.

[6] 杨智雄， 余春超， 严敏，等. 基于特征融合的粒子滤波红外目标跟踪算法[J].红外技术，2016，38（3）：211-217.

[7] 何玉杰， 李敏， 张金利，等. 基于多特征相关滤波的红外目标跟踪[J].光电子·激光，2015（8）：1602-1610.

[8] 谭乐婷， 谭涛， 张刚园. 基于特征融合与加权的红外目标跟踪研究[J].激光杂志，2016，37（2）：57-60.

[9] 种衍文， 王泽文， 陈蓉，等. 一种多特征自适应融合的粒子滤波红外目标跟踪方法[J].武汉大学学报：信息科学版， 2016， 41（5）：598-604.

[10] 李蔚， 李辉. 多特征融合的优化粒子滤波红外目标跟踪[J].激光与红外，2014，44（1）：35-40.

[11] 郑玉凤，马秀荣，赵晓琳，等.基于颜色和边缘特征的均值迁移目标跟踪算法[J].光电子激光，2011，（8）：1231-1235.

[12] 孙艳丽， 周伟， 李建海. 基于多特征信息融合粒子滤波的红外目标跟踪[J].现代电子技术，2017， 40（13）：9-12.