结合运动特征的目标跟踪方法

周明珠,周治平

(江南大学物联网工程学院,江苏无锡214122)

结合运动特征的目标跟踪方法

周明珠,周治平

(江南大学物联网工程学院,江苏无锡214122)

针对视频跟踪过程中出现的背景干扰、目标遮挡等问题,提出基于多特征融合的均值漂移算法和最小二乘法轨迹预测跟踪方法。为解决背景干扰问题,使用改进的混合高斯模型对背景实施建模,提取运动前景目标,采用提取出的运动信息结合颜色、纹理特征对目标进行描述,在跟踪过程中利用运动信息去除背景噪声的干扰,从而适应背景和目标的变化,得到目标位置,当遮挡发生时,根据目标遮挡前的先验信息预测最小二乘法的目标轨迹,有利于重新捕获目标。实验结果表明,与已有的跟踪方法相比,该方法在复杂背景和遮挡过程中对目标的定位更精确,鲁棒性更好。

背景建模;均值漂移算法;多特征融合;运动信息;最小二乘法

1 概述

视觉跟踪问题是计算机视觉领域中的一个重要问题。将3D视觉投射到2D图像中,图像的噪声、杂乱的背景、复杂目标的运动、部分或者全部遮挡、光照变化等引起信息的丢失,使得视觉跟踪具有挑战性。从目标的全局信息中提取的区域特征,如颜色、纹理、灰度已经广泛用于目标跟踪领域［1］。很多基于颜色、纹理、梯度方向直方图的跟踪算法能够很好地跟踪变化的目标。文献［2］用改进的局部二值模式(Local Binary Pattern,LBP)直方图对目标进行跟踪,降低了跟踪的错误率。然而空间信息的不足导致直方图描述受限制,很难识别具有相同颜色属性的目标。而且单一的特征无法处理现实跟踪环境中多变的情况,跟踪目标和所处环境的变化使得跟踪不精确、鲁棒性差,为了改善这些问题,其中一种方法就是建立基于多特征的目标模型。文献［3］提出一种多特征有效融合和更新的目标跟踪方法,对复杂的跟踪场景具有更强的鲁棒性。文献［4］提出结合LBP和Ohta颜色特征的协方差跟踪算法。为

了加强基于概率假设密度(Probability Hypothesis Density,PHD)跟踪性能,文献［5］使用尺度不变特征和颜色特征对目标进行描述,在目标外形与背景区域相似的情况下,提高状态估计和数量估计的稳定性和鲁棒性。多特征融合不仅可以在估算状态时提供更可靠的观测值,而且不同的线索之间可以是互补的,当一个失败另一个可能会成功。对于这种算法的关键及挑战是如何优化融合多特征。LBP和颜色是目标的全局信息,具有较高的可信度,但是这些全局特征用在目标发生部分遮挡时跟踪效果往往不好,所以,结合目标的局部信息。文献［6］将角点特征与颜色特征融合,使得跟踪稳定性与抗遮挡能力优于基于单一角点或颜色特征的均值漂移算法。运用均值漂移算法对目标进行跟踪的研究方法在目前的跟踪领域运用比较广泛［7-8］。文献［9］提出基于均值漂移算法跟踪框架,结合颜色纹理直方图对目标进行跟踪,该方法提高了跟踪的精确性和有效性。所以,跟踪方法好坏的关键在于提取目标有效的外观模型。文献［10］利用偏最小二乘法对目标的正副样本提取低维特征子空间,获得具有判决性的外观模型。

以上跟踪方法都会受到复杂背景的影响,为了消除背景噪声,本文提出一种结合运动信息的跟踪方法。利用改进的混合高斯模型(Improved Gaussian Mixture Model,IGMM)对背景进行建模,对图像进行二值化,从背景中提取运动目标,将运动目标的信息融入到基于颜色和纹理的均值漂移算法框架中,消除背景影响,并在目标发生遮挡时,利用最小二乘法对目标的轨迹进行预测。

2 特征提取与描述

2.1 均值漂移算法

均值漂移算法是基于颜色特征和纹理特征对目标的形状进行描述,对视频序列中的目标区域的像素点,计算该特征空间中所有特征值的概率,就可以得到目标特征模型如下:

其中,C为归一化常数;k为核函数;xi表示目标区域中第n个元素;x0表示目标的中心;b(xi)为像素点到像素特征的映射。以y为中心的候选目标区域的特征模型如下:

对目标区域和候选区域建立特征模型之后,利用Bhattacharyya系数度量候选区域与目标区域的相似性,如下:

一阶泰勒展开式如下:

其中,C为特征的归一化系数,并且有:

通过对相似度系数函数求最大值,可以得到目标的位置,如下:

2.2 改进混合高斯模型提取运动特征的方法

背景减除法在运动目标检测算法中运用最广泛。它是利用背景图像与当前图像的差分来检测运动区域并将运动的目标从背景图像中提取出来。背景减除法的关键是建立背景模型。

本文在混合高斯模型的基础上结合帧差法提出了改进的混合高斯模型进行背景建模。混合高斯模型使用K个高斯分布来表示图像中各个像素点的特征,用得到的新一帧图像更新混合高斯模型,用当前图像中的每个像素点与混合高斯模型匹配,如果匹配成功则判定为背景点,否则为前景点。

设在任意时刻t,像素点的灰度值为X,其概率密度函数为:

其中,α,β是学习率,且0≤α≤1,α的大小决定背景

更新的速度,α越大,更新速度越快,α越小,更新速度越慢。更新完成后重新对混合高斯分布按优先级ρi,t由大到小进行排序。用前B个分布建立背景模型:

其中,T′是权重阈值。

在图像处理过程中,帧间差分算法在检测移动目标重叠部分时鲁棒性较弱,很容易出现空洞现象。此外,由于帧间差分后的图像包含2帧中相对变化的信息,检测出的目标轮廓大小大于实际尺寸,而且目标快速移动时会出现重叠现象。本文提出基于动态阈值的3帧差分方法处理这个问题。算法的基本思想如下:

分别定义3个连续帧图像fn(x,y),fn+1(x,y),fn+2(x,y),通过动态阈值分割得到二值图,最后进行与操作得到移动目标的信息:

当Dk为1是前景,否则作为背景。Z为固定二值化阈值。经过以上操作后图像仍然有比较大的噪声点,所以,使用连通性分析算法［11］在4个或者8个相连区域检测像素的连通性,以便找到属于同一个连通区域的像素点,然后将低于阈值的连通区域作为干扰区域去除,保留目标区域。

当使用混合高斯模型和3帧差分法分别得到视频中移动目标后,将两者得到的二值图像进行或操作。最终获得完整的移动目标。如图1所示,用IGMM处理图像帧,产生二值图。它使当前帧分为两部分,一部分是比背景亮的区域,目标落在此区域的概率比较高;另一部分是暗的区域,目标不落在此区域的概率比较高。第n帧的二值图表示为:

图1 2种方法提取的目标二值图对比

2.3 结合运动信息的多特征描述

融合颜色直方图的均值漂移算法是一种常用的目标跟踪方法,单一的颜色特征使得算法具有计算量小的优点。然而单一的颜色特征可能无法识别目标,因为提取目标颜色特征中包含了背景颜色特征,这样在用均值漂移算法根据颜色特征进行跟踪时,由于背景的干扰容易出现偏差,而且颜色特征对光照变化敏感,对颜色变化依赖程度高,不适合背景混淆和光照变化场合下跟踪。而纹理特征正好弥补了这些缺点［12］。LBP算法是以窗口中心点灰度值为阈值对窗口内其他像素作二值化处理,然后根据像素不同位置进行加权求和得到该窗口的LBP值,是目标的一种比较稳定的特征信息。

在跟踪过程中,从连续帧之间的差异获得的运动信息保存了所有移动的目标,同时,也包含了不感兴趣的区域。因此,与运动信息相结合的颜色和纹理特征去除了这些不感兴趣区域。

在本文所述的颜色和纹理特征融合到均值漂移算法框架的一般步骤中,2种特征在一定程度上有互补作用,当其中一种特征收到干扰,另外一个特征可实现补充功能。为了消除背景的干扰,在均值漂移算法框架中结合运动信息BM(xi),新的内核函数为:

在计算目标新位置时,重新定义的权值:

2.4 多特征融合

结合运动信息对目标区域和候选区域进行相应的特征描述之后,利用文献［13］提出的融合相似性函数来度量候选与目标区域的相似性,利用对当前帧的搜索结果,确定相似性函数的最大值,得到目标位置:

其中,ρ1为融合相似度系数,它由颜色和纹理的巴氏系数相乘得到的;Δ为敏感系数,取值区间为(0,1)。融合的相似系数与巴氏系数成正比,该值越大,ρ1越大,跟踪效果好。由均值漂移算法可得,融合后的权值系数ωi为:

最终得到的目标位置为:

2.5 跟踪算法

均值漂移算法容易受到遮挡的影响,因为当前帧中均值漂移算法迭代是根据前面帧迭代的结果计算的［14］,所以当目标发生严重长时间遮时,跟踪窗口将会漂移,算法就无法继续跟踪目标。运用最小二乘法拟合,可以根据先前得到的目标位置预测目标在遮挡时的轨迹,以便于在目标出遮挡物时能够重新捕捉到目标。具体方法如下:

(1)首先运用改进的GMM模型对图像帧进行背景建模,得到二值图,计算目标的运动信息分布BM(xi)。

(2)分别计算目标和候选目标的颜色直方图和纹理直方图。

(3)将运动信息融入到均值漂移算法跟踪框架中。

(4)将计算的到的颜色和纹理的巴氏系数相乘,得到融合相似度系数ρ1,新的取值ωi和目标的位置new。

(5)若目标发生遮挡,启用最小二乘法进行目标轨迹估计。

遮挡过程由遮挡判定、遮挡处理两部分组成。如果目标发生遮挡,跟踪框中的非零像素会减少,当小到一个预先设定好的阈值时,判定目标发生遮挡,此时,启用最小二乘法根据前m帧中目标的位置来对目标在下一时刻的位置进行预测。当目标出遮挡物时,重新启用均值漂移算法继续跟踪目标。

3 实验结果与分析

本文所有实验基于Matlab2012a环境,在主频2.10 GHz内存2.00 GB的PC计算机上完成。实验的Man和Car视频分别来自CAVIAR项目组和文献［15］的MIT Traffic Data Set里的视频序列。Man视频一共80帧,其特点为跟踪目标处于复杂的背景环境中。Car视频一共97帧,目标为十字路口的汽车,在行驶过程中有遮挡情况。

首先对视频Man进行测试,目标为经过商店门口的行人。实验结果如图2所示,其分别为跟踪结果的第5帧、第55帧和第68帧。

图2 本文方法与其他跟踪方法的比较

结合图2(a)和图3的跟踪误差曲线可以看出,由于该跟踪序列中的行人处于背景比较复杂的场景中,因此文献［9］基于颜色纹理的均值漂移算法对运动目标进行跟踪时,在第5帧的时候,跟踪的误差出现比较大的波动,到第55帧时跟踪目标基本丢失,这是因为当目标受到复杂背景环境影响时,简单结合的颜色和纹理特征能自适应环境变化,造成了跟踪结果的不准确,质心发生了较大的偏差,使得目标跟踪失败。从图2(b)可以看出,文献［10］虽然能跟踪到目标,但是随着时间的推移,跟踪误差越来越大。而本文方法能够准确跟踪目标,这主要是因为提取目标运动的信息能够消除背景的干扰,即使背景特征与目标相似,也不会影响目标特征的提取。

图3 跟踪误差曲线

图3的跟踪误差曲线和表1中的跟踪误差数据更清楚地反映出,本文方法和其他2种方法的差异。开始时除了文献［9］在第5帧有明显的波动,三者算法的差异性不是很大,随着时间的推移,由于受到复杂背景的干扰,在第20帧后文献［9］方法开始出现

较大偏差,逐渐丢失目标。第51帧后文献［10］出现较大波动,虽然跟踪没有失败,但是跟踪的结果没有本文方法跟踪精确,因为文献［10］没有把目标从复杂背景中分离出来,容易受到背景的干扰,得不到精确的跟踪结果。

表1 跟踪误差(均值±标准差)

为了验证本文方法在目标发生遮挡能够继续跟踪目标,采用Car视频进行实验。图4中跟踪目标是交通十字路口的汽车,如图4所示,图4(a)为第69帧目标进入遮挡区域,图4(b)为第92帧目标出遮挡区域,从左至右依次为文献［9-10］方法和本文方法的跟踪结果。

图4 3种方法进/出遮挡物的跟踪效果从图4可以看出,文献［9-10］方法在目标进遮挡区域时,受到遮挡物的影响,跟踪出现偏差,在目标严重遮挡时跟踪框一直停留在遮挡物上,无法在目标出遮挡物时捕捉到目标继续跟踪。本文方法在目标遮挡时结合最小二乘法对目标的位置进行预测,继续跟踪目标,在目标移出遮挡物时,能够重新捕获到目标并继续进行跟踪。

4 结束语

均值漂移算法在视频跟踪中无法精确跟踪处于复杂背景和颜色相似遮挡物的目标。为此,本文提出一种改进的均值漂移算法对目标进行跟踪。结合运动信息去除背景噪声的干扰,结合最小二乘法对目标在遮挡情况下的位置进行预测,以便在目标出遮挡物时能够被捕获。实验结果表明,该方法能使跟踪结果更精确。然而,当目标处于动态背景或者镜头移动的场景中时,该跟踪方法效果欠佳,如何处理动态场景下目标的跟踪问题将是今后研究的重点。

［1]Kemp C,Drummond T.Multi-modal Tracking Using Texture Changes［J］.Image and Vision Computing, 2008,26(3):442-450.

［2]Yuan Jirui,Egiazarian K.Multiple-level Patch-based Object Tracking Using MLBP-based Integral Histogram［C］// ProceedingsofIS&T/SPIEElectronicImaging.Burlingame,USA:International Society for Optics and Photonics,2013.

［3]李远征,卢朝阳,李 静.一种基于多特征融合的视频目标跟踪方法［J］.西安电子科技大学学报:自然科学版,2012,39(4):2-8.

［4]Dash P P,Patra D,Mishra S K.Local Binary Pattern as aTextureFeatureDescriptorinObjectTracking Algorithm［C］//Proceedings of International Conference on Advanced Computing,Networking,and Informatics.Berlin,Germany:Springer,2014:541-548.

［5]Wu Jingjing,HuShiqiang,WangYang.Adaptive Multifeature Visual Tracking in a Probability Hypothesis Density Filtering Framework［J］.Signal Processing, 2013,93(11):2915-2926.

［6]宋 丹,赵保军,唐林波.融合角点特征与颜色特征的Mean Shift目标跟踪算法［J］.系统工程与电子技术, 2012,34(1):199-203.

［7]Mazinan A H,Amir-Latif A.Improvement of Mean Shift Tracking Performance Using an Efficient Convex Kernel Function and Extracting Motion Information［J］.Computer and Electrical Engineering,2012,38(6): 1595-1615.

［8]Mazinan A H,Amir-Latif A.A New Algorithm to Rigid and Non-rigid Objects Tracking in Complex Environments［J］.International Journal of Advanced Manufacturing Technology,2012,64(9/12):1643-1651.

［9]Ning Jifeng,Zhang Lie,David Z,et al.Robust Object Tracking Using Joint Color-texture Histogram［J］.World Scientific,2009,23(9):1245-1263.

［10]Wang Qing,Chen Feng,Xu Wenli,et al.Object Tracking via Partial Least Squares Analysis［J］.IEEE Transactions on Image Processing,2012,21(10):4454-4465.

［11]Zhang Shunmiao,LvDongkai.AMotionDetection Algorithm Based on Surendra Background Updating and BackgroundSubtraction［J］.JouranalofNangjing Institute of Technology,2011,9(2):22-27.

［12]李远征,卢朝阳,高全学,等.基于多特征融合的均值迁移粒子滤波跟踪算法［J］.电子与信息学报,2010, 32(2):411-415.

［13]杨 欣,费树岷,李 刚,等.基于复杂特征融合的改进Mean Shift目标跟踪［J］.控制与决策,2014, 29(7):1297-1300.

［14]Wen Jing,Gao Xinbo,Yuan Yuan,et al.Incremental Tensor Biased Discriminant Analysis:A New Color-based Visual Tracking Method［J］.Journal of Neurocomputing,2010, 73(4/6):827-839.

［15]Wang Xiaogang,Ma Xiaoxu,Grimson E.Unsupervised Activity Perception in Crowded and Complicated Scenes UsingHierarchicalBayesianModels［J］.IEEE TransactionsonPatternAnalysisandMachine Intelligence,2009,31(3):539-555.

编辑 刘 冰

Target Tracking Method Combined with Motion Feature

ZHOU Mingzhu,ZHOU Zhiping
(School of Internet of Things Engineering,Jiangnan University,Wuxi 214122,China)

A novel target tracking method for target’s localization with mean shift based on multiple features and least squares method prediction is proposed to solve background interference,problems of partial occlusion and other issues.Aiming at the problems of background interference,the Improved Gaussian Mixture Model(IGMM)is proposed to build background model and to extracted foreground moving object.The motion information,color information and texture information are fused to represent the target,according to the change of the target and backgrounds,combined with the motion feature to remove noise interference of background and to locate the object.In the occlusion process,when the mean shift integrating multi-feature fails to track the target,it can use least squares method to predict the location of the target.Experimental results demonstrate that the method can track the target accurately and has better robustness in complex backgrounds or occlusion situations.

background modeling;mean shift algorithm;multi-feature fusion;motion information;least square method

周明珠,周治平.结合运动特征的目标跟踪方法［J］.计算机工程,2015,41(3):242-246.

英文引用格式:Zhou Mingzhu,Zhou Zhiping.Target Tracking Method Combined with Motion Feature［J］.Computer Engineering,2015,41(3):242-246.

1000-3428(2015)03-0242-05

:A

:TP391

10.3969/j.issn.1000-3428.2015.03.045

国家自然科学基金资助项目(61373126)。

周明珠(1988-),女,硕士,主研方向:图像处理,目标跟踪;周治平,教授、博士。

2014-04-08

:2014-05-29E-mail:6121905018@vip.jiangnan.edu.cn