TLD框架下的内河船舶跟踪

滕 飞， 刘 清， 郭建明， 周雅琪

武汉理工大学自动化学院，武汉430070

我国内河航运资源非常丰富，有长江水系、珠江水系、京杭运河与淮河水系、黑龙江与松花江水系等，其中部分内河航段狭窄，弯曲，险浅，且航道内船舶数量大，种类多，导致海事监管量大，成本高，风险突出.融合了AIS、GIS、GPS、VTS、CCTV系统等的“电子巡航”是海事监管的发展趋势[1].如何提高CCTV系统的主动性和智能化，如实时监控船舶航行、停泊及作业秩序，实现对船舶的航迹跟踪、安全预警、违法处置、信息服务等功能已成为如今的研究热点[2].

然而，内河环境场景复杂，尤其在光照变化、视角变化或者其他船只对目标船舶遮挡严重的情况下，目前的船舶跟踪算法效果欠佳.

依据目标表示方式的不同，目前的船舶跟踪算法一般可分为基于变形模板、基于特征、基于模型的方式.变形模板中较常用的是主动轮廓模型.文献[3]提出了一种自动选择主动轮廓线初始控制点的方法，能跟踪多个海事运动目标.此类跟踪算法抗干扰能力强，适合可变形目标的跟踪，但对初始化轮廓的要求较高，且计算复杂，实时性差.文献[4]提出了基于灰度特征的多模板匹配跟踪算法，能够在舰船被部分遮挡的情况下对舰船实现鲁棒的跟踪，但在背景中存在相似目标时容易发生误匹配.文献[5]采用基于模型的跟踪算法，提出用2D或3D Haar小波对目标进行实时跟踪.该算法精度较高，对简单背景的海事监控目标跟踪效果较好.然而，船只种类形状各不相同，难以建立完整的样本库，其难点在于如何获得目标的精确几何模型.文献[6]提出了TLD(tracking-learningdetection)跟踪框架，并应用于长期无约束视频流的人脸识别和人体跟踪，其精确度较高，实时性较好，鲁棒性很强.本文根据TLD算法对短期跟踪器和目标检测器进行改进，再应用到内河CCTV系统的船舶识别与跟踪中.实验结果表明，改进后的算法在船舶跟踪的实时性、准确性和鲁棒性方面成效很好.

1 TLD框架概述

TLD框架是由一个LK短期跟踪器、一个目标检测器、一个在线学习模块构成，其组成框架和工作流程见图1.LK短期跟踪器递归地跟踪目标，通过一种半监督学习机制在线建立目标检测器来精确定位目标.短期跟踪器、目标检测器相互独立但同步工作，同时在线学习机制确保LK短期跟踪器、目标检测器实时更新，使得该算法可以在摄像头剧烈抖动、背景不断变化、目标自身剧烈运动，甚至目标从视角范围消失后再次出现在视野中等复杂环境时仍能实时而准确地跟踪目标.

图1 TLD组成框架和工作流程图Figure 1 Diagram of TLD framework

2 TLD框架原理及改进

2.1 LK短期跟踪器

TLD框架下的短期跟踪器采用的是LK光流法.这是一种递归的跟踪方法，即假设给定目标在t时刻的位置，跟踪算法根据目标在第t时刻的位置信息计算目标在第t+1时刻的位置[7].LK算法的核心是计算运动物体的光流.计算光流的步骤如下：

步骤1 图像满足亮度恒定，即图像场景中目标的像素在帧间运动时外观保持不变.在此约束条件下有

式中，I代表t时刻的图像，J代表t+1时刻的图像，X代表的是图像的二维坐标信息，d代表像素点由前一帧到当前帧的位移向量.式(1)表明，某一像素点在前后两帧中可能会改变它的位置，但保持相同的像素值.

步骤2 图像满足时间连续假设，或者称运动为“小运动”.在此约束条件下有

式中，I′(X)代表前一帧图像在位置X的梯度.此约束条件限制了d的取值在很小的数值范围内，于是可以得到

由式(3)可知，d是未定的.它的解空间是一条线而不是一个点(即孔径问题)，于是引入第3个约束条件.

步骤3 图像空间一致性.在一个场景中，同一表面上临近的点具有相似的运动，在图像平面上的投影也在临近区域[8].因此，求解d就变成求解

式中，W为具体应用中某个像素的某邻域范围，于是根据最小二乘法将式(4)转化为

由式(6)计算出d后，就可以根据式(1)由像素点在前一帧的位置计算像素点在当前帧的位置.

应用这种方法必须满足的一个前提条件是目标在整个图像序列都是可见的.由于短期跟踪器没有建立目标的模型，如果当目标遇到遮挡或者目标移出视角范围之外而再次出现在视角范围之内时，就会跟踪失败.即便上述情况没有发生，当目标发生姿态改变或者外界光照条件发生改变时，LK短期跟踪器也会出现“漂移”.TLD算法采用向前向后误差和归一化相关系数两种误差检测机制来校验LK短期跟踪结果[9]：

1)向前向后误差

向前向后误差定义为

式中，p是像素在前一帧的位置，设LK(p)是像素在当前帧的位置，p"=LK-1(LK(p))是对像素在当前帧的位置应用LK短期跟踪器“逆跟踪”得到的像素在前一帧的对应位置.ε是这两个位置的欧氏距离，即向前向后误差.当所有像素的向前向后误差的中值大于某一阈值时，就表明LK短期跟踪器跟踪失败.

2)归一化相关系数NCC

归一化相关系数定义为

式中，µ1、µ2、σ1、σ2分别代表x周围邻域P1、P2的均值和方差.只有当某对应像素对的归一化相关系数值NCC大于某一阈值时，对应像素点的跟踪结果才是足够可信的.

由式(8)可知，像素对的归一化相关系数值NCC的求解较繁琐，故以NCC值校验像素的LK短期跟踪结果计算代价很高.为了根据式(6)求得某像素的位移向量d，就应确保该像素处G可逆.由数学理论知，当G满秩(秩为2)，即G有两个较大的特征值时，G一定可逆.与这一条件所对应的几何约束为：在图像纹理区域中，存在两个方向均有明显梯度的区域.于是本文通过验证像素的两个方向是否均存在明显梯度来校验该像素的LK短期跟踪结果是否有效，即设定一个合理的阈值λ(λ＞0)，使得min(λ1,λ2)＞λ，其中λ1和λ2分别为矩阵G的特征值.不难看出，G在角点处有两个较大的特征值，所以这些角点是“可用于跟踪的良好特征点”.此性质说明了提出的特征值约束条件很好地保留了基于图像角点的像素跟踪结果，从而也证明了用特征值的约束条件对像素的LK短期跟踪结果进行校验的可行性与准确性.

概括以上算法的过程如下：在前一帧目标区域中均匀地初始化一些点后，利用LK光流法递归地跟踪这些点，并根据向前向后误差检测机制和特征值约束条件来滤除一些跟踪结果较差的点，然后根据剩下的点计算目标在当前帧的位置.当LK短期跟踪器跟踪失败时，停止LK短期跟踪器的跟踪.

2.2 在线检测器

在LK短期跟踪过程中，由于没有对目标建模，故当目标遇到遮挡或者目标移出视角范围之外时，短期跟踪器很容易跟踪失败[10].因此，短期跟踪器一旦跟踪失败，就应重新初始化，以确保能够在无约束的视频流中长期稳健地跟踪目标.TLD框架采用由滑动窗和级联分类器构成的目标检测器来精确定位目标.滑动窗对输入图像进行遍历，然后由级联分类器对目标候选区域进行判断，以确定目标候选区域是否为跟踪的目标.级联分类器采用了方差滤波器和随机厥分类器[11]，在此基础上本文还提出增加对候选区域的模板匹配，以增强算法的准确性.

1)方差滤波器

对于选定的跟踪目标区域，首先计算其区域方差

对候选目标区域的区域方差也可用“积分图”的方式类似求出.方差滤波器过滤掉候选目标区域方差小于0.5σ2的区域，于是可以很快过滤掉均匀的背景区域.

2)随机厥分类器

随机厥分类器选取的是船舶的随机厥特征.每棵随机厥都是由一些像素对的灰度值的差值构成的，其计算方式描述如图2所示.

图2中有3棵厥，每棵厥包括了4组像素对.其中白色点和黑色点都对应于输入图像中对应位置的像素.如果白色点所对应的原始图像的像素灰度值大于黑色点所对应的像素灰度值，就令该特征值为1；否则就为0[12]，即

所有的这些二进制特征最后组合成一个特征值F.假设选取了s个特征，每棵厥将产生一个0～(2s-1)的特征值[13].获得这个特征值F后，就可由训练数据求出后验概率P(y=1|F)，最后取所有厥的后验概率的平均值，并把计算结果作为判断此候选目标区域属于感兴趣目标的置信度[14]检测器过滤掉Ppos小于0.5的候选区域.

图2 随机厥特征描述与计算Figure 2 Random fern feature description and calculation

经过上述处理，输入图像中目标候选区域已大大减少，但因内河环境下的背景杂乱以及多尺度的影响，仅由上述步骤还不足以获得目标在当前帧的位置.因此，必须对检测结果进行聚类判断，并与LK短期跟踪结果进行融合，才能得到最终的目标位置.然而，这种方法相对复杂，计算量大，而且对于不同复杂度不同精度的聚类方法，得到的最终结果具有不确定性.于是本文对此进行改进，用模板匹配方法对检测结果进行筛选并整合，再与LK短期跟踪结果进行融合.考虑到模板匹配的计算代价也相对较高，本文将在线模板空间的数目限制在一个小的范围内(实验中选取在线模板空间中的模板数目为10).计算模板相似度的公式为

式(13)中其取值范围为[-1,1].根据式(13)调整后，N(P1,P2)的取值范围为[0,1]，其值越接近于1，表明与在线模板空间越相似.最终将某一候选区域与模板空间的相似度定义为N(P,W)，W为模板空间，med表示取所有相似度的中值.只有当目标候选区域和模板空间的相似度大于等于0.7时才把当前候选区域加入到在线模板中，同时替换掉模板空间中当前相似度最低的模板，以保持模板空间中数目的稳定.这种模板匹配方法能够在满足内河船舶跟踪实时性的基础上对目标船舶外形进行建模，并适应其外观姿态的不断变化.算法改进后的在线检测器的流程图如图3所示：

图3 检测部分流程图Figure 3 Flow chart of detection

2.3 在线学习

在线学习模块是在线建立目标检测器，并完成对跟踪器、检测器的学习和更新.TLD框架充分利用视频序列中目标的运动属性，采用包含生长事件(即P专家)和修剪事件(即N专家)的半监督方式对目标建模[15].生长事件假定目标的运动构成一条平滑的轨迹，然后在目标的运动轨迹上寻找训练的正样本，通过LK短期跟踪结果把所有可能包含目标的区域都加入到在线模型中，实现模型局部最优化；修剪事件则在目标的运动轨迹之外寻找训练的负样本，并剔除在线模型中已经不能适应目标状态变化的模板，实现模型全局最优化[16].最终使在线模型和目标的真实模型趋于一致，在线学习模块示意图如图4所示：

图4 在线学习模块示意图Figure 4 Diagram of online learning module

在线学习模块充分利用了视频序列中包含的大量结构化的数据信息，使得最终目标检测器的性能较初始检测器有了很大提高.

3 实验

为了验证改进后的跟踪算法在内河CCTV系统船舶跟踪中的有效性和先进性，本文对算法进行了实现，采用从内河航道CCTV系统采集到的视频进行跟踪实验，并以其中两个典型实验素材为例来对原TLD框架和改进后的算法进行若干性能比较.为了得到较为公平的比较结果，采用与原作者相同的精度、召回度、平均位置误差等性能指标定义，并将两种算法在两个实验素材中各运行5次，取其平均值作为各算法的对应比较值.实验硬件均采用Intel(R)Core(TM)2 Duo CPU,2.00GHz,2G内存的笔记本电脑，需要的软件配置包括visual studio 2008,opencv2.3等，最终得到如表1所示的跟踪性能.

表1 跟踪性能比较Table 1 Performance analysis

实验1的素材是从长江海事局调研的CCTV监控视频，整段视频包括660帧，选择最右边的船舶作为跟踪目标(第1帧为手工选择需要跟踪的目标)，并截取算法在第54、156、266、343、426、578、636帧的跟踪结果，如图5所示.第54、156帧目标向左运动向大船靠近，第266、343、426帧显示目标被大船小部分遮挡，大部分遮挡，直至全局遮挡时的跟踪情况，结果表明改进后的算法在目标遇到较大范围遮挡时仍能保持实时跟踪船舶，且保持较高的跟踪精度.第578、636帧对应着遮挡减弱，目标朝着相反方向分离的过程.在整个过程中，算法对目标船舶都取得了较好的跟踪效果.

第2个实验素材取自浙江湖州港航处CCTV系统接近黄昏时刻的监控画面，整段视频包括658帧.选择右边的船舶作为跟踪目标(第1帧为手工选择需要跟踪的目标)，并截取算法在第54、243、426、558、636帧的跟踪结果，如图6所示.可以观察到光照变化对视频清晰度的影响，尤其是当跟踪目标越来越靠近岸边摄像头发生视角变化时目标限位框的变化，显然可以看出本文算法始终实时跟踪目标并保持较高的精度，证明该算法对光照和视角变化也具有一定的鲁棒性.

图5 船舶间存在遮挡的跟踪结果Figure 5 Tracking results when ships suffer occlusions

图6 光照和视角变化时的船舶跟踪效果Figure 6 Tracking results when ships suffer lumination and viewpoint change

4 结语

本文基于对TLD框架的研究，将改进后的算法应用于内河CCTV系统的船舶识别和跟踪中.实验结果表明，改进后的算法在应对光照变化、摄像机视角变化以及遇到遮挡等情况下仍能对船舶有效跟踪，且保持较高的跟踪精度和实时性.

虽然本文采取的算法在跟踪精度和鲁棒性上都比现有的算法有了较大提高，但因内河水域船舶种类多，数量多，所以如何在内河复杂环境下提取出船舶的更有效的特征以及如何实现多特征融合将会是一系列新的挑战.

[1]张敬东，王玮.浅析智能视频技术在海事管理中的应用[J].中国水运，2010,10(12):140-154.

ZHANG Jindong,WANG Wei.Analyze intelligent video technology in the application of maritime management[J].China Water Transport,2010,10(12):140-154.(in chinese)

[2]郭宝云.CCTV系统目标定位与跟踪技术改进方法的研究[D].大连：大连海事大学，2012.

GUO Baoyun.The improvement about research on object location and tracking technology based on CCTV system[D].Dalian:Dalian Maritime University,2012.(in chinese)

[3]张明杰，李翠华，刘明业.基于主动轮廓线模型的海面运动目标跟踪[J].计算机工程，2006,32(6):34-36.

ZHANGMingjie,LICuihua,LIUMingye.Ships tracking based on active contour model[J].Computer Engineering,2006,32(6):34-36.(in Chinese)

[4]卓炳荣.海面背景下的红外舰船目标识别跟踪技术研究[D].国防科学技术大学，2011.

ZHUOBingrong.The research on infrared ship recognition[D].National University of Defense Technology,2011.(in Chinese)

[5]GODEC M,ROTH P M,BISCHOF H.Hough-based tracking of non-rigid objects[C]//IEEE International Conference on Computer Vision,2011:81-88.

[6]KALAL Z,MIKOLAJCZYK K,MATAS J.Face-TLD:tracking-learning-detection applied to faces[C]//IEEE International Conference on Image Processing,2010:3789-3792.

[7]HORN B K P，SCHUNCK B G.Determining optical f low[J].Artif icial Intelligence,1981,17(1):185-203.

[8]BARRON J L,FLEET D J,BEAUCHEMIN S S.Performance of optical f low techniques[J].International Journal of Computer Vision,1994,12(4):43-77.

[9]KALAL Z,MIKOLAJCZYK K,MATAS J.Forwardbackward error: automatic detection of tracking failures[C]//International Conference on Pattern Recognition,2010:2756-2759.

[10]GUO Y L,HSU S,SAw HNEY H S.Robust object matching for persistent tracking with heterogeneous features[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2007,29(5):824-839.

[11]KALAL Z,MIKOLAJCZYK K,MATASJ.Online learning of robust object detectors during unstable tracking[C]//IEEE International Conference on Computer Vision,2009:1417-1424.

[12]BOSCHA,ZISSERMANA,MUOZX.Image Classif ication using random forests and ferns[C]//IEEE International Conference on Computer Vision,2007:1-8.

[13]OZUYSAL M,CALONDER M,LEPETIT V.Fast keypoint recognition using random ferns[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2010,32(1):448-461.

[14]LEPETIT V,FUA P.Keypoint recognition using randomized trees[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2006,28(9):1465-1479.

[15]KALAL Z,MIKOLAJCZYK K,MATASJ.P-N learning:bootstrapping binary classif iers by structural constraints[C]//IEEE Conference on Computer Vision,2010:49-56.

[16]KALAL Z,MIKOLAJCZYK K,MAYAS J.Trackinglearning-detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(7):1409-1422.