基于全景视觉的目标跟踪方法研究

基于全景视觉的目标跟踪方法研究

俞燕燕1,余烨2

(1.浙江信息工程学校,浙江 湖州313000; 2.合肥工业大学 计算机与信息学院,安徽 合肥230009)

摘要:文章充分利用全景视觉具有360°视域的特点,将其引入视频监控领域,提出了一种基于全景视觉的目标跟踪方法。该方法基于多摄像机跟踪的思想,通过分析全景视觉的构造,将其分解为基于静态相关联多相机的跟踪。通过划分视场分界线,确定摄像机间的重叠区域,并对摄像机间相互关联关系进行描述和判断。当目标进入重叠区域时,通过同一目标在相邻视域中的关联实现目标交接,以达到在整个全景视觉中实现目标连续跟踪的目的。以全景视频中的行人跟踪为例,对文中所提的跟踪方法进行验证。实验结果表明,该方法可以有效解决多相机间的目标交接问题,实现全景视觉下目标的连续跟踪。

关键词:全景视觉;目标跟踪;多摄像机;视场分界线;目标交接

收稿日期：2014-01-14

基金项目：安徽省自然科学基金资助项目(11040606Q43);安徽省科技攻关计划资助项目(12010402108)

作者简介：俞燕燕(1978-),女,上海市人,浙江信息工程学校讲师.

doi:10.3969/j.issn.1003-5060.2015.01.012

中图分类号:TP391.41文献标识码：A

Researchonobjecttrackingmethodbasedonpanoramicvision

YUYan-yan1,YU Ye2

(1.ZhejiangInformationEngineeringSchool,Huzhou313000,China; 2.SchoolofComputerandInformation,HefeiUniversityofTechnology,Hefei230009,China)

Abstract:As the field of view of panoramic vision can reach 360 degrees, it is adopted into intelligent surveillance area, and a novel object tracking method based on panoramic vision is proposed. Based on the idea of multi-camera tracking, the panoramic vision system is converted into the static associated multi-camera tracking system. Then through the division of field of view lines, the overlapping area of cameras is determined and the correspondence between the cameras is described and defined. When the target enters into the overlapping area, object handoff is implemented based on the spatial geometric correspondence thus to achieve continuous object tracking in panoramic vision. Pedestrian tracking videos in panoramic vision are adopted as an example to verify this method. The experimental results indicate that the method can efficiently resolve target handoff problem in multi-camera tracking system and meet the goal of continuous object tracking in panoramic vision.

Keywords:panoramicvision;objecttracking;multi-camera;fieldofviewline;targethandoff

由于受到现有设备、监控方式的影响,视频监控的智能化受到限制,存在的原因主要体现在:① 尽管大量使用各种监控摄像机,监控区域中仍然存在盲区;② 跟踪结果分别处于零散的视频片段中,自动分析困难,影响对跟踪结果的分析和对目标行为的判断。为解决上述问题,本文充分利用全景视觉具有360°视域的特点,将全景视频引入目标监控领域,提出了一种基于全景视觉的目标跟踪方法。全景视觉可以对某个监控点周围的情况进行监控,从而减少了盲区存在的概率以及零散视频片段的数目,可以有效、直观地表示跟踪结果。

全景视频是一种将一定数量的实景图像拼接成全景图,从而构建全景视觉的技术。利用该技术,用户可以通过不同观测点的切换来实现在虚拟环境中行走。近年来,随着全景视觉技术的不断成熟,基于全景视觉的目标跟踪和视频监控逐渐受到了国内外研究学者的广泛关注。文献[1]设计了一个辅助会议活动观测系统(CAMEO),可通过将其置于房间的中央来获取周围场景的全景视频,然后进一步进行人脸识别和面部信息提取,从而跟踪人的活动,实验表明该方法是可行的;文献[2]设计了一种嵌入式高分辨率全景视频监控系统KD-PVS,该系统基于嵌入式结构,通过对多摄像机采集的视频进行实时变换和拼接,生成全景视频,实验表明，该方法可以很方便地用于金融系统、仓库、监狱和移动监控等场合;文献[3]设计了一种置顶全景视觉的跟踪系统,实验表明，该系统可以有效地克服光照和遮挡等复杂环境的影响,并实现对机器人的姿态估计和跟踪;文献[4]设计了一种基于视频的沉浸式监控环境,并利用视频处理和球面拼接技术,将(Pan/Tilt/Zoom)摄像机获取的图像序列作为数据源,实现全景视觉的构造,实验表明，该系统能很好地实现在室内或室外环境中对目标的跟踪。

根据视频监控方式的不同,目标跟踪可以分为基于单摄像机的跟踪和基于多摄像机的跟踪两大类。早期关于目标跟踪方面的研究主要集中在基于单摄像机的跟踪上。文献[5]提出一种在TMS320DM6437图像处理平台上实现目标跟踪的方法,该算法在块匹配和帧差法的基础上引入Canny算子,有效地实现了对目标的跟踪；文献[6]提出了一种复合CV(constantvelocity)模型和CSM(currentstatisticalmodel)模型,并加入了自适应切换机制,很好地实现了车辆的定位和跟踪。

但是,单摄像机拍摄视角受限,在跟踪时易导致目标丢失,不适用于大范围场景或复杂场景下的目标跟踪。多摄像机协同跟踪不仅扩大了监视范围,且能够较好地解决遮挡情况下的目标跟踪问题,因此目前基于多摄像机的监控系统得到了广泛的应用。

然而,多摄像机的跟踪受到各摄像机布局的影响,尤其是在球机存在的情况下,因此,多摄像机之间目标的交接问题是基于多摄像机目标跟踪研究中的一个难点。针对这方面的研究,国内外研究者也提出了许多不同的算法。文献[7]提出了一种基于贝叶斯网络融合的方法对复杂室内场景中的行人进行跟踪,以解决多摄像机下的目标交接问题；文献[8-9]提出了视场(fieldofview,FOV)的方法,该方法主要针对多摄像机视场间有重叠区域的情况来实现目标的识别与跟踪；文献[10]提出一种迭代加宽的特征融合算法来融合不同的特征,该方法针对无重叠视域的情况解决多摄像机下行人目标匹配跟踪的问题；文献[11]提出一种投影不变量与直方图匹配相结合的方法,针对视域间具有重叠视场区域的情况,实现多摄像机下目标的交接。

本文提出的基于全景视觉的目标跟踪方法,借鉴了基于多摄像机跟踪的思想,通过分析全景视觉的构造,将其分解为静态相关联的多摄像机监控系统,并引入了FOV方法,用于解决多摄像机间的目标交接问题。将本文提出的方法应用到某校园监控中,对校园中出现的行人进行跟踪,实验结果表明,基于全景视觉的目标跟踪不仅可以实现在360°视域范围内的目标跟踪,且跟踪结果表现直观,减少了大量视频检索的工作量,并为后期的目标行为分析提供了更直观、更有效的数据支撑。

1全景视觉的数据来源

能够表达视点周围360°范围空间信息的视觉称为全景视觉,其具体构造方法为:将在同一视点拍摄的一组图像映射到简单的几何体表面,如球体、立方体或圆柱体,然后通过对投影图像进行展开及无缝拼接获得相应的全景图。以全景图为纹理,将其映射到相应的几何体表面,形成以几何体中心为视点,几何体表面为观察对象的,能够表示360°视域的视觉,即全景视觉。因此,全景图为全景视觉的数据来源。

与柱面全景视觉、立方体全景视觉相比,球面全景视觉能实现平滑的浏览效果,且表示的视觉空间能达到完整的360°,因此,本文以球面全景视觉为数据源,在球面全景视觉的基础上开展研究。

本文采用Ladybug3全景采集设备获取的单幅图像作为数据源,以此来构造球面全景图。该全景采集设备为正五边形造型,其5个侧面和顶部垂直方向上各设置1个摄像头,可通过数据传输线与电脑进行连接。

在拍摄时,6个摄像头可同时获得各视场的图像,如图1所示。 对这些图像进行映射、展开和拼接,形成球面全景图,以此为数据源,构造球面全景视觉。

图1　基于全景采集设备采集到的图像

2全景视觉下的目标跟踪

由于全景视觉可以看成是由静态多相机组成的视觉系统,因此,借鉴基于多摄像机跟踪的思想,将基于全景视觉的跟踪分解为基于静态相关联多摄像机的跟踪。在多相机跟踪中,判断在一个摄像机视场中消失的目标是否会出现在下一个摄像机的视场并准确对其定位,是实现多摄像机连续目标跟踪的关键,即多摄像机目标交接问题。

对于摄像机视场间具有重叠区域的情况,只要目标进入当前摄像机视场的重叠区域,就在对应的另一个摄像机视场中寻找该目标并对其跟踪,如图2所示,相机1和相机2存在视场重叠区域,则当目标出现在重叠区域时,它能同时被相机1和相机2观察到。假定在相机1中存在一个目标,当其经过不断运动进入重叠区域,这时只要能在相机2中准确定位出该目标的位置,就能完成目标的交接跟踪。所以,具有重叠区域目标交接问题包括计算相邻视场的重叠区域和在新视场中准确定位该目标的位置。

图2　目标交接存在的问题

本文基于全景视觉跟踪的主要步骤为:首先对组成全景视觉的各摄像机进行视场分界线划分,然后确定各摄像机之间的关联关系,基于该关联关系判断物体在离开某摄像机视野后所进入的下一个摄像机视野的ID,通过交接时目标的关联关系,确认并定位在下一摄像机中的目标位置,以实现连续跟踪。

2.1　视场分界线的划分

本文采用全景采集设备Ladybug3的FOV模型,相邻摄像机视场间均存在重叠区域,不仅满足了全景图的构造条件,也为在全景视觉中实现多摄像机的连续跟踪创造了条件。当摄像机的边界线出现在相邻相机视场中时,称边界线为对应摄像机下的视场分界线[9-10]。将全景采集设备各个摄像机获得的图像展开成平面图,如图3所示。

图3　视场分界线示意图

Ladybug3全景相机共有6个镜头,其顶部垂直方向上cam5摄像头拍摄到的场景基本是上空,在地面场景的跟踪系统中不起作用,故不做研究。其侧面5个镜头cam0～cam4对称均匀排列,假设各个摄像机视角为θ,则相邻摄像机重叠区域的角度α的计算公式为:

(1)

进一步,根据几何关系,可求得重叠区域的宽度L为：

(2)

其中,image_width为所拍摄图像的长度。

通过实验测量可知,该全景采集设备各个摄像机的视角θ=93°。则由(1) 式和 (2) 式可求得,重叠区域的宽度L=0.226×image_width。根据该比率关系,即可在图像中划分视野分界线,并构造出相机的重叠域。

2.2　摄像机间的关联

基于各摄像机之间的位置关系及视场分界线,判断相机间是否存在重叠区域,对各相机进行关联,将具有重叠区域的摄像机组合成一个相机组,各摄像头的角度如图4所示。

假定将各摄像机的ID分别命名为cam0、cam1、cam2、cam3、cam4,用一个八元组W表示cami与cami-1和cami+1之间的视角关系,即

l(i-1)i=0.226×image_width;

l(i+1)i=0.774×image_width。

图4　全景采集设备中各摄像头的角度示意图

假设摄像机cami的视场中存在目标(x,y),定义G(x,y)为目标与分界线的关系函数,以此判断其目标与2个视场分界线的关系,具体如下:

(3)

根据G(x,y)取值,即可判断当前目标处于摄像机的视场内位置,判断其是否穿过视场边界线进入重叠区域,并进一步获得下一个摄像机的ID。一旦跟踪到目标进入重叠区域中,则开启目标交接机制,对交接时的目标进行关联,以实现目标在不同摄像机间的连续跟踪。

2.3　交接时目标的关联

当目标穿过视场分界线进入重叠区域时,根据目标与分界线的关系函数G(x,y)的取值,可以获取目标的下一个视场的摄像机ID。此时的关键问题是在下一视场中准确定位目标的位置,以实现目标之间的关联。

全景采集设备各摄像机重叠区域存在着有规律的位置对应关系,本文利用该关系寻找目标在下一视场中可能出现的位置。选择目标的中心点作为在前一视场中的位置,记为(x0,y0),在下一个摄像机视场中的位置坐标记为(x0′,y0′)。

根据几何对应关系,可求解目标在相邻两摄像机重叠区域中的位置关系为:

(4)

假设在下一个摄像机视场中检测到n个目标,其位置分别记为(x1,y1),(x2,y2),…,(xn,yn),则将距离(x0′,y0′)位置最近的目标视为正在跟踪的目标,即

obj=min[(xi-x0′)2+

(5)

3实验结果

实验中选用的测试图像均由Ladybug3全景采集设备所采集,系统开发基于VS.net2012和OpenCV2.4.7。以行人的跟踪为例,对本文算法进行测试。行人跟踪的方法采用文献[12]提出的跟踪方法。

在跟踪过程中,各摄像机的跟踪结果如图5所示。随机选取一个摄像机,对在该摄像机中出现的行人进行跟踪,当行人进入视域重叠区时,则自动判断和该相机相关联的下一个摄像机的ID,并在该摄像机中关联目标,实现该目标行人的连续跟踪。图5a表示行人首先出现在cam2的视域范围内,并且位于重叠区域外,所以只在cam2的视域内对行人进行跟踪;图5b表示当在cam2视域范围内的目标行人进行重叠域后,自动判断下一个关联摄像机ID为cam3,并进行加载显示,同时开始在cam3的视域中进行跟踪,此时行人只部分进入重叠区域,所以未能在cam3视域内检测到行人;图5c表示当行人完全进入重叠域后,在关联摄像机cam3中找到了该行人,并继续在cam3中对其进行跟踪。

通过对各相机所获取图像的映射、拼接形成全景视频,并以穹顶图的形式来展示在全景视频中的跟踪结果,如图6所示。结果表明,本文提出的基于静态多相机的跟踪方案可以很好地解决全景视觉下的目标跟踪问题,并获得较好的跟踪效果。

图5　在全景视觉的相邻相机中跟踪目标

图6　跟踪结果在全景视觉的穹顶图中的显示结果

4结束语

本文将全景视觉引入视频监控领域,提出了一种基于全景视觉的目标跟踪方法。该方法通过分析全景视觉的构造,将其分解为基于静态相关联多摄像机的跟踪。由于全景采集设备各摄像机视场间的重叠区域具有一定规律性,可以很好地解决传统多摄像机跟踪系统易受摄像机布局影响的问题。借鉴了基于多摄像机跟踪的思想,利用视场分界线,对各摄像机间的关联和重叠区域进行描述,通过求解摄像机间目标交接时的目标关联问题,实现全景视觉下的目标连续跟踪。将本文方法应用于行人跟踪中,实验结果表明,本文方法不仅可以有效地实现全景视觉下的目标跟踪,而且跟踪结果表现直观,减少了大量视频检索的工作量,可以为后期的目标行为分析提供更直观有效的数据支撑。

[参考文献]

[1]RybskiPE,delaTorreF,PatilR,etal.Cameo:cameraassistedmeetingeventobserver[C]//ProcofInternationalConferenceonRobotics&Automation,2004:1634-1639.

[2]马力,张茂军,徐玮,等.采用视频拼图方法构建高分辨率全景视频监控系统[J].中国图象图形学报,2008(12):2291-2296.

[3]Gupta,OK,JarvisRA.Robustposeestimationandtrackingsystemforamobilerobotusingapanoramiccamera[C]//IEEEInternationalConferenceonRobotics,AutomationandMechatronics(RAM),2010:533-539.

[4]HsiehCT,HanCC,HuCC.Constructionofapanoramicimageforavideo-basedtrackingsystem[J].JournalofInformationTechnologyandApplications,2010,4(1):1-10.

[5]蒋建国,李明,齐美彬.基于TMS320DM6437 的运动目标实时检测与跟踪[J].合肥工业大学学报:自然科学版,2011,34(7):1007-1010,1023.

[6]刘征宇,魏昕,齐琴,等.基于复合模型的车辆定位跟踪算法[J].合肥工业大学学报:自然科学版,2009,32(11):1645-1647.

[7]ChangTH,GongSG.Trackingmultiplepeoplewithamulti-camerasystem[C]//IEEEWorkshopMulti-ObjectTracking,2001:19-26.

[8]SohaibK,MubarakS.Consistentlabelingoftrackedobjectsinmultiplecameraswithoverlappingfieldsofview[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2003(10):1355-1360.

[9]SohaibK,OmarJ,ZeeshanR,etal.Humantrackinginmultiplecameras[C]//ProcofIEEEInternationalConferenceonComputerVision,2001:331-336.

[10]吕晓威,孔庆杰,刘允才.无重叠视域摄像机间人目标匹配的特征融合算法[C]//全国模式识别学术会议,2008:73-78.

[11]欧阳宁,刘钊.重叠视野域内多摄像机目标交换算法[J].激光与红外,2009(9):995-998.

[12]AndriyenkoA,SchindlerK,RothS.Discrete-continuousoptimizationformulti-targettracking[C]//ComputerVisionandPatternRecognition(CVPR),2012IEEEConferenceon,2012:1926-1933.

(责任编辑闫杏丽)