基于标定信息的PTZ相机主动跟踪算法研究

吴 瑶，郑爱华,2，罗 斌,2

（1.安徽大学 计算机科学与技术学院，安徽 合肥 230601；2.安徽省工业图像处理与分析重点实验室，安徽 合肥 230039）

0 引言

近年来，随着计算机科技的不断发展进步，人们生活水平的不断提高，特别是近来，公共安全防护及建设智慧城市的需求日益增长，视频监控越来越被人们所重视.在现有的视频监控系统中，大多都采用固定摄像头，但固定摄像头监控视野窄，灵活度低，而且不能自由控制，使得相机对运动目标不能进行连续的跟踪，为我们提供的相关信息也很有限.基于PTZ相机的智能监控系统能弥补上述缺点.PTZ相机（智能一体化球型相机）即Pan、Tilt和Zoom的简写，是集高分辨率摄像头、变速云台和光学变焦镜头等部件于一体的监控设备，它能监控的视野范围更大，且能主动跟踪运动目标对运动目标进行分析.

PTZ相机下的主动目标跟踪，由于目标尺寸的不断变化以及背景的不断更新，使得PTZ相机主动跟踪目标有很多困难.近年来，不少研究人员都做了很多研究.文献[1-2]给出一种模糊控制算法，把云台转动分为八个方向，然后根据目标位置与图像中心点的位移偏移量作为模糊控制距离，与设定阈值比较，根据比较结果判断相机的转动方向，这种方法能满足主动跟踪，但跟踪结果不够准确.文献[3]通过对相机方向、焦距与在3D场景下目标与相机之间的距离进行预测，对相机进行调整，跟踪目标.文献[4-5]先对背景进行全景拼接，再通过背景减法获取目标，该方法跟踪效果较好，但计算量大，不能实现实时跟踪目标.

本文对PTZ相机主动目标跟踪方法进行了研究，首选通过相机自标定方法[6-9]获得PTZ相机的标定信息，然后利用标定信息，根据目标在图像坐标系中的位移，计算出PTZ相机的偏转角度，根据该角度调整相机使得目标始终相机监控视野中心区域，从而实现PTZ相机对目标的主动跟踪.该算法复杂度低，计算效率较高，通常情况下能够准确实时的主动跟踪运动目标[10-11].

1 标定信息的获取

在计算机视觉中，标定信息包括相机内参数和外参数.通过内外参数能够实现相机成像平面中的二维坐标与真实场景中三维坐标之间的变换.在针孔模型[12]中，假设三维空间中一点x=(X,Y,Z,1)，在相机成像平面上所成的像点为m=(x,y,1)，则有如下关系式：

式(1)中，K为相机内参数矩阵，其矩阵中元素即为要标定的相机模型参数；fu，fv是图像坐标系中u轴与v轴的尺度因子；γ是倾斜因子，是由u轴与v轴的不成交产生的，一般为0；(u0,v0)为主点坐标，即相机光轴与像平面的交点坐标；[R T]为相机外参数矩阵，R是世界坐标系转换到相机坐标系的旋转矩阵，T是世界坐标系到相机坐标系的平移矢量.本文所做研究是基于PTZ相机纯旋转运动的，即相机只绕其光心做旋转运动，没有平移向量，T为0，且相机不进行缩放等变化.

通过PTZ相机拍摄一系列图像，然后根据图像间对应关系求出图像的单应矩阵，求出单应矩阵后再根据公式求出相机内参数矩阵K，完成相机自标定.

具体过程如下：

当PTZ相机做旋转运动时，相机运动前图像m1与运动后的图像m2满足如下关系:

式(2)中，s是非零常数，矩阵H即为两幅图像间的单应性矩阵，可由多组图像对应点求得.如果限定H的行列式即Det(H)=1，则:

将式(3)进行转置并分别右乘式(3)的两边，则得到

式(4)中，令C=KKT.则当C已知后，可通过对C进行Cholesky分解[13]求得K.因此，相机自标定问题就转化为求解矩阵C的问题.

当已知一个H时，式(4)只有4个关于C中元素的线性独立约束方程，而C有5个独立元素，所以，无法由一个H求得C.当相机内参数保持不变时，控制相机绕光心做二次旋转，此时，可由两个如式(4)的矩阵方程线性求解出C[14].

综上，获取PTZ相机内参数的步骤为：

(1)用同一个相机旋转不同角度拍摄一系列有重叠图像；

(2)通过所拍摄图像的对应点求出其相应的单应矩阵H；

(3)求得单应矩阵H后，联立多个形如式(4)的矩阵方程求得矩阵C.

(4)求得矩阵C后，通过Cholesky分解法，求出相机内参矩阵K.

2 PTZ相机主动跟踪

本文提出的基于标定信息的PTZ相机主动跟踪方法,使相机能够对目标进行准确的主动跟踪，已达到目标在运动过程中始终位于监控视野中心区域.算法流程图如下图1所示.在选定跟踪目标后，使用传统跟踪方法对目标进行跟踪，获取目标在每一帧中的坐标.考虑到算法的实时性要求，本文在实验部分选用Mean shift跟踪算法对目标进行定位，其收敛速度快，满足本文实时性的要求，具体跟踪算法请见参考文献[15].在获得目标位置后，通过目标位置到图像中心点距离与设定阈值R比较来判断是否需要调整相机，当目标不在图像中心区域时，就使用本文提出的算法来调整相机，使目标回到图像中心区域.

图1 PTZ相机下主动跟踪算法流程图

下面介绍如何求解P,T的值，如下图2所示，设图像中心的坐标为o，目标已偏离图像中心，在当前帧图像的坐标为x，设要使目标重新回到图像中心，相机从中心点o转到x的水平转动角度为α，即为P值，竖直方向转动的角度为β，即为T值.设世界坐标系是以相机光心C为原点的，且o,x,m在世界坐标系下对应的坐标为O,X,M.

图2 PTZ相机的P,T计算图

则在三角形COM中，由向量夹角公式可得：

同理，在三角形COX中：

由式(6)与反余弦定理可推出下式：

由式(9)可知，只要求出 CX，CM和 |CX|，|CM|的值，则相机的竖直方向转动角度β，即相机T值就可被求出.在相机自标定中，由相机成像模型及各坐标系之间的转换关系可知，对于空间中任意一点P与其成像平面的像点P'满足如下关系：

其中，K是PTZ相机内参数矩阵，R是旋转矩阵，均可有相机自标定求出.

则在图2中， 也满足该关系式：

由式(11)可求出O,X,M的值：

因此，当相机内参数K与目标位置已知时，我们就可根据这两个值，求出PTZ相机的水平和竖直方向的偏移角度，即P,T的值.这就是本文主动跟踪的依据，即根据几何投影关系，求出相机转动角度.求出P,T值后，然后调用相机相关接口函数，让相机转动，使目标重新回到图像中心点，即相机监控视野中心，完成主动跟踪.

3 实验结果与分析

实验采用的硬件平台为Pentium Dual-Core 3.4GHZ，内存为2GB的PC机，实验运行环境为Microsoft Visual Studio 2010，以.net为实验平台，本文使用的PTZ相机是杰迈高清球机.

为验证本文算法的可行性与有效性，实验在真实场景下（在校园内），选择对行人进行跟踪.在相机自标定过程中，使用同一PTZ相机转动5个不同角度，拍摄5幅有重叠图像，图像大小为1280*720，来进行相机自标定实验，如下图3所示.将第一幅图像与其他四幅图像建立匹配关系，求出其匹配点对，根据图像匹配点对求出4个单应性矩阵H来求解相机内参数矩阵K，由图3可以看出，图像匹配点较准确，即由图像对应点求得的单应矩阵H更准确.

图3 五幅图像的自标定匹配图

表1 PTZ内参数值表

本文PTZ相机标定结果，即求得的内参数矩阵K值，如下表1所示.主动跟踪算法的实验结果如下图4所示.

图4 PTZ相机主动跟踪结果图

如上图4所示，第1帧为目标选取帧，本文是手动选取的.图像中心点用红色圆点表示，由上图可以看出，运动目标一直保持在图像中心点周围，即目标一直保持在监控视野中心.在第945帧时，目标被车子轻微遮挡，跟踪没有发生漂移；在第1230帧时，目标被完全遮挡，主动跟踪结果还是鲁棒的，说明本文算法具有一定的抗干扰能力；在第2280帧时，目标渐渐远离，变得很小，本文算法仍能主动跟踪目标，使其保持在中心点周围，在后续的跟踪过程中，目标仍处于在图像中心.在实时的720P码流中，本文主动跟踪算法结合均值漂移算法只需12ms.由实验结果可以看出，本文算法能够准确的主动跟踪运动目标，使运动目标一直保持在图像中心，即相机监控范围中心.

表2给出了本文算法与其他跟踪算法的对比结果.算法1、算法 2、算法 3分别为文献[1]、文献[3]和文献[4]所提出的跟踪算法.对比实验所使用的视频是在真实场景下PTZ相机所录制的单个行人行走的视频，视频共2280帧.表中Fps表示算法每秒处理的祯数，No表示目标在图像中心点祯数，Init表示算法是否需要初始化.

表2 不同算法的对比结果

4 结束语

本文对PTZ相机下的主动目标跟踪进行了研究，现有的PTZ相机下的主动目标跟踪算法，大多都是基于模糊控制的，但是其主动跟踪结果不够准确，针对该问题，本文提出一种基于相机标定信息的PTZ相机主动目标跟踪算法.首先通过文中介绍的算法对PTZ相机进行标定，求出其内参数矩阵K，然后结合运动目标的位置，求出PTZ相机的P，T值,然后根据这两个值，转动相机，使相机能准确跟随目标一起转动，即让运动目标一直处于相机监控视野中心，完成主动跟踪.经大量实验证明，本文提出的方法简单可行，而且能应用到实际生活中，具有较高的实际应用价值.

〔1〕Al Haj M,Bagdanov A D,Gonzalez J,et al.Reactive object tracking w ith a single PTZ camera[C].The 20th International Conference on Patttern Recognition,2010:1690-1693.

〔2〕Kumar P,Dick A,Sheng T S.Real time target tracking w ith pan tilt zoom camera[C].Digital Image Computing:Techniques and Applications,2009:492-497.

〔3〕Chang F,Zhang G,W ang X,et al.PTZ camera target tracking in large complex scenes[C].The 8th World Congress on Intelligent Control and Automation,2010:2914-2918.

〔4〕Azzari P,Di Stefano L,Bevilacqua A.An effective real-time mosaicing algorithm apt to detect motion through background subtraction using a PTZ camera[C].IEEE Conference on Advanced Video and Signal Based Surveillance,2005:511-516.

〔5〕Hsieh JW.Fast stitching algorithm for moving object detection and mosaic construction[J].Image and Vision Computing,2004,22(4):291-306.

〔6〕Meng J,CohenpandHenuou M.Camera calibration w ith distortion model and accuracy evaluation [J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1992,14(10):965-980.

〔7〕Luong Q-T,Faugeras O D.The fundamental matrix:Theory,algorithms,and stability analysis[J].Journal of Computer,1996,17(2):43-72.

〔8〕Stephen J Maybank,O liver D Faugeras.A theory of self-calibration of a moving camera[J].International Journal of Computer Vision,1992,8(2):123-151.

〔9〕Hartley R I.Slef-calibration of stationary cameras[J].International Journal of Computer Vision,1997,22(1):5-23.

〔10〕邵明礼.视频运动目标跟踪算法研究[D].西安:西安电子科技大学,2006.

〔11〕张玲.视频目标跟踪方法研究[D].合肥:中国科技大学计算机学院，2009.

〔12〕马颂德,张正友.计算机视觉-计算理论与算法基础[M].北京:科学出版社,2003.9.

〔13〕Golub G,Loan Cvan.Matrix Computations third edition[M].Baltimore,Mary land:The John Hopkins U-niversity Press,1996.

〔14〕胡占义,吴福朝.基于主动视觉摄像机标定方法[J].计算机学报,2002,25(11):1149-1156.

〔15〕Collins R T.Mean-Shift blob tracking through scale space[C].IEEE International Conference on Computer Vision and Patern Recognition,2003:234-240.