基于分块特征组合的视域盲区行人匹配

吴盈，陈恳，吉培培

(宁波大学 信息学院，浙江 宁波 315211)

基于分块特征组合的视域盲区行人匹配

吴盈，陈恳，吉培培

(宁波大学 信息学院，浙江 宁波 315211)

各相机间通常存在监控视域以外的非重叠区域，即相机视域盲区，它的存在对多相机多行人匹配带来了挑战性工作。提出了一种基于分块特征组合的多摄像机视域盲区行人匹配的方法。在单摄像机视域中首先通过HOG特征训练而成的判别训练部件模型对行人进行检测，在其Hue分量上分别提取COLOR、SIFT和LBP分块特征，从而通过实验找出最佳组合特征实现行人的匹配。提出的最佳组合特征和已有文献中的匹配方法进行比较，结果表明匹配速率有很大的提高。

视域盲区；分块特征；最佳组合特征；行人匹配

0 引言

在多数公共区域监控中，整个监控范围由数个子区域构成，单相机只负责监控其中一个子区域，在相邻2个相机所监控区域(即“视域”)之间，通常存在着“视域盲区”(即非重叠区域)。在视域盲区多摄像机监控环境下，行人在不同摄像机视域下的时空信息通常是离散和不连续的，导致不同摄像机获取的行人运动信息通常是不起作用的。为此，一系列的方法被人们所研究和应用，文献［1－3］利用单一的颜色和SIFT视觉特征分别建立外表模型来研究无重叠视域多行人的匹配，由于多摄像机视域中各摄像机之间容易受到光照、摄像机参数以及行人姿态等因素的影响，一些研究者尝试组合一种或多种特征来获得更高的准确性。文献［4－6］采用颜色为基础的LBP和SIFT特征的多特征融合方式对行人进行建模，文献［7－9］采用LBP为基础的HOG和颜色特征建立了各种行人模型，以上都是基于视觉特征建模缺乏时空信息的约束;文献［10］将运动行人与时空因素发生关联，将外观相似度与行人进入位置和进入时间进行融合，但行人的外表信息一旦发生变化，匹配精确度将会受到很大的影响。最终文献［11］提出了颜色，SIFT特征分别进行匹配适合的场景并指出以一定方式融合效果更佳。

针对上述现有技术根据自己用的视频序列提供了一种新的视频监控中跨盲区行人匹配方法，该方法对人体姿态变化以及光照的变化具有较强的鲁棒性。

1 基于判别训练部件模型的行人检测

本文主要利用Pedro Felzenszwalb［13］提出的基于统计学习方法的判别训练部件模型对行人进行检测。判别训练的部件模型与传统的模板不同，利用具有二维旋转不变性的HOG特征来获取行人的特征模板，此模板由一个大体上覆盖整个行人的粗糙的根滤波器和覆盖行人的几个高分辨率的部件滤波器以及每个部件相对于根的空间位置模型构成。

图1 人体模型

2 分块特征提取及组合

2.1 Hue分量上的图像分块及特征抽取

传统彩色图像的直方图检索技术基于RGB空间，但研究发现，这种表示法并不符合人眼视觉系统特征，而HSV空间更加接近人们对颜色的主观认识，它主要用色度H、饱和度S和亮度V3个分量表示颜色。本文主要对Hue分量做直方图，在直方图中代表了不同H分量值出现的概率或像素个数。

这样可以对检测到的每幅图像重复进行上述处理从而得到相同的横纵轴分块分配，即得到一个每列有14个互相重叠的正方形图像分块，总共6列的正方形图像分块矩阵如图2所示，其中图2(a)为检测到的RGB图像，图2(b)为通过转化后的HSV图像的H通道的正方向图像分块结果，“+”所表示的即为分割的正方形图像分块中心。

图2 图像分块图

2.1.1 Hue分量上的COLOR分块特征

所谓COLOR正方形图像分块特征指的是图2(b)正方形图像分块上的颜色直方图。通过实验选取了16个颜色区间(bins)分别对每块正方形图像分块提取颜色直方图特征从而得到一个直方图矩阵，对直方图矩阵中的数值按大小转化为不同的颜色，并在坐标轴对应位置处以这种颜色染色，最终得到其可视化颜色特征。

2.1.2 Hue分量上的SIFT分块特征

SIFT特征描述符作为颜色直方图的互补特征来处理视点和光照的变化，如式(1)所示，m( x，y)和θ( x，y)分别为(x，y)处梯度的模值和方向。与抽取COLOR分块特征设置相似，同样的分块在Hue分量的密集网络上被分割，把每个分块分割成4×4的单元，对每个单元的局部梯度方向进行归一化处理成8 bins，这样就能获得一个4×4×8=128维的SIFT特征。

2.1.3 Hue分量上LBP分块特征

LBP分块特征是计算Hue分量上的颜色投影图像上每个正方形图像分块的LBP(局部二进制模式)纹理颜色直方图，LBP纹理特征的计算方法如式(2)所示。

式中，P为邻域像素的数目;R为中心像素与其相邻像素的距离;gc为中心点的灰度值;gp半径为R的邻域内第p个相邻点的灰度值，t为阀值，用来控制噪声的影响。为了形成旋转不变的编码模式，让有同一编码格式经旋转后产生的编码结果编码为同一值，即旋转结果中的最小值，采用的则是这种36个旋转不变的编码模式，分别计算每个正方形分块的LBP特征。

2.2 行人特征的相似度计算

通过上述得到的分块特征，就可以对检测到的行人进行相似度测量了，首先运用判别训练部件模型任选两帧对行人检测，如图3为任意选取两帧进行匹配的结果。a和d为检测结果，分别对检测出的行人进行颜色归一化和缩放处理形成大小均为64×32个像素大小的图像如图3(b)和(e)所示;假设帧a中行人i的第p个分块特征为xi，p，帧a'中行人j的第q个分块特征为yj，q，且行人i和行人j可能是同一个人也可能是不同的人，其中p的范围为1～84，分块特征包括COLOR、SIFT、LBP单一特征以及它们的组合特征。

图3 帧间相似度匹配过程

通过计算xi，p与yj，q之间的欧氏距离d(xi，p，yj，q)如式(3):

然后通过高斯分布函数把距离值转换为相似度得分s(xi，p，yj，q)如式(4):

式中，σ是高斯分布函数的带宽，并定义行人i和行人j的相似度Sim(i，j)为所有分块相似度得分平均值如式(5)所示:

n为正方形分块的总数;以帧a中的行人i为参考模型，计算它与帧a’中所有的行人j的相似度，其中最佳匹配相似度为S=arg max{ Sim(i，j)}，此时的j即为此时i的最佳匹配对象，图3中(c)和(f)即为匹配结果。

3 实验结果与分析

3.1 单一特征和组合特征的比较

通过平均CMC［14］(Cumulative Matching Characteristic，CMC)曲线分别对单一特征和组合特征进行评估，此方法是以自己在园区拍摄的盲区视域环境下(摄像机A和摄像机B)以及采用CVLAB中的Campus sequences(cam．1和cam．2)进行实验的，其中cam．1和cam．2中检测到的行人图像中集中到一起包含3个不同的人298个图像，然后对每个人任意抽取一副图像作为画廊集，剩下的均作为探针集;让画廊集分别和每个探针集图像进行匹配，如图4所示。纵轴为不同特征方法(单一特征和组合特征)通过上述提到的最佳匹配相似度计算的CMC下rank1的匹配率，横轴为相似度计算所对应的不同特征;然后用单一分块特征进行带权值的组合具体步骤如下:设帧a中行人i的第p个分块的待组合的COLOR，SIFT，LBP单一特征分别为αxi，p，βxi，p，γxi，p;其中α，β，γ为组合特征中各组合特征的权值，p的取值范围均为1～84;则帧a中行人i的第p个分块的组合特征可表示为Lxi，p= αxi，p，βxi，p，γxi，p[ ]，从图4中可以看出COLOR分块特征对行人匹配的结果贡献最大，SIFT分块特征次之，LBP分块特征的贡献最小;由此令。最后通过相似度匹配求取组合特征的匹配率。从图4中可看出经过多特征组合后匹配率均有所提高，COLOR和SIFT分块特征的组合匹配率达到了最高，且此时的COLOR特征组合权值α=0．8，SIFT特征组合权值β=0．2，LBP的特征组合权值γ=0，所以所选取的最佳组合特征为COLOR和SIFT分块特征的组合。

图4 不同方法下的rank1的匹配率

3.2 视域盲区行人之间的匹配

对于不同摄像机存在视域盲区行人之间的匹配，实验中的每一组图像的选取是在存在盲区的不同摄像机(cam.1和cam.2以及摄像机A和B)下的不同光照、不同姿态和不同视角下采集的。

图5(a)所示分别为任意选取的摄像机A和摄像机B以及摄像机B和摄像机A视频测试序列匹配结果;图5(b)为任意选取的摄像机cam.1和摄像机cam.2以及任意选取的摄像机cam.2和摄像机cam．1视频测试序列匹配结果;其中图5(a)、(b)的左侧图中矩形框所包围的区域均为测试行人，并在方框内对不同的测试行人进行标记;右边为任意选取的对应视域盲区摄像机的待匹配序列，矩形框所包围的区域均为候选行人。每个测试行人和候选行人通过最佳组合特征进行相似度测量，并对其最佳匹配对象在方框内进行相同的标记，同时对于找不到匹配对象的候选行人不作任何标记，匹配结果如图5所示。

图5 视域盲区摄像机行人匹配结果

3.3 组合算法的评估

用提出的算法和文献［12］提出的算法分别对匹配速率和匹配率的评估进行大小比较。首先，在检测到的图像进行图像处理后形成64×32大小像素的HSV图像上的H通道上进行正方形分块处理，形成84个大小为10*10个像素大小的正方向图像分块，然后对每个分块分别提取144维的最佳组合特征，而文献［12］在其给出的同样大小的RGB图像上进行分块处理，形成同样的84个大小相同的正方形图像分块上分别提取了672维特征，故相比较而言，提出的组合特征大大降低了组合特征的维数使匹配速率大大提高;匹配速率结果如表1所示。

表1 2种算法匹配速率的比较

其次，使用CMC累计匹配曲线和文献［12］的算法通过10次实验进行了比较;图6即为CMC曲线评估对比结果，从图中可以看出提出的算法的匹配率有所下降，这是由匹配速率大大的提高为代价的。

图6 两种算法匹配结果比较

4 结束语

提出了一种基于分块特征组合的视域盲区行人匹配算法，通过提取的单一特征和组合特征的相似度测量分别对匹配率进行评估从而获得最佳组合特征，最终本文通过最佳组合特征实现了视域盲区的行人匹配。

［1］Javed O，Shafique K，Rasheed Z et al．ModelingInter-Camera Space-Time and Appearance Relationship aor Tracking Across Non-Overlapping Views[J]．Computer Vision and Image Understanding，2008，109(2):146－162．

［2］Luis F，Teixeira，Luis C R．Video Object Matching Across Multiple Independent Views Using Local Descriptors And Adaptive Learning[J]．Pattern recognition letters，2009，30(2):157－167．［3］林国余，杨彪，张为公，等．在非重叠视域监控网络中的人体行人跟踪[J]．东南大学学报:英文版，2012，28 (2):156－163．

［4］吕晓威，孔庆杰，刘允才，等．无重叠视域摄像机间人行人匹配的特征融合算法［C］∥2008年全国模式识别学术会议论文集，2008:73－78．

［5］范彩霞，朱虹．非重叠多摄像机行人识别方法研究[J]．西安理工大学学报，2013，29(2):138－143．

［6］衡林，朱秀昌．无重叠视域的多摄像机之间的行人匹配[J]．计算机工程与应用，2014(8):188－193．

［7］Deng Yi，Lu Jian-guo，Qu Xi-long．Video Object Matching BasedonSIFTandRotationInvariantLBP[J]．TELKOMNIKA:Indonesian Journal of Electrical Engineering，2013，11(10):112－117．

［8］Tian Lu，Wang Sheng-jin，Ding Xiao-qing et al．HumanDetection and Tracking using Apparent Features under Multi-Cameras with Non-Overlapping［C］∥2012 International conference on audio，language and image processing．IEEE，2012:1082－1087．

［9］Zhang Ying，Li Shu-tao．Gabor-LBP Based Region Covariance Descriptor for Person e-identificaion［C］∥2011 Sixth International Conference on Image and Graphics．v．1，2011:368－371．

［10］刘红海，侯向华，黄旭，等．无重叠视域中多行人最优路径集合的数据关联[J]．光电工程，2014，(4):15－20．

［11］戴玥，陆小锋，朱民耀，等．多摄像机场景下的行人匹配比较研究[J]．电视技术，2013，37(19):219－223．

［12］Zhao R，Ouyangand W，Wang X．Unsupervised Salience Learning for Person Re-Identification［C］∥IEEE International Conference on Computer Vision and Pattern Recognition(CVPR)．Portland，2013:221－225．

［13］Felzenszwalb P F，Girshick R B，McAllester D．Discriminatively Trained Deformable Part Models[DB/OL]．http:∥www.CS.uchicago.edll/～pff/latent/.

［14］Wang X，Doretto G，Sebastian T，et al．Shape and Appearance Context Modeling［C］∥ICCV，2007:152－157．

Human Matching Based on Block Fusion Features for Blind Areas

WU Ying，CHEN Ken，JI Pei-pei
(Faculty of Electrical Engineering and Computer Science，Ningbo University，Ningbo Zhejiang 315211，China)

The non-overlapping regions of different monitoring cameras，calledblind area of the camera，pose challenges to matching the humansamong the cameras．This paper presents a method of human matching based on block features fusionfor blind areas of multiple cameras．First the discriminative training component model trained by HOG features is used to detect humans within the field of view of a single camera，then COLOR，SIFT andLBP square block features are extracted from the Hue component of the detected target to find the best fusion features through experiments for matching the humans．Experiments show the proposed matching method with the best fusion features has higher speed than the method in the literature．

blind areas;square block features;the best fusion features;human matching

TN919．8

A

1003－3114(2015)05－46－4

10.3969/j.issn.1003－3114.2015.05.12

吴盈，陈恳，吉培培．基于分块特征组合的视域盲区行人匹配［J］．无线电通信技术，2015，41(5):46－49，89．

2015－05－20

宁波市自然科学基金项目(2014A610065);宁波大学学科项目(XKXL1308)

吴盈(1988—)，女，硕士研究生，主要研究方向:视频行人跟踪及图像处理。陈恳(1962—)男，副教授，主要研究方向:图像与视频处理、多媒体通信、智能控制。