基于改进型LBP特征的监控视频行人检测

刘璨，孟朝晖

（河海大学 江苏 南京211100）

基于改进型LBP特征的监控视频行人检测

刘璨，孟朝晖

（河海大学 江苏 南京211100）

对图像和视频中的不同类别的对象的检测是计算机视觉研究的基本任务。行人检测是一个热门的研究课题。行人是交通系统中的主要参与者，所以对视频监控系统中的行人检测对智能交通系统的研究和应用有着重要的意义。由于光线，颜色，尺度和姿势等各方面的差别，行人检测是一个具有挑战性的问题。有效特征的提取是这个问题的关键。本文提出了一种基于改进型的局部三值模式（LTP）特征的行人检测方法，提取的特征中包含梯度信息，纹理和尺度信息，采用前景分割的方法完成了检测任务。CAVIAR序列实验证明用此方法提取的特征结合支持向量机可以有效地检测出真实场景监控视频中的行人。

视频监控；行人检测；局部三值模式；特征提取

在智能视频监控，辅助驾驶系统，人机交互，军事应用和智能数字化管理等这些大量的应用中，行人检测是第一步。由于光线，颜色，尺度，姿势和着装等各方面的差别，行人识别是一个具有挑战性的问题。在图像上检测行人已经有了很长的历史，在过去的十年里，人们对行人检测有着巨大的兴趣。

如今进入了一个视频监控的社会，生活中的视频监控现象随处可见。人们对视频监控中的行人检测算法的兴趣也日益剧增。随着现代化城市中的交通问题日益严重，对智能交通系统（ITS）的研究和应用已经成为全球的热点话题。视频监控系统，是一种感知交通世界的工具，它是智能交通系统中的重要模块。行人是交通系统中的主要参与者，所以对视频监控系统中的行人识别对智能交通系统的研究和应用意义重大。

1　相关工作

在文中，我们重点对单个行人进行检测，得到他们的准确位置。从广义上来说主要有两种行人检测方法：基于模型的方法以及基于特征分类的方法。这两种方法模式分类上分别对应生成模型和判别模型。在基于模型的行人检测方法中，首先需要定义精确的行人模型。然后用算法搜索与模型匹配位置的视频帧，检测行人。基于部分模型的方法在计算机视觉领域中对一般物体的检测和行人探测有着很长的历史[1-3]。基于部分的模型有两个主要成分。第一个是使用低级别的特征或分类器来模拟行人的各个部分。第二个是模拟行人的拓扑[4]。这种方法是可行的，但部分检测本身是一个困难的任务。这种方式的实现遵循处理图像数据的标准程序：创建一个密集采样图像金字塔，在每个比例下计算特征，在所有可能的位置进行分类，最后执行非最大抑制方法，生成一组最终的包围盒。基于特征分类的方法第一步是从视频帧中提取行人检测窗口，（通常是滑动窗口搜索）[5]，下一个特征从所提取的检测窗口提取。基于大量训练示例训练分类器，使用该分类器用特征向量划分行人类或非行人者类。

2　系统架构

图1是我们的系统概述，输入视频帧被分割，以确定前景。该检测系统扫描图像的所有相关位置和尺度以检测行人。该特征部件编码行人的视觉外观，分类器组件确定每个独立滑动的窗口中是否包含行人。

图1　我们的行人检测系统

为了训练我们的系统，我们收集了一组2 500灰阶行人样本图像正例，连同其左，右反射。正例已经对齐，并调整尺寸为128×64。行人的图像取自公共行人数据集和监控视频。我们做了一个包含6 000非行人图像的反样本数据集。为了提高性能，我们把如电线杆，树木，路牌等2 000个垂直结构增加到负样本。垂直结构在行人识别中是常见的误报检测。

2.1前景分割

这里采用混合高斯背景建模的方法来进行前景分割[6]。详细算法流程如下：

1）每个新像素值Xt同当前K个模型按下式进行比较，知道找出匹配新像素值的分布模型，即同该模型的均值偏差在2.5σ内。

2）如果所匹配的模式符合背景要求，则该像素属于背景，否则属于前景。

3）各模式权值按如下公式更新，其中α是学习速率，对于匹配的模式Mk，t=1，否则Mk，t=0，然后各模式的权重进行归一化。

4）未匹配模式的均值μ与标准差σ不变，匹配模式的参数按照如下公式更新：

5）如果第一步中没有任何模式匹配，则权重最小的模式被替换，即该模式的均值为当前的像素值，标准差为初始较大值，权重为较小值。

6）各模式按照ω/α2按降序排列，权重大，标准差小的模式排列靠前。

7）选前B个模式作为背景，B满足下式，参数T表示背景所占的比例。

2.2局部三值模式（LTP）

局部二元模式 （LBP）是一种简单但非常有效的纹理算子。在一个3×3的窗口中，以窗口中心点的灰度值为阈值对窗口内其它像素作二值化处理[7]，然后根据像素不同位置进行加权求和得到的二进制数作为该窗口的LBP值[8]。在文中，我们提出了将LBP扩展为具有三值编码形式，即LTP，LTP公式定义如下：

LTP将中心像素值的邻域宽度±t范围内的像素值量化为0值，大于此邻域宽度的像素值量化为1，小于邻域宽度的像素值量化为-1。并且t是用户定义的阈值，以下是LTP编码的计算公式为：

LTP编码过程如图2所示，这里t设为5，即规定0值编码的像素值范围为[36，48]。

图2　LTP算子计算过程示意图

多尺度局部三值模式的方法是基于改变LTP的半径R以及结合所得直方图的简单原理。邻域用两个参数P，R来描述，R={R1，R2，...，Rnr}，其中nr是计算过程中所用的半径的数量。在多尺度局部三值模式图像中每个像素都用nr的值描述。对于不同值R={R1，R2，...，Rnr}的多尺度局部三值模式直方图由H（1），H（2），...，H（nR）向量的和决定，为得到连贯的描述，在H计算之前，需要对空间增强直方图H（1），H（2），...，H（nr）做归一化处理。

其中，fx和fy分别代表输入图像像素的水平和垂直尺寸。H（i）由公式（10）得出。

2.3特征提取

特征提取的关键步骤如下：

1）我们对输入图像的灰度级进行归一化处理，以减少不同图像中的光照差别。

2）每个检测窗口分为大小相等的重叠块。检测窗口的尺寸是64×128，块的尺寸为16×16。

3）在每个像素中计算多尺度的LTP值。它们被位于块中心尺寸为σ=0.5×块宽度的高斯窗口加权。然后从每个块中独立提取出多尺度LTP直方图。然后组合直方图，形成行人的全局描述。我们使用以下参数描述多尺度LTP：P=8，R={1，2，3}，nr=3。

4）不是所有的直方图成分在分类过程中都同样重要。所以要根据重要性来调整全局LTP直方图块的权重[9]。在INRIA行人数据集上实验证明，所提出的与支持向量机[10]和径向基函数[11]结合的多尺度LTP特征效果很好。

3　实验结果

我们对 CAVIAR序列进行了实验，比较了 Dalal and Trigg提出的HOG+SVM系统[12]，Lie提出的HOG+Adaboost系统[13]，Papageorgiou提出的Haar+SVM系统[5]，Monteiro提出的Haar+AdaBoost系统[14]，HOG+IKSVM系统[15]，PHOG+HIKSVM系统[15]，以及我们提出的系统总共7个系统。从结果可以看出我们可以建立一个强大的和判别性的特征，显著减少错误检测率。7个系统的速度和准确率如表1所示。我们比较了在384×284分辨率下的不同系统的检测率和误检测率。从表1中，可以看出我们的算法准确度达到了先进水平，基于Haar特征的检测算法有着较高的检测速度。图3是对CAVIAR数据集的检测示例。

表1　不同系统的速度和准确率比较，分辨率为384×284

图3　CAVIAR数据集检测示例

也用户外监控摄像头的监控视频中的视频帧测试了的行人检测系统。实验结果如图4所示。

图4　户外视频检测示例

4　结　论

在文中，我们提出基于多尺度LTP特征的行人探测算法并显示其实验结果。首先，进行前景分割，然后提取特征，最后分类进行行人检测。CAVIAR序列的实验结果表明，该行人检测算法的性能优于HOG特征。我们比较了我们的算法和其他先进水平的基于滑动窗口的行人检测算法并且展示了行人检测的一些示例。结果表明，我们的检测算法检测行人的效果良好。此外，也有一些方面需要我们进一步的研究，比如如何将我们提取的LTP特征与其他特征进行融合以及行人遮挡问题。

[1]Felzenszwalb D，Huttenlocher D.Fine particles，thin films and exchange anisotropy[C]∥CVPR，2010：812-825.

[2]Forsyth D，Fleck M.Body plans[C]∥CVPR，2009：768-775.

[3]Leibe B，Seemann E，Schiele B.Pedestrian detection in crowded scenes[C]∥CVPR，2005：878-885.

[4]Seemann E，Leibe B，Schiele B.Multi-aspect detection of articulated objects[C]∥CVPR，2006：1582-1588.

[5]Papageorgiou C，Oren M，Poggio T.A general framework for object detection[C]∥ICCV，1998：555-562.

[6]王典.基于混合高斯的背景建模与阴影抑制算法研究[D].西安：西北工业大学，2006.

[7]安宁，林树忠，刘海华，等.图像处理方法研究及其应用[J].仪器仪表学报，2006，8（2）：15-21.

[8]Ahonen T，Hadid A，Pietikainen M.Face recognition with local binary patterns[C]∥ECCV，2004：469-481.

[9]Sanya.Pedestrian detection based on HOG-LBP feature[C]∥Ninth International Conference on Computational Intelligence and Security，2013：1184-1187.

[10]Liu Min，Zhu Kai，Cong Li，et al.Based on rough set and support vector machine（SVM）in Jilin province power distribution network transformation project evaluation[C]∥DCABES，2013：312-318.

[11]Li Shu-Ling，Li Xiao-Lin.Application of radial basis functions to evolution equations arising in image segmen-tation[J].Chinese Physics B，2014，21（2）：10-15.

[12]Dalal N，Triggs B.Histograms of oriented gradients for human detection[C]∥CVPR，2005：886-893.

[13]Lie G，Ping-shuG，Yi-bingZ，et al.Pedestrian detection based on HOG features optimized by Gentle AdaBoost in ROI[J].Journal of Convergence Informa-tion Technology，2013，8（2）：33-40.

[14]Monteiro G，Peixoto P，Nunes U.Vision-based pedestrian detection using Haar-like features[J].Robotica，2006，24：46-50.

[15]Maji S，Berg AC，MalikJ.Classification using intersection kernel support vector machines is efficient[C]∥CVPR，2008：1-8.

Pedestrian detection in surveillance videos based on improved LBP features

LIU Can，MENG Zhao-hui
（HoHai University，Nanjing 211100，China）

Detecting different categories of objects in an image and video content is one of the fundamental tasks in computer vision research.Pedestrian detection is a hot research topic.Pedestrians are key participants in transportation systems，so pedestrian detection in video surveillance systems is of great significance to the research and application of Intelligent Transportation Systems（ITS）.Pedestrian detection is a challenging problem due to the variance of illumination，color，scale，pose，and so forth.Extraction of effective features is a key to this task.In this work，we present the multi-scale Centersymmetric Local Binary Pattern feature for pedestrian detection.The proposed feature captures gradient information and some texture and scale information.We completed the detection task with a foreground segmentation method.Experiments on CAVIAR sequences show that the proposed feature with support vector machines can detect pedestrians in real-time effectively in surveillance videos.

video surveillance；pedestrian detection；LTP；feature extraction

TN701

A

1674－6236（2016）21-0048-03

2015-11-06稿件编号：201511058

刘 璨（1992—），女，安徽阜阳人，硕士研究生。研究方向：计算机视觉，图像处理。