面向车辆识别的样本自反馈式级联检测方法

徐艺，谭德荣，郭栋，邵金菊，孙亮，王玉琼

（山东理工大学 交通与车辆工程学院，淄博 255000）

面向车辆识别的样本自反馈式级联检测方法

徐艺，谭德荣，郭栋，邵金菊，孙亮，王玉琼

（山东理工大学 交通与车辆工程学院，淄博 255000）

以解决机器学习的样本提取问题、提高车辆识别的精度为目的，以Adaboost算法、级联检测方法、样本自反馈方法为基础，提出了一种面向车辆识别的样本自反馈式级联检测方法。方法兼具Adaboost级联检测器的架构优势和样本自反馈方法的样本扩充能力。通过前车图像的识别实例阐述了样本自反馈式级联检测方法的识别过程，进而使用常规Adaboost检测器和样本自反馈式级联检测方法对图像数据集进行了识别，将生产者精度、用户精度、总体识别精度、k值作为评价指标对识别效果进行了比较，证明了样本自反馈式级联检测方法具有较高的识别精度。分析了样本自反馈式级联检测方法个别评价指标较低的原因，提出了相应问题的解决思路。

车辆识别；样本自反馈；Adaboost算法；级联检测

机器视觉作为一种能够获得驾驶环境信息的技术，具有探测范围广、道路信息完整等优势，被广泛应用于无人驾驶系统的车辆识别中［1，2］。当前使用机器视觉进行车辆识别的方法可分为基于形态特征的识别、基于运动特征的识别和基于机器学习的识别。其中基于机器学习的车辆识别不依赖先验知识，且对环境变动的敏感性较低，因而成为国内外无人驾驶等领域研究的热点［3-6］，并取得了丰硕的成果：Niknejad等提出了一种基于HOG特征的车辆可变模型［7］，通过设定自适应阈值实现了城市工况下的车辆识别；Sivaraman等提出一种基于Haar特征和Adaboost算法相结合的主动学习式框架［8］，用于高速公路环境中的车辆识别；Chang等提出了一种在线Boosting车辆检测方法［9］，实现了不同环境下的车辆识别；Huval等提出了基于卷积神经网络（Convolutional Neural Networks，CNN）的车道、车辆快速识别方法［10］；Song等通过AdaBoost与浅层CNN的融合［11］，提高了车辆识别的鲁棒性与实时性；张雪芹等提出了基于背景差分和目标对象差分的两种面向车辆识别的Adaboost改进算法［12］；陈小佳等使用BP神经网络进行特征融合并利用Ada⁃boost进行神经网络集成的车辆识别方法［13］；杨炜等使用了以灰度特征、多尺度方向特征为基础的Ada⁃boost级联检测器用于前方车辆的图像识别［14］；陈湘军等提出了车辆图像稀疏特征表示方法，构建了基于稀疏特征和背景建模的监控车辆分类识别应用框架［15］。

基于机器学习的方法在车辆识别中表现出色，但具备高泛化能力的机器学习模型的构建依赖大量的训练样本，而当前样本的制备多需人工完成，人工操作的低效和随机性的特点必将影响模型构建效率与识别效果的稳定性［16，17］。针对机器学习的样本提取问题，本文面向车辆识别提出了一种样本自反馈式级联检测方法。

1 Adaboost级联检测器原理

1.1 Adaboost算法原理

Adaboost级联检测器属于机器学习的典型方法，由Viola等首先提出并应用于图像识别［18］，由于实时性强且识别效果好而被广泛应用。Adaboost级联检测器属于一种视觉目标识别框架，该框架首先使用Haar-like、LBP、HOG等特征描述子提取待检测图像的特征样本，然后在基于特征描述子的训练集中，训练出若干最能区分目标的弱分类器，并使用Adaboost算法生成强分类器，最后训练若干强分类器并组成级联结构，完成Adaboost级联检测器的构建。其中，特征描述子在不同目标识别中表现不同，而Adaboost算法和级联结构是提高检测器识别效果和识别速度的关键。

Adaboost算法是一种由Boosting算法衍生出来的迭代算法［19-21］，其核心思想是通过更改同一个训练集中各个样本的权重，训练出多个不同的弱分类器，然后将弱分类器按一定权重叠加，构成一个强分类器。其主要步骤如下。

（1）给定弱分类器算法并设训练样本为(x1,y1),…,(xN,yN)，其中xi表示特征向量，对于正样本，令yi=1，对于负样本，yi=0；

（2）按式（1）进行权值初始化，其中l为正样本个数，m为负样本个数；

（3）对于t=1,…,T（T为算法迭代次数，即组成强分类器的弱分类器个数）：

①对于每一个特征j，得到弱分类器gj∈{0,1；}

②按式（2）计算弱分类器gj的分类错误εj，其中N=m+l；

③选出错误最小的弱分类器gt加入强分类器中；

1.2 级联检测原理

Adaboost级联检测器中级联的每一级均为Ad⁃aboost训练出来的强分类器，每个强分类器可让几乎所有的正例通过，同时滤除大部分负例，Viola等提出的级联检测器主要步骤如下。

（1）设每层强分类器的最大误识别率为f，最小识别率为d，级联检测器的整体误识别率为Ftar，Fi为含有i层强分类器的级联检测器的误识别率，Di为含有i层强分类器的级联检测器的识别率，令F0=1，D0=1，P为正样本集合，N为负样本集合；

（2）若Fi＞Ftar，则令i=i+1，ni=0，Fi=Fi-1，进行步骤（3），若Fi≤Ftar，则结束级联检测器的构建；

（3）若Fi＞f×Fi-1，则令ni=ni+1，使用Ada⁃boost算法基于P、N训练含有ni个弱分类器的强分类器，基于验证集计算当前级联分类器的Fi和Di，降低第i级强分类器的阈值，使Di＞d×Di-1；若Fi≤f×Fi-1，进行步骤4）；

（4）N=，若Fi＞Ftar，则在负样本中应用当前级联检测器，并将误识别的图像置于N中，若Fi≤Ftar，则结束级联检测器的构建。

由级联检测器实现步骤和级联检测器结构（如图1）可见，待检子样本被每一级强分类器处理后，负子样本被排除，正样本进入下一级分类器，使强分类器的待识别样本逐级减少，从而在保证识别精度的前提下提高识别速度。

图1 级联检测原理

2 样本自反馈式级联检测器构建

2.1 样本自反馈方法原理

Adaboost级联检测器的准确高效基于大量样本的训练，其实质是通过样本确定目标关键特征以判断待识别图像中是否存在目标区域。因此，样本库中所包含的目标图像的识别特征数量即成为Ada⁃boost级联检测器等基于机器学习的检测器目标识别效果的关键。因此，本文借鉴自反馈模板提取方法架构架［17］，构建样本自反馈式级联检测器。样本自反馈方法的理论依据如下。

设含目标的图像数量为n，目标的必要特征在含目标的图像中服从均匀分布，Mi为含目标的第i个图像，f为图像特征提取函数，其可提取Mi中所包含的目标的必要特征，初始样本的图像集合为{M1,M2,…,Mk}，（1≤k≤n），含有目标的待识别图像集合为{Mk+1,Mk+2,…,Mn}；

文明起源于水。人类文明的第一缕曙光，几乎都是被水浸亮的。于是，无论我们走到哪里，生命中都磨灭不了关于一条河，或一条江的印记。淘洗我灵与骨的那条滔滔大河叫——饮马河。

若将所有识别出的图像作为样本，则训练得到的检测器其识别得到目标全部必要特征的概率为p(f(M1)⋃f(M2)⋃…⋃f(Mk)⋃f(Mk+1)⋃…⋃f(Mn))=1，即检测器包含识别到目标所需的全部必要特征。

在实际目标识别中，必要特征不会严格遵循均匀分布，但将识别结果作为样本以扩充样本库，则必将提高检测器包含全部必要特征的概率。

2.2 样本自反馈式级联检测方法

样本自反馈式Adaboost级联检测方法流程如图2所示，具体步骤如下。

图2 样本自反馈式Adaboost级联检测方法流程图

（1）搭建基于Adaboost算法的级联检测器，通过已有负样本库Mn0、正样本库Mp0进行训练，生成初始Adaboost检测器D0；

（2）使用已有检测器Di对待识别图像进行目标识别，若目标识别数目n＞0，则进行步骤（3），若目标识别数目n=0，则进行步骤（4）；

（3）定位目标，输出目标定位结果，并进行目标提取，将提取出的目标作为样本储存于临时正样本库Mt中；

（4）获取Mt中的样本数量k，若k＞0，则进行步骤（5），若k=0，则结束检测；

3 实例验证与效果分析

3.1 前车图像识别实例

以2015a版MATLAB为编程平台，使用train⁃CascadeObjectDetector函数搭建基于Adaboost的级联检测器基本框架，使用加州理工大学计算机视觉课题组发布的乘用车车尾图像数据集（cars_markus）作为正样本和待识别图像，取该课题组发布的房屋图像数据集（Pasadena Houses 2000）作为负样本，进行样本反馈式级联检测方法的实例验证。

借鉴已有图像识别成果［22］，使用HOG特征构建弱分类器，使用Adaboost算法构建强分类器，综合考虑初始样本数量、样本库更新后样本数量，将20级强分类器进行级联以构建级联检测器，并限制级联检测器每一级强分类器的最大误检率为0.2。

（1）取cars_markus数据集的前30幅图像进行车尾区域标记，将标记区域的图像（如图3）作为初始正样本Mp0，与Pasadena_Houses_2000数据集组成的负样本Mn0一同训练级联检测器，得到初始级联检测器D0；

图3 矩形标记的原图像与样本图像

（2）使用D0对cars_markus数据集中初始正样本外的96幅图像进行识别，若识别到的车尾区域数量n＞0，则进行步骤（3），若识别到的车尾区域数量n=0，则进行步骤（4）；

（3）定位车尾区域，输出标记车尾区域的图像，并进行车尾区域图像的提取（图4），将提取出的图像作为样本储存于临时正样本库Mt中；

图4 矩形标记的定位图像与提取的样本图像

（4）获取临时正样本库Mt中样本数量k，若k＞0，则进行步骤5），若k=0，则结束检测；

（5）i=i+1，将已有正样本库Mpi-1与临时正样本库Mt合并生成新的正样本库Mpi，使用新的样本库进行训练以生成更新的Adaboost级联检测器Di，进行步骤2）。

3.2 识别效果分析

基于混淆矩阵的生产者精度（Producer’s Accu⁃racy，PA）、用户精度（User’s Accuracy，UA）、总体识别精度（Overall Accuracy，OA）和Kappa系数（k）等参数作为监督学习模型识别精度的主要评价指标有较高的普适性而被广泛应用于遥感地测、模式识别等领域的效果评价中［23-25］，因而本文使用PA、UA、OA及k作为识别效果的评价指标。

图5 识别结果示意图

如图5所示，实际目标所在位置使用矩形纹理覆盖，识别得到的目标区域使用斜纹纹理覆盖，非目标区域无纹理覆盖，并设被识别图像总量为n，第i幅被识别图像中A、B、C、D区域的像元数量分别为ai、bi、ci、di，则第i幅图像识别结果的混淆矩阵见表1。

表1 识别结果混淆矩阵

则目标识别的生产者精度PA如式（5）计算：

目标识别的用户精度UA如式（6）计算：

目标识别的总体识别精度OA如式（7）计算：

Kappa系数k如式（8）计算：

为比较常规Adaboost级联检测器与样本自反馈式级联检测方法的识别效果，使用HOG特征构建2个20级Adaboost级联检测器，限制级联检测器每一级强分类器的最大误检率为0.2，并根据本文描述将其中一个级联检测器改造为样本自反馈式级联检测器。合并斯坦福大学Krause的car_train图像数据集和car_test图像数据集［26］，并随机选取14066幅图像中的100幅图像进行车辆区域的人工标记，并将标记区域作为正样本，选取加州理工大学计算机视觉课题组发布的Pasadena_Houses_2000图像数据集作为负样本，进行面向车辆目标识别的样本训练。分别使用常规Adaboost级联检测器与样本自反馈式级联检测方法对合并数据集中剩余14016幅图像中随机选取的500幅图像进行识别。通过人工操作标记500幅图像的车辆区域，并将人工标记区域作为车辆目标实际存在的区域。生成识别结果与实际标记区域的混淆矩阵，按式（5-8）计算PA、UA、OA、k。

表2 常规Adaboost级联检测结果的混淆矩阵

表3 样本自反馈式级联检测结果的混淆矩阵

表4 目标识别精度

图6 识别指标直方图

由表4和图6可见，相比常规Adaboost级联检测器，样本自反馈式级联检测方法除UA较低，PA、OA、k值均有显著提高。比较表2与表3可见，常规Adaboost级联检测器识别出的车辆区域较少，即图5中B区域面积较小，而误识别出的车辆区域也较少，即图5中A区域面积较小。分析识别结果发现，常规Adaboost级联检测器识别出213幅图像中的车辆区域，即将另外287幅图像均作为非车辆区域，因而导致UA、OA计算结果较大。

另外，由表3可见，样本自反馈式级联检测方法将较多的非车辆区域识别为车辆区域，导致A区域面积增加，进而导致样本自反馈式级联检测方法的UA计算结果较小。经进一步分析发现，自反馈式级联检测进行第一次正样本扩充前其识别精度指标值与常规Adaboost级联检测器相同，正样本扩充后识别精度指标值变化较大，因而可知，正样本扩充后的级联检测器将较多的非车辆区域识别为车辆区域。

经分析认为，导致样本自反馈式级联检测方法将较多的非车辆区域识别为车辆区域的原因如图7。第一次识别的两个结果中均存在部分非车辆区域A、B，将识别结果直接作为正样本训练得到的检测器会把A、B非车辆区域作为车辆区域处理，即得到较大的非车辆区域C，从而导致UA的降低。可见，若能提高初次辨识的精度或限制迭代次数将降低非车辆区域的误识别几率。

图7 样本自反馈式级联检测方法识别结果示意图

4 结论

本文面向无人驾驶系统的车辆识别需求，针对机器学习方法中的样本提取问题，以Adaboost算法、级联检测方法、样本自反馈方法为基础提出了样本自反馈式级联检测方法，并通过对cars_markus图像数据集的识别实例说明了样本自反馈式级联检测方法的处理过程，进而对car_train图像数据集和car_test图像数据集进行了识别，并将PA、UA、OA、κ作为识别指标对常规Adaboost级联检测器和样本自反馈式级联检测方法的识别结果进行了比较，证明了样本自反馈式级联检测方法具有较高的识别精度。

样本自反馈式级联检测方法在常规基于机器学习的图像识别方法的基础上，将目标识别结果作为正样本以扩充样本库，并将训练得到的新的学习机器用于剩余待识别图像的目标识别中，从而充分利用了待识别图像中目标区域的图像特征，较为有效地解决了样本提取和样本库扩充问题，并提高了目标识别精度。分析发现，将识别结果作为正样本进行训练易导致误识别区域增多的问题。因而，在之后的研究中将致力于提高初次识别精度，并寻找样本自反馈的最佳迭代次数，以期解决上述误识别区域增多的问题。

［1］ Chen C Y，Feng H M.Hybrid intelligent vision-based car-like vehicle backing systems design［J］.Expert Sys⁃tems with Applications，2009，36（4）：7500-7509.

［2］ Sivaraman S，Trivedi M M.A review of recent develop⁃ments in vision-based vehicle detection［C］//Intelligent Vehicles Symposium（IV），2013 IEEE.IEEE，2013：310-315.

［3］ Nieto M，Vélez G，Otaegui O，et al.Optimizing comput⁃er vision based ADAS：vehicle detection case study［J］. IET Intelligent Transport Systems，2016，10（3）：157-164.

［4］ Kumar K A，Kumar S R.Vision-based vehicle detec⁃tion survey［J］.International Journal of Recent Contri⁃ butions from Engineering，Science&IT（iJES），2016，4（1）：31-35.

［5］ Antony J J，Suchetha M.Vision based vehicle detection：a literature review［J］.International Journal of Applied Engineering Research，2016，11（5）：3128-3133.

［6］ Sivaraman S，Trivedi M M.Looking at vehicles on the road：A survey of vision-based vehicle detection，track⁃ing，and behavior analysis［J］.IEEE Transactions on In⁃telligent Transportation Systems，2013，14（4）：1773-1795.

［7］ Niknejad H T，Takeuchi A，Mita S，et al.On-road mul⁃tivehicle tracking using deformable object model and particle filter with improved likelihood estimation［J］. IEEE Transactions on Intelligent Transportation Sys⁃tems，2012，13（2）：748-758.

［8］ Sivaraman S，Trivedi M M.A general active-learning framework for on-road vehicle recognition and tracking［J］.IEEE Transactions on Intelligent Transportation Systems，2010，11（2）：267-276.

［9］ Chang W C，Cho C W.Online boosting for vehicle de⁃tection［J］.IEEE Transactions on Systems，Man，and Cybernetics，Part B（Cybernetics），2010，40（3）：892-902.

［10］ Huval B，Wang T，Tandon S，et al.An empirical eval⁃uation of deep learning on highway driving［J］.Com⁃puter Science，2015，7（16）：1504-1507.

［11］ Song X，Rui T，Zha Z，et al.The AdaBoost algorithm for vehicle detection based on CNN features［C］//Pro⁃ceedings of the 7th International Conference on Inter⁃net Multimedia Computing and Service.ACM，2015：5.

［12］ 张雪芹，方婷，李志前，等.基于类Haar特征和Ada⁃Boost的车辆识别技术［J］.华东理工大学学报：自然科学版，2016，42（2）：260-265.

［13］ 陈小佳，崔太雷，杨科.基于特征融合和集成学习的隧道内车辆视频识别方法［J］.武汉大学学报：工学版，2016，49（1）：148-153.

［14］ 杨炜，巩建强，魏朗.融合多元特征信息的前方车辆图像识别［J］.长安大学学报：自然科学版，2016，36（4）：79-85.

［15］ 陈湘军，阮雅端，陈启美，等.车辆图像稀疏特征表示及其监控视频应用［J］.北京邮电大学学报，2016，39（s1）：81-86.

［16］ 文学志，赵英男，郑钰辉，等.车辆识别中样本自动化准备方法研究［J］.计算机工程与应用，2010，46（15）：25-27.

［17］ 李世武，徐艺，孙文财，等.基于自反馈模板提取的车辆遥感图像识别［J］.华南理工大学学报：自然科学版，2014，42（5）：97-102.

［18］ Viola P，Jones M.Robust real-time object detection［J］.International Journal of Computer Vision，2001（4）：34-47.

［19］ Schapire R E.The strength of weak learnability［J］. Machine learning，1990，5（2）：197-227.

［20］ Schapire R E.A brief introduction to boosting［C］// Sixteenth International Joint Conference on Artificial Intelligence.Morgan Kaufmann Publishers Inc.1999：1401-1406.

［21］ Freund Y，Schapire R E.A desicion-theoretic general⁃

ization of on-line learning and an application to boost⁃ing［C］//European conference on computational learn⁃ing theory.Springer Berlin Heidelberg，1995：23-37.［22］ Mao L，Xie M，Huang Y，et al.Preceding vehicle de⁃

tection using histograms of oriented gradients［C］// Communications，Circuits and Systems（ICCCAS），2010 International Conference on.IEEE，2010：354-358.

［23］ 孔英会，景美丽.基于混淆矩阵和集成学习的分类方法研究［J］.计算机工程与科学，2012，34（6）：111-117.

［24］ Dikshit O，Roy D P.An empirical investigation of im⁃age resampling effects upon the spectral and textural supervised classification of a high spatial resolution multispectral image［J］.Photogrammetric engineering and remote sensing，1996，62（9）：1085-1092.

［25］ Stehman S V.Selecting and interpreting measures of thematic classification accuracy［J］.Remote sensing of Environment，1997，62（1）：77-89.

［26］ Krause J，Stark M，Deng J，et al.3d object representa⁃tions for fine-grained categorization［C］//Proceedings of the IEEE International Conference on Computer Vi⁃sion Workshops，2013：554-561.

Feedback Samples Based Cascade Method for Vehicle Detection

XU Yi，TAN Derong，GUO Dong，SHAO Jinju，SUN Liang，WANG Yuqiong
（School of Transportation and Vehicle Engineering，Shandong University of Technology，Zibo 255000）

The principle of Adaboost algorithm，cascade method and sample self feedback method are analyzed and used to build a feedback samples based cascade method that can detect vehicles without problems of sample extraction and have high accuracy. The method has the advantage of the Adaboost cascade detector and the sample expansion ability of the sample self feedback meth⁃od.The detection process of the self feedback cascade detection method is illustrated by the example of front vehicle image detec⁃tion.Image data sets are detected by conventional Adaboost detector and feedback samples based cascade method，and the Pro⁃ducer’s Accuracy，the User’s Accuracy，the Overall Accuracy andkare used as evaluating indicators to compare test results，and the results show that the feedback samples based cascade method has higher accuracy.The reason of low evaluation index of feedback samples based cascade method is analyzed，and corresponding solutions are proposed.

vehicle recognition；feedback sample；Adaboost algorithm；cascade detector

U491.62

A

1672-9870（2017）03-0048-06

2017-03-29

国家自然科学基金青年基金项目（51508315）；山东省自然科学基金项目（ZR2016EL19）

徐艺（1989-），男，博士，讲师，E-mail：xuyisdut@163.com