基于多特征协同的交通标志检测

汤 凯,李实英,刘 娟,李仁发

(湖南大学信息科学与工程学院嵌入式系统与网络省重点实验室,长沙410082)

基于多特征协同的交通标志检测

汤 凯,李实英,刘 娟,李仁发

(湖南大学信息科学与工程学院嵌入式系统与网络省重点实验室,长沙410082)

针对交通场景图像中交通标志因颜色失真、形状失真和尺度变化导致漏检严重的问题,提出一种颜色特征、形状特征和尺度特征的多特征协同方法。从交通场景图像计算颜色增强图,利用多阈值分割方法和闭合轮廓曲率直方图链码表达,并对提取的形状轮廓的曲率直方图进行尺度归一化处理,融合颜色特征和归一化后的形状特征构成区域的特征向量,采用支持向量机分类获得检测结果。实验结果表明,该算法在较低时间复杂度下,能有效提高交通标志检测精度。

交通标志;多特征协同;多阈值;曲率链码;尺度归一化;支持向量机分类

1 概述

道路交通标志检测识别是汽车辅助驾驶系统和无人驾驶汽车技术中重要的研究部分。为了保证道路畅通,预防和避免可能的交通事故,需要快速有效地检测出车辆行使环境中不同距离的交通标志,做出正确识别,从而让车辆及时做出合适的决策反应。

本文针对图像中交通标志的颜色失真和形状失真,特别是同帧图像中多个不同尺度的交通标志同时检测问题,从颜色增强处理后的图像中分别提取颜色特征和形状特征,并对尺度不同的交通标志归一化处理,将这些单个特征分别处理的结果进行协同计算,以提高交通标志的检测精度。

2 相关工作

交通标志是根据特殊规定进行设计、制作和设置的图案和文字符号。按照各国的交通标志设计规范,每个交通标志的颜色主要采用红、绿、黄、蓝、黑和白等几种颜色中的2种或以上容易引起视觉注意的颜色搭配;形状采用正圆、三角形、矩形、正八边形等易于分辨的规则形状;交通标志的尺寸与限制速度有关,通常高速公路上的交通标志比城市道路的

尺寸大。根据这样的规定,理论上只要基于颜色或形状中的一种特征,或者将这2种特征结合就能正确检测交通标志。然而,在实际的交通环境中,通过车载摄像机获取的视频图像存在以下3个主要问题:(1)由于阴晴天气和早晚光照的变化、交通标志的老化褪色,以及与车行方向的相对位置偏移引起高光或背光,图像中交通标志的颜色不再是标准颜色,即颜色失真;(2)交通标志可能损坏变形,与车行方向形成非垂直的位置关系,或从车载摄像机的角度被建筑物或树木等障碍物造成不同程度的遮挡,图像中交通标志不再是标准的规则形状,甚至显示成完全不同的形状,比如正圆变成椭圆,三角形变成四边形。这种情形本文统称为形状失真;(3)道路上的交通标志与车载摄像机的距离不同,同一帧图像中显示的交通标志大小不一,近距离大远距离小。由于车行速度快,需要快速检测和识别近距离的交通标志,同时尽早检测出较远距离的交通标志。也就是要应对同一图像中不同尺度的交通标志,即尺度不一致问题。

针对颜色失真、形状以及尺度不一致问题,现有的研究主要分为特征串行和协同检测2类方法。常见的串行算法利用颜色分割交通标志区域,然后进行形状识别。这类算法的检测精度主要依赖颜色分割结果。为克服光照变化等因素,有些算法选择采用具有光照不变性的颜色空间,如HSV［1］、CIECAM［2］等。文献［3］通过统计大量交通标志样本的色相-饱和度(H-S)分布确定分割阈值,然后提取区域边缘到外接矩形距离的DtB向量,采用支持向量机(Support Vector Machine,SVM)分类。H和S分量在光照变化情形下相对稳定,然而当存在阴影覆盖或标志老化褪色时,H分量的适应性降低,导致检测精度下降。文献［4］在CIELab空间中使用Gabor算子提取纹理相近的区域进行聚类,然后利用规则形状的紧凑性约束和轮廓点距中心的距离分布进行形状识别,能有效降低局部阴影、褪色情形下的漏检率。当场景较暗或前景和背景对比度较低时,容易导致聚类错误。另一些串行算法选择先进行形状检测,再利用颜色特征过滤交通标志。当形状失真时,形状检测性能直接影响检测结果。文献［5］利用径向对称变换快速定位圆形区域,然后在改进的RGB空间中学习像素的分类概率,以区域颜色的累计概率判断是否为交通标志。该算法时间复杂度较低,然而当存在形状失真时投票中心峰值不明显,容易导致漏检或定位不准确。

由于串行方法过分依赖单一特征的检测性能,颜色和形状特征协同方法可以提高检测精度。有些算法采用特征加权策略,如文献［6］将SVM预测的前景概率图与形状模板进行卷积,利用卷积响应来分割交通标志区域。尽管能够降低局部颜色失真情形下的漏检率,然而以多尺度和旋转模板卷积来克服尺度和旋转变化使算法的运行效率和尺度适应范围受到限制。文献［7］比较不同的颜色特征和边缘,通过投票组合策略,提出先利用样本学习交通标志的梯度先验概率,然后对n元组边缘投票。这种加权策略具有更高的检测精度,对背景边缘噪声较严重的情形具有鲁棒性。基于特征融合的机器学习策略则更注重局部特征模式的学习。文献［8］在不同颜色通道中训练Haar小波特征,保留鉴别能力较强的Haar特征,然后采用Adaboost算法提高分类器的准确率。该算法对样本训练的质量要求较高。文献［9］在CIELab空间中,级联不同颜色通道的HOG进行分类学习。相比普通RGB空间或直接在灰度图中提取HOG特征,具有更高的检测精度。然而高维HOG特征增大了分类器训练的时间复杂度。

基于多特征协同的方法通过增加额外约束或冗余信息降低交通标志的误检和漏检,如利用双目立体视觉中的极线约束［10-11］检测交通标志。文献［12］使用颜色、形状特征获取交通标志区域后,由局部SIFT特征匹配点对计算区域的3D平面参数,能够缓解交通标志与投射方向非垂直时导致的形状失真,降低形状失真下的漏检率。然而当交通标志尺度较小时,稀少的SIFT特征点对降低3D平面估计的可靠性。文献［13］利用多阈值分割和基于模糊模板的广义霍夫变换获取初始分割区域,然后利用多视图冗余信息和视觉一致性约束获取交通标志的三维假设支持,具有较低的漏检率和误检率。

针对因交通标志尺度小而难以检测的问题,提出了一些具有尺度不变性的形状特征,如边缘转向角［14］、正切函数空间［15］等。文献［16］将中心到轮廓点距离的抽样序列进行离散傅里叶变换,这样特征响应的循环移位和线性性质使算法具有旋转和尺度不变性。文献［17］首先利用小尺度HOG特征聚类获取尽可能多的兴趣区域,然后将区域缩放到同一尺度下,提取大尺度HOG特征进行分类。对尺度较小的交通标志也有较低的漏检率和误检率。

3 多特征协同算法

利用交通场景图像的RGB通道差异生成颜色增强图。对增强图采用多阈值分割,提取颜色特征。同时利用增强图的梯度信息提取闭合轮廓,计算曲率直方图的链码表达,然后与模板匹配获取形状特征值。采用SVM分类方法［18］对颜色和形状的融合特征进行分类,获得最终的检测结果。实现过程如图1所示。

图1 多特征协同算法实现流程

3.1 颜色特征提取

利用RGB颜色通道间的归一化差异获取红-绿、黄-蓝4类增强图,计算方法如式(1)所示:

(IR,IG,IB)为像素x在RGB空间对应的各个颜色值,归一化因子s=(IR+IG+IB)/3为x的亮度值。

由于图像中存在大部分非交通标志的背景像素,利用阈值分割方法获取初始交通标志区域,降低交通标志搜索范围。Otsu算法［19］利用分割的前景和背景的类间方差最大化来确定阈值λmid,如式(2)所示:

其中,pi表示亮度值为i的像素个数占图像总像素的比例;w0(T),w1(T)分别表示当分割阈值为T时的背景和前景像素概率;μ0(T),μ1(T)分别为相应背景和前景的亮度均值。由于单阈值分割方法容易漏检颜色失真或尺度较小的交通标志,本文采用Otsu多阈值分割方法［19］。增强图首先由λmid分割为前景和背景区域,然后分别在［1,λmid］,［λmid, 255］进行二次分割。为降低计算复杂度,阈值采用前景和背景的期望均值迭代求解,如式(3)所示:

其中,［a,b］为亮度值范围,当亮度值范围为［1,λmid］时,迭代初始值为λ0=λmid。亮度值范围为［λmid,255］时,λ0=255。

首先提取分割结果中的连通域,然后利用长宽比、规则形状的紧凑性约束进行过滤,得到颜色特征区域。为提取区域的颜色特征,本文将增强图灰度级分为10个区间,统计像素的概率分布作为该区域的颜色特征,记为vc。

3.2 形状特征提取

以式(1)定义的颜色增强图为基础,采用Sobel算子获得边缘信息,提取闭合轮廓并计算相应的曲率直方图的链码。

在连续空间中,曲率表示点在该曲线上的切线变化速率。而在离散空间中,曲率由轮廓点的k阶位移方向差分来度量。如图2所示,规定逆时针为正方向,轮廓点pf的离散曲率看作是向量pf-kpf到向量pfpf+k的到角θf,计算如下:

其中,pf-kpf=(x1,y1);pfpf+k=(x2,y2)。

图2 k阶离散曲率定义

为方便提取曲率特征,将轮廓Ci的曲率序列{θf}采用式(5)量化为(LCi/k)进制的曲率直方图链码{df}。

其中,j∈{0,1,…,(LCi/k)-1},f∈{0,1,…,LCi-1};LCi为Ci的长度。

自然场景中由于交通标志设置或摄像机姿态等

3.3 尺度归一化

轮廓的曲率直方图与k值密切相关。图3表示正三角形轮廓分别取k=4,8,12,20对应的曲率直方图。当k值增大,曲率直方图噪声降低,峰值和周期性也越明显。因此高阶离散曲率更适用于形状识别。

图3 不同k值对应的三角形曲率直方图

k值可以作为轮廓曲率直方图链码的尺度控制变量,固定的k值使尺度不同的相似形状对应的曲率直方图差异较大。因此,本文采用与轮廓长度LCi成正比的自适应k值计算曲率直方图的链码。如图4所示,尺度不同的相似轮廓均分为(LCi/k)等分,由相似性可知对应的轮廓点具有相同的曲率值。

图4 尺度不同(大小圆)的曲率

其中,r∈{0,1,…,L0-1};f∈{0,1,…,LCi-1}。图5为场景中交通标志形状归一化前和后的曲率直方图。其中,图5(b)～图5(d)各图的上下图像对应交通标志外轮廓归一化前、后的曲率直方图。

图5 曲率直方图的尺度归一化

待检测形状主要有三角形、正方形、正八边形和圆,本文采用能区分这4类形状的链码的最大阶值k=Lci/16,相应的量化规格为16进制。图6为交通标志模板形状的曲率直方图。将检测到的轮廓的曲率直方图链码{Dr}与交通标志模板的链码{Mr}匹配,最大相似度记为{Dr}的特征值vs:

图6模板曲率直方图

3.4 特征融合

结合颜色和轮廓分别得到的兴趣区域,按3.1节方法获得兴趣区域的颜色特征vc,与按3.2节和3.3节方法计算相应轮廓的曲率直方图链码,并进行尺度归一化处理后的形状特征vs构成融合特征向量v=(vc,vs)。

在此基础上,将交通场景图像集分成包含通常情形、颜色失真、形状失真、尺度变化等4种情形下的交通标志特征作为正样本,同时从中得到伪交通标志和不存在交通标志的随机分割区域特征作为负样本。正负样本共同构成训练样本集{(xi,yi)}。

利用SVM对样本集进行训练,获得最优分类超平面系数(αi,b)。采用式(9)对融合特征向量v进行分类预测:

其中,xi为支持向量;yi∈{-1,1}为相应样本标签。当g(v)＞0,特征v对应区域分类为交通标志,否则视为非交通标志进行滤除。然后将训练得到的分类超平面系数应用于不同的交通场景图像集。

4 实验结果与分析

由于交通环境中交通标志的漏检容易造成重大的安全事故,本文采用召回率评价交通标志检测的效果,它是实际检测到的交通标志占数据集中交通标志总数的百分比。为验证算法的有效性,采用数据集Traffic Signs UAH［20］和GTSDB［21］数据集进行实验。将UAH数据集中的交通场景图像分成通常情形、颜色失真、形状失真以及尺度变化4种情形,得到交通标志特征的正样本共计614个,负样本共计1 107个,然后利用样本训练SVM分类器。训练尺度变化数据集选择的是交通场景图像中有交通标志特征的20×20～40×40大小的图像区域。图7～图10显示部分实验结果,这些图的(c)和(d)分别为检测到的颜色特征和形状轮廓,(e)为对形状轮廓进行尺度归一化处理后的曲率直方图。

在图7所示的通常情形下,单独利用颜色特征或形状特征大致能正确检测出交通标志,如图7(c)和图7(d)。图7(e)中计算的形状特征值分别为0.98,1.00,0.87,表明曲率直方图链码具有较高的匹配置信度。

图7 尺度变化

图8～图10分别显示颜色失真、形状失真和有尺度变化的情形。当交通标志平面与车行方向非垂直时形状发生变化,图8(e)中椭圆的形状特征值为0.85。当df≤(LCi/2k),记为凸曲率,反之为凹曲率。当交通标志存在部分遮挡时,受损的轮廓具有凹曲率值。本文提取轮廓中的最长连续凸曲率直方图链码,将该部分与模板匹配得分作为轮廓的形状特征值。图9(e)所示的受遮挡圆的形状特征值为0.80。另外,曲率直方图随尺度减小而噪声增加,相应形状特征值减小。这是由于小尺度的轮廓曲率相比大尺度更容易受到边缘噪声的影响。

图8 颜色失真和形状失真

图9 形状失真和尺度变化

图10 颜色失真、形状失真和尺度变化

图8～图10表明,融合这些颜色特征和尺度归一化后的形状特征能够提高交通标志的检测精度。

文献［6］方法利用SVM方法估计像素的颜色分类概率,然后与模板卷积提取交通标志,本文方法策略与之类似。因此,实验分别在UAH和GTSDB数据集上与文献［6］方法比较。本文对GTSDB数据集与UAH同样进行4种情形下的分类设置,由于GTSDB中形状失真数据较少,补充53帧交通标志存在形状失真的图像作为GTSDB+据集。在UAH和GTSDB+2个测试数据集中4类情形下的各个子数据集,以及对总数据集进行的综合情形进行实验,结果如表1所示。在UAH数据集中,综合情形、形状失真和尺度变化情形下的召回率都明显高于文献［6］方法。在GTSDB+数据集中通常情形和颜色失真情形下的召回率比文献［6］方法略低,然而在形状失真和尺度变化情形下,本文方法比文献［6］方法均高出15%以上。以上实验结果表明,尺度归一化的形状特征能够明显提高交通标志的正确检测。

表1 不同情形下的召回率统计

表2显示的是对数据集UAH和GTSDB+利用颜色特征、形状特征这2个特征单独进行交通标志检测以及2种特征协同算法进行检测的结果。从表中可以看出,协同算法比单个特征的检测效果有明显提高。

表2 单一特征与多特征协同的检测结果对比

文献［6］方法通过增加模板数量来克服尺度和旋转变化,而本文方法仅需在线性时间内对曲率链码进行尺度归一化。因此,本文方法的时间复杂度低于文献［6］方法。采用C++语言,在Inter双核、主频为2.7 GHz、内存为2 GB的机器上进行实验, 2种方法处理的时间如表3所示。在这2个数据集上,本文方法平均每帧运行时间低于1.0 s,而文献［6］方法则高于20.0 s。

表3 平均运行时间对比

5 结束语

本文基于交通场景图像的颜色增强图,利用多阈值颜色分割方法和轮廓曲率直方图链码表达分别得到交通标志的兴趣区域,并对提取的形状轮廓的曲率直方图进行尺度归一化处理,融合颜色特征和归一化处理后的形状特征进行分类,能够有效提高通常情形、颜色失真、形状失真以及尺度变化这4种情形下的交通标志检测率。在行驶环境中首先需要尽早正确检测到交通标志,其次对于检测的交通标志要进行正确的语义识别,后者将是下一步的主要工作。

［1]Chen Long,Li Qingquan,Li Ming,et al.Traffic Sign Detection and Recognition for Intelligent Vehicle［C］// ProceedingsofIntelligentVehiclesSymposium.Washington D.C.,USA:IEEE Press,2011:908-913.

［2]Gao Xiaohong,Hong Kunbin,Peter P,et al.Colour VisionModel-basedApproachforSegmentationof Traffic Signs［J］.EURASIP Journal on Image and Video Processing,2008,(1):1-7.

［3]Maldonado B S,Lafuente A S,Gil J P,et al.Road-sign Detection and Recognition Based on Support Vector Machines［J］.IEEE Transactions on Intelligent Transportation Systems,2007,8(2):264-278.

［4]Khan J F,BhuiyanSMA,AdhamiRR.Image SegmentationandShapeAnalysisforRoad-sign

Detection［J］.IEEE Transactions on Intelligent Transportation Systems,2011,12(1):83-96.

［5]Gu Yanlei,Yendo T,Tehrani M P,et al.Traffic Sign Detection in Dual-focal Active Camera System［C］// ProceedingsofIntelligentVehiclesSymposium.Washington D.C.,USA:IEEE Press,2011:1054-1059.

［6]Liang Ming,Yuan Mingyi,Hu Xiaolin,et al.Traffic SignDetectionbyROIExtractionandHistogram Features-basedRecognition［C］//Proceedingsof International Joint Conference on Neural Networks.Washington D.C.,USA:IEEE Press,2013:1-8.

［7]Houben S.A Single Target Voting Scheme for Traffic Sign Detection［C］//Proceedings of Intelligent Vehicles Symposium.Washington D.C.,USA:IEEE Press,2011: 124-129.

［8]Bahlmann C,Zhu Y,Ramesh V,et al.A System for Traffic Sign Detection,Tracking,and Recognition Using Color,Shape,and Motion Information［C］//Proceedings of Intelligent Vehicles Symposium.Washington D.C., USA:IEEE Press,2005:255-260.

［9]Creusen I M,Wijnhoven R G J,Herbschleb E,et al.Color Exploitation in Hog-based Traffic Sign Detection［C］//Proceedings of the 17th IEEE International Conference on Image Processing.Washington D.C., USA:IEEE Press,2010:2669-2672.

［10]Garcia G M A,Ocana M,Llorca D F,et al.Robust Traffic Signs Detection by Means of Vision and V2I Communications［C］//Proceedingsofthe14thIEEE InternationalConferenceonIntelligentTransportation Systems.Washington D.C.,USA:IEEE Press,2011: 1003-1008.

［11]Baro X,Escalera S,Vitria J,et al.Traffic Sign Recognition Using Evolutionary Adaboost Detection and Forest-ECOC Classification［J］.IEEETransactionsonIntelligent Transportation Systems,2009,10(1):113-126.

［12]Marinas J,Salgado L,Arrospide J,et al.Efficient Hybrid Monocular-stereo Approach to Onboard Video-based Traffic Sign Detection and Tracking［C］//Proceedings of International Society for Electronic Imaging,Optics and Photonics.Washington D.C.,USA:IEEE Press, 2012:106-120.

［13]Timofte R,ZimmermannK,VanGL.Multi-view Traffic Sign Detection,Recognition,and 3d Localization［C］//Proceedings of Workshop on Applications of Computer Vision.Washington D.C.,USA:IEEE Press,2009:1-8.

［14]谷明琴,蔡自兴.基于无参数形状检测子和DT-CWT的交通标志识别［J］.计算机研究与发展,2013, 50(9):1893-1901.

［15]许少秋.户外交通标志检测和形状识别［J］.中国图象图形学报,2009,14(4):707-711

［16]Gomez M H,Maldonado B S,Gil J P,et al.Goal Evaluation of Segmentation Algorithms for Traffic Sign Recognition［J］.IEEETransactionsonIntelligent Transportation Systems,2010,11(4):917-930.

［17]Wang Gangyi,Ren Guanghui,Wu Zhilu,et al.A Robust, Coarse-to-FineTrafficSignDetectionMethod［C］// Proceedings of International Joint Conference on Neural Networks.Washington D.C.,USA:IEEE Press,2013:1-5.

［18]Vapnik V.The Nature of Statistical Learning Theory［M］.New York,USA:Springer,2000.

［19]Otsu N.A Threshold Selection Method from Gray-level Histograms［J］.IEEE Transactions on Systems,Man and Cybernetics,1979,9(1):62-66.

［20]GRAM.Traffic Sign UAH Dataset［EB/OL］.(2014-02-27).http://agamenon.tsc.uah.es/Investigacion/gram/ traffic_signs.html.

［21]Houben S,Stallkamp J,Salmen J,et al.Detection of Traffic Signs in Real-world Images:The German Traffic SignDetectionBenchmark［C］//Proceedingsof International Joint Conference on Neural Networks.Washington D.C.,USA:IEEE Press,2013:1-8.

编辑 顾逸斐

Traffic Sign Detection Based on Multiple Features Cooperation

TANG Kai,LI Shiying,LIU Juan,LI Renfa
(Provincial Key Laboratory of Embedded Systems and Networking, School of Information Science and Engineering,Hunan University,Changsha 410082,China)

A new method is presented to improve traffic sign detection with cooperation of color,shape and scale features,especially under conditions of color distortion,shape deformation and scale variance.Color enhancement maps are generated from traffic scene images.Regions of interest are then extracted from the color enhancement maps using multiple thresholds of color,chain codes of the curvature histograms of closed contours are calculated and scale normalized for the contours.The Support Vector Machine(SVM)classifier is applied to classify the chain codes of the extracted traffic signs and the template signs.Experimental results demonstrate that this method is capable of improving traffic sign detection,with low time complexity.

traffic sign;multiple features cooperation;multiple thresholds;curvature chain code;scale normalization; Support Vector Machine(SVM)classification

汤 凯,李实英,刘 娟,等.基于多特征协同的交通标志检测［J］.计算机工程,2015,41(3):211-217.

英文引用格式:Tang Kai,Li Shiying,Liu Juan,et al.Traffic Sign Detection Based on Multiple Features Cooperation［J］.Computer Engineering,2015,41(3):211-217.

1000-3428(2015)03-0211-07

:A

:TP391

10.3969/j.issn.1000-3428.2015.03.040

国家自然科学基金资助项目(61272396)。

汤 凯(1989-),男,硕士研究生,主研方向:计算机视觉;李实英,副教授、博士、CCF会员;刘 娟,硕士研究生;李仁发,教授、博士、博士生导师、CCF会员。

2014-04-21

:2014-05-13E-mail:lishiying66@gmail.com