逐级细化的交通标志识别算法

徐 丹 张绛丽 于化龙 左 欣 高 尚

(江苏科技大学计算机学院，镇江，212003)

引 言

交通标志分类的任务是对检测阶段产生的感兴趣区域进行进一步处理：一方面排除被误检为交通标志的区域、降低虚警率；另一方面，将交通标志区域进一步细分，得到其具体的语义信息。交通标志分为主标志和辅助标志，总数多达上百种，是复杂的多分类问题。自20世纪90年代，日本研究者对交通标志识别进行开创性的研究以来，针对交通标志的分类算法大量涌现，但已有算法在分类正确率和速度方面仍需改进[1-2]。

特征提取和分类器设计是交通标志识别的两个关键步骤。在特征提取中常用的方法有特征点提取、Haar特征、类别显著性特征等[3-4]。特征点提取方法通过提取图像中满足特定要求的特征点组成特征向量，该方法优点是速度快，对仿射变换不敏感；缺点是算法效果过于依赖图像质量的优劣，图像质量较差时特征点提取困难。Haar特征反映了图像的灰度变化，单个Haar特征的分类能力较弱，故经常和Adaboost一起使用，级联成强分类器。其优点是分类速度快、对光照不敏感，但当待分类类别过多时，分类精度明显下降。类别显著性特征适用于多类别分类，在各类别相似的情况下也能够产生较好的分类结果，然而其对平移和旋转变化较为敏感，需要进行相应的预处理。分类器设计方面，在IJCNN(International joint conference on neural networks)举办的交通标志识别竞赛中，支持向量机和卷积神经网络被广泛采用，其中卷积神经网络的分类正确率是IJCNN目前最好的结果[5-6]。然而其将多个神经网络联合的算法复杂度很高，需较长的训练和测试时间。

中国交通标志主要包括禁令、警告、指示3大类。解除禁令标志在语义上属于禁令标志类，但由于其颜色的特殊性，将其单独列为一类。其他标志类包括一些颜色和形状与以上4类标志明显不同的交通标志。本文针对中国交通标志的特点提出一种逐级细化的交通标志分类方法，其流程如图1所示。先根据颜色和形状特征将感兴趣区域划分为5大类，然后再对每个大类进行细分，得到感兴趣区域的类别标记。各大类交通标志间的颜色和形状差异很明显，可采用比较简单的分类算法。本文构建颜色属性-梯度直方图(Color name-histogram of gradient，CN-HOG)特征描述子、采用线性支持向量机 (Support vector machine，SVM)完成交通标志大类划分。细分类的难点在于同一大类中的一些子类间只存在细微差别，需要更加精确的特征描述子和更加稳定的分类算法。HOG特征可有效描述具有显著形状特征的目标，但当不同类别的形状非常类似时，其区分能力稍差。因此，在细分类中，本文采用CN和尺度不变特征变换 (Scale-invariant feature transform，SIFT)描述子进行特征提取，用词袋模型进行图像表示，分类器选择高斯核SVM。

图1 逐级细化的交通标志分类流程图Fig.1 Flowchart of coarse-to-fine traffic sign classification

本文的创新之处在于：(1) 在粗分类阶段提出CN-HOG特征描述子，在传统HOG特征的基础上增加颜色特征，并和RGB-HOG特征进行比较；(2) 针对交通标志颜色-形状相关的特点，采用词袋模型中颜色和形状特征早融合的方式对交通标志进行细分类，并对两者在分类过程中所起的作用进行定量的比较分析。

1 算法描述

1.1 交通标志粗分类

(1) 颜色属性CN。中国禁令标志以红、黑、白为主，指示标志以蓝、白为主，警告标志以黄、黑为主，解除禁令以黑、白为主。各大类均有特定的颜色分布，通过分析感兴趣区域中颜色出现的概率可得到区域的大类标记。颜色属性是人类为自然界中存在的11种基本颜色赋予的名称：黑色，蓝色，棕色，灰色，绿色，橙色，粉色，紫色，红色，白色以及黄色[7]。CN描述子是一个11维的向量，代表给定像素值的条件下，11种颜色属性出现的概率。区域R的CN描述子是区域中所有像素的颜色属性的平均值，描述了该区域中11种颜色出现的概率，定义如下

CN={p(cn1|R),p(cn2|R),…,p(cn11|R)}

(1)

(2)

式中：x为区域R中的像素；f(x)为其在Lab空间的像素值，像素总数为N；p(cni|f(x))为给定f(x)时颜色属性i出现的条件概率，这种颜色属性和像素值之间对应关系的训练过程详见文献[8]。

(2) CN-HOG特征。交通标志有明显的颜色和形状特征，将CN与HOG特征组合起来将会提高交通标志分类的正确率。传统颜色信息和HOG特征结合的方式是分别在R、G、B三个通道上提取HOG特征，将其连接起来作为一个特征向量，称为RGB-HOG[9]。连接之后的HOG特征长度是原来的3倍，此外，这种连接方式产生的特征比较松散，缺乏紧致性。

本文构建CN-HOG特征描述子，将一幅图像密集地划分为若干无重叠的、8×8的像素区域，计算每个区域的HOG和CN特征，得到一个直方图表示。在HOG特征的基础上扩展了11维颜色向量，形成CN-HOG特征。这样得到的颜色-形状特征维数远少于RGB-HOG特征。因为在区域级(Cell)就将颜色和形状特征结合起来，比3个通道分别获得HOG特征再连接更加紧致。表1给出了标准HOG特征[10]，RGB-HOG以及CN-HOG在PASCAL VOC 2007上的分类正确率比较。可以看出，CN-HOG在多数类别上取得了最高的正确率，其平均分类正确率比标准HOG特征高出2.5%。RGB-HOG特征在该数据集上的分类结果并不理想，平均正确率低于标准HOG。这是因为PASCAL VOC 2007 是一个形状主导的数据集，RGB-HOG特征的优势没有完全体现。

(3) 线性支持向量机。交通标志各大类之间差异明显，采用线性分类器即可获得较好的分类效果。线性核函数是在原特征空间中进行线性分类，分类速度与支持向量的个数无关。

表1 标准HOG，RGB-HOG以及CN-HOG在PASCAL VOC 2007 20种物体上的分类正确率比较

1.2 交通标志细分类

(3)

(4)

图2 早融合和晚融合算法在PASCAL VOC 2007数据集上的比较结果Fig.2 Comparison of early and late fusion methods on PASCAL VOC 2007

2 实验结果与分析

2.1 在TSR_IIR数据集上的实验

为了验证本文方法对中国交通标志的有效性，构建数据集TSR_IIR(Traffic sign recognition dataset of institute of intelligent robot)。其中的数据主要来自于自行采集的中国交通标志图像，对于通用的交通标志(如禁令、指示等)，则部分来自于西班牙研究者提供的交通标志数据集[12]和IJCNN提供的交通标志识别数据集GTSRB(German Traffic Sign Recognition Benchmark)[5]。TSR_IIR包括5大类、41小类共1 335个交通标志，训练和测试样本数量分别为670和665个。

2.1.1 粗分类结果

首先将交通标志区域统一为40×40大小，对训练集中的图像进行随机平移和旋转变换。然后，提取其CN-HOG特征，得到每个感兴趣区域的向量表示，用来训练线性支持向量机。最后，提取待测试交通标志区域的CN-HOG特征，输入分类器，得到类别标记。在实验过程中HOG特征的参数为：每个Cell的大小为8×8，直方图通道数为9，角度范围为0～2π。CN特征：根据文献[8]中训练所得的颜色属性在像素值上的分布概率得到像素值f(x)和11种颜色属性之间的对应关系，进而得到每个区域的颜色属性特征。

本文比较了标准HOG，RGB-HOG以及CN-HOG在TSR_IIR数据集上粗分类的结果，如表2所示。可以看出标准HOG特征在该数据集上取得了95.53%的正确率，而仅使用颜色信息，即CN特征进行分类取得了92.36%的正确率，这说明各大类交通标志在颜色和形状上均有明显的差异。CN-HOG特征在TSR_IIR数据集上的粗分类正确率达到99.40%。此外，CN-HOG和RGB-HOG相比具有明显的时间优势，因为其维数远低于RGB-HOG，而且其支持向量个数也少于RGB-HOG。

表2 HOG，RGB-HOG，CN-HOG在TSR_IIR数据集上的粗分类结果

2.1.2 细分类结果

经过粗分类后，交通标志被分为5大类。采用密集采样的方法将每个40×40的交通标志区域划分为图像块。这里取图像块的大小为8×8，图像块间的采样间隔为4个像素，则对于每个输入的交通标志区域可得到81个图像块，禁令标志有200个训练图像，最终得到16 200个图像块。然后，使用k-means方法得到大小为70的视觉词典。警告标志和指示标志的词典大小与禁令标志相同，解除禁令标志视觉单词个数为30，其他标志的单词个数为40。其他标志类中，种类虽然不多，但种类之间的差异较大，故其单词数量明显大于解除禁令标志。本文算法在TSR_IIR数据集上的总体正确分类率(包括粗分类和细分类)为98.05%，细分类的具体结果如表3所示。

图3 警告标志细分类结果Fig.3 Fine classification of warning signs

表3 本文算法在TSR_IIR数据集各类交通标志上的细分类结果

图4 指示标志细分类结果 Fig.4 Fine classification of mandatory signs

(1) 警告标志分类。图3给出了警告标志细分类的结果，混合矩阵对角线上的元素表示相应的交通标志被正确分类的概率。以第4行注意村庄标志为例，其正确分类率为93%，被识别为注意行人标志的概率为7%。

图5 相似指示标志的SIFT特征匹配Fig.5 Matching of SIFT features among similar mandatory signs

(2) 指示标志分类。在TSR_IIR数据集中涉及10种指示标志，其中一些标志图案简单但识别度并不高。指示标志细分类结果如图4所示。从图4可以看出，内部图案过于简单且相似度高的交通标志分类正确率较低，内部图案复杂的标志分类正确率高一些。这是因为复杂的图案能提取到更多的特征点。指示标志中的直行、靠右则行驶、靠左侧行驶3种标志没有本质区别，只是旋转角度不同。其SIFT特征的匹配情况如图5所示：不同标志之间有少数SIFT特征点能够匹配，同一类型的标志之间的匹配点明显增加。在输入的交通标志图像没有明显旋转和倾斜的情况下，本文分类算法能够将3种标志正确分类。

(3) 解除禁令和其他标志分类。解除禁令标志包括解除禁止超车和解除限速两种，解除限速标志有一些派生标志，如解除限速40、解除限速50等。解除禁令标志的细分类正确率为93.33%，主要的错分类产生于不同的解除限速标志之间。其他标志的细分类正确率达到98.33%，这是因为此类的类内差异较大，错分的概率很小，错分主要出现在禁止停车和禁止长时间停车两种标志间。

(4) 禁令标志分类。为了比较颜色和形状信息在交通标志细分类中的作用，本文分别给出使用CN，SIFT和CN-SIFT特征时禁令标志的细分类结果。采用CN-SIFT特征的算法在禁令标志上的细分类正确率为99%，单独采用SIFT特征作为描述子的分类正确率下降不多，仅采用CN特征作为描述子时分类精度明显降低。可见，在交通标志的细分类中，形状特征占有绝对的优势。不同特征在禁令标志上的分类结果如图6所示。对比图6 (b,c)可以看出，如果一种交通标志在形状特征分类中被错分为另外一种标志，则其在颜色特征分类中也往往被错分为同一种标志。这也说明了交通标志是颜色-形状相关的物体。

图6 不同特征在禁令标志上的分类结果比较Fig.6 Comparison of classification results of different features on prohibitory signs

2.2 与其他算法的比较

2.2.1 数据集

为了方便和其他算法比较，本文在公开数据集GTSRB上进行实验。GTSRB数据集包含43类、共计51 839 幅采自真实交通环境下的交通标志图像组成，其中训练和测试图像分别为39 209和12 630幅。

在GTSRB数据集上的实验设置和2.1节基本相同，参数略有不同。在粗分类中本文使用大赛提供的HOG2特征[5]，构造CN-HOG2特征向量。HOG2的参数设置如下：每个Cell的大小为5×5个像素，每个Block的大小为2×2个Cell，直方图通道数为8，角度范围为0～2π，得到维数为1 568的HOG特征。GTSRB数据集中的训练数据远远多于TSR_IIR，细分类中视觉词典中的单词数量也大大增加，禁令、警告、指示、解除禁令和其他标志的词典分别包含350，352，333，125和200个视觉单词。

2.2.2 实验结果

在粗分类中，12 630个测试图像中仅有11个被错分，分类准确率为99.91%。细分类结果统计如表4所示。

表4 GTSRB数据集上细分类错分统计

2.2.3 算法比较

表5给出了本文算法与几种代表性分类算法的对比结果，其中包括在IJCNN大赛中排名前4位的算法以及人工分类结果[13-15]。本文算法在测试数据集上的分类正确率为99.15%，在所有公布的结果中排名第2，高于人工分类结果。

在效率方面，本文提出的逐级细化的分类算法在GTSRB 测试集上的运行时间为830 s，平均每个交通标志耗时65 ms(硬件平台 Core i5 2.5 GHz，4 GB，软件MATLAB 2009R)。而分类正确率最高的Committee of CNNs算法在相同测试集上需运行数小时[15]。

表5 本文算法和现有算法的分类结果比较

3 结 论

本文主要针对交通标志分类问题提出了一种逐级细化的交通标志分类算法。算法首先按照颜色及形状进行粗分类，分为禁令标志、警告标志、指示标志、解除禁令标志以及其他标志5大类；然后采用词袋模型对每大类中的交通标志进行细分类，得到最终的分类结果。本文算法在自行构建的交通标志数据集TSR_IIR上的分类正确率达到98.05%，在公开数据集GTSRB上的分类正确率为99.15%。通过本文的研究和实验可得出以下结论：(1) CN-HOG特征描述子比传统的RGB-HOG具有更强的表达能力；(2) 交通标志是颜色-形状相关的物体，采用早融合的词袋模型能够取得更好的分类结果；(3) 与现有算法相比，本文提出的逐级细化的交通标志识别算法能够在满足实时应用的同时达到较高的分类精度。进一步分析错分图像可知，多数错误源于以下几个原因：(1) 输入图像分辨率较低，缺少有效的细节信息；(2) 图像对比度低，交通标志主要颜色的辨识度下降；(3) 图像采集中存在的视角倾斜和运动模糊。可考虑加入一些针对性的预处理步骤，如对比度增强和形状校正等，提高算法对低质量图像的适应能力。

参考文献:

[1] 王刚毅. 交通标志检测和分类算法研究[D]. 哈尔滨：哈尔滨工业大学, 2013.

Wang Gangyi. Research on traffic sign detection and classification algorithms[D]. Harbin: Harbin Institute of Technology, 2013.

[2] Zaklouta F, Stanciulescu B. Real-time traffic sign recognition in three stages[J]. Robotics and Autonomous Systems, 2014, 62(1): 16-24.

[3] Greenhalgh J, Mirmehdi M. Real-time detection and recognition of road traffic signs[J]. Intelligent Transportation Systems, IEEE Transactions on, 2012, 13(4): 1498-1506.

[4] Liu F, Tang Z, Tang J. WLBP: Weber local binary pattern for local image description[J]. Neurocomputing, 2013, 120: 325-335.

[5] Stallkamp J, Schlipsing M, Salmen J, et al. Man vs. computer: Benchmarking machine learning algorithms for traffic sign recognition[J]. Neural Networks, 2012, 32: 323-332.

[6] Liu H, Liu Y, Sun F. Traffic sign recognition using group sparse coding[J]. Information Sciences, 2014, 266: 75-89.

[7] Berlin B, Kay P. Basic color terms: Their universality and evolution[M]. California: University of California Press, 1991: 20-24.

[8] Xu D, Tang Z, Xu W. Salient object detection based on regional contrast and relative spatial compactness[J]. KSII Transactions on Internet and Information Systems (TIIS), 2013, 7(11): 2737-2753.

[9] Creusen I M, Wijnho ven R G J, Herbschleb E, et al. Color exploitation in hog-based traffic sign detection[C]∥ Proceedings of the IEEE International Conference on Image Processing. Hong Kong: IEEE Press, 2010: 2669-2672.

[10] Felzenszwalb P F, Girshick R B, McAllester D, et al. Object detection with discriminatively trained part-based models[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(9): 1627-1645.

[11] 叶继华, 万叶晶, 刘长红, 等. 基于多子空间直和特征融合的人脸识别算法[J]. 数据采集与处理, 2016, 31(1): 102-107.

Ye Jihua, Wang Yejing, Liu Changhong, et al. Face recognition algorithm of feature fusion base on multi-subspaces direct sum [J]. Journal of Data Acquisition and Processing, 2016, 31(1): 102-107.

[12] Maldonado-Bascon S, Lafuente-Arroyo S, Gil-Jimenez P, et al. Road-sign detection and recognition based on support vector machines[J]. Intelligent Transportation Systems, IEEE Transactions on, 2007, 8(2): 264-278.

[13] Zaklouta F, Stanciulescu B, Hamdoun O. Traffic sign classification using K-d trees and Random Forests[C]∥Proceedings of the International Joint Conference on Neural Networks. San Francisco, CA, United States: IEEE, 2011: 2151-2155.

[14] Sermanet P, LeCun Y. Traffic sign recognition with multi-scale convolutional networks[C]∥Proceedings of the International Joint Conference on Neural Networks. San Francisco, CA, United States: IEEE, 2011: 2809-2813.

[15] Ciresan D, Meier U, Masci J, et al. Multi-column deep neural network for traffic sign classification[J]. Neural Networks, 2012, 32(8): 333-338.