基于多示例深度学习与损失函数优化的交通标志识别算法

张永雄 王亮明 李东

摘 要： 为了解决当前交通标志种类繁多和所处环境多变，导致智能识别正确率不高的问题，提出基于多示例深度学习的交通标志识别算法。根据样本图像块与其对应的标签设计一个包含颜色、几何、区域特征的训练集，得到样本特征与标签的对应规律；根据权重修正反馈，推导包与标签的逻辑关系，建立多示例训练学习算子，准确分类交通标志。进行训练集损失函数计算，通过最优分类器响应减少训练数据损失。最后，基于大数据样本驱动形成背景约束，从而去除示例中模棱两可的训练数据，完成交通标志的准确识别。基于QT平台，开发相应的识别软件。实验测试结果显示，与当前交通标志识别技术相比，所提算法拥有更高的识别正确性与鲁棒性，且对各类交通标志具有较高的识别准确率，在智能汽车、自动交通监控等领域具有一定的应用价值。

关键词： 交通标志识别； 损失函数优化； 训练集； 多示例； 深度学习； 背景约束

中图分类号： TN911.73?34； TP391 文献标识码： A 文章编号： 1004?373X（2018）15?0133?04

Traffic sign recognition algorithm based on multi?instance deep learning and

loss function optimization

ZHANG Yongxiong1， 3， WANG Liangming2， LI Dong1

（1. School of Software Engineering， South China University of Technology， Guangzhou 510006， China；

2. School of Computer Science & Engineering， South China University of Technology， Guangzhou 510006， China；

3. Guangzhou College of Technology and Business， Guangzhou 510850， China）

Abstract： Since the current traffic signs recognition algorithm has low intelligent recognition accuracy due to its various types of traffic signs and changeable environments， a traffic sign recognition algorithm based on multi?instance deep learning is proposed. According to the image block of samples and its corresponding label， a training set including color， geometry and regional characteristics is designed to obtain the correspondence rule between the sample characteristic and tag. On the basis of feedback of weight correction， the logical relation between package and label is derived， and the learning operator of multi?instance training is established to classify the traffic signs accurately. The loss function of training set is calculated by means of the optimal classifier response to reduce the loss of training data. The background constraint is formed on the basis of large data sample driver， so as to eliminate the ambiguous training data in the instance and accomplish the accurate recognition of traffic signs. The corresponding recognition software was developed with QT platform. The experimental results show that， in comparison with the current traffic signs identification technology， the proposed algorithm has higher recognition accuracy and robustness. The algorithm has high recognition accuracy for various traffic signs， and a certain application value in the fields of intelligent vehicle and automatic traffic monitoring.

Keywords： traffic sign recognition； loss function optimization； training set； multi?instance； depth learning； background constraint

0 引 言

随着城市汽车保有量的上升，在交通拥堵和事故日益多发的背景下，主动安全驾驶技术越来越受到企业和人们的重视。作为主动安全驾驶技术的核心之一，交通标志识别在主动安全系统中有着重要的作用，当驾驶员由于疲劳未注意交通标志时，自动识别算法可以准确及时地识别并提醒驾驶员，由此可以避免发生交通事故，达到主动安全驾驶的目的[1]。目前交通标志识别的难点在于标志种类繁多，且每种标志随着天气、时间和季节会发生视觉特征的变化，从而使得样本量巨大，对识别算法的抗干扰性提出了挑战[2]。

为此，在交通标志识别方面，国内研究人员已经取得了一定研究成果。文献[3]提出基于优化卷积神经网络结构的交通标志识别算法，综合批量归一化（BN）方法、逐层贪婪预训练（GLP）方法，以及把分类器换成支持向量机（SVM）这三种方法对卷积神经网络（CNN）结构进行优化，提出基于优化CNN结构的交通标志识别算法。但是，此技术未充分考虑交通标志样本的海量多变，往往影响了识别准确性。文献[4]提出基于分块自适应融合特征的交通标志识别算法，交通标志由外部轮廓和内部指示符号组成。HOG特征可较好地描述图像轮廓但易受噪声影响，而LBP特征对图像细节刻画好，提出基于分块HOG?LBP自适应融合特征的交通标志识别方法；通过分块计算梯度直方图得到的权重系数判断该块是属于轮廓还是内部指示，前者选择HOG权重大，后者选择LBP特征权重大，将自适应串行融合后的特征送入支持向量机识别。然而，这种技术思维仍然是算法驱动，而不是大数据驱动，在交通标志超出样本范围时往往不准确。

为提高交通标志的识别率，本研究以数据驱动的思维提出多示例深度学习算法，完成大数据样本的收集整理标注工作；综合特征向量（颜色、几何和区域特征），建立数据训练?算法的逻辑推导关系；最后加入训练集损失函数计算，进一步去除特征数据冗余，完成对交通标志的准确识别。

1 本文交通标志识别算法

人类大脑学习过程主要是根据过去的经验形成总结或者规律；计算机学习过程，就是根据已有数据进行样本训练，得到分类器或者拟合函数的过程。以学习过程分类，其中分为监督学习、半监督学习和非监督学习。其中，监督学习中每个训练样本都有已知标记，半监督学习中部分样本没有标记，而非监督学习中样本都没有标记[5]。

多示例学习中有：包（bags）和示例（instance）两个概念。包由多个示例组成，本研究中一张幅图片就是一个包，图片分割出的图像块（patches）就是示例。在多示例学习中，包带有类别标签而示例不带类别标签，最终目的是给出对新的包的类别预测[6]。由于用于训练分类器的示例是没有类别标记的，但是对于包所属标签定义却存在类别标记，因此，在本文中，多示例学习是介于监督学习与无监督学习之间且不同于半监督学习的一种学习方法。另外，在本文多示例学习机制中，如果一个包里面存在至少一个被分类器判定标签为“+”的示例，则该包为正包，反之，若其示例均被分类器判定标签为“-”，则其为负包[6]。

在本文中，当一个bag的标记为A时，这个bag里面所有數据的标记都是A；当一个bag的标记为B时，这个bag里面至少有一个数据的标记为B，目标是把每种交通标志，即每个包分别归类。如图1所示，图中交通标志种类繁多，即本研究的识别对象。

1.1 基于多示例深度学习算子的标志分类

本研究首先设计一个训练集[X]，其中[Xi]代表训练集[X]中第[i]个包，每个包含有一系列示例，如有[m]个示例：

2 实验与讨论

为了体现本文算法的优势，将交通标志识别性能较好的技术，即文献[3?4]设为对照组；并基于QT平台开发识别软件。执行算法实验参数为：多示例模型分子= [38，96，12，4]，特征模型为[12，7，57，34]。

本文开发的交通标志系统界面如图4a）所示，系统功能具有实时视频开启、主动安全开启、多示例学习、深度学习、智能识别等。本研究先设计训练集，包含颜色、几何、区域特征，建立包与标签的关系，然后进行损失函数计算，得到最优分类器，如图4b）所示，本文算法能够准确识别交通标志。

利用对照组文献[3]技术，把分类器换成支持向量机（SVM），这三种方法对卷积神经网络（CNN）结构进行优化，提出基于优化CNN结构的交通标志识别算法。但是，此技术未充分考虑交通标志样本的海量多变，往往影响了识别准确性，如图4c）所示，识别有误差，左上角标志识别错误。

利用对照组文献[4]技术，通过分块计算梯度直方图得到的权重系数来判断该块是属于轮廓还是内部指示，前者选择HOG权重大，后者选择LBP特征权重大，将自适应串行融合后的特征送入支持向量机识别。然而，这种技术思维仍然是算法驱动，而不是大数据驱动，在交通标志超出样本范围时，识别往往不准确，如图4d）所示，识别有误差，右下角标志识别错误。

为了进一步测试三种算法的稳定性，基于本文整理的500 000个交通标志作为测试数据库，测试结果见表1。由表1可知，本文算法的稳健性最高，在这种大型样本库中，其准确识别率为96.3%，而文献[3?4]两种算法的准确识别率要低于所提算法，分别为91.7%，93.4%。这表明所提交通标志识别算法具有更理想的稳健性。

3 结 论

为了解决交通标志识别算法容易受到标志种类变化和环境时间变化的干扰，导致交通标志识别系统存在识别力不足，影响系统功能实现。本文分别从大数据样本收集标注、多示例深度学习、集成智能识别出发，提出基于多示例深度学习的交通标志识别算法。基于大数据样本与深度学习算法弥补了传统算法驱动技术的不足，即将规则人为写入程序；而本研究采用数据驱动的深度学习技术，不仅赋予系统更多的智能反馈自调节，同时保证了识别精度与稳定性。实验结果表明本文交通标志识别算法具有更高的准确度和稳定性。

参考文献

[1] 谢锦，蔡自兴，邓海涛，等.基于图像不变特征深度学习的交通标志分类[J].计算机辅助设计与图形学学报，2017，29（4）：632?640.

XIE Jin， CAI Zixing， DENG Haitao， et al. Classification of traffic signs based on image invariant feature depth learning [J]. Journal of computer aided design and computer graphics， 2017， 29（4）： 632?640.

[2] KR??K E， TOTH ?. Traffic sign recognition and localization for databases of traffic signs [J]. Acta electrotechnica et informatica， 2011， 11（4）： 31?35.

[3] 王晓斌，黄金杰，刘文举.基于优化卷积神经网络结构的交通标志识别[J].计算机应用，2017，37（2）：530?534.

WANG Xiaobin， HUANG Jinjie， LIU Wenju. Traffic sign re?cognition based on optimized convolutional neural network [J]. Computer applications， 2017， 37（2）： 530?534.

[4] 戈侠，于凤芹，陈莹.基于分块自适应融合特征的交通标志识别[J].计算机工程与应用，2017，53（3）：188?192.

GE Xia， YU Fengqin， CHEN Ying. Traffic sign recognition based on block adaptive fusion feature [J]. Computer enginee?ring and applications， 2017， 53（3）： 188?192.

[5] ZHOU Shusen， ZOU Hailin， LIU Chanjuan. Deep extractive networks for supervised learning [J]. Optik： international journal for light and electron optics， 2016， 127（20）： 9008?9019.

[6] FARIA A W C， COELHO F G F， SILVA A M. A new approach for multiple instance learning based on positive instance selection and kernel density estimation [J]. Engineering applications of artificial intelligence， 2017， 59（12）： 196?204.

[7] 刘占文，赵祥模，李强，等.基于图模型与卷积神经网络的交通标志识别方法[J].交通运输工程学报，2016，16（5）：122?131.

LIU Zhanwen， ZHAO Xiangmo， LI Qiang， et al. A traffic sign recognition method based on graph model and convolutional neural network [J]. Journal of traffic and transportation engineering， 2016， 16（5）： 122?131.

[8] ZHONG Jingjing， TSE P W， WANG Dong. Novel Bayesian inference on optimal parameters of support vector machines and its application to industrial survey data classification [J]. Neurocomputing， 2016， 211： 159?171.

[9] YU Yongtao. Bag?of?visual?phrases and hierarchical deep mo?dels for traffic sign detection and recognition in mobile laser scanning data [J]. ISPRS journal of photogrammetry and remote sensing， 2016， 11（7）： 36?39.

[10] OUERHANI Y. Advanced driver assistance system： road sign identification using VIAPIX system and a correlation technique [J]. Optics and lasers in engineering， 2016， 12（2）： 71?76.