基于卷积神经网络中层特征学习的交通标志图像识别

苏正青 马巧梅

(中北大学软件学院 山西 太原 030051)

0 引 言

随着经济社会的快速发展，城市交通变得四通八达，在这样的背景下，私家车成为了人们日常生活出行必不可少的交通工具，然而，这也导致了交通事故发生的次数越来越多[1],其中一个重要的问题就是交通标志的识别，如环境因素(阴雨天气、大雾天气、夜晚光线较差、遮蔽物遮挡视线等)、驾驶员因素(驾驶员疲惫、驾驶员车速太快)、交通标志本身的因素(标志老化褪色、标志倾斜[2]、等)都对交通标志及时准确的识别带来了挑战。近几年来，在交通标志的识别方面，很多研究人员进行了大量的探索，而且得到了很多实验数据和结果。多尺度检测：王方石等[3]在CNN中加入属性学习约束,引入交通标志的形状、颜色、图案内容三种视觉属性，该方法有效提高准确率和召回率。宋青松等[4]采用限制对比度自适应直方图均衡化方法作为图像预处理方法，构造多尺度CNN模型，用于提取交通标志图像的全局特征和局部特征，进而将组合后的多尺度特征送入SoftMax分类器，该方法准确率高，速度快。杨远飞等[5]提出了一种改进的网络模型,该模型集合了多尺度输入、并行交叉以及恒等映射的特点，保证特征提取的充分性与多样性并使网络性能不会随深度加深而退化，该方法准确率高。Sermanet等[6]将多尺度图像放入神经网络中训练,将不同卷积层的特征映射级联操作,最后联合特征输送到全连接层进行识别，准确度较高。金字塔模型检测：周以鹏等[7]利用神经网络分层的特性,在多层卷积层上使用梯度加权类激活映射,生成梯度金字塔模型,并通过均值滤波计算特征质心位置,利用置信强度映射和阈值梯减模块产生连接的像素段,围绕最大边界标注进行弱监督定位，具有较高的精确度。徐喆等[8]提出改进的尺度依赖池化SDP模型用于小尺度交通图像的识别，在SDP模型只提取浅卷积层特征信息的基础上，使用深卷积层特征补足型SDP映射输出，使用多尺度滑窗池化MSP将特征池化到固定维度，将改进的尺度依赖池化模型应用于图像的识别，有利于小尺度图像识别。Lin等[9]提出了特征金字塔模型，在结合多尺度特征图的基础上，加入了底层特征图和特征图上采样融合，更有利于微小目标检测。端到端检测：Choi等[10]提出对各个卷积层使用级联分类器，依据各卷积层的权重来决定最终的分类结果，虽然分类结果结合不同卷积层的特征的判定，准确率较高。赵银玲等[11]对卷积神经网络进行了改进，减少其卷积核的数量，增加池化方式，该方法准确率高，速度快。武林秀等[12]使用VGG16卷积神经网络自动提取交通标志图像特征,并将卷积特征图传入RPN中进行前景目标筛选及回归目标边框,将建议区域框映射到特征图上,经过ROI池化层后输出固定大小的建议框,该方法具有很好的鲁棒性。乔堃等[13]基于ZF和VGG两种网络的变形,优化实现了一种基于卷积神经网络的交通标志分类算法，该方法精度高、鲁棒性好。Ciresan等[14]提出多阵列神经网络结构McDNN，使用通过不同预处理得到的图像训练得到多个深度DNN结构，联合多个DNN的结果完成对路标图像特征提取识别，该方法准确率较高。概率检测：熊丽婷等[15]首先对目标所在区域概率进行计算，由此分别对内外，边界构造模型，形成检测框，最后通过卷积神经网络实现定位，该方法准确率高。李凯等[16]分析了图像的颜色特征，结合先验和颜色概率进行特征融合，形成选区域，最后卷积神经网络进行定位，该方法鲁棒性好。刘占文等[17]构造了基于超轮廓图超像素区域的图模型,有效利用自底向上的多级信息,提出了一种基于图模型的层次显著性检测方法,以提取交通标志感兴趣区域,并利用卷积神经网络对感兴趣候选区进行特征提取与分类，该方法准确率高。Zhang等[18]引入了对比边际获胜概率C-MWP，用于模拟可突出区分区域的神经分类模型，更有利于图像分类。本文计算显著度提取感兴趣，避免了交通标志误检和漏检的发生，构建BF-VDNet-SPP模型，更好地提取低层特征，池化金字塔多层次提取交通标志的特征，高效准确地识别交通标志，同时有利于远距离交通标志检测。

1 计算区域显著性

由于离物体的距离越近越容易发现，因此中心先验在目标检测定位发挥了重要的作用，据此有约束函数Ti:

(1)

式中：Qb表示中心位置；Qa表示像素坐标；M指像素数量。

颜色的对比度越强，物体越容易发现，因此有特征对比度Wi：

(2)

α=e-(u1-u2)2

(3)

考虑颜色特征和先验约束，得到图像显著性：

Ci=WiTi

(4)

对得到的显著性区域用双线性插值法放大，调整图像尺寸。

2 提取底层特征

有相关的研究发现，人对目标检测定位时受图像的梯度特征、纹理特征和灰度特征影响较大，图像的纹理特征能够反映局部特征信息，图像的梯度特征能够反映边缘细节信息，图像的灰度特征能够反映颜色深浅变化，分别对原图像提取灰度图，LBP特征图，骨架特征图3种特征图并进行6个尺度变换(旋转：左右旋转，伸缩：放大缩小，平移变换：左移右移)，对图像进行滑窗操作，3×3大小为一个图像邻域块，分别计算每个图像块的均值和方差作为这个像素块每个像素点的均值和方差，得到图像的特征向量为L=(u00,σ00,…,um-1n-1,σm-1n-1)，因而浅层特征为G1=[L1;L2;…;LN]，其中：N表示输入图像的像素个数，Ln表示每个像素点的特征向量，n∈[1,2,…,N]。可知LN是1×36维。图1为底层特征图像。

(a) 原图(b) 骨架图像 (c) 灰度图像 (d) LBP图像图1 提取底层特征

3 构建视觉词典

以前的字典学习采用无监督的方式，K-均值算法通过聚类方法构建词典处理样本，词典均匀简易，但在内容多样复杂的环境下难以得到一个令人满意的视觉词典，为使词典更加精准合理，构造算法优化目标函数：

(5)

式中：Y是输入的样本值，B为待训练冗余词典，X为稀疏系数。

训练词典时，首先保持词典B不变并用样本赋初值，其次利用正交匹配追踪算法(OMP)优化稀疏系数X，然后对词典B进行翻新，最后求解局部最优值：

(6)

式中：N指词典原子数；S指词典列数；bs指词典第s列；Fs指词典原子残差；T指利用OMP算法优化稀疏系数X非零数的最大值，阈值T实现稀疏表示。

4 BF-VDNet-SPP网络模型

根据以上描述，提出了BF-VDNet-SPP模型，如图2所示。

第一步：计算显著度并提取感兴趣区域，提取底层特征向量K，每种交通标志的特征向量维度为100×36。

第二步：使用任意K个特征向量对词典B赋初值，保持词典B不变，通过OMP算法优化稀疏词典B，得出稀疏系数X。

第三步：根据稀疏系数X，通过N次迭代完善词典，求得目标函数最优解。

第四步：通过主成分分析方法PCA得到当前交通标志图像特征向量M。

第五步：将特征向量M和词典B每一个元素做卷积运算，得到所有像素点的特征，因为像素点维度增加，通过空间金字塔池化方法降低维度，提取图像特征，级联得到多尺度图像特征，作为图像的中层卷积特征Z。

第六步：训练SoftMax分类器参数，将中层卷积特征Z输入模型分类，实现对交通标志类别的划分。

5 池化金字塔模型

池化金字塔具有良好的抗噪性，可以更全面地提取图像特征，从而更加准确地对目标进行划分。

本文构造的池化金字塔模型如图3所示。

图3 金字塔池化模型

c∈C指池化金字塔有C层，c指池化金字塔第c层，每层图像长宽被分成2c段，分成4c个图像块，池化公式如下：

Y=E(X)

(7)

为了更好地突出图像的边缘细节特征，采用最大池化法选取图像块中像素的最大值当作图像块的特征向量，最大池化公式如下：

yj=max{|x1j|,|x2j|,…,|xnj|}

(8)

式中：yj为Y的第j个元素，xnj为图像第n行第j列像素值，特征向量数是n。

提取每层金字塔池化后的特征向量，连接这些特征向量获得多尺度特征，连接方法如下：

设池化空间金字塔得到的特征向量为ti1和ti2，连接后ti=[ti1,ti2]。

本文设定C为2，将三层特征拼接作为特征向量Z。

6 实 验

6.1 数据集介绍

这次实验所使用的数据集是GTSRB，包括了各种气候条件下，各种各样的交通标志图像，交通标志图片有1 000多幅，交通标志的尺寸大致范围是15×15到130×130，分为43种类别，选择其中的20个交通标志为正样本，剩下的23个交通标志图像为负样本，使用2 000幅交通标志用于训练，100幅交通标志用于测试，部分样本图像如图4所示。

图4 部分样本图片

6.2 实验环境

本次实验的架构平台选择Tensorflow，电脑系统是Windows 10，64 bit，所使用的函数来源于Anaconda，所使用的编程软件是Pycharm，处理器为Intel(R)Core(TM)i7- 7700HQ CPU@2.80 GHz，存储容量是16 GB。显卡为GTX1050，训练用时为1小时。

6.3 实验结果与分析

实验结果如图5所示。

图5 交通标志检测结果

部分实验数据如表1所示。

表1 部分交通标志数据统计

不同方法检测结果如表2所示。

表2 不同方法检测结果统计

续表2

不同方法误差分析如图6所示。

图6 误差对比

不同方法准确率分析如图7所示。

图7 准确率对比

根据表1、表2、图6、图7可知本文算法对交通标志定位的召回率为96%，准确率为97%，取得良好效果。本文算法对交通标志定位的召回率和准确率比文献[10]和文献[15]低0.5百分点左右，存在差距。

为了进一步对交通标志检测定位进行研究，将照片中的交通标志尺寸分成两类，交通标志大小在150以下的称为小标志，交通标志大小在150以上的称为大标志，不同方法的小标志检测结果如表3所示。

表3 小标志图像检测结果

根据表3可知本文算法对小标志定位的召回率和准确率较高，说明本文算法更适用于远距离交通标志定位，实用性更强。

为了进一步对交通标志检测时间进行研究，分别对100幅交通标志图像进行识别，不同方法的检测时间如表4所示。

表4 交通标志定位时间结果统计

根据表4可知本文算法对交通标志定位所用的时间更短，接近其他方法所用时间的一半，实时性更强。

7 结 语

本文为更好地对交通标志进行识别，提出了基于卷积神经网络中层特征学习的交通标志图像识别方法。

(1) 计算显著度提取感兴趣区域，提高识别准确率。

(2) 根据灰度图、LBP特征图、骨架图，以及对图像伸缩、旋转和平移，充分提取低层特征。

(3) 构建视觉词典，通过PCA主成分分析方法得到当前图像特征向量，并与视觉词典做卷积运算，进一步提取图像特征，

(4) 通过金字塔池化模型对特征分层次提取，降低特征维度，充分提取图像特征。

(5) 最后通过SoftMax分类器对交通标志进行分类，实验结果表明，本文方法效果好，效率高，适用于远距离交通标志定位识别。