基于深度学习的车牌字符识别的设计与实现

肖秀春 吴伟鹏

摘要

由于应用场景的复杂性，从车牌图像中通过定位和分割技术得到的车牌字符通常存在倾斜、扭曲、光照条件差、像素分辫率低等情况，导致在实际应用中，传统车牌字符识别方法存在诸多不足与困难。将深度学习运用到车牌字符识别技术中，通过大量样本训练，让深度卷积神经网络（CNN）学习车牌字符的图像特征，进而自动识别出其中的车牌字符。由于深度学习模型具有很强的学习能力，可克服实际应用中诸多困难，从而提高车牌字符的识别率。

【关键词】车牌号码识别 字符识别 深度学习卷积神经网络

1 引言

随着我国现代化和城市化水平的不断进步，人们的生活水平日益提高。近年来，我国机动车的保有量得到快速增长。这些车辆给我们的日常生活提供相当的便利，同时，也给我们的交通管理、城市管理带来了一些问题，例如车辆的乱停乱放、违犯交通标识和信号灯规则等交通违章现象日益突出。另一方面，由于计算机处理速度的提升和图像处理技术、模式识别技术的飞速发展，车牌号码的自动识别成为可能。近年来，车牌号码自动识别技术在智能交通监控和智能停车场管理系统中得到广泛应用，使得传统的车牌登记、监控和管理发生了重大变化。

车牌号码自动识别技术是为了提高车辆监控和管理效率而产生的一种图像处理或模式识别技术。通常，车牌号码识别包括车牌图像预处理、车牌号码定位、车牌字符分割、字符识别等四个部分。本文主要讨论车牌字符自动识别问题。由于应用场景的复杂性，外部的光照条件各不相同（环境、季节、气候、白昼等不同情况下的光照条件差异非常大），车牌的反射程度差异也较大，这些会对所采集得到的车牌字符质量造成很大的影响，从而在某种程序上降低车牌字符识别的准确率。另一方面，从车牌图像中通过定位和分割技术得到的车牌字符一般存在倾斜、扭曲、像素分辨率低等情况，导致在实际应用中，传统车牌字符识别方法存在诸多不足与困难。最后，我国车牌号码本身就具有复杂的特征：

（1）车牌字符中不仅仅有汉字，还有英文字母和阿拉伯数字。由于汉字的复杂性，其识别难度远远大于字母和数字;

（2）具有多种颜色分类，主要分为四种：黑字黄底、白字蓝底、黑字白底和白字黑底;

（3）车牌格式较多，我国的车牌格式包括：军车车牌、武警车牌、民用车牌、外交车牌、特种车牌、公安警察车牌、消防车牌等;

（4）车牌的悬挂方式不唯一，由于不同汽车公司出产的汽车型号和外形各不相同，导致了车牌的悬挂位置不唯一。以上种种原因，导致利用传统的图像处理或模式识别技术，很难同时克服全部困难。

由于深度神经网络具有很强的学习能力，本文将在图像处理领域应用最广泛的深度卷积神经网络运用到车牌字符识别技术中，根据车牌字符识别的特点，构造合适的深度卷积神经网络结构，通过大量样本训练，让深度卷积神经网络（CNN）学习车牌字符的图像特征，进而自动识别出其中的车牌字符。实验结果表明，深度卷积神经网络可克服实际应用中诸多困难，从而获得较高的车牌字符的识别率。2网络结构

选择合适的卷积神经网络结构对于车牌字符识别准确率的提高和降低时间消耗至关重要。由于车牌字符识别问题的复杂性相对较低、且对实时性要求较高，因此，本文在仿真实验的基础上，对结构相对简单的经典LeNet卷积神经网络结构进行改进得到适合车牌字符识别的7层结构的卷积神经网络。

2.1 LeNet卷积神经网络

卷积神经网络（Convolutional NeuralNetwork，CNN），也稱深度卷积神经网络，是受人类视觉神经感受野的启发而提出的。目前，卷积神经网络己成为图像、视频处理领域应用最广泛的深度神经网络模型。一般地，一个典型的卷积神经网络由卷积层、池化层和全连接层等构成，具有局部感知、权值共享、多层卷积等特点。相比传统BP等全连接神经网络，卷积神经网络具有如下优越之处：

（1）卷积核具有局部感知特性，与生物视觉神经网络更加近似;

（2）卷积核具有权值共享特性，可以极大地减少神经网络参数数量，使得对网络参数的训练更为容易;

（3）多层卷积本质上是从低层次到高层次提取图像特征的过程，而全连接神经网络基本没有特征提取的能力。卷积神经网络提到到的高层次图像特征可以很容易地应用于物体识别或分类等

LeNet卷积神经网络结构是1998年由LeCun等提出的一种经典的卷积神经网络。LeNet网络模型的提出标志着卷积神经的正式成型。图所示给出了经典的LeNet卷积神经网络结构。该模型结构中共包含有2个卷积层、2个平均池化层和3个全连接层。如果将LeNet卷积神经网络应用于MNIST手写数字识别，准确率可达99%以上，可见LeNet卷积神经网络结构虽然仅有两个卷积层，但其功能已经较为强大。

2.2 车牌字符识别卷积神经网络结构

本文所研究的车牌字符识别技术，也采取经典LeNet类似的结构，图2为所提出的车牌字符识别卷积神经网络结构。在图2中，第一个卷积层利用16个8x8x1的卷积核进行卷积实现特征提取，提取到原始车牌图像的16个低层次特征，然后经过一个2x2的池化层对提取到的低层次特征进行下采样;第二个卷积层通过32个5x5x16的卷积核进行卷积实现特征提取，提取到原始车牌图像的32个高层次特征，再经过一个1x1的池化层;最后通过全连接层实现第二个卷积层到输出层的映射。另外，网络还有一个输入层和一个输出层，其中，输入层为已经分割好的车牌字符图像，且图像大小已经调整为32X40图像块;输出层表达了72个不同类别的字符输出，即：{1、2、3、4、5、6、7、8、9、0、A、B、C、D、E、F、G、H、J、K、L、M、N、P、Q、R、S、T、U、V、W、X、Y、Z、京、津、冀、辽、吉、黑、沪、苏、浙、皖、闽、赣、鲁、豫、鄂、湘、粤、桂、琼、渝、川、贵、云、藏、陕、甘、青、宁、新、澳、港、台、蒙、晋、军、海、学、警}。需要注意的是，按我国交通法规规定，车牌编号中不能够包含字母I和O。

3 实验及结果

3.1 车牌字符图像集的获取

一般来说，深度学习模型需要大量的样本对其进行训练才能提高其识别准确率和泛化能力。当前对于车牌号码识别研究来说，尚无公开的车牌字符图像集。如果在全国范围内大量采集车牌图像数据工作量非常大，也比较难以实现，本文的实验数据中车牌字符图像只是从国内各省份选取部分车牌作为训练和测试数据。为了获取足够规模的车牌字符图像集，我们对已经采集到的部分车牌号码图像通过拉伸、扭曲、平移、缩放、旋转等图像变换技术成倍地增加样本图像。图3所示为通过对真实车牌字符图像进行多种图像变换技术获取的车牌字符图像樣本，其中，第1、2行为车牌汉字字符图像，第3、4行为车牌英文字母图像，第5、6行车牌数字字符图像。

3.2 实验结果

为了验证本文提出的深度卷积神经网络及其结构的有效性，我们将车牌图像预处理、车牌定位和车牌字符分割作为前期处理，结合到车牌字符识别过程中。先把车牌图像集及其标签保存到训练样本所在目录，然后，执行车牌号码自动识别全部操作命令。程序执行时的经过最多500次迭代训练，其识别准确率可达99.0%，训练耗时约为11小时。

图4所示为车牌图像示例及其识别结果，本文算法准确地识别出该图像中的车牌号码。同时，我们进一步测试了500个实际车牌图像，其车牌号码中所有字符完全正确地识别的准确率为97.6%。

4 结束语

字符识别是车牌号码自动识别中的关键技术之一，由于应用场景的复杂性，导致在实际应用中，传统车牌字符识别方法存在诸多不足与困难。将深度卷积神经网络运用到车牌字符识别技术中，构造合适的深度卷积神经网络结构，通过图像变换技术获取大量样本训练，训练深度卷积神经网络参数以学习车牌字符的图像特征，进而识别出其中的车牌字符。由于深度学习模型具有很强的学习能力，可克服实际应用中诸多困难，从而提高车牌字符的识别率

参考文献

[1]彭博，臧笛.基于深度学习的车标识别方法研究[J].计算机科学，2015，42（04）：268-272.

[2]赵振兴.基于深度学习的车牌识别技术研究[D].青岛科技大学（硕士学位论文），2017.

[3]王恒.基于深度学习的车牌识别算法研究[D].青岛科技大学（硕士学位论文），2017.

[4]杨珏吉.基于深度学习的车牌识别系统[D].浙江大学（硕士学位论文），2017.

[5]殷浩.基于深度学习及视觉注意的车牌识别研究[D].湖北工业大学（硕士学位论文），2017.

[6]刘峥强.深度学习算法在车牌识别系统中的应用[D]，电子科技大学（硕士学位论文），2016.

[7]王晶.基于深度学习神经网络的车牌字符识别技术的研究[J].工业控制计算机，2017（03）.

[8]赵志宏，杨绍普，马增强.基于卷积神经网络LeNet-5的车牌字符识别研究[J].系统仿真学报，2010（03）.