嵌入式监控影像车牌识别方法

陈祖斌，黄维宁，赵逸夫，于 洋

(吉林大学仪器科学与电气工程学院，长春130022)

嵌入式监控影像车牌识别方法

陈祖斌，黄维宁，赵逸夫，于 洋

(吉林大学仪器科学与电气工程学院，长春130022)

为解决基于PC机的车牌识别系统成本高、重量大、操作复杂、安全性低等诸多问题，提出嵌入式监控影像车牌识别方法。将车牌识别与嵌入式相结合，通过中值滤波、索贝尔边缘检测、全局阈值化、基于纹理特征的近似定位、字符归一化、基于不同分类器的字符识别等技术形成了一套完整的车牌识别系统。该系统体积小、稳定性好、可行度高、准确度高、易于安装。在不同情况下进行900例不同车牌识别实验，实验结果表明，该系统的识别准确率高达97.3%左右，在降低成本、减轻重量、简化操作的同时达到很高的精度，可替代PC机的车牌识别系统。

字符识别;嵌入式;字符归一化;索贝尔边缘检测

0 引 言

随着我国社会经济以及道路交通的发展，智能交通已成为交通科技领域研究的重点。车牌识别作为智能交通的核心组成部分，在道路交通管理、社区安全管理、停车场收费管理等场合起着重要作用。国外虽有一些技术已成熟，但由于国内车牌涵盖几种类型的字符，包括文字、拉丁文字母和数字，与其他字体之间存在差异，因此西方国家的车牌识别系统对在我国并不完全适合［1］。而国内现有的车牌识别系统中，大多数产品都因为成本太高而得不到普及，或采用埋地线圈检测、红外检测、雷达检测等技术，而这些技术存在许多缺点，如埋地线圈检测破坏路面、红外检测需附加外部检测设备、雷达检测需矫正触发位置等。虽然国内许多学者也在进行相关的研究，然而，由于车牌识别产品对环境的要求高，在不同的光照环境下会影响识别率。因此，如何准确定位车牌，进行字符识别以及提高识别率仍是一项重要的任务。鉴于以上车牌识别技术的缺陷，笔者设计了一种基于嵌入式的视频车牌识别系统，即基于ARM (S3C6410)的嵌入式车牌识别系统。通过使用实时操作系统Windows CE实现视频采集、图像处理、车牌提取以及文档存储等功能，并利用嵌入式Visual Studio 2005实现友好的人机界面显示，便于调控。该系统具有体型小、可行度高、识别率较高、易于安装等优点。

1 系统设计

1.1 系统硬件设计

为了达到系统小巧，功能强大的目的，硬件部分以Samsung公司的S3C2440为微处理器，设计了串口、摄像头接口和LED(P45610QC)显示等外围电路，并定制了基于该硬件平台的Window CE操作系统。S3C2440采用ARM920T核心，以及0.13μm的CMOS标准宏单元和存储器单元。其特点是功耗低、简单、精致、全静态，特别适合低成本和低功率型的应用。S3C2440的处理器核心是32位ARM920T的RISC处理器。ARM920T采用具有独立的16 kByte指令高速缓存和16 kByte数据高速缓存的高级微控制器总线架构、内存管理单元和哈佛结构高速缓冲体系结构［2］。每个内存管理单元都是由8字长的行组成。S3C2440微处理器的以上特点能使其充分完成图像数据处理的任务。

S3C2440同时提供了一个摄像接口，该接口用于接收8位来自摄像头的输入数据信号，3个来自摄像头的输入同步时钟信号，并输出一个主时钟信号和一个复位信号。摄像接口的主时钟信号的频率为96 MHz，再将该频率经过分频处理后输出给摄像头，摄像头根据该时钟信号产生像素时钟信号、帧同步时钟信号和行同步时钟信号，反过来再输入S3C2440。系统使用OV9650摄像头实现摄像、照相等功能，从而获取图像。OV9650是美国半导体公司生产CMOS型摄像头，它具有功耗低、敏感度高、分辨率高(最高1 300×1 028像素)，支持多种常用的图像格式，支持自动图像控制等优点，这些特点满足监控影像对清晰度和速度的要求。

图1 系统硬件结构图Fig.1 Diagram of system hardware

Windows CE是个多任务实时嵌入式操作系统，它具有友好的用户界面和良好的通信功能，是微软专门为移动应用、信息设备、消费类电子产品等设计的操作系统。使用该系统可实现车辆图片的拍摄、图片处理以及车牌的提取和存储。

对嵌入式系统进行一定的简化，将一些不必要的接口和设备去除，采用如图1所示的硬件模式。

1.2 系统软件设计

首先，针对图片字符背景、噪声和边框等不同的干扰因素，对其进行中值滤波去噪;然后再用索贝尔算子得到图片的边缘信息，以突出目标区域的轮廓信息，进行二值化处理，再根据纹理特征的近似定位提取车牌;其次，对定位后的车牌进行分割并对字符归一化处理后，采用目前使用较为广泛的几种分类器对以上处理后得到的字符进行识别，并对实验结果进行比较。程序流程图如图2所示。

图2 软件流程图Fig.2 Software flow pattern

2 车牌提取技术

2.1 中值滤波去噪

当牌照识别系统被应用于户外区域时，会受到天气和照明条件以及复杂背景的影响。图片经过去噪处理后，其中细微的断裂部分可以连接在一起，微小突变部位可软化。标准中值滤波器具有节省时间、精度高、使用性能良好等特点。首先对扫描窗口中的所有像素颜色值进行排序，找到中值，然后改变中间值使其转换成已排序序列中的标准中值。实验结果如图3所示。

图3 原始图像和中值滤波结果Fig.3 Original image and results ofmedian filter

2.2 索贝尔边缘检测

图像边缘反映边界区域、亮度不连续、纹理和表面取向变化等重要信息。此外，图像边缘检测也可以删除无关的细节和噪声。本系统采用索贝尔边缘检测的方法。索贝尔边缘算子的两个卷积核为

图像中的每个点都要与这两个核做卷积运算，一个核得到垂直边缘相应最大值，另一个核得到水平边缘最大值［3］。将两个卷积中最大值作为该点的值并输出。结果如图4a所示。

2.3 二值化

二值化可减少图片无效信息，突出目标区域的轮廓信息，进而提高后续处理的速度。本文中用到的阈值选取方法是对全局阈值化方法的改进，将像素灰度值小于阈值的点设置为0，而像素灰度值大于阈值的点设置为255。其中初始化阈值的方法为

其中Gmax是最高灰度值，Gmin是最低灰度值。车牌二值化后的图像如图4b所示。

图4 边缘检测和二值化结果Fig.4 Result of edge detection and binarisation

2.4 基于纹理特征的定位方法

车牌定位的出发点通过汽车车牌区域的特征判断车牌，车牌有其颜色特征、外形尺寸特征和字符特征等基本特征。车牌周围区域相对于其他区域具有丰富的边缘点和纹理特征，并为固定纵横比的矩形。这些特殊的特征都可区分车牌和背景［4］。

定位过程如下。

1)近似定位的第1步是检测车牌的列范围。扫描整个图像，然后计算边缘点的数量、跳跃点的数目、边缘点的数量和车牌区域的长度之间的比率。如果该列比率在区间变化范围内，则标记这条线的起点，然后重复该过程。

2)检测该行的范围。通过步骤1)，得到车牌的行范围。为了确认该行的范围，设置了行范围的最大值和最小值、边缘点中的每行号、开始点和结束点之间的时间间隔。

车牌边界是在步骤2)中确定的。如图5所示的边缘点图像，每行的起点和终点是集中的，仅有几行是偏离的。制作了这两点分布的统计分析。出现最频繁的起点和终点被选择作为车牌的边界。通过以上步骤，一些适当的地区被发现和近似定位完成。近似定位结果如图5a所示。

为了消除伪车牌区域，计算每个候选区域的纵横比以确定准确位置。准确定位如图5b所示。

图5 定位结果Fig.5 Localization results

3 车牌倾斜校正和字符分割

3.1 车牌的倾斜校正

3．2 字符分割

由于道路的坡度和车辆的振动，相机和车牌可能会位于不同高度，车牌的图像会表现出一定程度的倾斜。笔者开发了操作简单并且准确性高的倾斜校正方法。

首先，扫描图像左半边并计算白色象素的平均高度，记为h1，然后扫描右半边并同理计算出平均高度hr。记图像的宽度为w，则斜率为

字符分割时必须对行列进行扫描。首先，用行扫描方法扫描该二进制图像和上下界的位置;其次，用列扫描方法扫描二进制图像的左右边界位置［5］。基于此，可准确分割每个字符。实验结果表明，该方法甚至可高效处理车牌图像模糊、有粘附和裂隙字符的问题。字符分割的主要步骤如下。

1)确定字符的波动边界。车牌的区域从上到下进行扫描并最先扫描的白色像素点的位置被标记为顶部边界。然后，从底部到顶部扫描，并且最先扫描的白色像素点的位置被标记为底部边界。

2)确定字符周围边框。从左到右逐列扫描并最先扫描的白色像素点的位置被标记为左边界。记White_num为像素的列数，则记录White_num=1为像素的初始数量，而后White_num随着列数的增加逐渐加1。同理得到字符的高度记为 iHeight。用字母R代表每个车牌字符的高度与宽度的比例，iHeight/White_num是由计算机扫描的高宽比，如果iHeight/White_num＞2R并且没有白色的像素在整个列中，则字符分割没有结束，直到在一个整列找不到白色像素，且iHeight/White_num=R时，分割工作才算完成。此时，确认右边的第1个字符的边界［6］。

3)如果在从条件White_num=1到条件iHeight/White_num=R扫描过程中整列都没有发现白色的像素，则必须加入字符图像且强制划分字符。为了避免重复，矩形框扩展一个像素。

4)划分后字符的位置信息被放入结构Rect中，然后Rect结构被插入到链表CharRect1的后面，并设置指定的位置。

5)重复步骤2)～4)。如果链表CharRect1的个数为nWeight-1，则确认最后一个字母的右边界并使用链表CharRect1放置车牌上的7个字符。

6)再次扫描链表CharRect1中的每个字符，检查高度-宽度准确位置。最后，链表CharRect1被分配给CharRect2。

3.3 字符归一化

字符归一化是根据预先准备的模板将各种字符顺序排列成均匀大小的图形。在字符正常化的过程中，分割字符的高度和宽度后与一个标准的字符进行比较［7］。根据矩阵变焦，确定上下左右变焦比例。上边界和左边界保持不变。根据标准字符，确定下边界和右边界。最后一步是定义一个新的结构，制定出一个矩形框。归一化的字符尺寸是16×32像素。

3.4 字符细化处理

归一化后的字符具有相同的尺寸。然而，使识别更繁琐和更难的是字体不具有均匀的直径，其笔划的宽度超过单个像素［8］。细化过程基于一定的加工算法，其中提炼的字符宽度为单个字符的宽度，并且消除了冗余信息，得到的字符骨架包括图像的特征和基本结构。遵循的原则包括:

1)保持字符笔划的连续性，以防止笔画断裂;

2)字符骨架应尽可能接近笔画的中心线，宽度应是1个像素;

3)原几何特征和拓扑结构应予以保留，且线的端点不应该被删除;

4)细化后没有严重的变形。

采用如下方法计算所述目标区域的结构。背景区域的像素被标记为0，目标区域和边界区域的像素被标记为1，在任何边界点联合区域至少有一个点的像素是0［9］。标记点应为P1，Pi(i=2，3，…，9)是邻居点。标记点和邻居点如图6所示。

一个3×3像素的图像的区域具有9点:P1，P2，…，P9，P1是在区域的中心。如果P1=1，且满足如下4个条件，则P1将被删除。

逐步检查所有的边界点。如果符合上述条件，将其标记为0;如果该点被标记为1，则保留该点。重复该过程直到没有更多的点为止，则其余各点形成字符区域的结构。

图6 标记点与邻居点Fig.6 Themarked point and neighbor points

图7 P1保存条件Fig.7 Conditions of P1preservation

4 字符识别

字符识别需要提取待识别字符的相关特征信息。首先，对其分析和分类;其次，用模版与算法识别车牌字符;最后，识别出最相似的字符模板，从而实现字符识别。字符识别的主要步骤包括特征提取和字符分类，字符模型库建设和字符重组［11］。在字符识别系统中，选择字符特征和特征提取方法是两个关键因素。

4．1 特征提取

字符特征提取是选择一组参数作为特征向量，这是最具代表性的字符特征。目前，广泛使用的车牌字符特征包括两类:结构特征和统计特征［12］。

字符识别在使用结构特征和统计特征时有一个权衡。结构特征更适合于区分相似字符，但他们难以提取且不稳定。利用统计特征有助于稳健识别，但辨别相似字符能力较差。因此，笔者采用结构特征和统计特征相结合的方法提取字符［13］。首先，提取网格特征用于粗分类;其次，提取内部结构特征区分相似字符。与单一的特征提取方法相比，该方法能大大提高识别率，缩短了识别时间。具体程序如下。

首先，提取网格特征。以字符“6”为例，它被分成8个部分，如图8a所示。以每个部分中黑色像素的数量作为其8个特征。

其次，提取内部结构特征。从特征提取的步骤中可以看到，某些字符网格特征是相似的，如“B”和“8”，“吉”和“苏”，这是很难区分的。因此，有必要提取内部结构特征区别相似字符。应找到两个水平和垂直列，绘制这之间4条线。通过4行黑像素点计算出4个特征，分别如图8所示。最后，所有的黑色像素点应该算作13个特征之一。

图8 数字的特征Fig.8 Characteristics of number

4.2 字符分类器设计

中国民用车牌的标准形式是X1X2×X3X4X5X6X7。其中X1为代表的省级划分;X2是一个大写拉丁字母;X3～X7是字母或阿拉伯数字，除了“I”“O”“D”外，最多还有两个字母。

为了提高识别的速率，设计了3个字符分类器。他们分别是中国汉字分类器，拉丁字母分类器和数字-字母分类器。车牌的识别从左到右，选择序列号对应的分类器。

4.3 字符识别的模糊决策

根据位置，每个字符由对应的分类器分类，接着与模板字符进行比较，匹配度达到最大时，相应的模板字符为识别结果［14］。

5 实验与结果分析

采用已有智能视频侦测系统与本车牌识别系统进行对比(见表1)。在系统中，应用软件是基于Windows CE嵌入式操作系统并且专用于识别民用车牌。测试实验在中国长春地区进行，为了保证全面性，本实验专门对外省的车牌号进行了识别并选取不同的时段和天气，每种情况下均测试50辆车，测试图片和视频用OV9650摄像头拍摄。由表1可知，该系统具有明显的优越性。

表1 识别结果Tab.1 Result of recognition

(续表1)

考虑到实际拍摄时镜头轴线与车牌平面所成角度的概率，取90°的系数为0.7，60°的系数为0.2，30°的系数为0.1。对通过社区大门的900辆汽车图像进行了测试，该识别系统在晴天的准确率达到97.3%，在雨天准确率达到96.1%，在薄雾天准确率达到92.5%。由此可见，笔者提出的车牌识别系统能在复杂背景下识别客车车牌。

6 结 语

笔者首先对车牌图像进行预处理;然后，校正倾斜的车牌，通过分割分离单个的字符;最后，根据中国汉字的特征，应用模板匹配算法识别牌照字符。该系统是专为中国车牌识别设计的，并且通过了大量的图像测试。最后通过车牌识别实验证明，该系统对中国车牌的识别率高于90%。

［1］查志强.复杂背景下的快速车牌识别技术研究［D］.南京:南京理工大学电子工程与光电技术学院，2013. ZHA Zhiqiang.Fast License Plate Recognition Technology Research Complex Background［D］.Nanjing:School of Electronic and Optical Engineering，Nanjing University of Science and Technology，2013.

［2］李彬.嵌入式车牌识别系统的设计与实现［D］.西安:西安工业大学电子信息工程学院，2013. LIBin.Design and Implementation of Embedded Vehicle License Plate Recognition System［D］.Xi'an:School of Electronic Engineering，Xi'an Technological University，2013.

［3］ANAGNOSTOPOULOS C N，ANAGNOSTOPOULOS I，KAYAFAS E，et al.A License Plate Recognition Algorithm for Intelligent Transportation System Applications［J］.IEEE Intell Transp Syst，2006，17(3):377-392.

［4］陈欢.基于小波分析的车牌识别系统的研究［D］.西安:西安电子科技大学通信工程学院，2013. CHEN Huan.Research on License Plate Recognition System Based on Wavelet Transform［D］.Xi'an:School of Telecommunications Engineering，Xidian University，2013.

［5］DUAN T D，DU T L H，PHUOC T V，et al.Building an Automatic Vehicle License-Plate Recognition System［J］.Int Conf Comput Sci，2005，32(5):59-63.

［6］骆雪超，刘桂雄，冯云庆，等.一种基于车牌特征信息的车牌识别方法［J］.华南理工大学学报:自然科学版，2003，31(4):27-29. LUO Xuechao，LIU Guixiong，FENG Yunqing，et al.A Vehicle License Plate Recognition Based on the Characteristics of Vehicle License Plate［J］.Journal of South China University of Technology:Natural Science Edition，2003，31(4):27-29.

［7］刘同焰.车牌识别系统的相关算法研究与实现［D］.广州:华南理工大学数学学院，2012. LIU Tongyan.Research of Related Algorithms and Implementation of the License Plate Recognition System［D］.Guangzhou: School of Mathematic，South China University of Technology，2012.

［8］黄英伟.车牌识别系统字符识别算法研究［D］.武汉:湖北工业大学电气与电子工程学院，2012. HUANG Yingwei.Research of Character Recognition in License Plate Recognition System［D］.Wuhan:School of Electrical and Electronic Engineering，Hubei University of Technology，2012.

［9］HOU Z，WEN B，PENG H.Study on BPNeural Network［J］.Comput Knowl Technol，2009，37(9):3982-3983.

［10］薛江，王知衍，曹晓叶.基于嵌入式系统的Tcode识别［J］.华南理工大学学报:自然科学版，2013，41(5):85-86.XUE Jiang，WANG Zhiyan，CAO Xiaoye.Tcode Recognition Based on Embedded System［J］.Journal of South China University of Technology:Natural Science Edition，2013，41(5):85-86.

［11］HOU H，JIN L，NIU Q，et al.Driver Intention Recognition Method Using Continuous Hidden Markov Model［J］.Int J Comput Intell Syst，2011，134(6):386-389.

［12］顾弘，赵光宙，齐冬莲，等.车牌识别中先验知识的嵌入及字符分割方法［J］.中国图象图形学报，2010，15(5):33-35. GU Hong，ZHAO Guangzhou，QIDonglian，et al.Priori Embedding and Character Segmentation for License Plate Recognition［J］.Journal of Image and Graphics，2010，15(5):33-35.

［13］呙润华，苏婷婷，马晓伟.BP神经网络联合模板匹配的车牌识别系统［J］.清华大学学报:自然科学版，2013，53(9):23-27. GUO Runhua，SU Tingting，MA Xiaowei.License Plate Recognition System Using a BP Neural Network and Template Matching［J］.Journal of Tsinghua University:Science＆Technology，2013，53(9):23-27.

［14］ZHU J，WU A，ZHU J.The License Plate Recognition Technology Based on Digital Image Processing［J］.Adv Mater Res，2011，267(8):778-782.

(责任编辑:刘俏亮)

Embedded License Plate Recognition System of Surveillance Video

CHEN Zubin，HUANGWeining，ZHAO Yifu，YU Yang

(College of Instrumentation and Electrical Engineering，Jilin University，Changchun 130022，China)

Because the PC-based license plate recognition system has a high cost，heavy complex operation，security is low and many other defects，we proposed license plate recognition technology embedded monitor video license plate recognition and embedded together by median filter，Sobel edge detection，global thresholding，texture features based on the approximate location，character normalization，different classifier character recognition technology to form a complete license plate recognition system.The system is small，stable，practical and accurate.We conducted 900 patients with different license plate recognition experiment under different circumstances，the accuracy rate is as high as 97.3%，and the system can achieve very high precision.

license plate recognition;embedded system;character normalization;sobel edge detection

TP391.4

A

1671-5896(2015)04-0463-08

2014-05-14

国家级大学生创新实验计划基金资助项目(2013A65234)

陈祖斌(— )，男，湖南灃县人，吉林大学教授，主要从事地球物理仪器、数字信号处理研究，(Tel)86-431-88502054 (E-mail)czb@jlu.edu.cn。