基于低秩纹理特征的车牌倾斜校正方法*

杨 鹏

（浙江工贸职业技术学院，浙江温州325003）

基于低秩纹理特征的车牌倾斜校正方法*

杨 鹏

（浙江工贸职业技术学院，浙江温州325003）

针对传统的基于直线检测的车牌倾斜校正方法对车牌边缘以及噪声较为敏感，并且不能同时检测车牌在水平和垂直方向的倾斜角度的问题，提出了一种基于低秩纹理特征的车牌倾斜校正方法。车牌图像的低秩先验信息是指对车牌图像，当车牌在图像中处于水平或垂直时，该图像对应的矩阵的秩是最小的。利用该低秩先验，采取一定的步长对车牌图像进行仿射变换，通过寻找最小秩对应的变换参数就可以获取车牌的倾斜参数，进而对车牌进行倾斜校正。实验结果表明，该方法能够准确快速地对车牌进行水平和垂直方向的倾斜校正，对车牌边缘、光照、噪声和分辨率等不敏感，具有一定的实用性。

车牌；倾斜校正；低秩

0 引言

车牌的自动识别是智能交通系统中的一个重要环节。车牌识别主要包含三个环节：车牌定位，字符分割以及字符识别。实际的应用场景中，摄像机的位置通常是固定的，由于车辆姿态的任意性和随机性，得到的车牌图像可能存在车牌倾斜的情况，这样，即使能够准确得到车牌的位置，但也不能准确地对车牌的字符进行分割，进而也就不能准确地对车牌进行识别了。因此，对车牌进行倾斜校正的预处理操作是提高车牌识别率的一个重要步骤。倾斜车牌校正的准确率将直接影响车牌字符分割的准确率，进而影响车牌的识别率。

根据文献[1]所述，车牌倾斜主要有三种模式：水平方向、垂直方向和混合方向上(水平和垂直方向上的综合)的。现有的对车牌倾斜进行校正的算法主要有四类[2]：直线检测法、投影最值法、角点检测法和主方向分析法。其中最常用的就是直线检测法，该类方法是利用Hough变换或Radom变换来检测车牌边框的两条最长的平行线，然后计算该平行线与水平线的夹角，最后根据该夹角度数对车牌进行倾斜校正，比如贾晓丹等提出的基于Radom变换的车牌倾斜校正算法[3]，王少伟等提出的基于RGB色彩空间和Hough变换的车牌校正定位算法[4]。该类方法对车牌的边缘依赖较大，当检测出来的车牌的边缘宽度不一致或者不平滑时，该类方法检测得到的倾斜角度往往并不是车牌的真实倾斜角度，并且该类方法仅仅在水平方向实现了对车牌的倾斜校正。吴丽丽[5]和刘威[6]分别提出了利用Radom变换来检测车牌在水平和垂直两个方向的倾斜角度，最后在不同方向上分别对车牌进行倾斜校正，但该方法仍然对车牌的边缘依赖性很强，对噪声也较为敏感。投影最值法[7,8]是利用车牌在倾斜方向上的投影具有特殊最值的特征，通过一定步长旋转图像来找到对应该特征的旋转角度，该角度即车牌的倾斜角度。角点检测法[9]是通过寻找车牌区域的四个角点来定位车牌，进而对车牌进行倾斜校正。主方向分析法[10]则是利用主成分分析等工具寻找边缘点在最小均方误差意义下的特征直线来计算车牌的倾斜角度，进而对车牌进行倾斜校正。

上述这些方法虽然在一定的条件下都能获得较好的校正效果，但是都依赖于车牌的边缘信息。当存在遮挡、污迹以及光线较暗等情况时，这些方法不能获得满意的校正效果。为了进一步提高倾斜车牌校正的准确性和鲁棒性，本文结合低秩纹理和低秩先验的概念，提出了一种基于低秩纹理特征的车牌倾斜校正算法。该算法首先假定原始未倾斜的车牌图像是一个低秩纹理，在该假定条件下首先在旋转变换意义上对车牌图像倾斜校正，即采用一定的步长对图像进行旋转变换，并计算变换后的图像的秩，然后找出秩最小的图像对应的透射变换参数，并利用该参数来对车牌进行倾斜校正。在旋转变换完成后，采用同样的方法在错切变换意义上对车牌进行倾斜校正，这样就得到了最后的倾斜校正结果。实验结果表明，该方法不依赖于图像的边缘信息，在遮挡、污迹以及光线较暗等情况下仍然能够准确对车牌进行倾斜校正。

1 低秩纹理和低秩先验

纹理是图像的一个重要特征，它能很好地描述图像的外部轮廓和内部细节，在计算机视觉领域具有举足轻重的地位。文献[11]提出了一种全新的纹理表达方式，称为低秩纹理（Low-Rank Textures），公式定义为：

r=dim(span{I(x,y0)|y0∈R})≤k （1）

其中I(x,y)是给定平面空间R2上的一个2D纹理图像，{I(x,y0)|y0∈R}表示该图像对应的一维函数族生成的空间，span{V}表示空间V的一个低维线性子空间，即空间V的最大线性无关组，dim表示空间的维数，此处也就是空间V的最大线性无关组的个数。当r存在，并且k足够小时，则称I是一个秩为r的纹理。

文献[12]提出了低秩先验的概念，该文指出，大部分自然图像或人工图像中的某一个小块，如果沿着该块对应的特征方向旋转，总是能够形成一个低秩纹理。

2 仿射变换

仿射变换是一种特殊的投影映射，即将一个图片投影到一个新的平面，但是该投影映射是一种线性变换，即直线经过仿射变换之后依然是直线，平行线经过仿射变换之后依然是平行线。仿射变换与平移、旋转等简单的线性变换不同，它是一种组合变换，即通过一系列的简单变换来实现，这些简单的变换包括：平移，缩放，旋转，翻转和错切。

投影映射通用的变换公式如下：

其中[u,v]是变换前的坐标，[x′,y′]是变换后的坐标，T是变换矩阵。变换矩阵是由四部分组成的，其中为线性变换，包含了缩放、旋转和错切。具体变换结构如下：

T2=为平移变换矩阵，为透视变换矩阵。

1时，变换矩阵T就成了仿射变换中的一个基本变换矩阵了。

3 车牌倾斜矫正的流程

传统的车牌倾斜校正的方法一般为：首先检测车牌，然后提取车牌的边缘特征，并根据车牌的边缘特征计算出车牌在水平和垂直方向的倾斜角度，最后根据倾斜角度对车牌进行倾斜矫正。流程图如图1所示。

图1 车牌倾斜校正流程图

4 基于低秩纹理的车牌倾斜矫正

结合低秩纹理的定义以及低秩先验的概念，可以得到一个重要结论，那就是一个具有规则对称结构的图像通常具有很明显的低秩纹理特征。我国对车牌的外廓尺寸大小以及车牌内字符的间隔大小等有着严格的定义，因此，车牌图像可以近似认为是一个具有规则对称结构的图像，也就是说车牌图像在不倾斜的情况下，自身就是一个低秩纹理。基于该假设，本文提出一种基于低秩纹理特征的车牌倾斜校正的方法，具体实现步骤如下：

（1）首先进行旋转变换意义上的倾斜校正：构造一个1×41大小的变换矩阵组，矩阵组中的每一个矩阵大小为3×3的矩阵，即变换矩阵T，其中a11=a12=…=a32=a33=1。仅仅改变旋转矩阵中元素的大小即可实现旋转变换，具体取值为：

（2）然后进行错切变换意义上的倾斜校正：构造一个2×21大小的变换矩阵组，矩阵组中的每一个矩阵大小为3×3的矩阵，即变换矩阵T，其中a11=a12=…=a32=a33=1。仅仅改变错切矩阵中元素的大小即可实现旋转变换，具体取值为：

由公式（4）和公式（5）可以看出，由于参数会按一定的步长进行改变，因此，对于一幅输入图像，每一次的变换都会产生一系列的结果图像。每一个结果图像实际就是一个矩阵，也就对应一个秩，即每一次的变换都会产生一系列的秩。通过寻找最小秩对应的图像就能够得到当前次变换的最佳变换图像，该图像也就是下一次变换的输入图像。通过旋转和错切变换后，原来的倾斜车牌图像就能够在水平和垂直方向都得到倾斜校正。

5 实验结果和分析

为了验证该分割方法的准确性，在Pentium 3.2 GHz，内存16 GB的PC上利用MATLAB-R2014a软件进行实验。实验首先对衣服车牌图片进行人工的透视变换得到倾斜的车牌图像后，然后再利用本文的算法对该倾斜车牌图像进行倾斜校正，以此来验证本文算法的可行性。

图2a是原始的不存在倾斜的车牌图像，图2b是人工对该车牌图像进行旋转和错切变换后的图像，图3a是利用基于边缘特征的方法得到的校正结果，图3b是利用本文方法得到的结果。

由图3可以看出，基于边缘特征的方法在垂直方向能够对车排进行准确的校正，但是在水平方向不能够进行倾斜校正。而基于低秩纹理的方法能够在水平和垂直方向同时对车牌进行倾斜校正，得到的校正结果也较为准确。

图2 原始车牌及其倾斜图像

图3 基于边缘特征与基于低秩纹理的倾斜校正结果

为了进一步验证本文算法对实际检测得到的各种倾斜车牌的校正准确性，实验选取10幅大小各不相同的车牌图片来进行进一步的测试，测试图片如图4所示。

图4 实际车牌图像

首先，为了验证算法对真正车牌区域的倾斜校正的适用性，通过人工选取车牌区域的左上点和右下点来确定车牌区域，然后利用该算法对车牌进行倾斜校正，结果如图5所示。

图5 人工截取车牌区域后的校正结果

通过图5可以发现，该算法能够准确对车牌进行倾斜校正。但是实际检测出来的车牌区域不一定也很难恰好就是车牌的真实区域，可能存在一定的扩展区域，就如图4所示，为了验证该算法对这种情形的车牌倾斜校正的适用性，本文利用该算法直接对上述的车牌图像进行倾斜校正，结果如图6所示。

图6 自动校正结果

通过图6可以看到，该算法的校正结果不依赖于车牌的真实区域，具有很强的鲁棒性。

6 结束语

在实际检测的环境中，由于遮挡、污迹以及光线的原因，车牌边框与车身的颜色有可能较为类似，这样基于边缘特征的倾斜角度检测就会失效或出现偏差。同时，传统的车牌倾斜校正仅仅对车牌图像进行仿射变换意义上的倾斜校正，但在实际环境中，由于摄像机拍摄角度的不同，车牌可能存在透视变换意义上的倾斜，因此，传统的车牌倾斜校正的方法存在一定的不足。基于低秩纹理的车牌倾斜校正方法不依赖于图像的边缘信息，在遮挡、污迹以及光线较暗等情况下仍然能够准确对车牌进行倾斜校正，具有一定的应用价值。

[1]薛迎卫.基于小波变换与支持向量机的车牌识别[D].北京化工大学,2009.

[2]李建春,杨星,刘伟,等.车牌倾斜校正研究综述[J].科技创新导报,2013(1):252-253.

[3]贾晓丹,李文举,王海姣.一种新的基于Radon变换的车牌倾斜校正方法[J].计算机工程与应用,2009,44(3):245-248.

[4]王少伟,尚媛园,丁辉,等.一种改进的RGB Hough车牌校正定位算法[J].光学技术,2014(1):9.

[5]吴丽丽,余春艳.基于Sobel算子和Radon变换的车牌倾斜校正方法[J].计算机应用,2013,33(A01):220-222.

[6]刘威.车牌倾斜校正算法研究[J].制造业自动化,2014,36(22):85-87.

[7]吴一全,丁坚.基于边缘点投影方差最小的车牌倾斜校正方法[J].系统仿真学报,2008,20(21):5829-5832.

[8]吴一全,张金矿.基于投影坐标p次方差及粒子群的车牌倾斜检测[J].计算机辅助设计与图形学学报,2010,22(1):114-120.

[9]张美多,郭宝龙.车牌识别系统关键技术研究[J].计算机工程,2007,33(16):186-188.

[10]吴一全,丁坚.基于K-L展开式的车牌倾斜校正方法[J].仪器仪表学报,2008,29(8):1690-1694.

[11]Zhang Z.,Liang X.,Ganesh A.,et al.TILT:Transform Invariant Low-Rank Textures[M]Computer Vision-ACCV 2010.Springer Ber⁃lin Heidelberg,2011:314-328.

[12]Wang R.,Pakleppa M.,Trucco E.Low-Rank Prior in Single Patches for Nonpointwise Impulse Noise Removal[J].Image Processing, IEEE Transactions on,2015,24(5):1485-14.

（责任编辑：潘修强）

Vehicle License Plate Tilt CorrectionApproach Based on Low-rank Textures

YANG Peng
(Zhejiang Industry&Trade Vocational College,Wenzhou,325003,China)

The traditional license plate tilt correction methods were sensitive to plate edges and noise,and cannot gain the license plate tilt angles in the direction of the horizontal and vertical at the same time.To solve this problem,the paper proposed a license plate tilt correction method based on low-rank texture character.The low rank priori information of a license plate image is that the rank of the image is the smallest when the license plate in the image lies in a horizontal or a vertical state.According to the low rank priori,we can take a certain step size to operate the affine transform for the license plate image,and the tilt parameters can be gained by the corresponding transformation parameters which let the rank of transformation result be the minimum one,therefore we can use the method to correct the license plate tilt.The experimental results show that the method can accurately and fast correct the license plate tilt in horizontal and vertical direction,and is not sensitive to the license plate edge,light,noise and resolution,and then has a certain practical value.

licence plate;tilt correction;low-rank

TP391.41

A

1672-0105(2017)01-0040-04

10.3969/j.issn.1672-0105.2017.01.010

2017-01-10

浙江工贸职业技术学院2016年度第一期教师科技创新活动计划项目“车牌倾斜矫正算法研究”(G160107)

杨鹏，男，硕士，浙江工贸职业技术学院讲师，主要研究方向：计算机应用、教学管理。