接触网支柱号牌定位与字符分割方法

闵 锋，吴 涛+，陈智羽

(1.武汉工程大学 计算机科学与工程学院，湖北 武汉 430205； 2.武汉工程大学 智能机器人湖北省重点实验室，湖北 武汉 430205)

0 引 言

支柱号牌识别是铁路智能巡检中的重要部分。号牌识别过程一般包括号牌定位、字符分割、字符识别3个阶段。现阶段号牌定位方法，包括基于边缘或颜色的特征方法[1,2]、基于字符特征的方法[3,4]、基于传统机器学习[5,6]或神经网络的分类方法[7,8]。基于边缘或颜色特征的方法，定位速度快且准确，但图片背景复杂时，会出现多个候选区域，对正确的号牌区域造成干扰；基于字符特征的方法，通过SIFT、SURF等算法提取字符的特征向量，将其与模板库中的特征向量进行匹配，从而实现号牌精确定位，该方法能有效避免背景带来的干扰，但过于依赖字符特征，导致其鲁棒性不强；基于机器学习或神经网络的方法，先提取候选区域，然后利用分类器对号牌与背景区域进行分类，如利用SVM、Adaboost和卷积神经网络(convolutional neural networks，CNN)等，虽然此种方法能适应各种复杂情况，但训练过程需要较多的数据，号牌定位精度也受限于候选框提取的准确率，目前有些基于深度学习的物体检测模型能够通过网络训练得到候选区域，如Faster RCNN[9]，但由于号牌结构的特殊性，相对于人工提取的候选区域没有太大优势并且需要较多的人工标记样本。号牌分割方法主要有连通域标记法[10,11]、投影分割法[12,13]。连通域标记法与投影分割法均会受到字符断裂与粘连的影响，需要利用经验与字符特点进行补充操作。

本文主要针对4C(接触网悬挂状态检测监测装置)系统所拍摄的号牌。为了适应阴影、轻微遮挡、不同光照条件等情况，将形态学变换与机器学习的方法相结合来准确定位号牌。针对字符断裂、字符粘连、阴影等复杂情况，本文改进了传统二值化方法，并提出了一种投影分割方法，先利用投影矩阵的极值获得合理的候选分割点，然后对候选分割点进行分组，计算组内相邻候选分割点距离的变异系数及分割点所在列的灰度均值，最后通过比较不同组的变异系数与灰度均值获得最佳分割点组合。

1 号牌定位

1.1 边缘检测与二值化

边缘信息为图像中最基本的信息之一，是图像灰度变化较大的一部分。由于背景与目标之间都存在边缘，所以在图像目标分割中有着重要作用。常用的边缘检测算子主要有Sobel算子、Prewitt算子、Robert算子、Laplace算子、Canny算子等。上述常用边缘检测算子大部分采用灰度梯度进行计算，对噪声比较敏感。而基于形态学运算的边缘检测通过图像差分获取边缘，生成的噪声较少。提取形态学边缘流程为：先对图像进行膨胀操作，设膨胀次数为n，利用相同的卷积核对图像进行n-1次腐蚀操作，最后利用该图减去原图得到边缘图。

在支柱号牌中，字符为全图中较暗的部分，号牌为全图中较亮的部分，所以得到的号牌边缘为整个边缘图中较亮的部分，利用该特点加上形态学闭运算操作可以快速地获得号牌候选区域。具体流程为：得到边缘图后，对图像进行闭运算操作，用于填补号牌边缘与字符中空隙，再对其进行开运算消除图片中较小干扰区域，最后对图像进行局部自适应二值化得到二值图像，局部自适应二值化将局部灰度平均值与偏移量之和作为当前区域的二值化阈值，实验中像素域大小为31*31，偏移量为-5。二值化结果如图1所示。

1.2 筛选候选区域

目前，筛选号牌候选区域的方法主要有：依据号牌结构筛选，如号牌的面积、长宽比等；利用字符特点筛选，如字符与背景之间灰度值跳变的次数、字符像素所占比例、字符的SIFT、SURF特征等；利用传统机器学习或卷积神经网络分类的方法筛选。由于铁路接触网支柱的号牌格式多变，如字符的位数不确定、字体不确定，所以同时利用号牌结构特征以及机器学习的方法综合筛选候选区域。因为号牌具有明显的矩形特征，所以选择能良好表达边缘梯度的HOG特征作为号牌的特征向量，并通过SVM对该特征向量进行分类。为了进一步突出号牌的矩形特征，候选区域会在原图中向每个方向扩大15个像素[14]，普速线路中的号牌会受到阴影的干扰，造成形态学变换无法完整地定位出号牌区域，因为号牌往往是在左右方向被阴影干扰，所以通过规定最小的长宽比来扩大候选区域的左右边界，当候选区域的长宽比小于最小长宽比时，扩大左右边界，使得候选区域的长宽比大于或等于最小长宽比，从而能在被阴影干扰的情况下完整地定位到号牌区域。具体流程为：先利用候选区域的面积、长宽比等结构特征对候选区域进行初步筛选，然后向各个方向扩大候选区域的边界并采用HOG&SVM对其进行第二次筛选。号牌区域与非号牌区域的差别较大，在不考虑号牌被严重遮挡的情况下，利用兰州普速铁路数据训练出的HOG&SVM模型的分类正确率达到了98%。

1.3 定位结果分析

为了验证算法的性能，分别将京沪铁路徐州段与兰州普速铁路的号牌作为纵向号牌与横向号牌的实验样本。纵向号牌包含两组测试数据，一组号牌过度曝光，另一组号牌补光不足，两组图片共1500张，定位准确率为97%，纵向号牌部分定位结果如图2中的第1行与第2行。对横向号牌测试1000张，定位准确率为96.8%，平均定位准确率达到96.9%，横向号牌部分定位结果如图2中的第3行与第4行。从定位结果可以看出，本文方法能有效地适应号牌被阴影干扰、光照过曝或不均匀等情况。

图2 部分定位结果

2 字符分割

字符分割主要流程如图3所示，先利用倾斜矫正、二值化等操作处理粗定位号牌图片，再通过两次垂直投影找到字符的上下边界，获得精定位号牌，然后求出精定位号牌的投影矩阵及投影矩阵的极值点，并将其中的极小值点作为候选分割点，最后利用候选分割点之间的变异系数及候选分割点所在列的灰度均值等信息获得最佳字符分割点。

图3 字符分割流程

2.1 倾斜矫正

4C系统采集的图片由于视角原因，号牌会有不同程度的倾斜，需要对号牌进行倾斜矫正。虽然号牌在空间中的变换较复杂，但在二维图片上可以简单归类为号牌发生了偏移变换与尺度变换，在2.3节中会对号牌尺度进行归一化处理，所以在本节中只考虑偏移变换。

Hough变换是图像处理中识别几何形状最常用的方法。Hough变换提取直线的主要思想是根据极坐标公式ρ=xcosθ+ysinθ对每个边缘点求其在ρ-θ空间中对应的曲线，若有较多曲线都经过ρ-θ空间中的一点，该点对应的ρ与θ即为直线在极坐标下的参数。倾斜矫正具体流程为：先使用闭运算提取白色的号牌背景，再通过Canny边缘检测算法获得号牌边缘，然后利用Hough变换求得号牌长边和短边与图像y轴正方向的角度，最后利用偏移变换矩阵对号牌的长边与短边方向进行矫正。号牌矫正结果如图4所示。

图4 号牌矫正

2.2 号牌上下边界提取

在普速线路中，拍摄的支柱号牌图片可能会受到阴影、遮挡、阳光直射等因素的影响，导致拍摄的号牌图像质量极差，号牌的边界尤其是左右边界会受到干扰，对号牌的精确提取造成一定的困难。为了避免左右边界难以提取的问题，本文在精细化提取号牌区域时只提取号牌上下边界不考虑其左右边界。

2.2.1 二值化处理

二值化处理是字符分割中重要的一部分。由于号牌上可能存在被阴影干扰的情况，传统的二值化方法效果较差。虽然形态学算法中的底帽变换能校正不均匀光照或阴影所带来的影响，但当阴影区域与非阴影区域灰度差别较大时校正效果仍然有限，采用底帽变换与Otsu(大津法)二值化结果如图5(a)所示。为了有效地减少阴影对二值化的干扰，本文改进了底帽变换，并采用移动平均分割法进行二值化，二值化结果如图5(b)所示。

图5 二值化对比结果

改进后的底帽变换思想：利用阴影区域的字符与背景的灰度比率和非阴影区域的相近，以此为基准对处于不同背景下的字符进行不同比例的灰度拉伸，灰度值较小区域拉伸比例大，较大区域拉伸比例小，从而减小阴影区域字符与非阴影区域字符的灰度差别，其具体流程为：①对原图进行形态学闭运算。②利用闭运算后的图减去原图，计算公式如式(1)所示，其中A为背景图，B为原图，C为增强后的图,为了减少干扰设定阈值thr，thr与图像中的灰度最大值和最小值的差值有关，代表了白色背景与黑色字符的最小灰度差值。因为号牌中出现的大多数是垂直方向的干扰，所以采用列扫描的移动平均分割法，其思想为：先计算当前列的灰度均值。然后扫描当前列的各个像素，如果该像素的灰度值大于均值与偏移量Q之和，即设该灰度值为255，否则为0，依次处理完图中所有的列为止

(1)

2.2.2 两次垂直投影

提取号牌上下边界的过程包含了两次垂直投影分割，两次的流程基本一致，为了避免号牌两端出现的干扰，只对图像水平中心区域进行投影。第一次的垂直投影利用字符与号牌边界产生的间距来提取号牌的上下边界，为了减少干扰，第一次二值化分割阈值较大，thr设为最大灰度值与最小灰度值差值的0.25倍，偏移量Q为20。第二次投影为了保证字符的完整性用较小的阈值进行分割，thr设为最大灰度值与最小灰度值差值的0.1倍，偏移量Q为20。第一次垂直投影与第二次垂直投影分别如图6(a)与图6(b)所示。

图6 两次垂直投影

2.3 投影矩阵与极小值

基于投影矩阵的字符分割方法，一般需要找到其波谷区域，在没有严重干扰的情况下，字符之间的间隙往往对应着投影矩阵中的一个波谷。为了避免图像尺度变化的影响，需要对号牌图像的大小进行归一化。通过白色像素统计得到投影矩阵，然后利用投影矩阵求其差分矩阵，最后在差分矩阵中找到投影矩阵中的极小值，也就是波谷区域。投影矩阵如图7所示。

图7 字符投影

寻找极小值具体流程如下：先利用投影矩阵求得差分矩阵(由投影矩阵当前值减前一个值得到)后，创建一个标志量去记录前面是否有极大值。如果当前点为极大值则把标志量置为真。如果为极小值并且标志量为真，则记录当前区域为波谷区域，并且将标志量置为假，其它情况跳过当前循环，执行下一轮循环。按照此流程不断循环，直到遍历完差分矩阵。为了获得更精确的字符分割点，不仅寻找正向(未进行左右翻转)投影矩阵的极小值点，还需寻找反向(进行了左右翻转)投影矩阵的极小值点，两个投影矩阵的极小值如图8(a)所示，其中正向投影所获得的极小值如白色长线所示，反向投影获得的极小值如白色短线所示。取反向投影矩阵的极小值与其后面紧邻的正向投影的极小值位置的平均值作为候选分割点，合并后的结果如图8(b)所示，最后一个正向投影的极小值以及第一个反向投影的极小值需根据该列的灰度统计值分别向右侧与左侧移动一定的距离，使得两端的分割点更加精准。

2.4 字符提取

图8 字符投影

(2)

(3)

(4)

(5)

(6)

其中，ai为当前组合中第i个候选分割点在投影矩阵中的位置，μ为候选分割点之间的平均距离，σ为该距离的方差，Cv代表该组合的变异系数，在式(5)中rows代表图像的高度，G(j,ai) 代表灰度图G的第j行第ai列的灰度值。在式(6)中α代表灰度均值M的权值，q为P中判断系数最小的组合，在实验中设α=2。 为了加快遍历候选分割点的速度，将字符宽度、平均宽度以及两个候选分割点之间白色像素个数不合理的组合直接排除。表1列出了筛选后的16种组合的计算数值(宽度不合理的组合没有进行计算)，候选分割点从左到右设编号为0-6。从表1可以看出组合“0246”为最合适的分割点组合。

3 实验分析

通过对各种有阴影、部分遮挡、过曝等情况的字符分割实验，验证了本文方法的鲁棒性，字符提取结果如图9所示。支柱号牌目前还没有公开的数据库，实验数据来自4C采集设备在兰州普速线路拍摄的图片。

为了更好地说明本文方法的有效性，与传统垂直投影法以及文献[15]中的自适应投影分割算法进行对比。测试结果见表2。垂直投影法直接对灰度图所产生的垂直投影矩阵进行分析，容易受到阴影、字符粘连等因素的干扰。自适应投影分割算法通过求取相同宽度下最小灰度累计值的方法去获得合适的分割点，使其具有一定的抗干扰能力，

表1 候选分割点组合分析

图9 部分号牌分割结果

但该方法对号牌垂向边框的检测有一定要求，由于存在阴影、遮挡的情况，导致其垂边框无法被正确检测，此外，使用局部二值化分割会在二值化过程中产生较多的干扰。由图10可知，自适应投影分割算法对设定的最小宽度比较敏感，当字符断裂或出现字符“1”时，最佳分割点的灰度累计值不是全局唯一的最小值，从而导致该方法分割失败。图10(c)设字符最小宽度为整个号牌宽度的0.2倍，图10(d)设字符最小宽度为整个号牌宽度的0.3倍。

表2 实验结果对比

图10 自适应投影分割

4 结束语

本文针对铁路4C系统(接触网悬挂状态检测监测装置)中的号牌识别系统，提出了一种基于形态学变换的号牌定位方法与一种基于投影矩阵极值变异系数的字符分割方法，实验结果表明：本文号牌定位方法能适应传统连通域标记法无法处理的轻微遮挡、光照过曝或不均匀的情况，本文字符分割方法相对于传统垂直投影法能更好地解决号牌中存在的阴影、污损、字符断裂等问题。当号牌定位范围过大并且其中的背景区域有较多干扰时，本文字符分割方法可能会出现误分割，如果在筛选候选分割点组合的过程中加入字符特征进行综合判断能有效地避免这种情况的发生。