基于对称性特征的指针仪表识别

项 导，林 欢

(亿嘉和科技股份有限公司，江苏 南京 210012)

指针式仪表作为一种测量仪器，由于其具有结构简单、维护方便、抗电磁干扰能力强、低成本低故障率、防尘防水性能强等优点，被广泛应用于冶金、石油化工、电力等行业[1-2]。近年来，我国的产业结构正在从劳动密集型向以高科技为导向的智慧型快速转变，对企业的生产效率提出越来越高的要求。作为在企业生产和环境监测中应用广泛的指针式仪表，其输出结果为非数字信号，无法直接通过RS232、GPIB等接口进行数字化采集和存储，而传统的依赖人工读数的方式已经难以满足实时化、智能化的监控需求，需要依赖视频采集、图像处理和机器视觉技术对仪表进行智能识别[3]。

基于视觉的指针式仪表的自动识别问题，国内外已经有很多研究人员进行了深入研究，并提出了很多算法。一般而言，指针式仪表读数识别方法由指针定位和读数识别两个关键部分构成。指针定位主要是利用指针特征，通过图像处理技术或者机器视觉技术对表盘上的刻度和指针位置进行定位，常见的算法包括Hough直线变换法、最小二乘法、差影法、阈值法等[4]；读数识别主要是利用检测到的指针与表盘刻度的相对关系来计算仪表示数，常见的方法包括基于指针相对于零刻度偏转角度的角度法、基于指针与表盘刻度相对位置的距离法及其改进方法等[5]。朱海霞[6]采用Hough变换方法完成指针直线特征的识别，在表盘圆形特征的识别过程中通过减少累加像素数目结合灰度中心法来提高特征定位的效率和精度，并通过构建一个三层的BP神经网络实现了字符的识别。基于Hough 直线变换的方法在指针边界存在噪声干扰或者光照不均匀引起指针图像间断的情况下，仍具有较好的容错性和鲁棒性。LIU等[7]利用小波变换提取指针与刻度边缘点集合，然后基于最小二乘法拟合得到指针直线。施健等[8]利用差影法，即固定摄像头与仪表表盘的位置，采集指针位置不同的两幅图像，根据两幅图像中指针所在区域的像素值差异明显、而背景区域的像素值相似的先验知识来定位指针位置，然后基于Hough变换计算指针的旋转角度，进而得到指针指向的读数。HAN等[9]在对图像进行自适应中值滤波和二值化的基础上，利用改进的Hough变换提取指针，再根据指针的偏转角计算仪表读数。YUE等[10]基于Hough变换检测仪表指针，再通过指针对称轴相对于零刻度直线的偏转角来计算仪表读数。薛建荣等[11]采用改进的最大熵法计算最优分割阈值，实现指针区域和背景区域的判别。孙凤杰等[12]选取指针所在区域的圆心与半径，并按照预设的步长寻找指针与同心圆环的交点，再根据交点之间形成的线段的斜率计算指针相对于零刻度的偏转角度，实现了较高的检测精度，但是该方法需要人工将背景干扰比较小的指针部分区域选择出来，当表盘存在较多文字干扰时，容易检测失败。

上述识别算法大多针对特定类型的指针型仪表，基于不同的图像特征分析对指针所在的区域及其读数进行定位和计算，并取得了较好的识别效果，但在算法适用性和鲁棒性等方面仍然存在较多问题。例如，当受环境光线影响导致指针表的表盘区域存在过曝、欠曝、阴影等情况，或者受限于图像采集设备的成像能力、拍摄角度，导致表盘刻度存在模糊或指针部分被遮挡等情况发生时，上述算法在定位指针区域时可能存在较大的误差。指针型仪表在变电站设备状态监测中应用广泛，受光照、遮挡等因素的影响，采用相机对此类仪表进行抓图时经常会出现模糊、过曝等问题，传统算法的识别效果欠佳。

本文针对变电站指针型仪表读数自动识别问题进行了深入研究，目的是提高仪表成像质量不佳时指针定位的准确率和稳定性。由于指针在此类仪表中均是围绕固定点旋转，并且具有对称的边缘结构，基于此先验信息，本文提出了一种新颖的指针识别算法：1) 首先在待识别图像中提取对称性特征，并在此基础上处理得到被识别指针的一系列信息；2) 基于模板匹配在全景图中确定感兴趣区域，在指针转角和参考距离的量化空间上进行累计矩阵投票，得到若干组候选指针对称轴，在后续筛选中可以有效排除表盘符号光照等干扰因素；3) 通过指针边缘像素点的共线性特征和指针对称轴线段对应的图像像素值近似一致性，对非指针边缘像素点进行排除，使得最终的对称像素点对基本上都属于指针；4) 对候选指针进行合并，去除重叠的候选指针，并选择边缘像素点集最多的候选指针作为最终的指针识别结果。本文提出的基于对称性特征的仪表指针自动识别方法，能够更加精确地提取指针的偏转方向，对不同大小的仪表指针具有较好的普适性，并且能够克服表光照不均、表盘文字符号干扰、指针部分遮挡等因素的干扰，实现仪表指针稳定、精确的识别。

1 算法设计

1.1 表盘区域定位

在变电站中拍摄到的指针式仪表图像通常含有较丰富的背景信息，为了排除背景的干扰，提高指针定位准确率和稳定性，首先对指针所在的表盘区域进行定位。本文采用模板匹配[13]的方法，利用事先标定好的表盘区域模板在梯度域中进行标准相关匹配，寻找指针仪表的感兴趣(region of interesting,ROI)区域，记为Iyx(1≤y≤M,1≤x≤N)，其中M,N分别为ROI区域的高度与宽度，如图1所示。

图1 模板匹配定位表盘区域

1.2 候选指针提取

图2给出了候选指针的提取流程。首先根据图像边缘的对称性构造累积矩阵Φ，计算累积矩阵Φ中前T个最大值；然后计算旋转角与参考距离作为T个候选指针的对称轴，并计算对称轴对应的对称边缘像素点对。具体包含以下几个步骤：

图2 候选指针提取流程

Step1，将仪表ROI图像由RGB颜色空间转换到灰度空间，采用自适应Canny边缘检测算法[14]提取仪表ROI图像的边缘，同时计算每个边缘像素点的梯度方向，记边缘像素点集为Ω。Canny边缘检测的低阈值、高阈值分别设为(1-σ)μ、(1+σ)μ，其中μ为图像灰度值的均值，σ为调节参数，参数σ过小会使得弱边缘丢失，过大将产生许多伪边缘，根据经验，这里设σ为0.33。

Step2，定义[θmin,θmax]为仪表指针的转角范围，[ρmin,ρmax]为仪表指针的对称轴与事先标定参考点Pr(x,y)的参考距离范围，将参数空间(θ,ρ)在[θmin,θmax]×[ρmin,ρmax]区域上进行等间隔量化，构造累积矩阵Φ，并将其初始化为0，如式(1)所示。

Φij←0(θmin≤i≤θmax,ρmin≤j≤ρmax)

(1)

1)点对距离约束，即点pm与pn的距离满足参数h的距离约束；

2)点对方向约束，即指针边缘像素对的方向近似相对或者相背，且与指针对称轴近似垂直；

3) 点对对称轴参考距离约束，即点对对应的对称轴必须与参考点满足一定的距离约束。则置

Φij←Φij+1

(2)

图3 累积矩阵累加策略

这里的行索引i=θ表示指针对称轴的旋转角索引，列索引j为像素点pm与pn的中点到参考点Pr(x,y)的距离，表示指针对称轴的参考距离索引，据此完成累积矩阵的投票累加。

Step3，累积矩阵Φ的元素值表明了边缘像素对的多少，Φ的最大值代表了最多的对称边缘像素对。计算累积矩阵Φ中前T个最大值，相应的行索引表明了对称轴的旋转角，列索引表明了指针对称轴与参考点的参考距离，以此作为候选指针的对称轴，记T个候选指针的对称轴两侧边缘像素点集分别为Lk与Rk(k=1,2,…,T)。

图4给出了仪表ROI区域经过上述步骤处理后得到的候选指针图像。

1.3 候选指针提炼

如图4所示，候选指针提取的结果通常存在许多伪指针边缘像素对，需要对候选指针进行提炼，去除非指针边缘的像素对，使得最终的像素对基本

图4 候选指针提取的结果图

上都属于指针。对于指针而言，存在如下先验信息：1)指针两侧的边缘像素点基本上满足共线性特性；2)指针对称轴线段对应的图像像素值近似一致，即满足一致性。如图5所示，候选指针提炼具体包括以下几个子步骤：

图5 候选指针提炼与合并

Step1，对候选指针的边缘像素点集Lk进行RANSAC[15]共线性检测，提取最多的共线性像素点，得到共线像素点的索引集，记为Lkdx。同理可以得到边缘像素点集Rk的共线边缘像素点的索引集，记为Rkdx。若索引kdx同时满足kdx∈Lkdx∧kdx∈Rkdx，则说明该索引对应的边缘像素对就是满足共线性约束的边缘对，记满足共线性约束的边缘像素点集为L1k与R1k，L1k与R1k点对对应的中点即为指针对称轴上的点，记对称轴像素点集为Mk。

Step2，对称轴像素点集分裂与再组合。由于光线、条纹、符号等的干扰，导致提取到的指针对称轴会存在断开的情况，为了得到准确的指针信息，需要对对称轴像素点集进行分裂与再组合处理。首先，当像素对距离在小范围内时理论上可以认为该像素对属于同一目标，即对候选指针对称轴点集Mk进行距离聚类，将距离较小的点对聚成一簇，记得到的聚类簇为Γkm，下标m为聚类簇的个数，不同的候选指针具有不同的聚类簇数目。其次，对聚类簇Γkt进行再组合，即设Γks与Γkt表示第k个候选指针对称轴的任意两个聚类簇，对应的聚类中心像素点坐标为Pks与Pkt，统计ROI区域图像内从像素点Pks到Pkt直线段对应的像素值变异系数CVst：

(3)

式中：σst，μst分别为直线段对应像素值的标准差与均值。若变异系数CVst小于事先指定的阈值，则将聚类簇Γks与Γkt对应的边缘像素点集进行再组合，边缘像素点集L1k与R1k经过聚类簇再组合操作后的边缘像素点集记为L2k与R2k。

侯选指针提炼结果如图所示。

图6 候选指针提炼结果图

1.4 指针合并与选择

指针合并的目的是去除重叠的候选指针。首先，根据对称边缘像素点集L2k与R2k计算候选指针的最小和最大宽度、指针夹角、对称轴首尾端点与转角方向等信息；然后，若两候选指针同时满足转角方向近似一致、指针夹角近似一致、最小和最大宽度符合形态一致性要求，则将两候选指针进行合并，形成新的候选指针；最后选择边缘像素点集最多的候选指针作为最终的指针识别结果。图7为最终识别的指针结果图，给出了指针两侧边缘以及中间的对称轴。

提取指针的对称轴之后，再根据对称轴相对于零刻度的旋转角度，即能计算指针指向的刻度的示数。

2 实验与结果分析

为了验证所提出的基于对称性的指针检测算法的有效性，本文开展了实验研究。实验所用的计算机硬件配置：Intel Core I7-6560U CPU、主频2.2GHz，内存8GB。软件配置：操作系统Windows 1064bit，采用Visual C++编程实现。实验在变电站实际采集的20 000张指针式仪表样本集上进行，样本包含多个拍摄角度、清晰度、光照等，图8给出了部分图片示例。

图7 最终识别的指针结果图

图8 指针式仪表样本集图片示例

以指针当前读数的 10%作为误差限，若算法识别结果在误差限范围内即判定为读数正确，否则为错误。算法识别准确率见表1。从表中可以看出，19 748张图片的算法识别结果在10%的误差限范围内，准确率为98.74%。识别错误的图像中，其误差大部分集中在10%～20%的误差范围内。单张图像的算法检测时间平均为0.352s。这表明本文提出的算法在识别准确率和识别速度上均取得了较好的效果，能够满足实用的需求。

表1 识别结果统计

3 结束语

本文针对变电站指针型仪表图像在过曝、欠曝、遮挡、模糊等情况下的准确识别展开了深入研究，所提算法的主要创新之处在于提取待识别指针图像中的对称性特征，在角度和距离空间中进行投票，得到候选指针对称轴，再结合指针边缘像素点的共线性和指针对称轴线段对应的像素值近似一致性等先验信息，对候选指针进行筛选，并根据指针对称轴的旋转角度计算得到仪表的最终读数。实验结果表明，本文方法能够准确定位指针区域并识别仪表示数，并且算法耗时很短，能够满足指针式仪表的实时巡检需求。本文提出的算法主要是识别刻度均匀的单指针式仪表，未来将对刻度不均匀或者多指针的仪表读数识别问题进行研究，进一步提高算法的普适性。

参考文献：

[1] 李治玮, 郭戈. 一种新型指针仪表识别方法研究[J]. 微计算机信息, 2007 (31): 113-114.

[2] PARK Tae-hyoung, KIM Hwa-jung. Path planning of automatic optical inspection machines for PCB assembly systems[C]//IEEE International Symposium on Computational Intelligence in Robotics and Automation. Espoo, Finland: IEEE Computer Society Press. 2005: 249-254.

[3] 金京犬, 刘清. 基于嵌入式 ARM 的指针式仪表读数的识别研究[J]. 南京师范大学学报 (工程技术版), 2009, 9(1): 23-27.

[4] 宋人杰, 赵立亚. Hough 变换的改进及其在电厂指针式仪表自动识别中的应用[J]. 东北电力大学学报, 2011, 31(3): 42-46.

[5] ALEGRIA E C,SERRA A C. Automatic calibration of analog and digital measuring instruments using computer vision[J]. IEEE Transactions on Instrumentation and Measurement, 2000, 49(1): 94-99.

[6] 朱海霞. 基于改进Hough变换和BP网络的指针仪表识别[J]. 电测与仪表, 2015, 52(5): 11-14.

[7] LIU S G,LIU M Y,HE Y. Checking on the quality of gauge panel based on wavelet analysis[C]//Machine Learning and Cybernetics, 2002. Proceedings. 2002 International Conference on. Beijing： IEEE, 2002:763-767.

[8] 施健, 张冬, 何建国, 等. 一种指针式化工仪表的远程抄表设计方法[J]. 自动化仪表, 2014, 35(5): 77-79.

[9] HAN Jiale, LI En,TAO Bingjie,et al. Reading recognition method of analog measuring instruments based on improved hough transform[C]//Electronic Measurement & Instruments (ICEMI), 2011 10th International Conference on. Chengdu：IEEE, 2011: 337-340.

[10] YUE Xiaofeng , ZHANG Min,ZHOU Xiaodong, et al. The research on auto-recognition method for analogy measuring instruments[C]//Computer, Mechatronics, Control and Electronic Engineering (CMCE), 2010 International Conference on. Changchun：IEEE, 2010: 207-210.

[11] 薛建荣, 杨明. 基于图象处理的复杂指针式仪表的识别[J]. 中国仪器仪表, 2005 (10): 73-74.

[12] 孙凤杰, 郭凤顺, 范杰清, 等. 基于图像处理技术的表盘指针角度识别研究[J]. 中国电机工程学报, 2005, 25(16): 73-78.

[13] ROBERTO Brunelli. Template Matching Techniques In Computer Vision[M].New York：Wiley,2009.

[14] CANNY J. A computational approach to edge detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1986,8(6)：679-698.

[15] CHOI S,KIM T,YU W. Performance evaluation of RANSAC family[J]. Journal of Computer Vision, 1997, 24(3): 271-300.