基于多特征匹配的液晶屏字符缺陷检测

陈昕，黄德军，方成刚，李帅康

基于多特征匹配的液晶屏字符缺陷检测

陈昕1，黄德军2，方成刚1，李帅康1

（1.南京工业大学 机械与动力工程学院，南京 211800；2.南京紫城工程设计有限公司，南京 211800）

为了实现电动滑板车包装前液晶屏字符检测高效、高精度的目标，以及为了解决液晶屏字符中Led段码字体难以精确分割、匹配算法复杂等问题。通过Hough直线检测实现字符区域的位置校正，投影法实现分割字符区域，形态学处理、连通域分析实现各字符的提取，采用BP神经网络模型对字符进行识别，最后通过改进的几何特征检测字符缺线、漏线，灰度特征检测字符亮度不均匀。液晶屏字符实验结果表明，每个字符平均识别时间为0.16 s，每个屏幕平均识别时间为0.6 s，液晶屏字符缺陷加权识别率为96%。该算法具有较高的可靠性、效率、识别率，解决了液晶屏字符在几何、亮度缺陷下高效、高精度检测实际工程的问题，为同类产品的检测提供了算法经验。

字符缺陷；BP神经网络；几何特征；灰度特征

文中电动滑板车中的码表为液晶显示屏，在实际生产检测中，液晶屏会产生一定显示缺陷，传统的缺陷依靠人工质检，不仅工作强度大，而且会存在误判、漏判等问题。

近年来基于视觉图像处理的缺陷检测技术引起了国内外学者的广泛研究。Ju等[1]针对各种仪表液晶屏字符的缺陷，通过卷积神经网络来定位和识别字符，采用模板匹配来检测字符缺陷。Jin等[2]针对PCB元件的复杂字符信息基于卷积神经网络建立了一个轻量级LD–PCB检测模型来进行检测，建立了一个CR–PCB模型来识别不规则字符。Shen等[3]针对液晶面板图像匹配中最常用的技术归一化互相关（NCC）计算量大、对环境变化极敏感等问题，将图像的二维灰度信息转化为一维分位数信息，通过卡方检验比较模板图像与检测图像的分位数，解决了计算量大的问题，并且能够容忍微小的位移、光照带来的变化。Du等[4]针对复杂背景下的字符提出了一种基于深度学习的缺陷检测方法，利用图像处理算法和数据增强技术生成大量缺陷样本构建了一个大型数据集，提高了检测准确性和速度。Pei等[5]针对传统mura算法提出了一种基于离散余弦变换和双γ分段指数变换的液晶显示器检测mura算法，通过离散余弦变换、双γ分段指数变换来抑制残余背景，提高图像对比度。Zhang等[6]针对接触网绝缘子图像缺陷样本少、一致性差的问题，通过采用同一个绝缘子相邻瓷片两两比较其瓷片间距和灰度相似度的方法进行缺陷检测，解决了图像缺陷样本少和一致性差的问题。

综上所述，现阶段的检测方法存在复杂背景下不能精确定位字符、模板匹配误判率高、匹配算法复杂等问题，为了提高字符缺陷检测的准确性，文中提出一种基于多特征匹配的液晶屏字符缺陷检测的方法，将液晶屏字符逐个分割并识别，针对字符特点提取其几何、灰度特征对字符进行检测，提高字符缺陷检测的准确性，最后通过实验验证算法的准确性。

1 液晶屏图像获取与字符分割

1.1 液晶屏图像获取

电动滑板车在包装前需要进行全方位的检测，液晶屏的字符检测属于其中一个工位，检测工位中主要包括图1所示模块，本文主要研究对象为视觉模块。

在机器视觉系统中，该屏幕表面为玻璃材质，会产生反光，屏幕保护膜也会产生眩光、反光，因此采用偏振镜头配合同轴光的方式，偏振镜能够起到减弱或者消除杂散光、眩光等干扰的作用[7]，同轴光能够消除反光，又能避免采集图像中含有相机的倒影；由于该液晶屏为平面显示屏，图像细节部分的精度要求不是特别高，因此采用面阵CCD相机。

1.2 液晶屏图像分割

为了提高图像特征匹配的精确性、字符缺陷检测的准确性，通过将液晶屏图像字符进行分割，采用逐个检测的方式，该算法具体流程见图2。

1.2.1 图像预处理

通过CCD相机采集到的液晶屏图像，见图3a。为了去除噪声提高图像质量，达到Canny算子的标准要求，采用高斯滤波对图像进行去噪处理。

为了增强图像中目标字符对比度，采用Otsu自适应阈值对图像进行二值化操作[8]。为了图像校正中Hough变化检测直线更加准确，对字符图像进行边缘轮廓提取，边缘提取有众多检测算子，如Sobel、Roberts、Canny、Log等，由于Canny算子可以检测到较弱的边缘且不易受噪声的影响，因此采用Canny算子进行边缘提取。上述图像预处理结果见图3b。

1.2.2 图像校正及去除多余区域

由于图像采集时液晶屏、相机摆放位置不正会导致图像的倾斜，不利于字符的识别，并且该液晶屏字符为LED段码字体，直线较多，因此采用基于点–线对偶性原理的Hough变换检测直线来对图像进行倾斜校正。

图1 电动滑板车液晶屏检测工位示意图

图2 算法流程

图3 图像预处理

式中：为任意直线的极坐标方程；为图像的宽度，因此(,)可以表示任意一条直线，参数空间中的最大值为(,)，根据最大值找到对应直线以及倾斜角完成直线检测。

图像校正之后，为了准确地分割各字符区域，将字符外的区域去除，由于图像此时只存在2个像素值，为了提高算法效率，采用投影法遍历图像像素，找上下左右4个方向上第1条白色像素，对白色像素之外的区域进行去除。上述处理结果见图4。

图4 倾斜校正、去除多余区域

1.2.3 图像分割

针对液晶屏上LED段码字体的特点，由于各字体内部区域不是连通的，无法将整个字体作为一个连通域进行分析，因此需要对图像进行形态学处理[9]，首先对二值化之后的图像进行膨胀，将字体内部间隙去除，使字体整个连通；由于膨胀后字体变大，出现字体与字体之间连通的问题，需要对图像进行腐蚀，结果见图5a。

式中：为膨胀处理；为腐蚀处理；(,)为卷积核里最亮最暗的像素点，文中字体可看成由若干个矩形构成，因此构造大小为3×3矩形卷积核进行形态学处理。通过八连通区域的方式提取各连通域最小外接矩形的坐标，进行字符分割，见图5b。

式中：为像素点；4为四连通域，对应像素位置的上、下、左、右是紧邻的，四连通域与左上、右上、左下、右下相结合即八连通域。

图5 图像分割

2 基于BP神经网络的液晶屏字符识别

BP算法在面对不确定、非线性的问题时有极强的处理能力，尤其在缺陷检测技术中，字符可能存在各种不确定的缺陷[10]。文中为了在不影响识别效果的前提下提高训练效率，采用三层BP神经网络结构：输入层、隐藏层和输出层，见图6。

文中将字符图像转换为一个1×256的行向量，作为输入层[11]。根据式（5）、（6）得到输出层、隐藏层。图像大小归一化为16×16，输入层有256个神经元，取隐藏层神经元为64个，由于数字为0～9，取输出神经元为10个。理想结果是当输入数字1的图像时输出端得到(0,1,0,0,0,0,0,0,0,0)，实际上输出值未必是0或1，但依靠输出最大值所在位置也可以进行字符的识别。文中神经元采用的传递函数是具有可导和连续性的Sigmoid函数1/(1+−x)。

式中：o为输出层；y为隐藏层；V为输入层到隐藏层的权重；W为隐藏层到输出层的权重。根据随机确定的权重得到的输出与理想结果之间的误差反向修正权重值，经多次迭代从而靠近理想输出，具体公式为：

式中：d为输出层的理想输出。另外，为了进一步使得调整更加灵活，文中加入=0.2放缩倍数，采用均方差来判断实际输出和理想输出是否接近，如图7所示，具体公式为：

本文采集液晶屏显示字符中的阿拉伯数字0—9，每个数字各30张，作为样本进行训练迭代1 000次，逐渐收敛至小于0.000 3，并从字符训练集中任意选取50张图像进行不同程度破坏作为测试集进行识别，见图8。由图8所知，文中算法能够识别含有缺陷的字符，该字符训练算法可在Matlab上编程实现。

3 多特征匹配的字符缺陷检测

图像的特征提取实现了从图像空间到特征空间的转换[12]。本文通过提取字符的几何特征检测漏线、断线等缺陷，通过提取字符的灰度特征检测亮度不均匀缺陷。在实际检测中会存在一定污染、噪声影响检测结果，本文通过改进几何特征来进一步优化检测算法。

3.1 基于改进几何特征的字符缺陷检测

2）面积。文中将连通域边界内部（包含边界上）像素点个数作为该连通域面积。由于二值化后，图像中只存在0、1这2个像素值，因此面积就是统计像素值为1的点的个数。

式中：R为二值化字符图像；f(x,y)为图像像素点；K为像素值。

图8 文中BP算法识别效果

图9 边界模式

上述为传统的几何特征，由于屏幕表面会有滤波无法去除的污染，污染部分与字符所缺线段部分的几何特征相近，会影响缺陷的判定，本文通过设定阈值来判断图像中对象为目标字符或者污染，如公式（12）所示，其中代表图像中处理对象，由于液晶屏显示中断线缺陷很少出现超过段码面积一半的情况，因此，本文设定=字体面积最小矩形段的1/2，为各连通域面积，效果如图10所示。

图10 去除污染效果

Fig.10 Decontamination renderings

3.2 基于灰度特征的字符缺陷检测

液晶屏中字符亮度不均匀时，灰度值会有显著差异，因此，文中采用卡方、相关性比较来评价图像灰度直方图[14]，计算式见式（13）–（14），从而进行亮度缺陷检测。为了提高对比度，将直方图进行均衡化[15]，见图11。

式（13）中，等于直方图中直方的个数，若1=2，即2个图的直方图一样，值为1。式（14）中，1=2时卡方比较值为0，相似度最高。卡方值越大，越不符合。文中基于上述直方图的相关性比较、卡方比较并结合Matlab实现特征值的计算，根据2张字符图像每一级灰度像素个数的数据描绘出灰度直方图的差异图[16]，见图12。

图11 直方图均衡化效果

图12 相关性比较示意图

4 实验与结果分析

文中为了缺陷的判定，将待检图像与标准图像的面积、周长分别记为1、2、1、2，相关性比较、卡方比较记为1、2，缺陷的判定标准见表1。

表1 缺陷分类

Tab.1 Defect classification

将文中液晶屏字符缺陷检测基于上述改进几何特征计算得到的周长、面积，灰度特征计算得到的相关性比较值、卡方比较值来与模板字符对应的值进行匹配比较。将文中算法在Matlab软件中实现，并开发上位机界面验证该算法的正确性，见图13。

通过设计液晶屏字符缺陷检测实验，对比同类型算法，在同种工况下检测200种不同字符显示的液晶屏，如图14所示，得到文中算法的实际效果：单个字符平均检测时间为0.16 s，单个屏幕平均检测时间为0.6 s，缺陷识别率为96%。

图13 软件示意图

图14 文中检测算法与同类算法比较

5 结语

基于倾斜校正和去除多余区域，将液晶屏内目标区域进一步缩小，去除了周围环境的影响，提升了该方法的鲁棒性能，基于形态学处理和连通域分析，将液晶屏Led段码字体精确地定位分割，为后续字符的模板匹配、缺陷检测提高了精确性，基于BP神经网络的应用实现了对各个字符的识别。

基于改进几何特征（面积、周长）和灰度特征（相关性比较值、卡方比较值）的缺陷检测方法实现了对液晶屏字符常见的2种缺陷的检测，针对性极强，在保证检测效果的前提下降低了算法的复杂性。实验结果表明，该方法具有较高的缺陷检测率，单个字符平均检测时间为0.16 s，单个屏幕平均检测时间为0.6 s，缺陷识别率为96%。

[1] JU Hu-yan, XU Jun-zhi, LI Wei, et al. Detection of Sealed and Unsealed Cracks with Complex Backgrounds Using Deep Convolutional Neural Network[J]. Automation in Construction, 2019, 107: 102946-102946.

[2] JIN Shi-quan, CHAO Ji, CHENG Chen-yan, et al. TFT-LCD Mura Defect Detection Using DCT and the Dual-Γ Piecewise Exponential Transform[J]. Precision Engineering, 2018(54): 371-378.

[3] SHEN Jia-quan, JI Chao, YAN Cheng-chen, et al. Defect Detection of Printed Circuit Board Based on Lightweight Deep Convolution Network[J]. IET Image Processing, 2020, 14(15): 3932-3940.

[4] DU Ming. A Quantile-Quantile Plot Based Pattern Matching for Defect Detection[J]. Pattern Recognition Letters, 2005, 26(13): 1948-1962.

[5] PEI Bao-ying, LUO Yu, YONG Zheng-zhou, et al. A Method of Detecting Defects of Smart Meter LCD Screen Based on LSD and Deep Learning[J]. Multimedia Tools and Applications, 2021, 80(28/29): 1-18.

[6] ZHANG Cheng-qian, CHENG Shen. Axial Magnetic Levitation: A High-Sensitive and Maneuverable Density-Based Analysis Device-ScienceDirect[J]. Sensors and Actuators, 2020, 304: 127362-127362.

[7] TANG Dao-fan, SHEN Peng, ZHAO Ya-qiang, et al. Detecting Shrinkage Voids in Plastic Gears Using Magnetic Levitation[J]. Polymer Testing, 2020, 91(10): 10-20.

[8] XIA Neng, PENG Zhao, JUN Xie, et al. Density Measurement for Polymers by Magneto-Archimedes Levitation: Simulation and Experiments[J]. Polymer Testing, 2017, 63(10): 455-461.

[9] 冯毅雄, 李康杰, 高一聪, 等. 基于特征与形貌重构的轴件表面缺陷检测方法[J]. 浙江大学学报(工学版), 2020, 54(3): 427-434.

FENG Yi-xiong, LI Kang-jie, GAO Yi-cong, et al. Journal of Zhejiang University (Engineering Science), 2020, 54(3): 427-434.

[10] 粟序明, 方成刚, 洪荣晶, 等. 基于机器视觉的轴类零件定位与测量系统[J]. 机械设计与制造, 2020(7): 250-254.

SU Xu-ming, FANG Cheng-gang, HONG Rong-jing, et al. Positioning and Measurement System of Shaft Parts Based on Machine Vision[J]. Machinery Design & Manufacture, 2020(7): 250-254.

[11] 杨必武, 郭晓松. 用于识别一类缺陷字符的过筛连通-模板匹配法[J]. 计算机工程, 2002(9): 88-89.

YANG Bi-wu, GUO Xiao-song. Sifting Connectivity Template Matching Method for Identifying a Class of Defective Characters[J] Computer engineering, 2002(9): 88-89.

[12] 王宣银, 梁冬泰. 基于多元图像分析的表面缺陷检测算法[J]. 浙江大学学报(工学版), 2010, 44(3): 448-452.

WANG Xuan-yin, LIANG Dong-tai. Surface Defect Detection Algorithm Based on Multivariate Image Analysis[J] Journal of Zhejiang University (Engineering Edition), 2010, 44(3): 448-452.

[13] 张秀良, 曲红. 基于BP神经网络的计算机图像智能识别方法[J]. 信息与电脑(理论版), 2021, 33(15): 158-161.

ZHANG Xiu-liang, QU Hong. Intelligent Recognition Method of Computer Image Based on BP Neural Network[J] Information and Computer (theoretical Edition), 2021, 33(15): 158-161.

[14] 黄丽华, 穆平安, 戴曙光. 汽车音响面板印刷字符缺陷快速检测算法[J]. 计算机与数字工程, 2010, 38(7): 30-32.

HUANG Li-hua, MU Ping-an, DAI Shu-guang. Fast Detection Algorithm for Printed Character Defects of Automobile Audio Panel[J] Computer and Digital Engineering, 2010, 38(7): 30-32.

[15] 简川霞, 王华明, 徐进军, 等. OLED显示屏表面缺陷自动检测方法[J]. 包装工程, 2021, 42(13): 280-287.

JIAN Chuan-xia, WANG Hua-ming, XU Jin-jun, et al. Automatic Detection Method for Surface Defects of OLED Display[J]. Packaging Engineering, 2021, 42(13): 280-287.

[16] 王海波, 谢玉芳. 改进灰度共生矩阵的印刷品表面缺陷检测方法[J]. 包装工程, 2020, 41(23): 272-278.

WANG Hai-bo, XIE Yu-fang. Surface Defect Detection Method of Printed Matter Based on Improved Gray Co-Occurrence Matrix[J]. Packaging Engineering, 2020, 41(23): 272-278.

LCD Character Defect Detection Based on Multi-Feature Matching

CHEN Xin1, HUANG De-jun2, FANG Cheng-gang1,LI Shuai-kang1

(1. School of Mechanical and Power Engineering, Nanjing University of Technology, Nanjing 211800, China; 2. Nanjing Zicheng Engineering Design Co., Ltd., Nanjing 211800, China)

The work aims to achieve the high efficiency and high precision of LCD character detection before the packaging of electric scooters, and to solve the problems such as the difficulty of accurate segmentation and complex matching algorithm of Led segment code fonts in LCD characters. Hough line detection was conducted to correct the character region. Projection method was used to segment the character region. Morphological processing and connected domain analysis were used to extract the characters. BP neural network model was used to recognize the characters. Finally, improved geometric features were used to detect the lacking and missing lines. Gray scale features were used to detect the uneven brightness of the characters. The experimental results of LCD characters showed that the average recognition time of each character was 0.16 s and that of each screen was 0.6 s. The weighted recognition rate of LCD character defects was 96%. The algorithm has high reliability, efficiency and recognition rate, and solves the practical engineering problems of high efficiency and high precision detection of LCD characters under the defects of geometry and brightness, and provides the algorithm experience for the detection of similar products.

character defect; BP neural network; geometric features; grayscale feature

TP391.4

A

1001-3563(2023)03-0157-07

10.19554/j.cnki.1001-3563.2023.03.019

2022−03−31

江苏省科技成果转化专项资金资助项目（BA2017099）；江苏省研究生科研与实践创新计划资助项目（KYCX22_1282）

陈昕（1998—），男，硕士生，主攻机器视觉。

方成刚（1974—），男，博士，教授，主要研究方向为智能制造。

责任编辑：曾钰婵