基于机器视觉的液晶屏字符缺陷检测系统设计

2016-07-23 20:33徐炜东王毅张荣阁
电脑知识与技术 2016年17期
关键词:图像匹配液晶屏机器视觉

徐炜东++王毅++张荣阁

摘要:针对目前液晶屏字符显示缺陷检测主要依靠人工方式,效率低,主观性强,设计了一套基于机器视觉的自动化在线检测装置。文章介绍了整个装置的总体框架和检测方法,对采集的图像进行校正、阈值分割等预处理,然后进行图像匹配,最终作出是否存在缺陷的判定。通过实验,该装置能够准确实现对8片液晶屏不同状态的同时检测,并显示缺陷所在位置。

关键词:机器视觉;液晶屏;字符缺陷;图像匹配

中图分类号:TP391 文献标识码:A 文章编号:1009-3044(2016)17-0182-03

TFT液晶屏具有低功耗、高亮度等优点,广泛应用于各类显示装置[1]。传统液晶屏显示缺陷检测主要依靠人工方式完成,检测效率低,主观性强,准确率低[2-4]。随着机器视觉技术的发展,其在液晶屏显示缺陷检测中被广泛采用[3]- [4]。采用机器视觉技术,能够提高检测效率和准确率,降低成本,同时也避免由于人的主观因素造成的错判和误判,适用于工业自动化生产线检测。

文中研制了一套基于机器视觉的液晶屏字符缺陷检测装置。首先对采集到的图像进行校正,使图像转化为水平视角,并进行阈值分割[5]-[6],提取出标准模板图像,之后运用图像匹配技术[7]- [10],采用基于液晶屏字符特征的图像匹配,将标准模板图像匹配到待检测图像中,最后对数字和汉字分别进行相应的缺陷检测判断,并将检测结果显示在上位机界面。

1检测装置总体设计

检测装置框架构成如图1所示,主要包括USB相机、光源、PC机、待检液晶屏工装板。装置启动时,计算机给工装板发送上电命令,然后发送相应显示状态命令,相机将采集到的图片上传给计算机,计算机进行相应的图像处理后做出判断,将检测结果实时显示在软件界面上。检测系统实物图如图2所示。

2 检测算法设计

2.1 校正

受液晶屏工装板本身视角影响,相机倾斜安装,导致采集到的图像是倾斜的(如图3(a)所示),为了便于后续图像处理,有必要对采集到的图像进行校正,将图像的倾斜角度转为水平视角。通过相机标定得到的内外参数,然后对采集到图像进行校正,校正后的图像效果如图3(b)所示。

2.2 图像分割

图像分割是把图像中具有特殊涵义的不同区域区分开来,这些区域是互不相交的,每一个区域都满足特定区域的一致性。通过前期处理后得到的图像背景和目标具有强的对比度,易于区分,本文采用全局阈值分割法进行图像分割,设预处理后得到的图像的灰度值P分布为区间[P1, P2],设定的阈值最大值为PMAX,最小值为PMIN,若灰度值P满足如下条件:

灰度值P将会被分割出来,分割后得到的二值化图像如图4所示。

2.3 图像匹配

图像匹配是寻找不同时间、不同传感器(成像设备)或不同条件下(照度、摄像位置和角度等)获取的两幅或多幅图像之间的变换函数,目的是使得图像中相应目标的位置对准。图像匹配的精度决定了后续检测的准确性。

本文采用基于液晶屏字符形状的图像匹配,该匹配算法主要包括以下过程:(a)确定ROI(Region of Interest感兴趣区域)区域;(b)从图像中获取ROI区域的图像,并求取该区域中心的坐标(Row,Col);(c)根据(b)中得到的图像创建模板;(d)读取待匹配图像,进行匹配,获得模板在待匹配图像中的位置参数坐标(Row[i],Col[i])、角度Ang[i]和缩放比例因子Scale[i],其中i为模板在待匹配图像中匹配成功的数目;(e)首先求取刚性变换矩阵HMATIX,HMATIX矩阵形式如式(1)所示:

其中H(t)为平移变换矩阵,H(R)为旋转变换矩阵,HMATIX与(b)和(d)得到的相关参数关系如式(2)所示:

得到刚性变换矩阵后,由于不同位置匹配得到的缩放比例因子Scale[i]不同,因此需要将比例因子添加到刚性变换矩阵,得到新的矩阵HMATIXSCALE与之前的刚性变换矩阵关系如式(3)所示:

其中S是一个2*2比例因子矩阵,其形式如式(4)所示:

得到矩阵HMATIXSCALE后,就可以进行仿射变换,显示匹配结果。用图像分割得到的图像(图4)与待检测图像匹配,匹配效果如下图5(a)、(b)所示,模板图像与待检测图像具有良好的对应关系。

2.4 缺陷检测

经图像匹配后,液晶屏中字符在图像中的位置就得以确定,就可以根据各自特点进行相应的缺陷检测,二者检测如下所述。

1)数字缺陷检测

数字缺陷检测是通过得到待检图像中的数字部分后,与对应状态的标准数字模板作差,对作差结果进行开操作,求取开操作后的面积,与设定面积阈值作比较,从而判断是否存在缺陷。图6是某一次试验其中一片液晶屏的检测结果,其中白色部分是缺陷位置所在。

2)汉字缺陷检测

汉字缺陷检测与数字缺陷检测相比较,对工装板的位置非常敏感,考虑到实际流水线检测的条件,工装板或多或少的在位置上存在左右偏移,因而对预先划分的汉字区域有必要进行扩大,这样才能保证工装板在存在偏移的情况下能够提取完整的汉字,故对标准汉字模板区域进行适当的膨胀。图7是某一次试验其中一片液晶屏的检测结果,其中白色部分是缺陷位置所在。

3 实验

考虑到检测液晶屏工装板尺寸较大(一块工装板有8片液晶屏),以及液晶屏本身视角影响,本装置采用双相机,相机为大恒图像水星系列工业相机,型号为MER-500-7UM/UC-L,该相机为USB 2.0接口数字摄像机,能稳定工作在各种恶劣环境下,可靠性高。

上位机软件运用vs2005开发平台,采用vc++语言编程,软件界面实时显示图像采集窗口和检测结果,当字符显示存在缺陷时,相应汉字会变红,相应数字部分会出现“ERROR”。

为了检验装置检测的准确性,厂家提供了200块具有各种代表性字符缺陷的工装板,其中有180块是存在缺陷的工装板,20块是合格的工装板,存在缺陷的工装板全部检出,并准确地显示出缺陷所在位置。同时通过对检测一块工装板11种显示状态的时间进行计算,平均每块工装板的检测时间为35s,与人工检测方式相比明显缩短了检测时间。图8(b)是某一时刻相机采集到的图像,其中白色部分是缺陷位置所在,图8(a)是对应的检测结果。

4 结束语

针对液晶屏字符显示缺陷检测的问题,通过图像匹配技术确定相应字符的显示位置,根据数字和汉字的特点分别设计相应的检测算法,最后以面积为特征值来判定是否存在缺陷。在此基础上搭建了机器视觉检测平台,检测效率较人工方式明显提高,同时具有较高的准确率,能够满足工业自动化在线检测要求。

参考文献:

[1] 钱慰宗. 显示器件综述[J]. 计算机应用, 2006,26(8):1964-1971.

[2] ChangDo Jung, Seun Kim, HeeYul Lee. Fourier Spectrum based Periodic Cell Patter Elimination in Thin Film Transistor Liquid Crystal Display Cell Image[C]. IEEE International Conference on Consumer Electronics, 201l: 871-872.

[3] 毕昕, 丁汉. TFT—LCD Mura缺陷机器视觉检测方法[J].机械工程学报, 2010, 46(12):13-19.

[4] 刘毅, 郑学仁. 液晶屏显示缺陷自动检测系统的设计[J].微计算机信息, 2008, 24(7): 249-251.

[5] 冈萨雷斯.数字图像处理[M].北京: 电子工业出版社, 2007.

[6] 韩思奇, 王蕾.图像分割的阈值法综述[J].系统工程与电子技术, 2002,24(6): 91-94,102.

[7] Rueckert D, Aljabar P. Nonrigid registration of medical images: theory.methods.and applications[J]. IEEE Signal Processing Magazine, 2010, 27(4): 113—119.

[8] Thomton J,Savvidos M.A Bayesian approach to deformed pattern matching of iris image[J].IEEE Pattern Analysis Machine Intelligence,2007,29(4):596-606.

[9] Kolmogorov V.Graph based algorithms for scene reconstruction from two or more views[D].The Graduate School of Cornell University,2004.

[10] Jain A K, Yi Chert. Pores and ridges: high-resolution fingerprint match using level3 features[J]. IEEE Pattern Analysis Machine Intelligence, 2007, 29(4): 596-606.

猜你喜欢
图像匹配液晶屏机器视觉
基于STM32F4的多通道串口驱动TFT液晶屏显示系统设计
一种用于光照变化图像匹配的改进KAZE算法
FPGA的TFT-LCD真彩液晶屏显示控制
大场景三维激光扫描仪在研究生实践教学培养中的应用
挖掘机器人图像匹配算法研究
基于SIFT和LTP的图像匹配方法
基于图像处理的电能表液晶屏质量检测方法
基于降落图像匹配的嫦娥三号着陆点位置评估