基于机器视觉的ITO导电玻璃缺陷检测系统设计

熊 节,殷 建,刘劲松,周秋俊

(1.铜陵学院 机械工程学院,安徽 铜陵 244061;2.安徽华东光电技术研究所,安徽 芜湖 241002;3.安徽皓视光电科技有限公司,安徽 芜湖 241002)

ITO(Indium Tin Oxides)导电玻璃是LCD液晶显示屏的主要零件,在液晶显示器中应用广泛,具有图像清晰精确、平面显示、厚度薄、重量轻等优点。ITO导电玻璃在生产制造的过程中,由于上料或自动化传输等过程中常常导致玻璃表面产生划痕、划伤、气泡、崩边等缺陷,目前该类缺陷的品质评定主要依赖于人工目检,但该检验方法主要存在以下几个弊端和不足:首先,人工目检时需要利用强光照射玻璃进行缺陷检测,长时间检验容易产生视觉疲劳,从而造成错检、漏检;其次,在工艺的不断发展下,ITO导电玻璃产品工艺对缺陷检测精度要求很高,甚至达到10μm,因此要求检验人员具有丰富的评片经验才能胜任,人才培养周期长、难度大;最后,人工进行缺陷检测时,无法对每片玻璃的缺陷数据进行科学化的存储,工艺追溯难度大,导致企业管理成本偏高。

自2013年德国率先提出高科技战略发展计划“工业4.0”的概念后[1],国内制造业也逐步朝着自动化、智能化的方向发展,给自动化相关行业带来了蓬勃发展。尽管国内外研究文献中暂无基于机器视觉的ITO导电玻璃表面缺陷检测的相关研究文献,但机器视觉技术作为自动化和人工智能中重要的分支,在近年来也得到了飞速的发展,基于机器视觉技术的物体表面缺陷检测研究和应用也越来越多[2-4]。合肥工业大学卢荣胜、张腾达等人[5-6]在国家重大科学仪器开发与应用专项《平板显示屏自动光学检测仪器开发和应用》的项目研究和开发过程中,针对我国平板显示屏自动光学缺陷检测仪器和应用技术展开研究,以基于机器视觉技术缺陷检测中的光学、电气、机械、软件、算法等几大模块进行任务分解,对平板显示屏表面缺陷检测系统中的浮运载与气路控制单元、扫描成像及复检显微成像单元、网络化运动控制单元、分布式高速并行图像处理单元、数据库与数据处理软件单元等核心模块展开研究与设计,为打破此前国外在平板显示缺陷检测中的技术垄断,形成具有国内先进水平的自动光学检测仪器自主创新研发平台、专业人才培养基地和产业化示范基地有着非常重要的意义。陶显等人[7]对基于机器视觉的工业产品表面缺陷检测应用现状展开了论述,重点介绍了目前较为前沿的人工智能领域中深度学习方法在表面缺陷检测中的应用,并将其与传统机器视觉检测方法进行对比分析,对表面缺陷检测的未来发展做了展望。郝勇等人[8]展开基于机器视觉的深沟球轴承滚珠遗漏检测研究,对轴承检测系统进行光学成像系统设计、滚珠遗漏检测算法研究与设计,实现了高准确率的视觉检测系统,助力轴承行业的自动化生产。

本文基于机器视觉的缺陷检测技术在制造业存在广泛应用背景,为了克服传统人工对ITO导电玻璃目检时的不足,提出一种基于机器视觉的ITO导电玻璃缺陷检测方法。首先,展开对视觉检测系统进行整体设计,其次,针对ITO导电玻璃的检测需求和生产环境特点,最后,展开面向误干扰环境下大尺寸被测物的缺陷成像与检测方法研究。经实验证明,本文提出的基于机器视觉的ITO导电玻璃缺陷检测方法在检测准确率和效率上均高于人工检测方式,为ITO玻璃的自动化表面缺陷检测方法提供了新思路。

1 ITO导电玻璃缺陷检测系统方案

1.1 整体方案

基于机器视觉技术的ITO导电玻璃缺陷检测系统是一个涉及非标机械设计、光学成像、电气控制运动、图像处理、软件架构开发等多学科技术交叉融合的系统[9]。系统各部分内容及其作用如下:

(1)非标机械设计部分是机器视觉缺陷检测系统中光学成像、电气控制运动等部分的支撑平台,根据不同的项目需要,进行非标设计制造和安装,为系统提供高精度且稳定的检测平台。

(2)光学成像部分主要包括工业线扫描相机、镜头和光源,工业线扫描相机能够对不同尺寸的玻璃进行高精度在线扫描成像,配合不同打光角度的机器视觉光源,能够将ITO导电玻璃表观中的划痕、划伤、气泡、点缺陷等缺陷形成高对比度的成像,保证图像处理算法的稳定性。

(3)电气控制运动部分利用可编程控制器PLC编程和传感器、伺服电机等模块,与光学成像、图像处理算法、软件系统等进行紧密配合,为产品的位置跟踪、定位抓取、分拣等控制信号交互提供作用。

(4)图像处理算法针对光学成像系统采集的图像数据进行处理,利用图像增强、滤波、分割、阈值化、目标分析、特征描述等算法完成目标识别和分类,进而实现代替人眼完成检测和判断的功能。

(5)软件架构完成对缺陷检测结果UI界面的友好显示,对PLC信号交互进行逻辑处理,触发相机取像且为图像处理算法给出的数据结果进行逻辑处理,当算法检测结果与预先设定的Recipe有不一致的区域并且超过设定的偏差范围,则报警灯响亮,显示缺陷信息,缺陷类型自动识别并输出缺陷结果,并将检测数据在数据库进行存储,最终实现控制产品质量的目的。

本文ITO导电玻璃缺陷检测系统的整体方案如图1所示。

图1 ITO导电玻璃缺陷检测系统整体方案图

1.2 面向大尺寸、高精度被测物的图像采集方案

近年来,平板显示屏的制造生产线在技术不断更新和用户需求导向等因素共同的推动下,已经从最初的5代、6代逐渐发展至当下8代、8.5代,且工艺要求变得越来越高。ITO导电玻璃作为平板显示屏的原材料之一,其尺寸和工艺都与下游的平板显示屏的需求相关,致使ITO导电玻璃的表观检测的尺寸变大且精度要求变高,此外,需求的增多导致玻璃生产线速度提升到40mm/s以上,对单片玻璃的检测时间小于3s。基于上述背景,运用机器视觉手段展开ITO导电玻璃表面缺陷面临着成像视野大、检测精度高、检测时间短等难点。

在机器视觉缺陷检测中,最常用的图像采集方式是利用面阵相机对被测物进行图像采集,但该方案适用于小尺寸和低精度的被测物检测,而ITO导电玻璃缺陷检测中需要解决大尺寸和高精度等检测要求,常规的机器视觉检测成像方式和软件算法解决方案显然无法满足当下ITO导电玻璃的缺陷检测需求。线扫描相机与面阵相机的单次成像方式不同,其成像的方式是利用与被测物间的相对运动一行一行进行图像采集,在多个线扫描相机并行联合取像的架构下,能够对大尺寸的被测物进行成像,因此可适用于显示面板、玻璃等大尺寸的物体和连续性较强的布匹、卷材等高速、大尺寸、高精度的检测的场合,因此本文系统选用线扫描相机的成像方案。

在线扫描相机的选型中,本文以缺陷检测精度要求为10μm、尺寸大小为550×650mm的ITO导电玻璃为例,依据线扫描相机的分辨率选型公式可计算其所需相机像素数,进而确定线扫描相机的选型方案。选型计算公式为:R=W/P,其中R表示相机分辨率,W表示被测物宽度,P表示检测的精度。本文所检测的ITO导电玻璃宽度为550mm,故相机分辨率为:R=550mm/10μm=55000,实际应用过程中除了理论计算出的相机像素数外,还需考虑到成像边缘会有一些畸变和抖动误差等因素,选型时的相机分辨率要比计算出的理论结果高,由于目前成熟应用的工业线扫描相机单个分辨率最大为16K,因此选择4个品牌为DALSA、像元尺寸为3.5μm的16K分辨率线扫描相机的方案,即64000的总分辨率。

镜头作为机器视觉系统中机器的眼睛,其主要作用是将目标物体的图像聚焦在工业相机的光敏器件上,因此镜头对于缺陷检测系统的成像具有重要作用。对于工业镜头的选型,一般需要依据所选型的相机类别来搭配选型,通常考虑的镜头主要性能因素为像元尺寸与检测精度比值的放大倍率β,对于本文检测对象而言,其镜头的放大倍率为3.5μm/10μm=0.35倍,综合价格和检测需求,选择CHIOPT品牌的LS1603A型号的具备3.5μm解像力,最大分辨率可达160lp/mm的工业线扫描镜头。经成像实验验证,总分辨率为64K的线扫描相机配合3.5μm解像力的镜头,系统单次采集的ITO导电玻璃的图像大小为462MB,该成像精度满足10μm的缺陷检测需求。

1.3 面向误干扰项明暗场同时曝光成像照明方案

在机器视觉缺陷检测系统中,尽管相机镜头组成的图像采集系统对检测的精度和视野起着至关重要的作用,但高清晰度和高对比度的成像却很大程度上依赖于光源的作用[10]。合适的光源能够使被测物的成像更均匀、边界清晰,缺陷区域对比度明显,有效地减少图像处理算法的难度,更进一步的提升缺陷检测系统的稳定性。在基于线扫描相机的成像系统中,常用的打光方式是通过条形高亮线性光源使得在很窄的长度区域内,利用相机运动扫描成像对缺陷进行高对比度成像,但该成像方式对类似缺陷的干扰项无法形成特征上的差异。

在ITO导电玻璃的表面缺陷检测中,由于车间卫生管理、净化设备老旧致使净化等级不够等问题,会导致玻璃表面产生灰尘、脏污、毛絮、轮印等检测误干扰项,在检测精度要求较高时,利用单组高亮线性光源组成的暗场照明方案无法对划痕、划伤、气泡等缺陷形成高对比成像,如图2所示为在单一的高亮线性光源暗场照明方案下误干扰项与缺陷项对比图。

图2 单一高亮线性光源成像方案下误干扰项与缺陷项对比图

由图2可知,气泡缺陷与脏污、灰尘、水滴,及划伤缺陷与轮印、毛絮、脏污等误干扰在图像特征上相似性很高,该类误干扰项对缺陷检测与分类带来很多困难,依靠简单的图像算法很难稳定的进行缺陷检测。而在大图像数据量和短检测时间的要求下,由于复杂特征提取分类算法耗时长,也无法适用。综上分析,通过图像算法很难解决误干扰对缺陷检测的影响。

本文根据ITO导电玻璃生产过程中产生的缺陷来源于玻璃表面碰撞或内部不良,而缺陷的干扰项为玻璃表面附着物体的物理特性区别,同时基于单组不同角度的高亮光源对某种缺陷打光成像实验效果较好的前提下,对其采用多组不同光源进行照明,实现缺陷和干扰项的成像特征区别,在此基础上再利用图像算法实现缺陷检测与分类,提高检测效率,保证检测的稳定性和准确率。

本文系统所设计的光学照明机构示意图如图3所示。在线扫描相机图像采集系统下,采用多组光源同时曝光合成图像的照明方式,使得缺陷和误干扰项在不同的光源下能够形成不同的特征,即在玻璃上方设置一组低角度高亮线光对划痕、气泡等缺陷进行暗场成像,在玻璃下方设置一组高亮线光对水滴、灰尘、脏污等误干扰项进行明场成像。

图3 本文明暗场光源照明机构示意图

在明暗场光源照明机构设计下,利用高亮光源数字电源控制器,在线扫描相机行频时间内按明暗场光源按顺序轮流点亮实现两次图像采集[11],即在线扫描相机采集一行图像的时间内,通过控制相机和不同角度形成的明暗光源两次亮灭来采集两行图像,在图像长度内不断重复此过程即可完成对明暗场两张图像的采集。本文明暗场成像过程如图4所示。

图4 明暗场同时曝光成像流程框图

具体成像过程阐述如下。

(1)在相机视野正下方玻璃来料方向前的10mm距离放置光电感应传感器。

(2)当待检测玻璃经过光电感应传感器时,传感器上升沿触发,PLC接收到光电传感器的变化信号,发送信号控制高亮数字电源控制器点亮光源和打开相机开始取像。

(3)在相机采集一行图像的时间内按照明场光源开启发光、相机采集第一行图像→明场光源关闭→暗场光源开启发光、相机采集第一行图像→暗场光源关闭。

(4)在玻璃随传输线前进的过程中,控制相机在行频内对每行图像按照(3)步骤顺序点亮关闭光源并采集两张图像,直到采集完玻璃长度对应的图像行数N时完成单张玻璃的明暗场图像采集。其中相机拍摄行数由相机像素当量和玻璃长度决定,如式(1)所示。

(1)

式(1)中,FOV表示产品宽度,L为玻璃长度,S为相机像素当量,N为相机需拍摄行数。本文所检测的ITO导电玻璃宽度为:550mm,长度为:650mm,在选用4个16K相机时,可得:S=550/64000=8.6um,N=650mm/8.6um=75581,实际运行时考虑传输线运动和传感器触发误差,需要适当多采集一段,本文选取需要拍摄图像的行数N=76000。

(5)对采集完成的图像经图像采集卡将明、暗场玻璃图像分别按行拼接成整张图像后分别输出至PC的CPU中,等待图像处理算法进行后续处理。

本文明暗场照明方案下气泡、划痕、点划伤等缺陷与灰尘、水滴、毛絮等易干扰项的成像效果如图5所示。

(a1)明场毛絮图(a2)暗场毛絮图(b1)明场灰尘图(b2)暗场灰尘图(c1)明场水滴图(c2)暗场水滴图(d1)明场气泡图(d2)暗场气泡图(e1)明场划痕图(e2)暗场划痕图(f1)明场划伤图(f2)暗场划伤图图5 本文明暗场照明方案效果示意图

由图5可知,在本文提出的明暗场光源同时曝光合成图像的照明方式下,气泡、水滴在明场和暗场中图像存在明显差异,与灰尘、脏污等误干扰项有明显特征区别,划痕、划伤在明场下成像微弱,与毛絮图像有明显特征区别。在检测项与干扰项存在明显特征差异的前提下,图像处理算法能稳定、高效地展开缺陷检测。

2 图像处理

在机器视觉中Blob(Binary large object)指图像中具有相似颜色、纹理等特征所构成的一块连通区域,该区域一般也被称为图像的前景[12]。对于本文的ITO导电玻璃而言,在明暗场成像方案下,以暗场成像为例,正常的无缺陷的玻璃区域为灰度值接近0的黑色,而有缺陷的区域为灰度较高的灰色或白色,缺陷区域即Blob区域,也叫前景,无缺陷的玻璃区域称为背景,而在明场图像中前景与背景和暗场图像正好相反。对ITO导电玻璃图像展开Blob分析首先对图像进行二值化处理,并根据灰度阈值分割对前景和背景进行分割,然后进行连通区域检测以及面积、形状、圆度、长宽、凸性等特征的分析,最后根据特征分析和筛选得到缺陷区域并进行定位,达到缺陷检测与识别的目的。

本文在展开ITO导电玻璃表面缺陷检测中,由于在明场成像环境下的图像中灰尘与气泡、水滴、划伤等缺陷形态差异很大,而在暗场成像环境下的图像中的划痕缺陷对比度较好。为了避免因生产环境导致的玻璃表面复杂误干扰影响检测,基于在明场成像下点划伤、划痕、灰尘、水滴的特征区别,在明场图像下展开气泡、水滴、点划伤等缺陷检测算法处理,在暗场图像下展开划痕缺陷检测算法处理。

本文对ITO导电玻璃表面检测算法步骤阐述如下。

(1)对明暗场图像分别进行灰度阈值分割,得到前景图像和背景图像,其中根据明场照明下水滴和气泡的图像特征,分别进行低灰度阈值和高灰度阈值分割,将两部分阈值结果图进行融合后得到前景图。

(2)对前景图像进行圆形核的形态学开运算处理,以去除小颗粒噪声。

(3)对上述结果计算区域集合连通分量,将目标从像素级转换到连通分量级。

(4)对连通分量的每个区域进行面积、形状、圆度、长宽、凸性等特征量计算。

(5)对上述步骤的结果展开特征筛选,完成对场景中目标之间的拓扑关系进行描述。

本文研究在产学研课题的支持下,获取了大量用于图像仿真的样本数据。在明暗场同时曝光成像方案下,基于Blob分析的ITO导电玻璃表面缺陷效果如图6所示。

(a1)气泡原图(a2)高低灰度阈值分割融合(a3)开运算(a4)气泡识别定位(b1)划痕原图(b2)灰度阈值分割(b3)开运算(b4)划痕识别定位(c1)划作原图(c2)灰度阈值分割(c3)开运算(c4)划伤识别定位(d1)水滴原图(d2)高低灰度阈值融合(d3)开运算(d4)水滴识别定位图6 表面缺陷检测效果图

其中图6(a1)为明场成像下的气泡缺陷原图,图6(a2)为对气泡原图进行高低灰度阈值分割并融合后的效果图,图6(a3)为对图6(a2)进行形态学开运算的效果图,图6(a4)为对气泡缺陷展开区域集合连通分量计算并根据面积、形状、圆度、凸性特征筛选得到的缺陷识别定位效果图。

图6(b1)为暗场成像下划痕缺陷原图,图6(b2)为经高灰度阈值分割后的划痕缺陷效果图,图6(b3)为对图6(b2)进行形态学开运算后的效果图,图6(b4)对划痕缺陷展开区域集合连通分量计算并根据形状、长宽特征筛选得到的缺陷识别定位效果图。

图6(c1)为暗场成像下划伤缺陷原图,图6(c2)为经高灰度阈值分割后的划痕效果图,图6(c3)为对图6(c2)进行形态学开运算后的效果图,图6(c4)为对气泡缺陷展开区域集合连通分量计算并根据形状、长宽特征筛选得到的缺陷识别定位效果图。

图6(d1)为明场成像下水滴原图,图6(d2)为对气泡原图进行高低灰度阈值分割并融合后的效果图,图6(d3)为对图6(d2)进行形态学开运算效果图,图6(d4)为对水滴展开区域集合连通分量计算并根据面积、形状、圆度、凸性特征筛选得到的识别定位效果图。

由上述处理结果可知,在明暗场照明成像下,根据不同缺陷在明暗场下的高对比度特征,利用Blob分析方法能够较好地对缺陷进行检测与定位。由于在不同ITO导电玻璃产品中,对缺陷检测的参数要求是不一致的,如高规则的产品对划痕、划伤的要求当宽度大于10um或总长度大于2mm判定为缺陷,低规格的产品要求宽度大于50um或总长度大于50mm判定为缺陷;在高规格产品中将水滴视为缺陷,而在低规则产品中不认定为缺陷。因此面向不同种类的产品,系统可设置缺陷识别后的面积、形状、圆度、长宽、凸性等特征筛选参数,以完成系统多产品检测的自适应功能。

3 实验与结果分析

本文研究内容在产学研横向课题的开展下,基于C#编程语言的Winform框架实现了检测系统,系统主界面如图7所示,具备在线ITO导电玻璃图像显示、检测状态监控、机器人分拣信号输出、根据客户要求进行算法参数设置、根据不同产品配方切换、缺陷检测数据存储等功能。

图7 检测系统软件界面示意图

系统在国内某大型ITO导电玻璃制造企业生产现场在线运行三个月,对系统运行过程中统计的16500片玻璃检测数据进行了分析,对气泡、划痕、划伤缺陷检测数据如表1所示,其中漏检率定义为:(机器视觉缺陷检测系统判定良品中按品质标准人工目检复检挑选出的不良数量/视觉检测总数)×100%,误判率定义为:(机器视觉缺陷检测系统判定不良品中按品质标准人工目检复查挑选出的良品数量/视觉检测系统投入总数)×100%。

表1 ITO导电玻璃缺陷检测结果分析表

结语

本文针对ITO导电玻璃在上料或自动化传输过程中导致的划痕、划伤、气泡等缺陷在人工目检缺陷评定时存在的不足,提出基于机器视觉的ITO导电玻璃在线检测方法,基于ITO导电玻璃生产场景和大尺寸的特点,展开基于线扫描相机的系统总体方案设计;在表面缺陷检测中,针对因车间环境导致的灰尘、毛絮等误干扰项对缺陷检测带来的影响,提出一种明暗场光源同时曝光成像方案,并基于明暗场图像下划痕、划伤、气泡等缺陷与误干扰项毛絮、划痕、脏污的特征区域,展开基于Blob分析的表面缺陷检测方法实现。通过在生产厂家现场进行数据采集验证,本文系统能够达到缺陷综合漏检率为0.25%,综合误判率为4.07%,低于行业内的漏检率0.5%、误判率8%的检测标准,系统对单片玻璃的检测时间为2.3s内,低于人工平均3s的检测时间,相比于人工目检的方式,本文所设计的检测系统在准确率和效率上均优人工,在对系统进一步优化完善后,有望打破国外在本行业中检测设备垄断的局面。