一种平板玻璃机器视觉检测中的断裂划痕连接方法

赵飞　李佳　滕云楠　胡佛

摘要：玻璃制品在深加工过程中易产生划痕。玻璃视觉检测系统中的阈值分割操作，会使某些划痕在检测图像中断裂，并可能得到错误的识别结果。本文根据划痕的倾角和距离，将图像中断裂的划痕连接，并得到了正确的识别结果。

关键词：平板玻璃；机器视觉检测；图像；断裂划痕；连接

中图分类号：TP311 文献标识码：A 文章编号：1007-9416（2019）01-0048-02

0 引言

随着玻璃在航空、汽车等领域应用的扩展，市场对高质量玻璃的需求量日益增加[1]。玻璃制品在深加工过程中易产生划痕[2]。利用人工目视对玻璃表面缺陷进行的检测，具有速度慢、耗费人力大、稳定性差、准确性差及不便保存和检索检测数据等缺点[3-4]。基于视觉的检测具有非接触、客观、高效等优点，已逐步用于玻璃表面缺陷检测[2]。

针对玻璃的划痕缺陷，文献[1]提出了一种利用最小外接矩形理论来获取二值化图像划痕特征参数的方法。但在实际图像处理的过程中，因为各图像灰度值不同，Ostu自动阈值分割操作，可能会使划痕在二值化图像中产生断裂，成了两条划痕，如图1所示。此结果与实际不符，因此有必要将类似的两条划痕连接成一条划痕。

可以采用先膨胀后腐蚀的方法，将断裂的划痕连接。但膨胀腐蚀操作存在以下缺点：

（1）会对图像的数据有所改变，进而改变划痕的本身的特征参数；

（2）膨胀腐蚀操作相对较慢。

因此，本文先采用一定的判断准则对两条划痕进行判断，再对属于同一划痕缺陷的两条划痕的最小外接矩形合并成一个外接矩形，并统一其标记值；否则，不做任何处理。这样，既能不破坏原有图像，又能得到正确的划痕特征参数。本文采用的判断准则如下：

（1）两条划痕的倾角基本相同；

（2）两条划痕的邻近点距离较近。

1 比较划痕方向

扫描划痕在图像中所占的所有像素，找出相距最远的两像素点，利用它们连线的斜率可确定划痕的倾角。但此方法需要重新扫描划痕所在图像内的所有像素，增加了运算量。文献[1]定义并求取了最小外接矩形，并将其用于计算划痕的长度。本文利用最小外接矩形计算划痕的斜率及倾角，可提高检测效率。

文献[1]定义的划痕最小外接矩形，应满足以下3个条件，如图2所示：

（1）矩形的四边应分别平行于图像边界的四边；

（2）矩形所覆盖范围内的像素包含了划痕缺陷的所有像素；

（3）矩形的长、宽在满足以上两条件的基础上，应分别最小。

图2中线段AB和CD是与图像横向边界平行的最小外接矩形的边，称为最小外接矩形的宽，宽度记为w；图2中线段AC和BD是与图像纵向边界平行的最小外接矩形的边，称为最小外接矩形的高，高度记为h。则划痕的斜率：

。 （1）

显然，用最小外接矩形来计算划痕的斜率会出现以下两种情况，如图3所示。

图3中，两斜率K的绝对值相同，正负符号相反。可根据划痕顶行中点与最小外接矩形的两顶点A、B间距离的关系，来判断K的正负。划痕顶行是指划痕内部的像素中，距离图像顶部最近且具有相同纵坐标值y0的像素集合。划痕顶行中点，就是以划痕顶行像素的横标的均值为横标，以划痕顶行像素的共同纵标y0为纵标的点E（， y0）。点E可能不属于划痕内的像素，甚至它可能不与任何像素中心重合，如图4所示。

由图3知，如果点E距离点B（xR，y0）更近，即：，则K>0；反之，如果点E距离点A（xL， y0）更近，即：，则K<0。其中，xL和xR分别为划痕最小外接矩形的左右边界横标。即：当

时，根据式（1），有：

。 （2）

根据式（2），可计算所有划痕的斜率，进而得到它们的倾角：

。 （3）

将这些倾角按下式两两比较，当下式成立时，即可判定对应划痕的方向相近：

。 （4）

其中，和分别第i条和第j条划痕的倾角，且i（j，表示两条划痕倾斜方向近似的精度。

2 计算划痕之间的最小距离

根据两条划痕的最小外接矩形和斜率，可确定其邻近点的距离。通过扫描两条划痕在图像中所占的所有所有点，也可确定其邻近点距离，但此方法计算量较大。

如图2所示，属于同一划痕缺陷的两条划痕（不妨称为第i条划痕和第j条划痕）的最小外接矩形（Ri和Rj），其中一个矩形必位于另一个矩形的下方；否则，不属于同一划痕缺陷。即：一个矩形的顶点A必位于另一个矩形的CD 邊的下方。此条件可通过比较一个矩形的顶点A纵标值与另一个矩形的顶点C（或顶点D）的纵标值来判断。

不妨设，比较顶点A与顶点C纵标值的结果是Ri位于Rj的上方。当这两条划痕的倾角相近时，会出现2种情况，如图5所示。

若划痕斜率为正，如图5（a）所示，两划痕邻近点距离l应为线段CiBj的长度；若划痕斜率为负，如图5（b）所示，l应为线段DiAj的长度。当下式成立时，即可判定对应划痕的邻近点距离较近：

l< （5）

其中，表示判定两条划痕邻近点距离的精度。

3 划痕的连接

当两条划痕（第i条和第j条划痕）满足倾角相近且其邻近点接近时，即可判定它们属于同一划痕缺陷。应将两条划痕连接成一条划痕（即将其中一条划痕所有像素的标记值均改为另一条划痕的标记值），并合并它们的最小外接矩形Ri和Rj。

根据两划痕的斜率和相对位置，可合并其最小外接矩形为新的矩形R。如图5所示，Ri位于Rj的上方：

（1）当划痕的斜率为正时，如图5（a）所示，Bi（xb，yb）和Cj（xc，yc）为新矩形R的两个相对的顶点，则R的左右两边界分别为xc和xb，上下两边界分别为yb和yc；

（2）當划痕的斜率为负时，如图5（b）所示，Ai（xa，ya）和Dj（xd，yd）为新矩形R的两个相对的顶点，则R左右两边界分别为xa和xd，上下两边界分别为ya和yd。

于是，Ri与Rj被合并为R。

4 划痕连接

在划痕斜率和最小外接矩形都已知的基础上，可确定划痕连接的流程，如图6所示。

5 结语

本文利用划痕的最小外接矩形，计算了划痕的斜率；确定了两条划痕属于同一划痕缺陷的判定条件；针对属于同一划痕缺陷的图像中的两条划痕，给出了划痕连接的方法和步骤。上述判定方法和连接方法，运算速度快，无误判，符合大批量玻璃划痕缺陷的快速检测需求。

参考文献

[1] Jia Li， Fei Zhao， etal. .Research on Robot Vision Detection Method for Scratch Defects of Flat Glass Based on Area Array CCD [A]. 2018 3rd Asia-Pacific Conference on Intelligent Robot Systems（ACIRS）[C]，IEEE，2018：35-39.

[2] 李长有，刘遵，李帅涛.小型平板玻璃表面缺陷检测系统[J].计算机应用，2017，37（S2）：167-170，182.

[3] 王平顺.图像处理技术在玻璃缺陷检测中的应用研究[D].秦皇岛：燕山大学，2005.

[4] 刘遵.基于机器视觉的玻璃表面缺陷检测技术研究[D].焦作：河南理工大学，2017.

Abstract：Glass products are easily scratched in the process of deep processing. The threshold segmentation operation in the glass vision detection system will make some scratches break in the detection image and may get wrong recognition results. In this paper， the broken scratches in the image are connected according to the dips and distances of them， and the recognition results are correct.

Key words：flat glass；machine vision inspection；image；broken scratches；connection