基于彩色图像模板匹配的PCB多缺陷集中检测*

贾正伟，黄海松，张松松

(贵州大学现代制造技术教育部重点实验室，贵阳 550025)

0 引言

PCB是目前电子行业里需求最大的产品，它被应用于各个领域，小到日常使用的手机、平板、电视，大到国防科技中的飞机、航母、导弹，这也使SMT产业迅速发展，PCB的种类、形态和尺寸也变得日新月异[1]。与此同时，PCB缺陷检测技术也在不断提升，从最初的人工目检到激光扫描，再到电气检测法和红外辐射检测，最后到目前最常用的基于机器视觉的检测技术，这些检测技术中，基于机器视觉的PCB缺陷检测技术具备实用性高、操作简单和检测精度高等优势，因此被90%以上的企业所使用[2]。

在基于机器视觉的缺陷检测技术中，存在着各类算法，他们有一个共性就是都存在图像处理技术，例如图像色差法(阈值分割)[3]、深度学习算法对样本图像进行训练和分类[4]、背景减法[5]和模板匹配算法[6]等，其中模板匹配方法在近几年取得了巨大成功。通过对上述技术的研究，他们都存在一个共同特点，就是处理的图像都为二值化图像，有些直接相机采集二值化图像，有些通过二值化处理得到二值化图像，最后在对二值化图像进行图像处理，其过程复杂繁琐，而且图像在采集和处理过程中受外界环境背景及噪声的影响较大，获取的有些二值化图像根本无法使用，尤其是深度学习方法，不仅需要庞大数量的样本图像进行训练，而且只能单独训练单一缺陷，工作量大，工程繁琐，最后很难应用于实际生产，只处于理论试验阶段。

在彩色图像快速模板匹配技术[7-10]中,将x-y(RGB)空间中模板图像与每个目标图像区域应用最佳模板相似度BBM，检测目标图像中存在缺陷。这些方法存在操作过程繁杂、耗时较长、精度不高等不足，在PCB工业生产中应用效果不理想。本文为解决上述问题提出了一种基于彩色图像快速模板匹配的PCB多缺陷集中检测方法，该方法可以抵抗背景杂波和噪声引起的离群值，快速地完成PCB各类缺陷的检测。通过试验验证了该方法不仅检测精度高、实用性强，而且实现了多缺陷集中检测，大大提升了检测效率。

1 基本原理

1.1 检测模型

我们所使用的BBM检测系统光路图如图1所示，使用一台CCD工业相机在垂直于参考平面上方可以捕获每个PCB表面轮廓信息，并同步到PC端。该检测系统工作模式简单，工件配置简单，具有只需要光源、CCD、图像采集卡和计算机的优点，大大降低了成本，非常适合用于工业应用[11]。

图1 BBM检测系统模型

在本文实验过程中，采用的CCD相机分辨率为1280×1024，为了获取无失真的图像，将条纹像素设置为256×256 pixel，扫描频率为1.64 kHz,增益和光圈设置在同一水平，将CCD相机与个人电脑同步，通过CCD相机拍摄的不同PCB图像将被存储于电脑用于后续处理。

1.2 算法基础

过去三年，许多用于扩展模板匹配来处理参数转换的方法被提出[3,12-13,15]，这些方法的基本原理都是模板和查询区域之间的一对一映射，完成底层转换。其匹配过程就是将模板图像移动到较大源图像中的所有可能位置，并计算一个数字索引，该索引指示模板在该位置与图像匹配的程度，如图2所示。

图2 图像匹配过程

BBM就是一个双向匹配措施，具体地说，就是点集被用作两个图像之间的相似性度量，其中一个图像由一组补丁表示，因为它是基于bbp的计数规则，并且只隐式地使用它们的实际匹配，此外，BBM能够准确区分内部值和异常值，这些特性使BBM成为一种更为可靠的检测方法[14]。

1.3 算法分析

(1)

(2)

为了理解匹配过程，以两个点集P和Q的简单2D情况为例。集是由从两个不同的正态分布N(μ1,∑1)和N(μ2,∑2)中提取的2D点组成，类似地，Q中的点从相同的分布N(μ1,∑1)和不同的分布N(μ3,∑3)中提取。分布N(μ1,∑1)可以看作是前景模型，而N(μ2,∑2)和N(μ3,∑3)是两种不同的背景模型。

这里定义一个函数bbi,j(P,Q)，对于给定的P和Q，当pi和qj彼此最接近时，该指示函数等于1，否则为0。这可以用点之间的差异表示，如下所示：

[d(ql,pi)>d(pi,qj)]

(3)

其中,∏是一个指示函数，因此，对于给定的Pi和qj值之间的独立性，我们继续计算一对点在所有可能的P和Q样本上的期望值，用EBBP表示：

(4)

如上所述，将RGB图像和TEM板都分解为K×K的不同的补丁，要将BBM应用于模板匹配，需要将每个图像块转换为Rd中设置的点。 为此，我们将该区域分成k×k个不同的块， 每个k×k色块由其RGB值和中心像素的xy位置(相对于色块坐标系)的K2向量表示。BBM模板匹配数据示例结果如图3所示。

(a) PCB板标定 (b) PCB板标定

(c) BBM模板匹配PCB板图3 BBM模板匹配实示例

计算两个点集P,Q∈Rd之间的最佳伙伴相似度(BBM)，需要计算每对点之间的相似性， 即构造相似矩阵D，其中[S]i,j=d(pi,qj)， 在给定S的情况下，NN(pj,Q)是S的第i行中的最小元素，同理，NN(qj,P)是S的第j个列中的最小元素，最后，通过计算相互最近邻居的数量(除以一个常数)来计算BBM：

(5)

其中，上标A表示像素外观RGB，上标L表示像素位置(标准化为[0，1]的色块内的x，y),λ= 2是根据实验条件选择的，并且在后边的实验中都是固定的，在这种情况下，根据公式(5)给出的3D情况，在每个维度独立地进行分析，BBM的期望值被每个维度的期望值的乘积所限制，因此得出：

(6)

综上所述，本文提出的BBM算法流程如图4所示。

图4 BBM算法路程图

2 标准模板标定

基于BBM方法，在1.2节中给出了全搜索模板匹配的原理，通过对匹配区域的搜索，实现匹配区域的检测。对于PCB图像，我们感兴趣的目标是图像的缺陷部分，为了识别和分析这些目标，需要将其提取出来，本文针对三种缺陷(引线缺失、元器件破损、焊点漏焊)进行标定。首先获取标准PCB图像，通过CCD相机拍摄5张PCB图像，并对五组图像进行定位，捕获的图像转换为数字格式，每个单独的像素对应于位置X、Y坐标[16]，如图5所示，本文使用PatMax算法定位某一图案特征，这里选择一个电容器作为定位图案特征。

图5 PCB图像标定原理

为了验证定位效果，以及应对在检测过程待检测PCB发生位置偏移而导致的检测失败，在拍摄第二张与第三张图片时，分别对PCB位置做了不同角度放置，定位结果如图6所示。

图6 PatMax定位效果

并报告所找到图案的x、y坐标、角度和得分，如表1所示。

表1 定位结果

完成定位后，针对3种缺陷进行关键位置标定：

(1)芯片上部17条引线缺陷

对图像检测区域中存在的引线数进行BBM模板匹配，报告匹配引线的得分，如果符合指定的极限范围，则报告通过，在极限范围外则报告失败，标定如图7所示。

(a) PCB引线数BBM模板匹配图

(b) 匹配引线得分偏移量曲线图图7 PCB引线BBM标定

(2)PCB板10焊点检测

对图像检测区域中存在的焊点数进行BBM模板匹配，报告匹焊点的得分，如果符合指定的极限范围，则报告通过，若出现漏焊、少焊和破损等情况，则报告失败，标定如图8所示。

(a) PCB焊点数BBM模板匹配图

(b) 匹配焊点得分偏移量曲线图图8 PCB焊点BBM标定

(3)PCB板关键元器件检测

对图像检测区域中关键易缺失的元器件进行BBM模板匹配，报告匹配元器件的得分，如果符合指定的极限范围，则报告通过，如果元器件缺失、破损或种类异常，则匹配失败，标定如图9所示。

图9 PCB元器件BBM标定

3 实验验证及结果

实验选用表面具有复杂形状的PCB待测件，待测件被固定在装置上，实验测量系统如图1所示，光源投射到被检测物体表面，待测件图案由CCD相机捕获。根据以上标定的三类缺陷，对特征点进行BBM精确匹配，以引线匹配为例，如图10所示，确定搜索区域，进行BBM计算。

(a) 无缺陷PCB板 (b) 元器件缺失缺陷PCB板图10 BBM引线匹配结果

与图10相似方法，完成PCB焊点和电子元器件的BBM模板匹配，包括3类缺陷，共28对P、Q点集，匹配结果如图11所示，其中PCB板(图11a)是无缺陷的PCB板，经过BBM匹配显示0个error，PCB板(图11b)缺失关键元器件，经过BBM匹配显示1个error，PCB板(图11c)是引线缺失缺陷，经过BBM匹配显示1个error，PCB板(图11d)是焊点缺失缺陷，经过BBM匹配显示1个error，PCB板(图11e)包括漏焊和元器件缺失两个缺陷，经过BBM匹配显示2个error，PCB板(图11f)包括漏焊、元器件缺失和引线缺失3个缺陷，经过BBM匹配显示3个error。

为验证其有效性，本文从现场采集200张PCB生产图片，其中包括20张具有不同类型缺陷的图片，对其进行BBM模板匹配，分别对焊点检测率、元器件检测率、引线检测率、误识别率、检测准确率和平均耗时进行了统计，如表2所示。

表2 BBM模板匹配检测结果

从表3、图11所示的实验结果可以发现，BBM彩色图像快速模板匹配快速完成了PCB各类缺陷的成功检测。更重要的是，BBM方法基于彩色图像进行模板匹配，最大程度保留了图像的真实性，消除了背景杂波和噪声引起的离群值，从表2记录的实验数据可知，本文算法在进行PCB板焊点检测、引线检测和元器件检测过程中，精度几乎为100%，而且平均耗时仅为2.325 ms，性能优越于目前标胶流行的绝大数算法。

表3 BBM模板匹配PCB缺陷检测结果表

(a)无缺陷PCB板 (b)元器件缺失缺陷PCB板

(c)引线缺失缺陷PCB板 (d)焊点缺失缺陷PCB板

(e)焊点和元器件 缺失缺陷PCB板 (f)焊点、元器件和引线 缺失缺陷PCB板图11 BBM模板匹配PCB缺陷检测结果

4 结论

为解决现有图像处理算法在PCB工业应用存在的实施过于复杂、缺陷检测单一、训练样本大、检测精度低和时间长成本高等问题。提出一种基于彩色图像快速模板匹配的PCB多缺陷集中检测方法，该方法基于计算源对目标集合中的点对进行最佳伙伴的配对，根据模板点的最佳伙伴对寻找模板补丁，实现了同时一次性完成PCB各类缺陷的检测。试验表明，该方法可以快速准确的完成PCB缺陷板的识别，比目前流行的深度学习方法等，操作方便、耗时短、精度高等优势，在PCB工业生产中取得了成功应用，更适用于目前企业的需求。