基于X射线图像的LED芯片邦定线断裂缺陷的自动检测方法研究

王言 卢军

摘  要： 在使用工业X射线设备检测LED芯片邦定线的邦定质量时，为了自动检测出邦定线是否断裂，提出采用自适应阈值分割与漫水填充相结合的方法。步骤如下：首先根据邦定线在X射线图像中的特点，采用自适应阈值分割出邦定线焊点所在位置，并识别其质心;再对原始射线图像采用拉普拉斯算子进行图像锐化，增强图像的灰度跳变部分;然后以焊点质心为种子点，采用漫水填充法完整分割出邦定线;最终根据分割出的连通域与焊点质心的包含关系判断出邦定线断裂的情况。

关键词： 邦定线断裂检测; 图像分割; 漫水填充; 拉普拉斯算子

中图分类号：TP391.41          文献标识码：A     文章编号：1006-8228（2021）01-21-04

Research on automatic method of detecting LED chip bonding line

fracture with X-ray image

Wang Yan， Lu Jun

（College of Mechanical and Electrical Engineering， Shaanxi University of Science and Technology， Xian， Shannxi 710021， China）

Abstract： When using industrial X-ray equipment to detect the bonding quality of LED chip bonding line， in order to automatically detect whether the bonding line is broken， a method combined adaptive threshold segmentation with Flood Fill is proposed. The steps are as follows： firstly， according to the characteristics of bonding line in X-ray image， adaptive threshold is used to segment the position of bonding line solder joint and identify its centroid; secondly， Laplacian operator is used to sharpen the original ray image to enhance the gray jumping part of the image; then， the solder joint centroid is taken as the seed point， and Flood Fill method is used to completely segment the bonding line; finally， according to the inclusion relationship between the segmented connected domain and the solder joint centroid， the fracture situation of the bonding line can be judged.

Key words： fracture detection of bongding line; image segmentation; Flood Fill; Laplacian operator

0 引言

邦定是芯片生产工艺中一种打线的方式，一般用于封装前将芯片内部电路用金线或铝线与线路板镀金铜箔连接。在芯片出厂前必须经过严格检测，确保焊接好的邦定线没有断裂的缺陷。生产中常常通过工业X射线照射来获取芯片的射线图像，进而通过人工评片来判别其缺陷。人工视觉检测的不足是检测规模有限，检查结果很容易受工人的主观意志影响，当需检测的批次很大时，依赖人工检测很难保证速度和质量[1]。本文提出了一套自动分析邦定线是否断裂的影像处理算法，算法的鲁棒性及高效性可使其应用到生产线上进行在线的检测。

1 邦定线断裂检测的总体实现方案

LED芯片多由硅、金属薄片、线以及焊点组合而成，被检测元器件对X射线的衰减系数因元器件内部材质、密度、厚度的不同而存在差异并成像为灰度明暗不同的图像[1]。

图1是LED芯片的3D灰度图像。其金属材质的邦定线对X射线吸收能力较强，在射线图像中灰度值很深。而线径的灰度值与背景中深色区域的灰度值区分度较低，难以直接使用固定的阈值将其完整分割出来，这也正是自动判别邦定线是否存在断裂缺陷的难点所在。

本文考虑邦定线在射线图像中的成像特点，首先根据灰度值的相似性及不连续性，通过局部自适应阈值的方法分割出焊点部位的图像。然后计算各个焊点的中心矩，得到其中心坐标。接下来通过拉普拉斯算子锐化邦定线的边缘轮廓，并以各个焊点的中心坐标为种子点，对锐化后的图像进行漫水填充。若某两个种子点分别填充出了同一块连通域，则说明当前的连通域是一个完整的邦定线轮廓，否则该处存在断裂的缺陷。

2 焊点区域的分割

2.1 焊点阈值分割方法选择

图像阈值分割是一种非常成熟的图像分割手段。阈值分割的基本思想是确定一个阈值，然后遍历图像中所有的像素点，将每个像素点的灰度值和选取的阈值相比较，根据比较的结果把该像素划分成为两类——前景或者背景。其中阈值选取的准确度将直接影响分割的准确性以及由此产生的图像描述、分析的正确性[2]。传统的阈值选取方法主要是通过人工手动选取，然后进行反复试验和比较，最终确定一个满意的阈值。另外一种常用的方法是依據图像灰度直方图的特征，自适应出一个尽量接近灰度直方图两峰之间谷底位置的灰度值作为整体图像的阈值。前者的方法需要人工干预，后者的自适应阈值选取又非常依赖于图像前景和背景的分布必须均匀，且灰度直方图具有明显的双峰结构。

图2是LED芯片射线图像的灰度直方图，其对比度较差，不便于从图中直接寻找一个具有代表性的全局阈值来完成分割任务。因此选择基于积分图像的局部自适应阈值二值化[3]的方法来完成邦定线焊点的分割。这种阈值选取的方法在处理整体对比度较低的图像时，比通过依据图像整体信息计算出的全局阈值更为准确，因为它考虑的是像素周围的局部信息，极大地排除了其他无关区域的复杂干扰。

该方法的主要思想是将每个像素都与它周围邻域像素的平均值作比较，进而判断最合适的局部自适应阈值。在计算过程中，需要依次求得每个像素周围邻域的灰度平均值，这会大大增加运算的时间。利用积分图像可以加速邻域像素求和的计算过程。下面简要介绍积分图的用法。

2.2 积分图原理

图像是由一系列的离散像素点组成， 因此图像的积分其实就是求和. 图像积分图中每个点的值是原图像中该点左上角的所有像素值之和。分别使用[fi，j]和[ Ii，j]来表示原始图像和积分图像中[i，j]位置的像素值。则积分图中每个点的像素值可表示为：

[Ii，j=fi，j+Ii-1，j+Ii，j-1-I（i][-1，j-1）] ⑴

其中初始边界：

[I-1，j=Ii，-1=I-1，-1=0]   ⑵

定义了积分图的概念，无论邻域尺寸的大小如何变化，只需固定查找积分图像4次就可以快速计算任意矩形内像素值的和。设需要求和运算的矩形区域左上角的坐标为[a，b]，右下角坐标为[c，d]。则这两点所围成的区域的像素值之和可以表示为：

[i=acj=bdfi，j=Ia，b+Ic，d-Ic，d-I（a，b）] ⑶

通过积分图把邻域内所有点的灰度值依次相加转化为对积分图像中对应邻域位置的四个边界点的数值查找。即计算[M×N]大小的区域像数值之和的算法复杂度由[O（M×N）]下降到了[O（4）]。

2.3 使用局部自适应阈值分割焊点

使用积分图像在恒定时间内计算出每个像素周围[S×S]大小的邻域灰度平均值，然后执行比较。若当前像素灰度值小于邻域灰度平均值的T%则将其置为黑色，否则置为白色。即当前像素点的邻域平均灰度值的T%为该点的局部自适应阈值。

取大小为4×4的邻域，灵敏度设置为邻域平均灰度值的10%。图3（a）是LED芯片的射线图像，圖3（b）是采用该方法自适应阈值分割出的焊点图像。

3 焊点坐标位置的计算

针对分割出的焊点图像，把像素的坐标看成是一个二维随机变量，那么整个图像可以用二维灰度密度函数来表示。使用图像的几何矩表示焊点区域的面积，则计算几何矩的一阶矩可以找到其质心[4]。

一幅大小为[M×N ]的数字图像[fi，j]，其[p+q]阶几何矩[mpq]的公式为：

[mpq=i=1Mj=1Nipjqfi，j] ⑷

其中[fi，j]为图像在坐标点[i，j]的灰度值。进而该区域质心位置的X坐标和Y坐标分别可表示为：

[x=m10m00y=m01m00] ⑸

4 邦定线轮廓的分割

4.1 基于拉普拉斯算子的邦定线轮廓锐化

图像锐化可以增强图像细节边缘和轮廓，增强灰度反差，便于后期对目标的识别和处理[5]。拉普拉斯算子是线性二次微分算子，其获得的边界比较细，包含较多的细节信息。它与梯度算子一样具有旋转不变性，从而满足了不同方向的图像边缘锐化要求。

二维函数[fx，y]的拉普拉斯算子定义为：

[?2fx，y=?2f?x2+?2f?y2] ⑹

对于离散的二维图像[fi，j]，可以用下式作为对二阶偏微分的近似：

[?2f?i2=fi+1，j+fi-1，j-2fi，j] ⑺

[?2f?j2=fi，j+1+fi，j-1-2fi，j] ⑻

将式⑺、式⑻两式相加就得到用于图像锐化的拉普拉斯算子：

[?2f=fi+1，j+fi-1，j+fi，j+1+fi，j-1-4fi，j] ⑼

对应滤波模板如下：

[w1=0101-41010] ⑽

结合高斯平滑模板的思想，根据不同点到中心点的距离不同，给模板周边的点赋予不同的权重，最终可以得到如下模板：

[w2=1414-204141] ⑾

使用该模板对图像[f（i，j）]进行滤波操作得到图像[g（i，j）]可以表示为：

[gx，y=s=-11t=-11w2s，tx+s，y+t] ⑿

最终对于LED芯片的原始射线图像使用该模板执行锐化操作得到的结果如图4所示。

4.2 使用漫水填充法分割出邦定线

漫水填充算法是用来标记某片特定区域的：给定一个种子点作为起始点，向附近相邻的像素点扩散，把颜色相同或者相近的所有点都找出来，并填充上新的颜色，使这些点形成一个连通的区域[6]。该方法的处理过程如图5所示。

该方法效果的好坏取决于种子点选取的准确性以及被标记的区域有着完整的轮廓[7]。

5 邦定线断裂缺陷的判定

前文对原始射线图像分别进行了两次处理，第一次处理获取了邦定线焊点位置的坐标。第二次处理分割出邦定线完整的轮廓。一个完整的邦定线应该包含两个焊点。故分别以这两个焊点为种子点进行漫水填充所获得的区域应该是唯一且相同的。若某片区域仅能被填充一次，则表明当前区域的邦定线是不完整的。即只需计算每个邦定线连通域中包含的焊点数量，便可自动判断出其断裂的情况。

6 结束语

通过人工来检测缺陷耗时耗力，而且检测人员要一直注视显示器待检测物体表面，很难保持长时间的注意力高度集中，可能会使检测精度下降。本文根据LED芯片的结构特征和X射线图像的特点，提出一种自动检测芯片内部邦定线是否存在断裂缺陷的方法。该方法可以减轻人工评片的负担，具有良好的实用价值，工程应用前景广阔。

参考文献（References）：

[1] 刘丹.BGA焊点缺陷在线自动识别方法研究[D].沈阳大学，2016.

[2] 张俊生，王明泉，郭晋秦，楼国红.BGA焊点气泡缺陷X射线图像的动态阈值分割方法[J].火力与指挥控制，2018.43（10）：113-116

[3] DerekBradley，Gerhard Roth. Adaptive Thresholding using the Integral Image[J]. Journal of Graphics， GPU， and Game Tools，2007.12（2）.

[4] 余松乐，肖曙红.基于机器视觉的SOP贴片元件的定位检测方法研究[J].机床与液压，2020.48（7）：29-33，46

[5] 刘艳莉.工业X射线图像锐化技术算法研究[D].中北大学，2015.

[6] 蔡慧芬.基于分水岭算法和等周理论的图像分割算法研究[D].合肥工业大学，2012.

[7] 刘荣，彭艳敏，唐粲，程胜.基于分水岭与图割的自动分割方法[J].北京航空航天大学学报，2012.38（5）：636-640，647

收稿日期：2021-08-31

基金项目：陕西省科技厅工业攻关项目（2016GY-049）

作者简介：王言（1996-），男，陕西西安人，硕士，主要研究方向为：机器视觉。