基于机器视觉的晶圆表面缺陷检测

陈治杉，刘本永*

(1.贵州大学 大数据与信息工程学院，贵州 贵阳550025；2.贵州大学 智能信息处理研究所，贵州 贵阳550025)

作为一种半导体材料，晶圆由重复的晶片组成，而晶片是具有相同结构和电气性能的元件[1]。晶圆缺陷通常有点、线、划痕、油污、阴影、缺角等。

人工检测是表面缺陷检测的传统方法，该方法抽检率低、实时性差、受人工经验和主观因素影响大，而基于机器视觉的检测方法可以较大程度克服人工检测的弊端。CHIN[2]对表面检测技术做了总结，指出视觉检验技术是替代人工检验的方式。美国机器人工业协会对机器视觉定义为“机器视觉是通过光学装置和非接触的传感器自动地接收和处理一个真实物体的图像，以获得所需信息或用于控制机器人运动的装置”[3]。采用机器视觉可以大幅度提高生产效率和自动化程度。一套完整的机器视觉系统，一般由光源、镜头、相机、采集卡以及图像处理软件所组成。

晶圆缺陷检测是机器视觉检测的一个重要部分，其检测的准确程度直接会影响晶圆最终的质量。TSAI等[4]使用傅里叶变化重构图像来检测线、划痕、油污、点、阴影等缺陷，这些缺陷对应于傅里叶域的高频成分。GONG等[5]引入方向性形态梯度技术检测晶圆的缺陷，该方法仅能检测出缺陷的边缘。LIU等[6]采用光谱作差的方法和基于图像灰度的模板匹配方法，对IC晶圆图像中的缺陷检测快速且准确。CHEN等[7]主要针对半导体行业盘内芯片的检测任务，他们提出的方法包括两个主要阶段，即对准阶段和检查阶段，将自适应图像差分法和设计规则策略相结合。YANG等[8]通过对被处理图像的轮廓进行判断，判断石英晶圆是否存在污垢，该石英晶片自动分选系统的污垢检测技术处理时间约为400 ms。窦育民[9]做了基于轮廓的目标检测研究，在一定程度上解决了图像中阴影、光照变化、目标形变以及目标遮挡问题。

由于在晶圆缺陷检测中，要求晶元在出现被遮挡或者缺角、光照不均的情况下，也能够找到晶元的位置，基于灰度值的模板匹配算法不能够处理这些类型的干扰，但图像的边缘不会受光线变化的影响。重构图像与自适应图像差分法的图像背景建模复杂，对于内部有规律排列的图像来说，直接用内部几何图案轮廓跟随后分区域检测的速度更快。因此，本文在研究前人成果的基础上，基于Halcon软件，利用机器视觉图像采集硬件平台采集晶圆图像，以模板匹配中的轮廓形状特征匹配为基本原理，对晶圆中的单个晶元的外轮廓进行定位，根据仿射变换原理，对内部轮廓仿射变换，然后根据不同缺陷特征，对晶圆分区域分割检测，记录总的缺陷并标记。

1 检测系统总体设计

1.1 图像采集系统

机器视觉技术从大的方面，可分为前端的成像技术和后端的图像处理技术。前端的成像技术涉及到根据目标的形状大小和表面的光学特性，成像好坏一般由光源、镜头、相机决定。后端的图像处理涉及对图像进行的各种分析处理的算法研究、软硬件优化技术、硬件处理技术等。

根据晶圆系统的成本、效率、时间要求，图像采集系统选用特定的相机、光源、镜头，对晶圆成像。相机选取一款工业千兆网相机，具有900万像素分辨率。分辨率佳为3384×2710 px，接口类型为C，在全分辨率下的最大帧率为10 fps。镜头选取具有4倍放大倍数的远心镜头，焦距110 mm。视野宽3 mm，精度1μm。由于晶圆表面的高反光特性，对光源要求高。通过实验对比，光源选取直径120 mm，与水平方向成角度30°的白色环光。每次成像4个完整的小晶元，可以克服大面积成像带来的成像模糊问题和边缘光照不均匀问题。

1.2 系统检测流程

系统检测整体流程如图1所示。

图1 系统检测流程Fig.1 Flow chart of system detection

在一个完整的晶圆上排列着几百个单颗晶元，系统对晶圆成像，每次成像4颗晶元。在自动检测中，首先需要选取良品图建立晶元轮廓模板，再利用模板匹配，对每次成像的4颗晶元进行定位，然后对晶元剪裁，进行图像预处理，最后检测缺陷。

按照设定好的检测区域，采集该区域的晶圆表面图像。每检测完4个晶元，记录缺陷晶元信息。然后按照采集顺序，移动晶圆，采集另外4个晶元图像，直到采集并处理完所有预设区域。

2 基于形状特征的轮廓匹配

模板匹配主要有基于灰度的模板匹配和基于特征的模板匹配两种。对于基于物体形状特征的模板匹配，主要有基于区域的模板匹配和基于轮廓的模板匹配。

轮廓匹配是在图像中找到模板轮廓的位置，需要计算模板轮廓的所有相关位姿与搜索图像各个位置的相似度，包括基于直接比较的匹配方法和基于变换的匹配方法。由于直接比较需要在搜索图像中提取轮廓，导致轮廓识别算法在低对比度图像中可能找不到轮廓。故采用变换后的轮廓匹配，不需要对搜索图像进行轮廓特征提取，基于距离变换的轮廓匹配的具体流程，如图2所示。

图2 基于变换的轮廓匹配的具体流程Fig.2 Flow chart of contour matching based on transformation

2.1 方向向量

首先使用目标图像的一幅图像生成模板。将一个目标对象的轮廓模板定义为点集pi=(ri，ci)T和每个点关联的方向向量di=(ti，ui)T，i=1，…，n。坐标pi定义为相对于感兴趣区域重心的相对坐标，或相对于模板中所有重心的相对坐标。使用边缘提取方法计算方向向量。

计算搜索图像每个点的方向向量时，将需要在其中搜索模板的图像转换为另一种表示法，就是为图像的每个点(r，c)计算出一个方向向量e(r，c)=(v( r，c)，w( r，c))T。

2.2 相似度衡量

先对轮廓模板进行任意的仿射变换。在匹配过程中，变换后的模板必须与搜索图像中的某个特定位置进行比较。从线性部分将仿射变换中的平移分离出来，因此，一个线性变换模型可以通过点pi′=A pi以及变换后的方向向量di′=(A-1)Tdi来给出，其中A =

转换后的模板与搜索图像进行对比的相似度量必须不受遮挡、混乱以及光照变化的影响。因此考虑在图像中某个特定点q=(r，c)T处，计算变换后模板中所有点的方向向量(未归一化)的点积和，并以此作为匹配分值。对应于仿射变换的平移部分，变换后模板在q点处的相似度量表示为s:

将方向向量归一化，相似度量可以不受任意光照变化的影响:

式(2)要求模板和图像在每个边缘处的明暗变化方向一致。

在晶圆检测中，需要忽略局部的明暗对比方向变化。因此将相似度量修改为

2.3 在金字塔中搜索模板

为搜索图像创建一个图像金字塔，在图像金字塔的每层都应用与创建模板时相同的边缘滤波运算，这个滤波运算将得到每个图像点的方向向量。在这里，搜索图像没有进行阈值分割或者其他操作，这就可以使得算法真正不受光照影响。

在金字塔的顶层搜索，根据式(3)计算模板在所有可能位姿上的相似度量。设置阈值smin，潜在匹配位置的匹配分值必须大于阈值smin，并且是局部最大值。

确定这些潜在匹配位置后，跟踪这些匹配位置到金字塔更低层，直到在图像金字塔最底层找到目标物体。然后在局部最大值附近3×3邻域内的相似度量拟合为一个多项式，求解该多项式的局部最小值，得到比离散化的搜索空间分辨率更精确的最终位姿。最后通过最小二乘法调整位姿参数来获取更加精确的位姿。

3 仿射变换与晶圆缺陷检测

由于晶元内部区域的轮廓多，直接对整颗晶元作阈值分割适应性太差；搜索内部轮廓模板，由于轮廓多，故对遮挡适应性差。因此，晶元定位采用双重定位。第一步粗定位，采用外轮廓匹配。第二步精确定位，采取晶元内部模板轮廓跟随。第二步利用仿射变换原理，根据第一步的匹配信息，仿射晶元内部模板轮廓。

3.1 仿射变换

仿射变换是从一个向量空间变换到另一个向量空间，由线性部分组成，表示成矩阵相乘部分、加法部分、偏移部分或平移部分。为了数学和计算方便，仿射变换如下所示:

其中(r，c)是变换前的坐标，(r～，c～)是变换后的坐标为仿射变换矩阵，a13和a23是平移变换的行坐标和列坐标，a11和a22是缩放变换的行缩放值和列缩放值，a12和a21是水平裁剪值和垂直裁剪值。

3.2 缺陷检测

以轮廓匹配、仿射变换为基本原理，对单个晶元的不同区域、不同缺陷特征分别进行检测，记录总的缺陷并标记，缺陷中心用“+”标记，有缺陷的晶元用“NG”标记，无缺陷的晶元用“OK”标记。缺陷检测算法流程如图3所示。

图3 缺陷检测算法流程Fig.3 Flow chart of defect detection algorithm

4 检测结果分析

算法是在Hdevelop13(Halcon机器视觉软件)环境下编写。

4.1 创建轮廓模板

首先生成模板，选取晶圆良品图片，如图4(a)所示。对其进行灰度拉伸、中值滤波得到预处理图像，如图4(b)所示。然后选取并裁剪单个良品晶元，如图4(c)所示。用canny算子提取边，如图4(d)所示。选取边界最大轮廓，作为外边缘亚像素轮廓，如图4(e)所示。根据面积和形状特征，选取圆点轮廓，并膨胀两个像素，再转换为亚像素，作为圆点亚像素轮廓，如图4(f)所示。

图4 创建轮廓模板Fig.4 Creating contour templates

4.2 轮廓匹配

轮廓匹配，设置最低匹配分值为0.8。图4(a)的轮廓匹配结果，如图5(a)所示。在原图界面显示轮廓匹配的分值，如图5(b)所示。

图5 轮廓匹配及分值Fig.5 Contour matching and matching score

以图5(a)为例，记录搜索到的晶元轮廓的重心位置行坐标row、列坐标column、旋转量angle、缩放量scale、匹配分值score，如表1所示。

表1 匹配信息Tab.1 Contour matching information

记录新搜索的每一张采集图像的晶元轮廓匹配信息，为之后每一个晶元的内部区域仿射变换提供精准坐标。

4.3 缺陷检测

首先需要仿射内部区域，完成内部轮廓精定位。生成一个仿射变换恒等矩阵，然后加入平移量、旋转量、缩放量，完成仿射矩阵计算。以图5(a)为例，根据表1信息计算晶元1的仿射矩阵，具体步骤结果如表2所示。

根据每个晶元具体的仿射矩阵，将内部圆点轮廓模板用仿射变换跟随到晶元轮廓位置，如图6(a)所示。

然后将每个晶元分为两部分裁剪，即圆点内部区域和圆点外部区域，分别如图6(b)和图6(c)所示。检测结果和标记缺陷，如图6(d)所示。

表2 仿射矩阵计算Tab.2 Affine matrix computation process

图6 晶圆缺陷检测过程Fig.6 Wafer defect detection process

4.4 检测结果

选取不同缺陷的晶元检测结果图，这里分别列出点状缺陷、线状缺陷、面状缺陷、大面积污染缺陷、缺角缺陷五种缺陷晶元的预处理图和缺陷提取图，缺陷区域以边界轮廓的方式显示，分别如图7、图8、图9、图10、图11所示。

4.5 检测效果

将基于机器视觉和轮廓匹配的自动检测缺陷结果，与工业显微镜下实际人工检测标注的缺陷进行对比，选取两个晶元缺陷图作对比，如表3所示。

图7 点状缺陷Fig.7 Point defects

图8 线状杂物Fig.8 Defects of linear impurities

图9 面状杂物Fig.9 Defects of surface impurities

图10 大面积污染Fig.10 Defects of large area pollution

图11 缺角缺陷Fig.11 Defects of missing corners

表3 检测对比Tab.3 Comparison of detection results

由表3可以看出，算法可以将缺陷区域及其轮廓很好的检测出来。

本实验在含有大量缺陷的样品中随机采集静态晶圆图片200张，像素为3384×2710，分4组进行检测，每组50张图。每图有4个小晶元，每组200个小晶元，共计800个小晶元。每一组都连续读取文件夹模拟连续采集。检测时间包括读取图片、图像预处理、轮廓匹配、仿射变换、缺陷检测、缺陷标记、显示缺陷，具体数据见表4。

表4 晶圆缺陷检测时间统计Tab.4 Time statistics of wafer defect detection s

由表4得出，测试4组平均每个小晶元的检测时间大约为430 ms。实验检测图含大量缺陷，现场检测时因为同时含有良品晶元和次品晶元，总体检测速度会比实验更快。

5 结语

本文基于机器视觉，利用基于形状特征的轮廓匹配，建立轮廓模板，对晶圆进行模板匹配，对内部图案轮廓进行仿射变换，然后分区域，进而实现点状缺陷、线状缺陷、面状缺陷、大面积污染缺陷、缺角缺陷各类缺陷的检测。检测精度1μm，一个小晶元的检测速度约430 ms，算法有效快速，达到工业检测速度要求和精度要求。