一种金属带材表面缺陷检测方法

徐晓龙，张学武，赵沛然，张 琳（河海大学物联网工程学院，常州　213022）



一种金属带材表面缺陷检测方法

徐晓龙，张学武，赵沛然，张 琳
（河海大学物联网工程学院，常州213022）

摘 要：由于金属板带表面反光强烈，缺陷成因复杂，使得缺陷检测系统性能的进一步提升遇到了瓶颈。为打破瓶颈，提出了一种融合缺陷成因和统计特征的双向协同视觉注意方法。金属表面缺陷的产生与生产设备和工艺流程密切相关，将缺陷成因和统计特征分层量化，通过学习和训练加入先验知识库，在自底向上的视觉注意模型中，分别对初级视觉特征提取，多特征图合并和显著图三个层次施加权值控制，以引导视觉注意过程，从而实现自底向上和自顶向下的双向协同，可有效提升检测效率和检出率。通过实验对比分析，结果表明，该方法在检测性能和效率方面有很大提高。

关键词：金属带材；机器视觉；缺陷成因；统计特征，双向协同；视觉注意；缺陷检测

1 引 言

由于金属板带表面反光强烈，缺陷成因复杂，使得缺陷检测系统性能的进一步提升遇到了瓶颈。同时复杂的现场环境导致图像的信噪比低，对识别系统的可靠性、实时性、稳健性都提出了很高要求［1］。传统检测方法是做图像去噪、图像增强等图像预处理来消除噪声的影响，增强和突出目标特征，使其更容易从背景中分离出来。传统方法的缺点在于适应性差，对图像质量要求高，在噪声比较大的情况下，过度的去噪，不仅会损失缺陷本身的特征，也会影响监测的实时性［2］。

视觉注意机制是在应用场景中快速获取兴趣目标，从而做出理解和判断。将视觉注意机制引入视觉检测领域，使现有的图像处理过程具备一定的理解能力，能够模仿视觉感知系统，快速获取信息中的感兴趣区域，使有限的计算资源能够集中去处理那些影响图像性质、有意义的区域或者物体［3-4］，这对

❋解决如今视觉检测领域中所面临的数据筛选问题、图像处理实时性问题，以及提高处理效率和机器视觉的智能性都具有重要意义。

由于工业生产环境复杂、光照及高速运动所造成的图像质量不理想，并且缺陷所占比重较小，如果单单应用数据驱动的自底向上的视觉注意机制，虽然可以突出图像区域的显著部分，实现目标搜索，但是由于缺乏针对性而产生的低效率，无法满足高速并行处理的检测需求［5］。工业检测中，在具备缺陷特征等先验知识的情况下，脱离具体的检测任务和目标特征，仅使用自底向上的视觉注意机制无疑具有很大的局限性。自顶向下的任务驱动视觉注意机制将高层知识和任务带入处理过程，可以极大提高检出率和效率。而在现阶段的很多研究中，一方面没有充分结合应用背景，仅从图像的角度去解决问题，没有根据应用特点进行一定的简化或扩展；另一方面没有充分融合底层数据，使得检测过程过于复杂，在实际应用中不易实现。

提出了一种融合缺陷成因和统计特征双向协同的视觉注意方法。该方法将缺陷成因和统计特征分层量化，通过学习和训练加入先验知识库，在自底向上的视觉注意模型中，分别对初级视觉特征提取，多特征图合并和显著图三个层次施加权值控制，以引导视觉注意过程，从而实现自底向上和自顶向下的双向协同，有效提升了检测效率和检出率。

2 基于双向协同视觉注意机制的检测方法

2.1双向协同注意信息加工方法

金属带材表面缺陷特征有一定的特殊性，它是由生产设备的故障或缺陷所导致的，因此可以通过对成因的统计分析，获得部分缺陷特征，使得自顶向下的任务引导有了数据基础。结合自底向上与自顶向下两种模型的优点，将缺陷特征和检测任务相结合，处理时，按相应的权重，用底层特征来影响显著图的求解，从而实现自底向上和自顶向下的双向协同。

采用对特定频率和朝向敏感的Gabor滤波器构成滤波器组，提取输入信号的频率和朝向。通过选取合适的参数值放大滤波器之间的差异，使响应能够与激励有相同频率和方向分布的滤波器相一致［6］。

双向协同信息加工方法流程如图1所示。整体模型以视觉注意领域最为经典的Itti模型为基础，结合异向抑制模型的思想，将任务信息和先验知识进行量化，分别从初级视觉特征提取、不同特征图归一化合并以及最终的显著图三个层次加入与知识库相关的权值来实现注意引导。

图1 双向协同注意信息加工流程图

图1中双向协同信息加工主要体现在3个层次，通过先验知识库对每一层次的权值矩阵进行量化，从而实现视觉注意引导。第一层次为初级视觉特征合成，由于亮度特征没有其他分量，这里对应颜色、朝向2个初级特征权值。

由于所讨论的应用场景是确定的，因此可以从最底层特征开始进行权值分配，底层特征提取后，按照权值生成对应的特征图。不同类型缺陷对应的特征显著性有所不同，例如划痕和凹坑相比在颜色、亮度等特征均非常相似，但是划痕在朝向特征上就更为明显，因此在多特征图合并阶段，根据先验知识使用第二层次的权值进行量化。

通过权值量化合成显著图S，通过胜者为王机制进行注意扫视，然而在很多应用中检测目标的空间分布有一定的概率。例如在交通标志检测应用中，交通标志位于路面右侧，因此在图像右上方出现的概率要远大于其他区域。在金属带材表面缺陷检测应用中同样可以通过缺陷成因分析和统计得出目标缺陷的分布概率，通过统计概率再次对显著图进行加权，可以优化缺陷注意和图像分割的优先级，提升系统的实时性。

设GC（y）为权值矩阵，每个子区域显著性为Sx，y，在金属带材的检测应用中，检测目标在生产线上水平运动，为了简化模型，P调整为一维矩阵，即垂直于运动方向上的分布概率。权值定义如下：

其中ET（y）为时空能量，用于描述空间位置y处当前存在缺陷的可能性；max（E）为时空能量的上限，用于对时空能量进行归一化。

由定义可知，时空能量ET（x）将随着缺陷出现概率的增大而升高。假设当前x处能量为E，并且连续Nf帧在该位置都存在缺陷，那么x处的能量将升高为。相反，如果位置x处在当前时刻能量为E，在连续帧Nt都没有缺陷，那么在位置x处的时空能量就衰减为E×γNt。常量Tenergy和γ需要事先确定，Tenergy的取值并不需要非常严格，Tenergy与能量更新率γ共同确定在有缺陷的过程中能量递增的趋势，在应用中通过测试和实验选取经验值。

能量更新率γ决定了衰减的速度，该值使时空能量随着图像帧数以指数形式进行衰减。该值的确定取决于系统本身的状况，由于生产线上缺陷产生的概率比较小，为了准确估测下一个可能出现缺陷的位置，该时空能量就需要持续较长的时间，要求衰减的速率尽可能慢，因此γ需要选取一个接近1的值。

在显著图中，图像的显著性以灰度形式表示，若显著图在位置（x，y）处的显著性为S（x，y），则按照式（5）进行显著图调整。

调整后，缺陷出现概率大的区域显著性将被增强，概率小的则被抑制，从而减少焦点个数，提高搜索速度，也能够在指定任务的情况下提高指定缺陷的检出率。

2.2融合缺陷成因与统计概率的视觉注意机制

（1）常见缺陷分析

这里以带钢为例对缺陷进行分析。带钢的生产过程包含多道工序，在每一个工序的任意一个环节都有可能导致表面缺陷，其成因涉及工艺、装备等多个环节，因此表面缺陷的种类和成因非常复杂［7］。虽然成因复杂，但是相关缺陷仍然有一定规律，对生产工艺的分析和统计显示，冷轧是众多环节中产生质量缺陷的主要环节［8］。

这里以冷轧缺陷为例，结合宝钢集团《冷轧产品表面质量评定手册》与实验室测试的铜带缺陷样品，对常见缺陷进行分析。常见的表面缺陷有夹杂、结疤、孔洞、辊印、压痕、锈斑、划伤、油斑等几十种，导致这些缺陷的原因也不尽相同，缺陷产生的部位、形状等特征往往和产生原因有一定关联，分析常见的缺陷类型与成因，能够进一步获取不同类型缺陷出现的规律与特点，这是进行表面缺陷检测的数据基础。例如划伤缺陷一般与轧制方向平行，呈线状，多为单条或者平行的多条，可能产生在任意部位。划伤缺陷多是由于被动辊子卡住或者导板位置不当造成的。划伤多是与运动方向相平行。

（2）特征量化

特征量化分为定性分析和定量测试。定性分析是确定权值层次和分量，定量测试则是根据实际应用采集样本，针对具体缺陷进行训练，获得最佳参数。不同类型的缺陷特征不一致，因此同时检测的缺陷类型越多，在进行相应的权值调整时出现顾此失彼的情况就越突出，对应的检出率就越低，所以任务划分时将缺陷特征相近的交由一个前端进行检测。

下面以划伤缺陷为例给出定性分析过程。根据上文所述成因特征，生产线上的划痕呈线状，是生产设备刮擦导致，因此方向与运动方向平行。在初级视觉特征提取时，式（2）中，θ= 0°的角度应当得到增强，而其他角度需要抑制，划伤为三维缺陷，因此在暗域成像中会表现为明显的白色，在指纹、油污等干扰情况下，亮度和朝向特征相对颜色特征更加突出，因此在第二层次的权值中GBO＞GBI＞GBC，通过抑制颜色特征分量突出划伤所对应的特征显著性。

划伤缺陷是生产设备刮擦所导致，因此一旦出现后，再次出现的可能性就很大，并且在垂直方向上的分布位置会相同。在对缺陷进行统计分析后，针对出现概率较高的缺陷进行针对性的权值配置，并根据缺陷分布情况对第三层次分布权值进行调整，对已经得到的显著图再次进行加权就能够进一步突出需要检测缺陷的显著性。

针对多个检测任务，通过训练的方式来获得最佳权值，训练过程如图2所示。程序通过定性分析，已经确定了每个分量与对应缺陷的对应关系，在提交缺陷样本，标记与检测任务对应的缺陷区域和类型后，程序按照设定的步进增量进行迭代检测，通过前后的检测结果对比进行不断迭代，最终寻找最优解。

3 实验结果与分析

（1）缺陷样本初级视觉特征提取与显著性检测

利用从江苏兴荣公司获取的缺陷图像，提取了初级视觉特征并进行显著性检测，这里选取三个样本进行简要分析。选取的样本以及检测结果对比如图3所示。

（2）基于双向协同视觉注意机制的金属带材表面缺陷检测

为了验证本文所提出的检测算法的有效性，我们选取了实验室条件下干扰较多的样本进行实验，与Itti自底向上视觉注意机制的实验结果进行对比分析。实验样本如图4所示。

采用经典的Itti模型在不对特征分量施加任何权值的情况下，生成的特征显著图如图5所示。通过显著图可以看出最显著区域位于左上角与中间上方，通过和图4对比可以看出，显著区域并不是我们所需要检测的缺陷。

图2 采用迭代训练方法的参数定量分析流程

图3 缺陷样本初级特征提取与显著性检测

图4 实验样本

图5 自底向上视觉注意机制的显著图

在注意焦点转移过程中，通过胜者为王和禁止返回机制竞争产生的一系列兴趣图如图6所示。注意焦点共经过6次扫视，扫视过程如图7所示，通过实验可以发现，总共转移了5次才检测出所需要检测的缺陷，第1、2、4次扫视区域均为干扰区域。

图6 采用自底向上视觉注意机制的兴趣图

图7 采用自底向上视觉注意机制的注意焦点转移图

采用本文提出的双向协同视觉注意方法进行实验，显著图如图8所示。与图5对比就能够发现左上角和中上部的指纹干扰区域的显著性被明显抑制，注意焦点转移图如图9所示。通过本次实验可以发现，只需要进行3次扫视就可以获得全部缺陷区域，而且没有一次扫视到干扰区域。

图8 采用双向协同方法的显著图

提取两次实验的数据，分别填写在表1和表2中。通过数据可以看出Itti经典模型由于没有根据缺陷特征和检测任务对颜色特征等分量进行抑制，使得在0、1、4次转移中干扰区域竞争获胜。通过对实验数据进行进一步分析可知，针对本次实验样本，本文所采用的算法对特征选择更加明确，整体效率更高。

图9 采用双向协同方法的焦点转移图

由于样本中缺陷数量、干扰目标均不尽相同，为了能够客观体现算法性能，这里主要统计两个指标：

缺陷检出率=检出缺陷数量/实际缺陷数量

检测效率=检出缺陷数量/最后一个缺陷扫视次数

对每一幅样本分别计算上面两个指标，对比算法的缺陷检出率和检测效率分别为：94.3%和71.4%；本文提出算法对应值分别为：97.6%和92.6%。

表1 采用自底向上视觉注意机制的实验数据

表2 采用本文双向协同方法的实验数据

4 结束语

通过以上统计分析，可以发现使用的算法对缺陷检出率和检测效率均有改进，这对节省计算资源，提升系统实时性都有重要意义。

参考文献：

［1］张学武，丁燕琼，段敦勤，等.基于视觉仿生机理的铜带表面缺陷检测［J］.中国图象图形学报，2011，16 （4）：593-599.Zhang Xuewu，Ding Yanqiong，Duan Dunqin，et al.Surface defects inspection of copper strips based on vision bionics［J］.Journal of Image and Graphics，2011，16（4）：593-599.

［2］Malamas E N，Petrakis E G，Zervakis M，et al.A survey on industrial vision systems，applications and tools［J］.Image and vision computing，2003，21（2）：171-188.

［3］田明辉.视觉注意机制建模及其应用研究［D］.合肥：中国科学技术大学，2010.Tian Minghui.Research on modeling and application of visual attention mechanism［D］.Hefei：University of Science and Technology of China，2010.

［4］Gayubo F，Gonzalez J L，de la Fuente E，et al.On-line machine vision system for detect split defects in sheet-metal forming processes［C］.2006.IEEE，2006.

［5］Yan F，Liu C L，Yu K Q.Analysis of Surface Defects on Stainless Steel Cold Rolling Strip［J］.Applied Mechanics and Materials，2012，148：684-687.

［6］Itti L.Models of bottom-up and top-down visual attention［Z］.California Institute of Technology，2000.

［7］Zhenglian L F Y X，Jian H.Identification and Control of Surface Defects on Cold Rolled Strip［J］.Metallurgical Equipment，2010，1：19.

［8］亓爱涛.冷轧带钢表面缺陷及控制［J］.中国科技投资，2013（25）：2336-2339.Qi Aitao.Surface defects and control of cold rolled strip ［J］.Chinese Investment in Science and Technology，2013 （25）：2336-2339.

A Detection Method for Defect on Metal Strip Surface

Xu Xiaolong，Zhang Xuewu，Zhao Peiran，Zhang Lin
（College of Internet of Things Engineering，Hohai University，Changzhou 213022，China）

Abstract：Because of strong reflection on metal plate surface and complicated defect formations，it is difficult to further improve performance of the detection system.A bidirectional synergy visual attention method，mixing defect formation and statistical characteristics together，is put forward in this paper.Because the generation of metal surface defects is closely related to the production equipment and technological process，the defect formation and statistical characteristics are layered in quantizing and the priori knowledge is joined by learning and training.In order to guide the process of visual attention，in the bottom-up visual attention model，primary visual feature extraction，several characteristic figure merging and salient map are controlled respectively in weight to realize two-way collaboration，and thus testing efficiency and detection rate are promoted.The experiment results show that the method improves detection performance and efficiency obviously.

Key words：Mmetal strip；Machine vision；Defect formation；Statistical characteristics；Two-way collaboration；Visual attention；Defect detection

DOI：10.3969/j.issn.1002-2279.2016.02.015

中图分类号：TN911

文献标识码：A

文章编号：1002-2279（2016）02-0056-05

基金项目：❋国家自然科学基金（61273170）；高等学校博士学科点专项科研基金（20120094120023）

作者简介：徐晓龙（1974-），男，山东聊城人，实验师，硕士研究生，主研方向：表面缺陷检测，EDA技术。

收稿日期：2015-06-12