基于角点优化的印刷品质量动态检测方法仿真

梁 锐，韩震宇

(四川大学机械工程学院，四川 成都 610065)

1 引言

检测算法在印刷品缺陷检测系统中的研究和实现是技术关键[1]。在印刷品缺陷的检测中，由于印刷图案一般预先不可知且多要求在线检测，因此工业上常使用两幅图像进行差分的方式来寻找缺陷的存在，即差影检测法。在差影检测法中，校正的精度将直接影响后续检测结果的准确性和精准性[2]。然而这种方法不能保证在两个时刻点图像采集的环境一致，具体的环境波动如印刷品的拉伸形变、印刷品的左右摆动、线阵相机触发脉冲不均匀，从而导致图像产生畸变无法直接通过一次配准和差影的方式获得精准的检测结果。为了提高印刷品的精度，武汉大学田敏[1]提出分区域分等级的印刷品缺陷检测方法，其根据印刷品不同区域的不同的特征和重要性来设定不同的检测等级，但该方法在特殊区域无法对微小缺陷进行检测。此外，还有的学者利用一些数学变换，如刚体变换、仿射变换、多项式变换来进行图像几何校正，如杨晓妍[3]提出了一种针对畸变印刷品字符校正的多项式自寻优化改进方法，利用菌群算法对畸变区域进行控制点自寻优，从而达到字符畸变区域最优校正的目的，但是该算法主要针对印刷字体畸变严重情况且计算量大响应慢，适用于小图幅图像检测。

通过观察印刷品被检图像中的畸变形状特征，发现图像主要发生渐变拉伸和错位现象，针对以上现象给印刷品质量检测带来位置噪声，提出一种基于角点优化的印刷品质量动态在线检测方法。仿真证明，该方法能够有效降低以上畸变现象带来的噪声，降低信噪比，提高在线检测精度，具有一定的生产指导意义。

2 印刷品质量动态检测原理

目前工业上印刷品质量检测的流程基本为：对图像和模板图像进行预处理，对预处理后的图像进行模板匹配使得两幅图像位置配准，然后利用差影的方式结合评判标准来找出在印刷品中所存在的缺陷[4]。但是实际生产过程中的环境复杂，两幅图像的生成时刻点不同，图像采集过程中会受到环境波动的影响，直接反映在图像上就是会导致图像发生平移、拉伸、重影等畸变现象。

在采集两幅图像线阵相机触发脉冲不均匀性将会导致纵向位置噪声，两幅图像的触发间隔分别为ΔL1、ΔL2，如图1所示。

图1 相机触发脉冲不均匀产生的影响

在图1中在第一幅图像的第6个脉冲和的第二幅图像第7的脉冲所扫描内容大致相同，但是两幅图像的第6个脉冲所扫描的图像相差甚远，两者无法直接进行差影比较。该情况出现的条件为

(1)

在理想情况下，认为印刷物品为刚性物体，然而对于在线检测过程中，印刷品因受到机械作用力而产生一定的伸缩变形，使得印刷品的版周长度发生变化且变化不具有规律性。此外，在印刷过程中印刷品也会随滚筒旋转发生横向方向上的摆动，从而带来横向位置噪声。印刷品的位置可以使用设备坐标系来表述，图2表示模板图像与被检测图像由于图像采集时间点不一致且印刷品在滚筒发生横向摆动导致两幅图像在设备坐标系中位置不同。

图2 印刷品的横向摆动

图像的采集原理也会造成图像发生位置噪声。图3(a)为三条黑白的相间的印刷图像，其中第一条、第二条直线的线宽小于一个像素，第三条线宽大于一个像素。图3(b)和图3(c)为线阵相机在采集时间不一致可能的成像效果，线阵相机每条扫描线之间的间距并非严格一致，加上相机成像时环境波动，因此会形成图3(b)和图3(c)的数字图像，这种图像是原印刷图像的一种轻微失真图像。两幅(模板和被检)失真或者畸变的图像，在差影检测法中表现就是一种位置噪声。

图3 相机采集图像

在差影检测法中，如果发生以上位置错位就会导致结果误判，因此图像应该具有随机或者定期对已配准的位置进行动态位置调整的能力。根据缺陷在印刷品中总是小概率事件，该动态检测法采用最坏预测策略，在搜寻过程中如果采用了其它消除噪声的方法后差影值依然超差，才可能进行动态位置调整，尽量减小搜索和重新匹准的代价。

在进行差影比较中，如果某一像素在其它处理历程完成后灰度依然异常(即超差)，要经过错位判定机制检测无误才能将其归入缺陷集合，否者说明图像发生错配，需根据错位判定机制检测结果信息进行动态位置调整之后返回检测流程中继续进行后续检测环节，检测流程如图4所示。

图4 印刷质量动态检测流程图

错位判定机制是整个动态位置调整检测的关键，其意味着在图像中的像素点要不断的标定参考坐标系中的位置，因此需要寻找图像中的某些特征作为错位判定机制的参考。田亮[5]利用图像增强进行特征点提取并通过最近邻方法进行匹配实现图像的平移校正，但该方法会进行大量的预处理并需要维持很多特征来完成图像配准。通过观察工业印刷品及图像特征，发现印刷品在局部范围内具有一定的刚度，也就是说图像在局部范围内不会发生像素级的形变，因此在局部范围内只需要一个特征参考即可完成该区域的错位判定。而图像上不同特征点的位置调整能力不相同，其中图像角点为二维图像亮度变化十分明显的点或曲线边缘上曲率极大值的点[6]，其自身特征和周围像素特征差异化较大，具有较强的位置调整能力，容易形成较为精准的位置配准。通过找出图像中的角点并每个角点负责一块局部区域的错位判定，在缺陷检测过程中根据两幅图像合格角点的位置关系判定图像中是否发生位置错位以及根据两个角点提供位置信息进行动态位置调整。

3 基于图像角点的印刷品质量动态检测方法研究

3.1 图像角点检测算法

图像角点(Corner Detection)是计算机视觉系统中用来获得图像特征的一种重要方法，广泛用于运动检测、图像匹配、三维建模和目标识别等领域[7]。目前角点检测算法中最常见的有Harris角点检测算法、Shi-Tomasi角点检测算法、FAST检点检测算法、surf检测和sift检测等等[8]，而其中Harri算法和Shi-tomasi算法在局部特征检测中表现优越，根据印刷品局部具有一定的刚度特性，应首先考虑这两种算法。Harris角点检测算法是基于Moravec算子提出的，是对Moravec算子的改良和优化，它是通过Taylor级数展开法扩展Harris角点来计算窗口沿任何方向移动后的灰度变化情况，用数学解析式进一步确定特征点，同时引入了平滑因子，增强抗干扰能力[9]。Harris在图像上以点I(x，y)以相对位移(Δx，Δy)进行平移，其窗口灰度特性可以根据点自相关函数式(2)计算得到：

(2)

(3)

式(2)(3)中I(x，y)为图像的灰度值，Δx，Δy为相对位移量，W(x，y)表示以点x，y为中心的窗口函数，一般为高斯加权函数，具体如式(4)所示。

(4)

(5)

(6)

式(5)中Ix，Iy分别为图像在水平方向和垂直方向上的偏导数。矩阵M(x，y)的特征值大小反映了当前位置像素点在局部范围的突出程度。而Harris算法则通过响应值R来进行图像角点的判断。

R=det(M)-k(tr(M))2

(7)

式中det(M)为矩阵M的行列式，tr(M)为矩阵M的迹，如式(8)，(9)所示。

det(M)=λ1λ2=AB-C2

(8)

Tr(M)=λ1+λ2=A+B

(9)

3.2 动态调整的角点优化策略

在图像的局部范围内可能存在多个角点，因印刷品具有局部刚度特性，畸变在局部范围内不会以像素级别体现。如果在图像检测过程中将冗余角点信息存储将会导致动态调整过程中角点污染和耗用内存高等问题。假设图像分辨率为w，印刷品畸变出现一个像素差的距离为x，因此可以推导出畸变在图像上反映距离像素点个数n(刚度有效距离)，λ为调整系数。

(10)

通过Shi-tomasi角点算法对图像进行处理，提取到的角点放置于集合A中。为寻找图像中特征最强的角点，对集合A按照角点响应值由大到小排序操作

(11)

式(11)中I表示两个数值的度量函数，u，v表示集合A中的两个角点分别所拥有的响应值R信息，σ表示给定的角点评判标准最小阈值。对集合A中的每个响应值R进行上式运算，通过X次计算即可完成集合A的排序工作

(12)

式(12)中，c(A)表示为集合A中元素的个数，即全局搜索角点的个数。其中整个过程两个响应值R有可能从未参与过式(11)比较，也有可能参与了比较，但是最多只会比较一次并不会多次比较。

设定最终的角点信息有效集合为C，其定义为

C={z，μc(z)|z∈A}

(13)

(14)

式(14)中集合B表示集合C对应排斥集合。根据式(10)算出来印刷品刚度有效距离n，每当一个角点被选入最终有效集，其距离大小为n范围内的角点都应该舍弃。

B={z0(u0，v0)，z2(u1，v1)，1-μB(z0，z1)|z1∈A}

(15)

(16)

式(15)(16)中z0表示在式(13)中被选入到最终有效集C的角点，lower为向下取整操作。为加速后续的角点查询，利用散列表的方式将角点信息进行存储，通过散列函数快速查找角点是否在最终有效结果集中。最终有效集存储的角点信息为角点的横向坐标和纵向坐标，自定义散列函数为

hash(x，y)=(x×cows+y)%m

(17)

式(17)中cows为所检图像像素排数，m为大于检测所需角点数量的某一质数。

通过角点筛选后获得图像中满足提供动态检测依据的角点并将其进行存储优化以便后续动态调整过程的快速查找。图5为本文待检测图像，通过不同方法将所检测到的角点信息输出在相同大小的图幅中展示，图中白色表示角点所在位置。图6为未进行角点优化之前角点分布图，图7为角点优化方法角点分布图。

图5 被检图像

图6 未优化前角点分布图

图7 角点优化后角点分布图

可见通过上述方法优化的角点信息具有规律、不聚集等特性，能够在局部范围内提供动态调整参考信息。

4 仿真结果和分析

为了验证基于图像角点的印刷品质量动态检测方法的可行性和有效性，进行相关实验，实验设备配置为CPU为AMD Ryzen 5 2600X Six-Core Processor的微型计算机、操作系统为Windows10、实验环境为基于opencv库的visual studio2019。实验图像为项目合作印刷厂商的采集图像，通过实验，得到的实验结果和分析如下所述。

实验的评价指标为目前比较常用的缺陷评测指标：检测精度(precision)，召回率(recall)和F1值(F1-score)。在视觉领域三者通常是基于像素级别定义，公式如下[10]：

Pre=TP/(TP+FP)

(18)

Rec=TP/(TP+FN)

(19)

F1=2*Pre*Rec/(Pre+Rrc)

(20)

其中TP表示正确检测到的像素点数，FP表示虚假缺陷像素点数、FN表示未检测到缺陷像素点数。Precision表示检测出来的缺陷有多少是准确的，Recall表示所有准确(已知)的缺陷有多少被检测出来，两者都是越高越好，F1-score是两者通过关系函数得出的综合指标。实验过程中，分别利用了未进行动态调整、基于普通角点、基于角点优化后的方法对印刷图像进行了检测，得到的图像结果如表1所示。其中F表示实验方法，a、b、c分别表示未进行动态调整的普通差影法、基于普通角点动态检测法、基于角点优化动态检测法。

表1 不同方法检测精度对比

通过对比表1中三种方法可以看出，方法b、c的FP明显降低，pre值明显增高，说明通过动态调整法可以显著提高印刷品检测精度。方法c在进行印刷品缺陷检测中的三项评价指标中都是最高，FP相对于方法b来说明显降低，说明基于角点优化的印刷品质量动态检测方法能够有效的抑制由于环境原因产生的位置噪声，提高缺陷检测的精度。实验不同方法进行图像缺陷检测过程中得到的处理图像结果如图8所示。

图8 不同方法检测结果图像

观察图a，左边呈现椭圆形状污点为印刷品缺陷，而右边区域的零碎污点为图像畸变带来的位置噪声，通过对比图a，b可知，基于普通角点的动态检测方法，在一定程度上可能消除噪声，但也会因为角点污染在原本没有噪声的区域发生错配而产生新的噪声，导致缺陷检测不准确。图c为提出的基于角点优化的动态检测方法实验结果，图中的噪声在3幅图像中最少，说明该方法能够精准的对图像中的缺陷进行提取，并能够抑制由于检测环境影响所带来的图像位置噪声，保证图像缺陷检测的精度。

5 结束语

印刷品印刷质量的在线检测作为实现印刷品生产与检测一体化的重要过程，越来越受到相关专家学者的重视。目前基于差影法的印刷品图像缺陷检测过程中，难以使用简便的处理对环境所引起的图像噪声进行抑制，影响检测精度，且随着而来带来大量误报、检测速度慢等问题。为解决上述问题，提出一种基于角点优化的印刷品质量动态检测方法。实验结果表明，所提方法能够有效缓解当前印刷品检测中的不足，为该研究方向的深入研究发展提供思路和理论依据。