基于三向控制图对图像数据过程监控

赵强，杜清清，万旻晏

（650504 云南省 昆明市 昆明理工大学 机电工程学院）

0 引言

随着机器视觉技术的快速发展，图像数据的过程控制在生产制造中扮演着重要角色。怎样用统计过程控制技术对图像数据进行监控成了一个重要问题。图像的质量特征可分为尺寸特征（如长度、宽度和体积）和感官特征（如产品的颜色和外观）。Horst[1]最早提出利用MVS 技术先获取产品图像的尺寸数据,再用简单控制图对尺寸数据进行监控,实现了统计过程控制对图像数据的监控。生产者在生产过程中最早利用机器视觉技术，结合常规的控制图对产品尺寸进行了监控。对于纺织品、液晶显示屏、瓷砖等产品,顾客更关注的是产品表面是否一致，其特定模式是否相符合,所以本文用控制图对图像表面缺陷进行研究。检测产品中缺陷的位置和尺寸能减少对过程的后信号诊断对操作人员的依赖，并加速了对潜在原因的识别。

在图像中各像素灰度值都遵从正态分布且各像素之间互不相关的情况下，Armingol 等[2]提出针对图像中各个像素的灰度值，采用X-Rm 控制图对图像中每个像素的变化进行监控，但由于图像数据高维且复杂，对每个像素建立控制图计算量太大，结果会有误差；Jiang 等[3]利用数字图像处理系统，使用一种改进的I-MR 控制图对油封的尺寸(内径和外径)和表面缺陷进行了监测，均用单值-移动极差控制图检测图像数据，但这种方法只能检测图像组间的变化，不能检测组内变化；盛俏俏等[4]使用三向控制图对真丝倍捻进行质量控制，能对2个监控指标进行监控，同时实现短期和长期的稳定性判断。可以看出，三向控制图具有检测多变量，且判断同一产品差异情况的能力。

本文研究对象是样本量少、具有一致性、样本缺陷差异大的一致性图像，所以尝试采用计算简单的单控制图组成三向控制图联合监控图像质量[5]。

1 图像处理

1.1 图像数据转换

图像通常由函数f（x，y）表示，点（x，y）被称为像素。其中，x 和y 表示图像平面在空间中的横向坐标值和纵向坐标值；f（x，y）的函数值表示该像素点的灰度值，所以对图像数据的监控就可以变成对其像素灰度值的监控。

一般来说，图像中可能发生一个像素偏移，也可能发生多个像素偏移，甚至单个和多个组合的偏移，例如一张5×5 的图像,就可能出现225种偏移情况。所以，为了减少计算量，将图像分割成大小相同、不能重叠的小方形区域。计算分割后每个小区域所有像素灰度值的平均值，各区域平均值就代表了进行研究的各变量，从而图像数据的监控就变成了对各个小方形区域内平均灰度值监控。假定每一幅图像中每个像素的灰度值都遵从正态分布且每个正态分布的像素之间相互独立，那么每一个区域的像素灰度均值也具备以上特征。如果把一张图像分割成m 个区域,则图像可由m 维向量来表示：

式中：xk——第k 个区域的灰度均值。

本文研究的产品图像具有一致性或某种特定模式，如纺织品、液晶显示屏、瓷砖等，所以在应用控制图之前，应该消除任何不一致的指定模式，同时去除图像冗余信息。这里，我们用一个标准产品的图像减去另一个待检验的图像，得到的残差矩阵划分为特定区域。这种减法的像素灰度值由原来的[0，255]范围变成了现在的[-255，255]。因为特定区域不管正负都反映了标称图像和样本图像之间的差异，所以为便于控制图计算，最后取各特定区域像素灰度绝对值进行计算。

1.2 图像预处理

在SPC 中使用图像数据的主要挑战是如何处理获取的大量数据，以便在SPC 方法，特别是控制图中使用这些数据。本文借鉴Koosha[6]mvs 派生出来瓷砖图像作为研究对象，随机选取21 幅来自工业过程的产品的连续在线瓷砖图像，然后随机抽取一张无偏移的图像作为标称图像，剩余图像作为监控对象。

要使图像数据变得简单，就需对所有图像进行预处理。本文先把捕获的图像（图1（a））的像素调整到265×265 的大小，消除图像背景，去除图像无用部分，使得仅含待检测产品/部件的灰度图像（图1（b））被保留。然后对图像进行区域分割，将图像划分为53×53 的小区域，则共得到 25 个不可重叠、大小相同的小区域。如果像素数据进行计算，需要将像素的uint8 数据类型转换为double 型，否则不能计算统计量。在图像预处理后，为了消除图像特定模式和冗余信息，用标准图像一一减去待检测图像，得到图像（图1（c）），最后用残差区域的绝对值绘制控制图。

图1 图像数据Fig.1 Image data

采集到20 幅样本图像，经过以上方法处理，得到25 个区域平均灰度值的绝对值。为了方便下面三向控制图的计算，表1 列出了每个样本图像25个区域的平均值（）、极差（R）和移动极差（MR）。

表1 样本图像三向控制参数值Tab.1 Three-way control parameter values of sample images

（续表）

2 数据分析及控制图运用

2.1 数据正态性检验

运用均值极差控制图和单值移动极差控制图前都需要数据遵从正态分布，所以本文的三向控制图同样也需要数据正态分布。本文将标称图像和捕获图像的强度值残差矩阵划分为特定区域，进而25 个待定区域就是我们研究的变量。由于变量比较多，而三向控制图是运用变量总均值进行控制，所以我们取所有残差矩阵区域的均值进行正态性检验。如果判断结果均值服从正态分布且数据是连续性的，就能运用三向控制图。

由于样本数较小，运用K-S 检验能判断均值是否正态分布。从图2 可以看出，sig.=0.078＞0.05，显著性水平很小，所以服从正态分布。

图2 K-S 检验图Fig.2 K-S test diagram

用Q-Q 图进一步确认。由图3 可见，均值分布基本在直线附近，所以可以认为服从正态分布。

图3 平均值的正态Q-Q 图Fig.3 Normal Q-Q diagram of mean value

2.2 控制图的选择

三向控制图是多元统计控制图的一种特殊形式，由单值控制图、移动极差控制图和区间控制图组成。用于在同一部件的不同位置，以相同方式监控同一工作过程的统计控制状态。三向控制图可以同时监控上述多个过程的质量特性，发现任何失控的质量特性。通过使用三向控制图，不仅可以监控组件之间的变化，还可以监控组件内部的变化。

单值控制图和移动极差控制图可以利用连续均值之间的移动极差确定控制限。移动极差可以估测出样本均值的标准分布，其分布情况也将影响结果的随机误差。利用样本之间的变异，单值控制图和移动极差控制图可以联合起来追踪过程变异和过程位置。极差控制图是测量原始均值的R 图，可以用来追踪样本内的变异因素。3 张图联合提供了一种能检测样本之间的变异因素、过程位置的稳定性、样本内部变异因素的方法。

本文研究对象是瓷砖图像，为了保证瓷砖表面一致性，应用图像处理方法把研究各区域灰度均值问题变成研究和标准图像差异的问题。用标准图像减去样本图像得到残差图像，其每个区域的值就能反映图像的受控情况。残差图像不同区域值就可以看成三向控制图的同一部件不同位置的同一质量特性。这样就能运用三向控制图研究残差图像之间波动和残差图像内部的波动，最后得到图像数据的监控情况。三向控制图对图像数据进行计算的公式如式（2）—式（4）[7]。

（1）单值控制图

（2）移动极差控制图

（3）极差控制图

本文的极差控制图上的各点就是一个样本图像所有区域灰度均值xij（1 ≤j ≤n）的极差，其极差控制图上各打点值表示为Ri=Max1≤j≤n{Xij}-Min1≤j≤n{Xij}（1 ≤i ≤k）。极差控制图能很好地检测各个部件内的差异波动。极差控制图的中心线和控制线为

2.3 I-MR-R 三向控制图的建立与分析

I-MR-R（组间/组内）控制图中主要包括3种控制图：子组均值单值控制图、子组均值移动极差控制图、子组样本极差控制图。其中，前两个控制图用于监测组间变异情况，最后一个控制图用于监测组内的变异情况。瓷砖图像处理控制的I-MR-R 控制图如图4—图6 所示。

图4 子组均值单值控制图Fig.4 Single value control diagram of subgroup mean

图5 子组均值移动极差控制图Fig.5 Subgroup mean moving range control diagram

图6 子组样本极差控制图Fig.6 Range control diagram of subgroup samples

可以看出，子组均值单值控制图中18 这点超出上控制线，其余点上升下降交替进行。表明第18 张图像出现异常，统计过程失控。子组均值移动极差控制图中4、14 两点贴近下控制线，18 点超出上控制线，其余点呈锯齿模式。表明样本图像之间存在波动，其中第18 张图像出现异常波动。子组样本极差控制图中18 点大大超出上控制线，其余点比较均匀地分布在控制线内。说明第18 张图像内部区域出现了巨大波动，其余图像内部区域比较稳定。

由3 幅控制图的结果可以看出，第18 张样本图像出现了差异，因此控制过程应该去除第18 张图像，然后再用三向控制图对剩余图像进行过程控制。如果控制图表现稳定，就可将分析控制图转化为控制用控制图，在随后的生产过程检测新瓷砖图像表面是否异常。随后的检测中，当数据点落在控制限内时，表明生产过程的瓷砖表面稳定；当数据点超出控制限值时，表明瓷砖表面处于不稳定状态，表面可能发生异常，及时报警，提醒员工进行调整，以达到控制瓷砖生产的目的。

2.4 偏移区域检测

由上文三向控制图结果得知，样本图像在第18 张图像发生偏移，为识别出偏移发生的具体区域，将偏移后各区域数值与其受控各区域数值进行对比。本文将第18 张图像残差区域的估计值与第一张受控图像残差区域估计值进行比较。如图7 中，偏移样本区域1 估计值与其受控样本区域1 估计值有明显不同。

图7 偏移区域和受控区域对比图Fig.7 Comparison of offset area and controlled area

区域1 被认定为发生偏移的区域，在图8 中对偏移区域进行标记，对比图8（a）、图8（b），能明显看出图8（b）区域1 发生偏移。

图8 图像差异对比Fig.8 Image difference comparison

说明第18 张图像的区域1 与其他图像有差异，提醒工作人员找到区域1 发生故障的原因，有利于图像过程的控制。

3 结论

机器视觉系统越来越多地用于工业应用，越来越多的学者开始研究如何利用图像数据来判断生产过程是否受控。本文提出一种基于三向控制图的方法，实现对一致性图像进行监控。但运用该方法有限制条件，需要研究的样本图像的样本量少、图像之间一致性差异明显，数据符合正态分布。

高维的图像数据不能直接代入控制图中计算，所以对图像数据进行处理，得到残差数值，最后代入控制图计算。本文对具有一致性的20 幅瓷砖图像进行过程控制，找到出现异常的图像，并通过比较偏移区域和受控区域数值，找出异常图像发生偏移的区域。这有利于生产人员及时检测出偏移，提供有关偏移的信息，帮助生产者找到出现异常的原因，然后恢复生产过程，避免造成损失和浪费。