机织物局部组织复原与密度自动测定

韦秋菊，孙晓婉，徐平华,b,c，徐明慧，贾 静

(浙江理工大学，a.服装学院; b.浙江省服装工程技术研究中心; c.丝绸文化传承与产品设计数字化技术文化与旅游部重点实验室，杭州 310018)

机织物由经纬纱线按照特定规律交织而成，其密度影响了织物的机械性能和服用性能。ISO 7211-2:1984《纺织品 机织物结构分析方法 第二部分：单位长度纱线根数的测定》、GB/T 4668—1995《机织物密度的测定》等现行标准所规定的人工计数法耗时费力，且容易产生误差。素色机织物经纬交织性状，在数字图像上反映出纱线纹理周期性变化。相关研究从空域或频域出发，采用灰度投影法[1-2]、光栅干涉法[3- 4]、傅里叶变换[5-6]、小波变换[7]等方式，解析织物纱线纹理周期特征，实现密度的自动测定。

然而，色织、印花、提花、污渍以及局部缺损，不同程度地干扰了纱线纹理信号的准确提取，检测适用面受限。陆海亮等[8]对获取的织物正反两面图像进行融合，采用快速傅里叶变换测定色织物密度；Meng等[9]利用多尺度卷积神经网络结构定位经纱和纬纱，具有较高的准确性和鲁棒性; 陈凯峰等[10]融合多角度光源图像增强纹理特征，采用自适应局部加权回归平滑投影曲线，测定色织物密度。上述研究从不同角度提出了减弱纱线颜色干扰的解决路径，有效解决了色织物密度的自动测定。相较于色织物的弱纹理表现，印花或烫印类图案近似完全覆盖了纱线纹理，造成了局部信息缺损。因此，如何从遮盖区域复原出基布纱线纹理，进一步扩展织物密度检测的适用面具有一定的应用价值。近年来，图像补全技术广泛应用于场景信息的盲区修复，利用参照信息对空缺部分进行填充，构建缺失信息，如偏微分方程补全法[11]、纹理合成法[12]、深度学习法[13]等。Criminisi等[14]依据样本周边块信息，通过优先权设定可以部分确定边缘和内容信息。其后Yao[15]对优先权函数进行优化，提升了低纹理修复质量和速度。基布纹理具有连续性和相似性，采用补全方式，在一定程度上可减弱非纱线纹理或颜色的干扰，提升预处理阶段图像修复质量。

为此，本文尝试改进的Criminisi算法，探讨常规组织结构面料种类，不同尺度、类型印花图案修复后的密度测定准确性。重点对Criminisi算法优先权项、修复模块窗口的适应性，补全缺损区域纱线纹理信息，利用小波变换对补全后的织物图像进行密度测定和分析。

1 实验方案

1.1 总体思路

图案干扰了纱线纹理的正确提取，需对其对应区域的基布纹理进行复原。基本思路为：首先对图案进行定位，分割图案形成缺损图像；其次利用织物残存组织信息迭代补全该区域纹理信息，从而获得相对完整的素色织物图像。所采取的实验方案流程如图1所示，包括输入样本设计、纹理修复、小波变换、密度换算与主客观一致性分析等模块。

图1 实验方案总体思路Fig.1 The general guideline for the experimental scheme

通过对印花图案所在区域的定位，利用改进的Criminisi算法，实现修复模块窗口的自适应调节、优化优先权项，最大限度实现该区域纱线纹理的复原，减弱图案在频域信号的混杂效应；其后，利用Morlet小波变换，解析经纬方向纱线纹理，实现密度的测定；最后，与素色织物进行对比，评估算法对图案所在区域的复原质量，进一步地，对实验样本密度主客观检测的一致性进行分析。

1.2 实验样本

为便于比对印花区域修复前后差异，以常规组织素色织物作为参照，采用图案与织物图像融合的方式，变换图案类型和尺度大小，设计虚拟印花样本。作为基布的素色织物，选取平纹、斜纹和缎纹3种常规组织，采集视野截取10 cm×10 cm的矩形区域作为参照样本。在此基础上，选用3种图案与织物图像进行融合，图案类型分别为对称图、镂空花卉图和非规则树叶图，图案最大外接矩形边长设置为2、6 cm和10 cm 3种不同尺寸。

按照组织结构、图案类型及图案尺寸，共计设计出27份测试样本。部分样本融合图如图2所示，以编号“P-F1-D10”为例，首位“P”表示平纹(相应地，“T”表示斜纹，“S”表示缎纹)、“F1”表示图案1、“D10”表示图案外接矩形最大边长为10 cm。实验中，参照用素色织物采集均在标准光源箱内完成，利用良田BS1880P高拍仪拍摄，最大成像尺寸为 4 898 pixel×3 672 pixel。实验过程中，利用标尺裁剪10 cm×10 cm 织物有效区域，形成 2 492 pixel×2 492 pixel的待测图像，有效分辨率为633 dpi。

图2 部分测试样本图像Fig.2 Partial specimen images

2 局部组织复原

Criminisi算法[15]基于样本最相似目标块填充待修复区域的算法，能够同步处理纹理和结构。针对大破损织物图像，Criminisi算法随着修复的不断进行，置信项越来越小。整个过程中，优先权的设置较为关键。

2.1 修复优先权设置

在待修复区域轮廓处选定优先权最高点，以其为中心构造指定大小的模板块，在完好区域寻找最优匹配，通过更新置信度及轮廓进行迭代修复，直至破损区域完整修复。以下针对融合图案后的织物图像进行优先权设计。设O表示待修复区域，Φ为已知区域；k为修复模块中心点，δS表示缺损区域边缘；φk表示待选取的修复模块，该模块一部分包含了已知的区域，其余部分为破损区域，图3为复原示意图。

图3 图像复原示意Fig.3 Schematic diagram of the image repair algorithm

为了提升优先权适应性，重点对数据项进行调节，增大权重，公式如下：

K(k)=εC(k)+ηD(k)

(1)

(2)

(3)

2.2 修复模块尺寸选择

Criminisi相关算法[14]中采用固定值窗口，一般设置为固定值，对于小尺寸破损图像具有较好的修复效果。对于较大区域而言，需要更多的迭代次数，其置信度逐步收敛至0，导致出现数据项过大形成优先权判定失误。为此，正确设置修复模块大小，才能有效适应不同尺度图案区域的复原。实验中，依据图案大小，对修复模块尺寸进行自适应修正。

SO为图3破损区域O的初始面积，为了适应图案大小，采用自主判定方式调节修复模块尺寸。为此，当SO≤ξ·M·N(取0.5<ξ<1)，

(4)

式(4)中:l为修复窗口边长，λ为收缩因子。否则，

(5)

式(5)中:SO′为迭代后的破损区域面积，μ为迭代过程面积收缩因子，取值为0～1；τ为调节参数，范围为1～10。

2.3 区域纹理复原

对设计样本图案所在区域进行复原，基本步骤如下：

a)干扰区域定位与标记。采用Otsu[16]分割算法将图案单独提取出来。以样本“P-F1-D10”为例，图4(b)是对图4(a)中图案分割后形成底纹保留图，黑色区域为图案位置。其次，对图像进行掩膜处理，对图案边界坐标进行提取(图4(c))，存入边界矩阵。

图4 图案分割与定位Fig.4 Pattern segmentation and positioning

b)修复参数判定。按照式(1)—式(3)计算优先权K(k)，确定优先修复区域；确定l，若原破损区域的面积小于ξ倍图像面积，则采用式(4)确定修复尺寸，否则采用式(5)计算修复尺寸。通过计算，优选模块选定在图4(d)中红色矩形区域。

c)最佳匹配块优选。在织物图像有效区域寻找最佳匹配块，采用SSD[11]最优匹配原则将最优匹配块的相应像素值替换到待修复块中，并更新置信度和待修复区域。最佳匹配块确定方式为：

(6)

式(6)中:φK是寻找的最佳匹配块，φK是当前优先权最大的修复模块。k是修复模块的中心点。

d)待修复区域复原。重复上述步骤，直到完整修复图案区域，最终修复效果如图5所示。

图5 修复效果Fig.5 Repair effect

e)织物复原质量评价。为了验证修复算法对组织结构、图案种类、图案大小等因素的适用性，此处采用PSNR[17]评价修复质量。

(7)

式(7)中:x和y为图像I的坐标位置，I(x,y)为原图像在当前索引的像素值，Id(x,y)为重建图像在当前索引的像素值。

3 经纬密自动测量

3.1 预处理

织物图像中的噪声一定程度影响小波变换分解效果，在进行频域率处理之前进行降噪处理。实验中采用中值滤波[18]，消除图像中孤立的噪声点；此外，采用直方图均衡化[19]适度优化对比度；利用Hough[7]算法，进一步对齐织物方向，提高分解准确性。以复原后的样本“P-F1-D2”为例，预处理效果如图6所示。

图6 图像预处理Fig.6 Image preprocessing

3.2 小波变换

实验选用Morlet[21]二维小波，对织物图像进行多级分解，捕捉不同角度和尺度下的图像的信息，获得每级小波系数，通过重构获得特征信息子图像。Morlet小波函数表达式为:

(8)

式中：N为宽带参数；ω0为中心频率；t为采样时间；j为复数单位；φ(t)为小波变换结果。

对修复后的图像进行Morlet小波变换，获得各个方向上的信息子图像。图7分别以平纹、斜纹、缎纹织物为例，角度为0.5π和1π时的变换效果。

图7 Morlet连续小波变换Fig.7 Morlet continuous wavelet transform

4 结果分析与讨论

4.1 复原效果评价

实验中利用优化算法对样本进行复原处理，并采用PSNR法对复原效果进行分析。同一图案，不同尺寸，以样本“P-F1-D2”“P-F1-D6”“P-F1-D10”为例，图8显示改类样本的修复效果。

图8 同一图案不同尺寸修复效果比较Fig.8 Repair effects of the same patter of different sizes

对同一尺寸不同图案修复效果进行比较，分别以样本“S-F1-D6”“S-F2-D6”“S-F3-D6”为例，修复效果如图9所示。

图9 同一尺寸不同图案修复效果比较Fig.9 Repair effects of different patterns of the same size

由图9可以直观看出，Criminisi算法[15]修复时出现纹理错修现象，改进后的算法在细节上更好地恢复了底纹原貌。

为客观比对修复质量，采用PSNR法，对采用Criminisi、优先权优化，以及优先权+修复模块优化3种方式，复原质量结果如图10所示。

图10 3种修复方案PSNR值Fig.10 PSNR values with three repair algorithms

由图10可以看出，优先权+修复模块同时优化，相较于前两种方法，PSNR值更高，修复效果相对更好。组织结构相同情况下，同一图案，尺寸越大，即干扰区域越大，其PSNR值呈现衰弱趋势，以平纹织物样本“P-F1”为例，图案尺寸为10 cm时，较6、2 cm有明显下降趋势。对于尺寸为2 cm时，3种方法修复效果差异不大。同一组织结构，同一尺寸，不同图案修复效果差异较小，因分割时对花型外轮廓进行提取，镂空区域也默认为待修复区域，因此，仅有的PSNR差异值取决于花型的面积和形状。因PSNR是对图案自身的峰值信噪比进行计算，同一图案、同一尺寸，其差异来自于织物组织结构信息自身，因此，不具有可比性。

总体来看，本文提出的优先权+修复模块优化算法能够较好地复原图像。然而，PSNR值仅能够反应织物图像总体的信息规律，为了能够验证修复算法对机织物密度测量的可靠性，仍需采用密度统计值进行分析。

4.2 主客观一致性分析

对上述27份样本分别采用人工检测和本文优化算法进行密度测量，结果如表1所示。

由表1可以看出，当图案尺寸为2 cm和6 cm时，主客观一致性为100%；对于测试样本“S-F3-D10”，其经密出现误判，“T-F1-D10”“S-F2-D10”纬密出现误判，10 cm内根数主客观值相差均为1根，此时图案尺寸为 10 cm。由此可见当组织结构为斜纹和缎纹组织时，由于纹理修复过程中存产生扭曲。参考信息较少时，或纵横向边界不完整时，容易出现误判，总体误判率为11.11%，主客观平均一致率为99.89%。由此可见，该方法对于中小尺度的干扰图案复原具有良好的适用性，当图案尺度外接矩形边长趋向 10 cm 时，复原质量减低，影响密度测定的准确性。

表1 样本密度测量测定结果Tab.1 Measurement results of specimen density

5 结 论

本文从图像复原角度出发，对图案全覆盖情形，提出了利用改进的Criminisi算法，复原基布纱线纹理信息，以解决印花图案对机织物密度测量的干扰。实验结果表明，该算法能够对中小尺度的图案区域进行复原，对于边界长度趋向10 cm时，检测容易出现误判。实验样本误判率为11.11%，主客观检测一致率均值为99.89%。

该方法的提出是对纹理极端干扰下织物密度自动测量的一种探索。对于严重干扰或完全遮盖织物纹理时具有一定的适用性。对于复杂组织类型、高密织物等复原、检测效果仍需进一步研究。