基于NSCT子带融合特征的纹理材质分类

陈 旭 徐超义

(南京信息工程大学自动化学院 江苏 南京 210044)

0 引 言

纹理是一种反映图像中同质现象的视觉特征，不同于灰度、颜色、形状等图像特征，纹理通过像素及周围空间邻域的灰度分布来表现。纹理特征具有类内差异性和类间相似性，单一的纹理特征提取算法很难准确地描述图像纹理，因此提出一种具有高鉴别性和高计算效率的图像纹理特征提取方法一直是研究的热点。近年来随着研究的不断深入，纹理分类已经应用于很多重要领域并且起到了非常关键的作用，如虚拟现实与人机交互技术中就需要对提取的纹理特征进行分析与建模，不同材质的纹理特征在人机交互中给人带来的感受也不同，优秀的特征提取算法将会提高人机交互的真实感与沉浸感。

对于图像纹理特征的分类识别，国内外研究者提出了很多研究方法。Karmakar等[1]对Tamura纹理提取算法提出了改进，用核描述符代替直方图，增强了特征的旋转不变性，但是Tamura算法提取的是全局特征信息，利用单一的Tamura算法提取特征会导致图像局部细节信息的丢失。Marsico等[2]对传统LBP算法进行了改进，提出了新的基于内容的LBP码选择策略，选取最具“代表性”的LBP码，减少了特征向量的长度，该方法提高了特征提取效率但鲁棒性不是很好。Rafi等[3]提出了多尺度形态灰度共生矩阵纹理描述符，在多尺度数学形态学和共生矩阵的框架下设计了两个新的纹理描述符，虽然在纹理分类精度上较传统GLCM算法有很大提升，但GLCM为稀疏矩阵，在计算特征值时需要巨大的计算量。陈凤萍等[4]研究出一种旋转不变特征提取方法，将Curvelet变换之后的较细尺度子带生成的矩阵特征与小波变换的统计学特征合并，提取出旋转不变纹理特征向量，仿真结果证明该方法能够提高纹理图像识别准确率，但是Curvelet算法复杂且对图像光照和位置比较敏感。Zhang等[5]在局部二值模式算法基础上提出了归一化差分向量(NDV)，该方法在分类精度上有一定提升，但忽视了纹理方向的重要性。张艮山等[6]提出一种LBP-LSSVM数字图像分类算法，使用LBP图的直方图构建图像样本的特征向量，特征向量送入最小二乘支持向量机(LSSVM)构建最优分类模型，该方法从局部特征分析图像纹理，能够更精细地捕捉图像邻域纹理特征，实验结果也证明该方法具有较高的分类准确率，但基于局部的特征提取方法缺乏对整体信息的把握，使其易受噪声影响而不够稳定。

针对当前纹理特征提取方法中的一些不足，如提取的特征信息不全面、鲁棒性差、计算量大等， 本文提出一种基于NSCT子带的CS-LBP和Tamura纹理融合特征的分类算法。其中CS-LBP算子描述的是图像局部纹理特征信息，Tamura描述的是全局特征信息，通过对NSCT变换产生的多尺度、多方向高低频子图提取的CS-LBP和Tamura纹理特征，可以更全面地描述不同材质的纹理图片。另外本文还对传统的CS-LBP算法进行了优化，利用邻域像素值与中心像素值梯度差的平均值代替中心像素值，得到DCS-LEBP算子，在提取了图像局部边缘特征信息的基础上又加入了低频信息，提升了算法的抗噪性。最终将得到的融合特征矩阵输入SVM分类器中进行分类。实验表明，本文方法比单一特征方法有更强的鲁棒性和抗噪性，分类精度也更高。

1 原理与方法

本文算法流程如图1所示。首先，使用自适应对比度增强算法(ACE)对图像进行预处理，提高图像对比度；之后使用NSCT变换获取各方向各尺度的高低频子图，在同一尺度变换上，NSCT在多个方向显示了图像的细节信息，从而提高特征提取的全面性；最后使用基于Tamura和DCS-LEBP的特征提取方法对图像纹理特征进行提取，并将得到的高、低频融合特征级联输入SVM支持向量机对不同材质的图像进行分类识别。本文选择了木板、冰块、墙面、棉布、树根截面、树叶、米粒、砂纸八种不同材质的图片，对它们进行特征提取和分类。

图1 算法流程

1.1 自适应对比度增强(ACE)

图像的纹理信息往往是高频信息，但是低频背景信号中经常出现混入高频信息的情况，降低了图像纹理信息的视觉可见性，因而适度地放大高频部分能够提高视觉效果，同时还有利于纹理特征提取及分类。自适应对比度增强[7]采用反锐化掩膜技术，首先通过低通滤波获得低频的反锐化掩膜部分，然后用原图减去反锐化掩膜获取高频部分，最后将放大的高频部分加入反锐化掩膜中，得到增强的图像。设x(i,j)是原像素，则自适应对比度增强后的像素值f(i,j)计算公式如下：

f(i,j)=mx(i,j)+G(i,j)[x(i,j)-mx(i,j)]

(1)

式中：mx(i,j)是局部区域均值，G(i,j)为局部增益，它们的计算方法分别如式(2)、式(3)所示。

(2)

(3)

本文中D取的是图像的全局均方差，并且当G(i,j)的值较大时会引起噪声的放大，因此增加了一个参数DATA，用来控制高频增强的程度。对纹理数据集中的树根截面图像增强效果如图2(d)所示，图2(b)是提取出的原图像低频滤波，图2(c)是原图的高频成分。

图2 树根截面对比度增强图

1.2 非下采样Contourlet变换(NSCT)

Contourlet变换在图像降噪、纹理、形状的特征提取方面性能比二维离散小波变换有明显提高，但是由于拉普拉斯金字塔和方向滤波器组中存在上下采样，使得Contourlet变换不具有平移不变性，因此Cunha等[8]在Contourlet变换基础上提出了具有平移不变性的非下采样轮廓波变换(NSCT)。

图3 NSCT分解框架

为了降低图像中噪声、光照等因素对分类精度的影响，提高系统效率，本文采用“9-7”滤波器组对图像进行3尺度塔形分解，同时用“haar”滤波器组从低尺度到高尺度进行21、22、23方向的分解，经过分解后一共得到15幅子图，其中包括1幅低频子图和14幅细节子图。

1.3 特征提取

为了更充分、全面地描述纹理，本文对NSCT变换产生的高频和低频子带先进行DCS-LEBP计算，得到各子带的DCS-LEBP图像，之后对各子带的DCS-LEBP图像分别进行Tamura特征提取和特征直方图统计，最后联合提取到的DCS-LEBP特征与Tamura特征进行纹理材质分类。

1.3.1LBP特征提取

局部二进制模式运算符(LBP)[9]是一个众所周知的纹理特征，已经成功地应用于许多领域，例如纹理分类[10]、人脸识别[11]等。LBP算子有几个优秀的性质。首先，计算简单快捷。其次，它为纹理结构的描述提供了强大的辨别能力，同时对单调光照变化具有鲁棒性。这些优点使LBP成为描述局部纹理特征很好的选择。但是，LBP算子产生的特征维数较高，尤其当选取的邻域像素点数量增加时容易形成“维数灾难”。因此，在保持LBP特征分类性能的同时如何去降低其特征维数成为一个关键问题。

原始的LBP算子可以看作是统计和结构纹理分析的统一方法。LBP算子通过相邻像素的相对灰度来描述每个像素。对于每个相邻像素，如果其值不小于中心像素的值，则结果将被设置为1，否则结果将被设置为0，然后将结果与2的幂给定的权重相乘，并将它们累加，获得中心像素的LBP码。图4说明了一个像素与八个相邻像素的LBP计算。

图4 LBP特征值计算方法

LBP算法的计算公式如下：

(4)

式中：nc表示3×3矩阵中心像素值；ni表示该矩阵周围像素值。

一个LBP算子可以产生多种二进制模式，对于p邻域的LBP算子将会产生2p种模式，8邻域的LBP将会产生256维的纹理直方图。描述符产生相当大的特征维数，难以用作区域描述符。因此，Heikkila等[12]提出16维的CS-LBP描述符，与LBP不同的是，他们没有将每个像素的灰度级与中心像素的灰度级进行比较，而是比较一个区域中相对像素的灰度级差异。CS-LBP大大降低了特征维数提高了特征提取效率。

详细的CS-LBP计算可以用式(5)表示。

(5)

式中：ni、ni+(N/2)是和中心像素相对的两个像素。

LBP和CS-LBP算子两者具体的区别见图5。

图5 LBP和CS-LBP的对比

上文介绍的两种LBP、CS-LBP及其他扩展的局部二进制模式都只是由局部像素之间的灰度差异获得，忽略了图像的局部边缘。Sun等[13]提出中心对称局部边缘二值模式(CS-LEBP)，与传统局部二进制算法相比，CS-LEBP是围绕边缘计算得到的，将二值模式与局部边缘进行了融合。实验结果表明，该算法在纹理图像检索方面的性能优于同类算法。

CS-LEBP算法的计算可以用式(6)表示。

(6)

1.3.2改进的CS-LEBP

中心对称局部边缘模式(CS-LEBP)考虑了局部区域中像素之间的灰度变化的同时还融合了局部边缘信息，但是灰度变化和局部边缘都表示高频信息，这导致低频信息丢失。很明显这是不抗噪的，并且对局部纹理描述不够全面。

为了能够提高图像在噪声环境中的适用性，更完善地描述图像纹理，本文引入了一种改进的DCS-LEBP算子，利用邻域像素与局部像素差累加和的平均值代替中心像素值，在不增加特征维度的同时，降低了噪声干扰，增强了纹理描述性能，并在纹理图片分类中取得了更好的分类结果。计算方法如下：

(7)

其中：

使用本文改进的CS-LEBP算子得到的DCS-LEBP图如图6所示。

图6 DCS-LEBP图像

1.3.3Tamura纹理特征提取

Tamura等[14]对图像纹理进行了深入研究，提出了与心理学观点上相对应的6个描述全局的纹理特征成分，即对比度、方向度、粗糙度、线性度、规整度和粗略度。在实际应用中，Tamura的粗糙度、对比度、线性度三个纹理特征描述符很好地表达了视觉图像的纹理特性，在图像分类中取得了较好的分类效果。其他三个特征与上述三个特征高度相关，并且不会增加纹理描述的有效性[15]。因此，本文应用前三个特征来对图像进行描述。

粗糙度。粗糙度反映了灰度图像强度的变化，是纹理特征中最重要的特征，也是最能反映图像纹理内涵的特征，粗糙度通过计算整个图像大小的平均值获得。其计算方法如式(8)所示。

(8)

式中：m×n为图像尺寸；sbest(i,j) 为最优窗口。

对比度。Tamura纹理特征的对比度是通过计算灰度的分布情况来获得的，它给出了一个全局度量Fcon来作为整幅图像或一个区域的对比度。对比度可以用式(9)表示。

(9)

方向度。方向度描述的是纹理如何沿着某些方向散发或集中的一个全局特性。方向度通过统计直方图中峰值的锐角θ获得，其计算方法可以用式(10)表示。

(10)

式中：p代表直方图HD的峰值；wp代表峰值范围；HD是根据图中包含的全部像素的梯度向量的数量而构建的直方图。

1.3.4 纹理特征提取方法

本文提出的特征提取具体流程如下：

1) 选取自适应对比度增强算法(ACE)对纹理图像进行预处理，提高原图像的对比度，得到对比度增强的纹理图像。

2) 对得到的对比度增强后的纹理图像进行NSCT变换，采用“9-7”滤波器组对图像进行3尺度塔形分解，同时用“haar”滤波器组从低尺度到高尺度进行多个方向的分解，最后得到1幅低频子图和14幅细节子图。使用本文改进的CS-LBP算子，对NSCT变换得到的15幅子图进行DCS-LEBP计算，并得到DCS-LEBP图像。

3) 将15幅DCS-LEBP图进行特征直方图统计，得到纹理特征直方图，并生成参数矩阵。其中每幅子图的DCS-LEBP特征维数是16维。

4) 根据得到的DCS-LEBP图像，对其进行Tamura纹理特征提取，选取Tamura中的粗糙度、对比度和方向度3个特征来描述图像。最后将15组Tamura特征进行级联，得到45个参数的特征矩阵，结合改进的局部中心对称二值模式(DCS-LEBP)得到的参数矩阵对图像进行描述。

1.4 SVM分类器

优秀的纹理特征提取算法对分类准确率至关重要，分类器的选择也会对识别结果产生较大影响。本文选择支持向量机(SVM)对不同材质的纹理图像进行分类。支持向量机(SVM)[16]是一种在分类和回归的情况下进行预测的技术。在函数和可解决问题条件方面，SVM与人工神经网络处于同一类。它依赖于被称为结构风险最小化(SRM)的机制，利用支持向量机将输入向量映射到高维空间，计算两组样本之间的最佳分离超平面。

支持向量机的核心是核函数。核函数的类型有很多，在使用时需要根据不同的应用场合去选择适合的核函数。在之前的研究中，采用高斯径向基函数对纹理图像进行分类，取得了较高的分类精度，并且高斯径向基函数计算复杂度低[17]。因此本文采用带高斯径向基函数的支持向量机对不同材质的纹理图像进行分类，另外系统采用网格搜索方法获得最优参数，得到较高的训练精度，采用交叉验证方法来提高预测精度。

2 实验结果与分析

2.1 实验数据

本文选择Brodatz纹理库中的木板、冰块、墙面、棉布、树根截面、树叶、米粒、砂纸8类纹理图像样本进行分类，来验证本文算法的性能。图7为选择的8类纹理图像。

图7 选择的8类纹理图片

2.2 对比实验

选取的8类纹理图像大小均为640×640像素。共有训练样本560个，测试样本240个，其中每个种类的训练样本为70个，每个种类的测试样本为30个。采用K-means聚类算法，选择效果较好的聚类数目K=3，可以同时对三类数据集进行划分，减少运算时间。

本文分别测试了CS-LBP、DCS-LEBP、Tamura、基于NSCT的DCS-LEBP和Tamura融合特征的分类精度。相较于传统的LBP算子，本文选取了中心对称局部二值模式(CS-LBP),很大程度上减少了特征维数，降低了计算复杂度。同时为了获得较好的分类结果，采用改进的DCS-LEBP进行特征提取，在不增加特征维数的基础上获得了较为全面的纹理特征信息。对于Tamura算法，在得到原图像的DCS-LEBP图的基础上，对DCS-LEBP图提取粗糙度、对比度、方向度来描述图像。

在实验一中，将3种纹理特征提取方法的分类准确率进行了对比，其中方法1为通过Tamura算法得到的三个特征参数作为SVM的输入进行分类；方法2为采用改进的CS-LBP算子提取特征进行分类；方法3为本文方法，基于NSCT子带的DCS-LEBP和Tamura纹理特征融合方法。

从图8可以看出，改进后得到的DCS-LEBP算法对整个样本的平均分类性能优于Tamura，并且对于单个样本的分类准确度也高于Tamura。基于本文的两种算法相结合的分类正确率明显高于单一算法，平均准确率可以达到98.3%。

图8 不同方法的准确率

在实验二中，为了兼顾特征维数与分类准确率，选择了采样点为8、半径为2的CS-LBP和DCS-LEBP算子，进行分类性能的对比。分类结果如图9所示，在相同的条件下，DCS-LEBP获得的特征参数具有更高的分类准确度。

图9 CS-LBP与DCS-LEBP的分类准确率

在实验三中，将两种Tamura纹理特征提取算法的分类性能进行了对比。其中方法1为通过原Tamura算法得到的三个参数级联起来的矩阵作为SVM的输入进行分类；方法2为本文改进的Tamura特征提取方法，即先对原图像进行DCS-LEBP计算，得到原图像的DCS-LEBP图，最后对得到的DCS-LBP图进行Tamura纹理特征提取，特征参数输入支持向量机进行分类。实验结果如图10所示，在相同条件下，改进的Tamura特征提取方法较原算法在纹理材质分类精度上有了一定程度上的提升。

图10 Tamura和改进的Tamura的分类准确率

在实验四中，进行了错误匹配实验，选取了三组共90幅Brodatz纹理库中不同于样本图像的测试样本，测试错误图像被划分到样本集中的概率。如图11所示，方法1、方法2与方法3均存在不同程度的错误分类，并且错误分类都由于和纹理特征较为平滑的棉布和砂纸相混淆。根据实验结果来看，Tamura的错误分类率最高，DCS-LEBP次之，本文方法的错误分类率最低，只有5.6%，因此本文方法是准确可行的。

图11 匹配错误率

3 结 语

本文针对当前纹理特征提取方法中提取的特征信息不全面、鲁棒性差、计算量大等不足，提出一种基于NSCT子带图像的CS-LBP和Tamura算法相结合的纹理材质分类算法。选择Brodatz纹理库中的图片建立样本集与测试集，使用SVM支持向量机进行分类，经过对比实验，证明本文方法比单一算法提取的特征更全面，具有更高的鲁棒性和抗噪性，对纹理材质的分类效果也更好。另外，本文改进的DCS-LEBP算法和优化的Tamura算法也比原算法具有更好的分类识别性能。本文算法对较为模糊的纹理图像分类也具有鲁棒性。但是实验结果显示，Tamura算法的识别效果与其他算法相比分类准确率还有待提高，所以今后的研究重点是继续改进Tamura算法，提高其对精细纹理的识别能力。