基于颜色聚类分割及改进的FMM算法的壁画修复*

任小康，邓琳凯

(西北师范大学计算机科学与工程学院,甘肃 兰州 730070)

基于颜色聚类分割及改进的FMM算法的壁画修复*

任小康，邓琳凯

(西北师范大学计算机科学与工程学院,甘肃 兰州 730070)

近年来，由于受各种环境及人为因素的影响，壁画在一定程度上受到了破坏。为了使人们欣赏到原作的风貌，并对其进行研究和开发，还原壁画的原有样貌，提出了一种针对褪色及划痕的壁画修复算法。该算法在Lαβ空间的基础上，首次提出使用颜色聚类及掩模算法对受损壁画的破损区域进行分割提取，然后针对FMM算法中传输方向并没有完全覆盖要修复的区域的缺陷，提出了利用梯度直方图的一些特性对其传输方向进行优化。实验表明，该算法对于破损的壁画修复有很好的效果。

壁画修复；Lαβ色彩空间；颜色聚类；掩模算法；FMM算法；梯度直方图

1 引言

敦煌壁画是我国的珍贵历史文化遗产之一，敦煌壁画艺术是中国古典艺术文明中的杰出代表。然而，由于自然风化的破坏以及重大自然灾害的威胁，壁画已经在一定程度上受到了损害。因此，为了给壁画的修复过程提供一种虚拟的模型，提出了一种基于颜色聚类分割及改进的FMM算法[1]的壁画修复算法。

现有大部分数字图像修复方法的主要思想为:首先手工选定待修复区域;然后利用其周围已知信息沿边界向内进行推进。虽然传统的图像处理技术提出了很多经典的图像复原方法，但是这些方法用在壁画虚拟修复领域有一定的局限性。本文针对破损的壁画，首先将RGB[2]图像转换到Lαβ[3]空间，根据Lαβ色彩空间进行颜色聚类[4,5]，从而进行简单的分割；然后根据掩模算法[6,7]进行进一步的分割处理；最后提取出要修复的区域，根据提取的区域,在FMM算法[8]的基础上，利用改进的传输方向对图像进行修复。

2 图像分割技术

2.1 Lαβ色彩空间

颜色特征是图像分割中应用最为广泛的视觉特征,在本文的彩色图像分割算法中,采用了Lαβ色彩模式。Lαβ色彩模式中L表示照度(Luminance), α表示从深绿(低灰度值)到灰(中亮度值)，再到亮彩红色(高亮度值), β表示从紫蓝色(低亮度值)到灰色(中亮度值)，再到焦黄色(高亮度值)。在Lαβ模式下,图像的亮度信息和色彩信息被分开保存,调整颜色通道时亮度通道将保持不变。这样L通道可以看作是一影像的灰度版,其中保存了图像的细节信息,因此利用L通道容易区分自然图像中的明暗细节。此外,Lαβ模式既不依赖光线，又不依赖颜色，弥补了RGB和CMYK两种色彩模式的不足。

2.2 基于颜色聚类分割

通过分析发现，壁画的色彩比较丰富，因此先对壁画色彩进行分类，然后提取待修复区域所在的颜色分区。在此使用的方法是，首先为每种颜色的样本选择一个很小的样本区域，然后计算每个样本区域中这种颜色的平均值，通过计算每个像素点和这几种颜色平均值的距离，求出该像素点的颜色(几个距离中最小距离对应的像素颜色)。例如，如果像素点距离红色平均值的欧氏距离最小，那么该像素点就为红色。由此看出，颜色距离度量决定了分割区域所具有的性质和分割结果的好坏。

(1)欧几里得距离。

它是最常见的衡量两种颜色接近程度的度量方法，尤其用于图像骨架的提取。但是，它将图像不同属性之间的差别等同看待，所以适用于边缘清晰的破损图像，其欧氏距离可用公式(1)求出:

(1)

(2)马哈兰诺比斯距离度量。

马哈兰诺比斯距离度量不受量纲的影响，两点之间的马氏距离与原始数据的测量单位无关，且是平移不变的，还可以排除变量之间的相关性的干扰，但是它夸大了变化微小的变量的作用，所以适用于破损区域狭小的图像，可以减少干扰。对于一个均值为μ=(μ1,μ2,…,μp)T、协方差矩阵为∑的多变量矢量x=(x1,x2,…,xp)T，其马氏距离可用公式(2)求出:

(2)

其中,协方差矩阵∑可用下式计算得出:

(3)

基于Lαβ空间的颜色聚类分割的基本步骤如下：

步骤1读取图像并选取合适的样本区域；

步骤2转换色彩空间；

步骤3计算每个样本区域中这几种颜色的平均值；

步骤4根据不同情况分别用上面两种距离公式计算每个像素点和这几种颜色平均值的距离；

步骤5根据样本区域的颜色对图像进行分割。

破损的壁画在基于Lαβ空间的颜色聚类分割后会生成几种不同颜色的图像，此时，再根据破损区域所在的颜色分区选择需要的图像进行灰度处理，然后使用掩模算法对图像进行进一步的分割，步骤如下：

步骤1设灰度差的阈值为零，用上述方法进行区域扩张，合并灰度相同的像素；

步骤2求出所有邻接区域之间的平均灰度差，并合并具有最小灰度差的邻接区域；

步骤3设定终止准则，通过反复进行步骤2中的操作将区域依次合并，直到终止准则满足为止。

3 图像修复技术

现在的图像修复算法一般都是在Telea的快速行进修复算法，即在FMM算法基础上进行的修改，即对权重函数的修改。然而，经过实验发现，改进的权重函数虽然能够更好地保持边缘信息,但是当半径较大时，传输方向并不能够保证图像边缘处的连续性，对此本文提出了一种改进的传输方向。

3.1 一般的图像修复算法

如1图所示，Ω是图像中待修复的区域，∂Ω是待修复区域的边界，P是该边界上的任意一点，在点p周围的图像已知区域内部，选择一个以ε为尺度的邻域Bε(p)。那么，p的像素值可以由邻域Bε(p)内部的像素值来近似计算得到。当尺度参数ε足够小的时候，给定点q的像素值I(q)以及q的梯度值I(q)，那么点p的一阶估计Iq(p)=I(q)+I(q)(p-q) ，点p的像素值可以由公式(4)计算得到：

(4)

Figure 1 Fast marching repair algorithm图1 快速行进修复算法

加权函数w(p,q)在修复过程中起到关键作用,它依赖于p、q两点的相似度。计算p、q两点的相似度要利用两点的邻域信息。p点的邻域信息与q点的邻域信息的平均偏差越小，p、q两点的相似度就越大，反之，相似度就越小。p与q的相似度越高，q点的权值也就越大。

通用的权重函数计算公式为：

(5)

其中,μ是一个小于1的正常数，表示扩散强度；c为归一化的结构张量Jσ,ρ的特征值λ对应的特征向量，c⊥(p)表示p点等照度线方向。

要修复整个Ω，需要迭代地把方程(5)应用到∂Ω上的所有离散点，并不断增加离初始边界∂Ω的距离，沿着等照度线c⊥(p)对待修复区域进行图像信息传递，向Ω内部推进其边界，直到所有的区域被修复。

为了保持图像边缘处的边界连续性，图像修复应当沿着图像的等照度线方向尽量光滑地扩散到待修复区域的内部像素中。相对梯度向量，结构张量对于提取图像的局部方向信息比较有效。结构张量计算方法为：

(6)

其中,Kρ是一个标准差ρ≥0的高斯核，LΩ(x)表示Ω(x)的指标函数，σ表示平滑的尺度参数，μ为扩散强度。

(7)

当λ1=λ2时为图像的平滑区域，μ值较小；当λ1、λ2差异较大时，μ值较大。这样，当q点位于边缘信息比较丰富的区域，并在p点的一致性方向上，就能取得较大的权重。

3.2 改进的传输方向

利用破损区域邻域像素的梯度及方向分布的特性，可以得到梯度模值和方向如下：

(8)

其中，尺度L为p点所在的尺度。

一幅二维图像的尺度空间定义为：

(9)

其中,G(x,y,σ)是尺度可变高斯函数；符号*表示卷积；(x，y)代表图像中p像素点的位置；σ是尺度空间因子，值越小表示图像被平滑得越少，相应的尺度也就越小。

在以p点为中心的邻域窗口内采样，并用直方图统计邻域像素的梯度方向。在计算方向直方图时，使用参数σ对方向直方图进行加权，图2a中用圆形表示，中心处的颜色较重，表示权值最大，边缘处颜色浅，表示权值小。如图2b所示，该示例为了简化给出了8方向的方向直方图计算结果，实际原文中采用36方向的直方图。

Figure 2 Histogram图2 直方图

方向直方图的峰值代表了该特征点处邻域梯度的方向，以直方图中最大值作为p点传输的主方向。为了增强匹配的鲁棒性，只保留峰值大于主方向峰值80%的方向作为传输的辅方向。

3.3 改进的修复算法

步骤1用前面的分割算法将图像的破损区域标记出来；

步骤2用一般的图像修复算法(公式(4))对图像破损区域的像素值进行计算，其中权重函数的计算方法如公式(5)所示；

步骤3用公式(8)得到的直方图中的最大值作为一致性方向向Ω内部推进其边界，直到所有的区域都被修复。

4 实验结果与分析

4.1 实验的具体分析

这里列举了Lαβ空间色彩分割的一个例子，例子中对图像进行了三种颜色划分，图3a、图3b和图3c分别代表三种不同的颜色聚类结果。由图3中可以看出，图3a包含了破损区域，针对此图进行灰度变换，如图4a所示；然后再根据所得的灰度图像用区域生长法进行进一步的分割，图4b显示的是改进的掩模算法分割图像，从中可以看出改进的算法达到了较好的分割效果。

Figure 3 Color clustering segmentation图3 颜色聚类分割

Figure 4 Further divided图4 进一步分割

根据分割好的图像，将要修复的区域提取出来，然后根据改进的快速图像修复算法进行图像修复，如图5所示。图5a是原图，图5b是快速图像结果，图5c是改进的图像修复结果。从图5和表1中可以看出，改进的图像修复算法在修复时间及修复区域上较之前都有一定的改进。

Figure 5 Image repair图5 图像修复

算法迭代次数修复时间/s修复像素文献[8]算法1000076880本文算法884431214

4.2 其他图像的实验结果及分析

图6～图8是算法应用到其他壁画上的结果。首先使用颜色聚类和改进的生长区域算法进行分割，提取需要修复的区域，再使用改进的快速修复算法对壁画进行修复。

Figure 6 Mural inpainting example 1图6 壁画的修复例子1

Figure 7 Mural inpainting example 2图7 壁画的修复例子2

Figure 8 Mural inpainting example 3图8 壁画的修复例子3

5 结束语

基于Lαβ空间的颜色聚类及掩模算法分割和改进的图像修复算法对于破损的壁画有较好的修复效果，因为一幅敦煌壁画图像中实际所使用的颜色一般都小于256色，使用颜色聚类可以快速找到需要修补的区域；然后将图像灰度化，根据掩模算法进一步提取受损区域，得到需要修复的部分；最

后使用改进的FMM算法根据邻近区域的完好区域由外向内逐层推进进行修复。实验结果表明，该算法达到了较好的修复效果。

[1] Telea A. An image inpainting technique based on the fast marching method[J]．Journal of Graphics Tools,2004,9(1)：25-36.

[2] Ong S H,Yea N C,Lee K H, et al.Segmentation of color images using a two-stage self-organizing network[J].Image and Vision Computing,2002,20(4):279-289.

[3] Wyszecki G,Stiles W S.Color science:Concepts and methods, quantitative data and formulae[M]. 2nd Edition.New York:John Wiley & Sons,1982.

[4] Wang Zhi-min,Soh Y C, Song Qiang, et al. Adaptive spatial information-theoretic clustering for image segmentation[J]. Pattern Recognition, 2009,42(9):2029-2044.

[5] Carevic D,Caelli T.Region-based coding of color images using Karhunen-Loeve transform[J].Graphics Models and Image Processing,1997,59(1):27-28.

[6] Sobieranski A C, Abdala D D, Comunello E,et al. Learning a color distance metric for region-based image Segmentation[J].Pattern Recognition Letters,2009,30(16):1496-1506.

[7] Park J G,Lee C.Skull stripping based on region growing for magnetic resonance brain images[J].NeuroImage,2009,47(4):1394-1407.

[8] Bornemann F, Marz T. Fast image inpainting based on coherence transport[J].Journal of Mathematical Imaging and Vision, 2007,28(3):259-278.

RENXiao-kang,born in 1963,professor,his research interest includes multimedia information processing.

邓琳凯(1989-),女，河南辉县人，硕士生，研究方向为图像处理技术。E-mail:997953605@qq.com

DENGLin-kai,born in 1989,MS candidate,her research interest includes image processing technology.

MuralsinpaintingbasedoncolorclusteringimagesegmentationandtheimprovedFMMalgorithm

REN Xiao-kang,DENG Lin-kai

(College of Computer Science and Engineering,Northwest Normal University,Lanzhou 730070,China)

In recent years, due to the various environmental and artificial factors, murals are destroyed to some extent. In order to make people appreciate the original style and features of murals, carry on the research and development of these cultural resources, and restore the original frescoes appearance, the paper proposes a murals fade and scratch repair algorithm. Based on Lαβ color space, for the first time, this algorithm proposes to use the color clustering and masking algorithm to segment and extract the damaged mural regions. Besides, according to the drawback that the transmission direction of the FMM algorithm does not fully cover the to-be-repaired regions, we propose to use some features of gradient histogram to optimize the transmission direction. Experiments prove that the algorithm has good effect on repairing damaged murals.

mural inpainting;Lαβ color space;color clustering;masking algorithm;FMM;gradient histogram

2012-07-21;

：2012-12-05

1007-130X(2014)02-0298-05

TP391.4

：A

10.3969/j.issn.1007-130X.2014.02.018

任小康(1963-),男，甘肃兰州人，教授，研究方向为多媒体信息处理。E-mail:renxk@nwnu.edu.cn

通信地址：730070 甘肃省兰州市安宁东路967号西北师范大学计算机科学与工程学院Address:College of Computer Science and Engineering,Northwest Normal University,967 Anning Rd East,Lanzhou 730070,Gansu,P.R.China