轮廓波系数引导的数字图像修复算法研究

李宣妮，王慧琴，吴 萌

LI Xuanni,WANG Huiqin,WU Meng

西安建筑科技大学 信息与控制工程学院，西安710055

School of Information and Control Engineering,Xi’an University of Architecture and Technology,Xi’an 710055,China

1 引言

数字图像修复是指对图像局部区域内丢失或损坏的数据按照特定规则进行填补，以恢复整幅图像的完整性和原有的视觉效果。它本身是一个病态问题，故不能保证完全正确地恢复图像的被损坏部分，也就是说无法通过已知信息使图像恢复原状，因此需要加入合理的约束条件，使修复结果尽量满足人的视觉心理需求。Criminisi等人[1]提出了基于样本的图像修复方法，在图像信息完好区域中寻找与受损区域最匹配的像素块，将其作为样本填充到受损区域实现图像修复。但由于算法本身的局限性，修复结果常出现纹理混乱和马赛克效应，这一缺点在复杂纹理图像的修复中更加明显，另外该算法时间复杂度比较高，无法满足大数据量图像的修复需求。

为解决大数据量图像修复需求的问题，本文研究了在轮廓波分解下的数字图像修复技术。轮廓波（contourlet）变换是多尺度几何分析工具，采用不可分离滤波器组建立多分辨率多方向率分析，能够实现灵活的多分辨率、局部的、多方向性的图像表示[2]。该变换不仅可以提供小波分解的主要特征，而且还能提供不同角度各向异性的方向信息，角度方向的个数可以调整，因此它可以很好地捕捉各种角度的图像边缘特征[3]。

2 提取图像的轮廓波系数

轮廓波是由Do 和Vetterli 于2001 年构建的多尺度几何分析工具，与小波相比，在处理二维甚至更高维含“非线性奇异”的信号时，高维小波基由于受到小波张量积方向局限性的影响，达不到理想的最优逼近。轮廓波是比小波更为“稀疏”的多尺度几何分析表述工具，它不仅能够提供任意方向上的信息，而且它使用了迭代滤波器，使得计算效率高且复杂度低。

轮廓波变换是利用类似于轮廓段（contour segment）的基结构来逼近图像。如图1，轮廓波基的支撑区间是具有随尺度变化长宽的条形结构，具有方向性和各异性，用轮廓波系数表示图像的纹理能量更加集中，这些系数在不同的分解尺度间有一定的相关性和延续性[4]。在某些分解子带中，系数赋值变化较大，而某些子带中系数赋值多为0。这种变化用系数的方差来衡量是最合适的，方差的大小表示所在分解子带的能量变化强度。

图1 小波与轮廓波对曲线的描述

纹理图像有丰富的边缘信息和明显的方向性，做轮廓波分解时能够在某些方向的子带中产生大量的分解系数，使在该方向的分解系数方差明显增大。因此可以用轮廓波分解系数的方差来衡量图像纹理能量变化的强弱[5]，公式为：

其中，e为分解子带的方差，i为分解尺度。

所以，子带方差的大小可以作为该子带能量变化强弱的指标。

3 基于样本的图像修复算法

基于样本的图像修复算法的实质是用等光照线驱动的图像采样的过程[6]，将图像源区域信息作为修复样本填充图像的待修复区域。其修复过程如图2 所示。

图2 基于样本的图像修复算法的修复过程

图3（a）为需要修复的图像，Ω是图像的待修复区域，∂Ω是破损区域的填充前缘，Φ是源区域。图（b）是以填充前缘上的某像素p∈δΩ为中心，划定待修复图像块Ψp。图（c）对待修复图像块Ψp来说，最可能的候选匹配样本块位于源区域中两纹理之间的边界上，如Ψq′，Ψq″。图（d）是将最匹配的样本块拷贝到待修复图像块Ψp的位置上，实现了Ω的部分填充。这时，待修复区域Ω面积缩小，并产生新的填充前缘，最重要的是自动地保留了图像等光照线的方向。图像填充边缘上的每个像素以此方法迭代执行，待修复区域Ω的面积不断减小，直至为零。

优先值计算公式为：

其中，C(p)为置信度项，D(p)为数据项，且：

其中，|Ψp|是Ψp的面积，α为归一化因子（对于常用的灰度图像，α=255），是单位矢量：代表p点的等光照线方向，可以用灰度梯度表示，即(-Iy,Ix)；np是填充前缘∂Ω上p点处的法向量，可以用模板图像I（0 表示待修复的像素点，1 表示没有损坏的像素点的二值图像）表示。Ix和Iy表示x方向和y方向的梯度，可得np=(Ix,Iy)。

图3中修复结果出现了大块的错误填充，由文献[7-9]可知，图像修复的结果与在修复过程中填充边缘像素的修复顺序有关。这是由于图像修复的过程有时会沿着某一方向连续进行，使结果违反“人类视觉连通性”的原则，如图4。

图3 基于样本的修复实验

图4 错误的图像修复步骤

为避免图4 情况的发生，在基于样本的修复模型中引入轮廓波系数表示的图像纹理能量信息，使填充边缘上纹理的像素点能先修复。

4 轮廓波系数指导图像修复

4.1 基本算法改进

图像的边缘和梯度值都反映图像的纹理特征，当图像在某一像素梯度值较大时说明在该像素点附近的图像纹理较丰富[10-11]。

在公式（2）中引入β因子：

其中β大于1，表示图像纹理能量的信息。改进的优先值公式考虑到轮廓波系数表示的图像纹理能量，纹理能量越大的图像块优先值越大，越早被修复。

4.2 图像纹理的轮廓波系数量化

由公式（1）可知，图像的纹理越丰富，对应轮廓波系数的子带方差越大，子带能量越强。对于一幅大小为m×n的图像，轮廓波系数的各子带纹理能量可表示为：

平均纹理能量为：

根据式（5）～（7）对图像纹理程度的定义，计算图5中图像组的平均纹理能量，结果如表1 所示。

图5 不同纹理特征的图像

表1 图5 中各图像的纹理程度量化结果

可见，对于不同纹理程度的图像，计算得到的纹理能量不同：越平滑的图像，纹理能量越小；纹理越复杂的图像，纹理能量越大。因此，可以根据图像纹理能量的大小来引导图像修复的过程，本文通过引入β因子实现这一过程。

4.3 β因子的自适应选择

图6 β值对修复结果的影响

对不同纹理程度的图像进行修复仿真实验，结果如表2 所示。可见，随着图像纹理越复杂，对应最佳β值的选取越大。

表2 自适应β值

4.4 本文算法实验及对比分析

将本文算法分别与Criminisi 算法和利用小波系数修复的β方法进行比较，实验结果及分析如下：

图7 与图8 是两组修复实验，两组中的（a）为原图，（b）为用Criminisi算法修复的结果，（c）为用基于小波系数的修复算法的修复结果，（d）为用本文算法修复的结果。

图7 目标物去除效果比较

图8 恢复破损图像效果比较

就人眼直接观察发现，图7 与图8 中的（b）图和（c）图均存在着不同程度的错误纹理堆积，（d）图纹理比较自然。

计算图7 与图8 的三种算法修复结果的MSE（均方误差）和修复耗时，结果如表3。

表3 图7 与图8 中三种修复算法客观评价

分析表3 中数据：图7 中使用本文算法与Criminisi算法相比，前者的MSE值降低了38.7%，修复耗时减少了52.0%；与用基于小波系数的Criminisi算法相比，本文算法的MSE值降低了18.5%，修复耗时减少了30.6%。图8 中使用本文算法与Criminisi 算法相比，前者的MSE值降低了44.7%，修复耗时减少了63.9%；与用基于小波系数的Criminisi 算法相比，本文算法的MSE值降低了20.6%，修复耗时减少了43.9%。可见，无论是从主观评价还是客观评价来看，本文算法都优于Criminisi 算法和基于小波系数的Criminisi修复算法。

5 结束语

本文研究了轮廓波系数引导的基于样本的图像修复算法。实现了不同纹理特征图像的自适应修复策略，先对图像做轮廓波变换，提取轮廓波系数估计图像纹理能量，根据纹理能量自适应选取β值，改进优先值计算公式，优化了图像修复的顺序，使修复对图像的纹理特征更为敏感。通过实验看出，本文算法在修复的效果和速率复杂度上都明显优于Criminisi 算法和用小波系数修复图像的算法。

[1] Criminisi A，Perez P，Toyama K.Region filling and object removal by exemplar-based image inpainting[J].IEEE Transactions on Image Processing，2004，13（9）：1200-1212.

[2] Do M N，Vetterli M.The contourlet transform：an efficient directional multiresolution image representation[J].IEEE Transactions on Image Processing，2005，14（12）：2091-2106.

[3] Do M N，Vetterli M.Wavelet based texture retrieval using generalized Gaussian density[J].IEEE Transactions on Image Processing，2002，11（2）：146-158.

[4] 郭蔚，李婷.轮廓波变换原理及其构造方法[J].数学进展，2012，41（3）：266-275.

[5] 赵一凡，夏良正.基于轮廓波特征的纹理图像识别方法[J].东南大学学报：自然科学版，2008（S2）：128-131.

[6] 张伟彬.基于修复顺序的图像修复算法[J].计算机工程与应用，2008，44（22）：195-196.

[7] 张红英.数字图像修复技术的研究与应用[D].成都：电子科技大学，2006.

[8] 王黎明.基于样本块的图像修补方法研究[D].北京：首都师范大学，2008.

[9] Sun J，Yuan L.Image completion with structure propagation[J].ACM Transactions on Graphics，2005，3：861-868.

[10] 李一哲.基于样图的纹理合成技术研究[D].合肥：中国科技大学，2006.

[11] 陈卿，王慧琴，吴萌.基于纹理特征的自适应图像修复算法[J].计算机应用，2011，6（6）：1572-1574.