区域结构因子耦合强度特征约束的图像修复算法∗

何永波

(云南工商学院，云南昆明651700)

0 引言

电子信息技术与计算机技术快速的发展为人们的生活提供了多方面的便利，电子产品的多功能化使得人们获取数字图像变得方便快速，并将数字图像作为信息传递以及信息保存的媒介．由此可见，数字图像的应用变得越来越广泛．数字图像的压缩、传输、获取等过程中，难免会出现数字图像的损坏．对数字图像进行修复成了当下计算机图形图像技术的一个主要研究方向[1]．

通过偏微分方程技术来对破损图像进行修复是当下常用的一种图像修复方法．该方法以图像特征为导向，朝着特定的方向进行扩散，将样本区域的像素点逐步扩散到破损区域，直至将破损区域修复完．如Prananta[2]等人利用四阶PDE方程来实现图像修复，并通过GPU来加速算法的执行．该方法虽然能够实现图像的快速修复，但是基于PDE方程的方法不适用于对大面积破损的图像进行修复．Liu[3]等人将图像的结构张量加入到待修复块优先权的度量中，通过结构张量的特征值建立匹配约束方程来获取最优匹配块，从而实现图像修复．实验结果显示，该方法能够对大面积破损图像进行修复，而且修复速度也较快，但是该方法没有考虑纹理特征的连续性，使得修复图像中存在不连续效应．又如Chen[4]等人提出了一种基于邻近投影算子的小波域图像修复，利用非交替方向法求解非正交小波问题，进而通过邻近投影算子来实现极小化问题的求解，完成图像修复．仿真实验结果表明，该方法的修复效果较好，但由于该方法修复过程中受到扩散方向的制约，使得修复图像中存在块效应．再如屠昕[5]等人通过对Anupam算法进行研究，提出了一种基于分水岭分割的快速图像修复算法，利用分水岭算法实现图像的分割，通过改进的Anupam算法来实现图像的修复．实验结果显示，该方法不仅能够较好的对图像中的破损区域进行修复，而且修复速度也大幅提升，但该方法忽略了对图像噪声的处理，使得修复含噪图像时存在一定的模糊效应．

因此，本文提出了一种基于区域结构因子耦合强度特征约束的图像修复方法．利用引导滤波方法对图像进行修复前预处理，对待修复图像进行去噪．通过像素点的梯度特征构造区域结构因子，并通过该区域结构因子与置信度项、数据项构造优先权函数，从待修复块中选取优先修复块．利用像素点的导数构造强度特征约束项，通过联合强度约束项与误差平方和函数来搜索最佳匹配块．利用像素点之间的像素差异值对传统置信度更新函数进行改进，实现置信度项的更新，从而完成图像修复．最后，测试了所提算法的修复质量与效率．

图1 本文图像修复算法的过程

1 本文图像修复算法

本文图像修复算法由修复前预处理、判定优先修复块以及搜索最佳匹配块和置信度更新四部分组成．本文图像修复算法的整体思路如图1所示．由图可知，修复前预处理是通过引导滤波方法将待修复图像中的噪声进行去除，以降低噪声对后续修复过程的干扰，使得算法的鲁棒性以及修复正确性得以提高．判定优先修复块时，通过由置信度项与数据项以及区域结构因子构造的优先权函数，对待修复块进行优先权度量，从而判定出优先修复块．区域结构因子是通过待修复块中已知像素点的梯度

特征构造而成，能够对待修复块的结构信息进行更为完整的表述，从而使得优先权的判定更为准确，保证了修复过程合理的进行，从而进一步提高算法的修复正确性．搜索最佳匹配块时，首先通过图像块中像素点的导数构造强度特征约束项，然后将其与SSD函数结合形成最佳匹配块搜索函数．在对图像块之间进行相似差异度度量的同时，还对图像块之间进行强度特征约束，以确保搜索到的最佳匹配块唯一化、准确化，使得修复图像具有更高的质量．置信度更新时，借助像素点之间的像素差异值构造置信度更新函数，确保更新的置信度项更合理．

1.1 修复前预处理

为了避免待修复图像中噪声对图像修复过程造成的干扰，需要对待修复图像在修复前进行预处理，将图像中的噪声滤除．当前图像去噪算法多种多样，但是较多图像去噪算法在对图像噪声滤除的同时，难免会造成图像中的边缘信息丢失．引导滤波去噪方法将引导图像与输出图像视为一种线性关系，在去除噪声的同时还能较好的保持边缘信息[6]．由此本文选取引导滤波方法对待修复图像进行预处理，滤除图像中的噪声，以提高算法的修复质量与鲁棒性．

令Ii与Qi分别为引导图像I以及输出图像Q中的像素值，则在以像素点k为中心的窗口Ψk中存在以下线性关系[7]：

式中，ak与bk为线性系数．ak与bk的求解可通过输入图像x的像素值xi与输出图像的像素值Qi来获取：

式中，β为正则化系数，用于预防ak的变化较大．

通过线性回归方法对（2）式进行求解可得：

其中，εk和δk分别表示I在Ψk中的平均值与方差值．|β|表示Ψk中像素点的总数．表示输入图像x在Ψk中的均值，其表述如下：

联合式（1）、（3）、（4）便可获取去噪后的待修复图像．

1.2 判定优先修复块

破损区域待修复块的修复先后顺序可通过优先权函数来判定，待修复块的修复顺序对修复图像的质量有着重要的影响．在一幅待修复图像P中，其破损区域与破损区域边界分别用Ω与∂Ω表示，样本区域η=P−Ω．则以∂Ω上任意像素点v为中心的待修复块Rv的优先权E(v)，常用置信度项C(v)与数据项D(v)的乘积来表示[8,9]：

C(v)与D(v)分别表示置信度项与数据项，Rv中所包含已知信息的多少以及Rv的结构信息．C(v)与D(v)的表达式如下：

其中，|Rv|代表Rv中已知像素点的个数，nv与分别代表v点的单位法向量与等照度线方向及大小．

从(8)式可见，当∇P⊥v的方向与nv的方向垂直时，将导致D(v)为0．通过(6)式可见，当D(v)=0时，无论C(v)的值多大，都将导致E(v)为0．从而使得优先权判定出错，导致修复图像质量下降．而且D(v)仅通过v点的等照度线来度量Rv的结构信息，忽略了Rv中已知像素点的结构特征，导致D(v)不能较为准确的对Rv的结构信息进行表述．因此，本文通过像素点的梯度特征构造区域结构因子H(v)，以对Rv中已知像素点的结构信息进行表述．并通过该区域结构因子与置信度项、数据项构造优先权函数，以克服D(v)=0时优先权判定出错的不足．

像素点的梯度值能够较大程度的反应出其结构信息[10,11]，由此可通过像素点的梯度值来构造区域结构因子H(v)．令s为Rv中任意已知像素点，Txs与Tys分别表示其在x与y方向上的梯度值，则构造的区域结构因子H(v)如下：

联合H(v)、D(v)以及C(v)构造的优先权函数如下：

1.3 搜索最佳匹配块

判定优先修复块后，将从样本区域搜索最佳匹配块，用于复制填充至优先修复块对其修复．通过SSD函数搜索最佳匹配块为常用的一种方法．

通过SSD函数搜索最佳匹配块的过程可表述为[12]：

式中，表示样本区域中与优先修复块Rv相似度差异最小的匹配块．

通过SSD函数搜索最佳匹配块仅对图像块的相似差异度进行度量，在度量过程中有可能出现多个相似差异度相同的匹配块．按照SSD函数搜索最佳匹配块的原则为选取第一个相似差异度最小的匹配块作为最佳匹配块．这种“先入为主”的搜索方法容易导致搜索到的最佳匹配块出现较大的误差，降低了图像的修复效果[13]．

图像的强度特征能够从一定程度上反应出图像的结构特征[14,15]．对此，本文将利用像素点的导数构造强度特征约束项，在通过SSD函数搜索最佳匹配块的同时对图像块进行强度特征度量，以获取与优先修复块相似度差异与强度差异都最小的匹配块作为最佳匹配块，从而进一步提高算法的修复效果以及鲁棒性．

令∂qx与∂qy分别为Rv中像素点q在x与y方向上的导数，∂px与∂py分别为R b中像素点p在x与y方向上的导数．则构造的强度特征约束项为：

通过(13)式从样本区域中准确搜索最佳匹配块．

1.4 更新置信度

当对Rv进行填充修复后需要对其所修复像素点的置信度进行更新．较多图像修复算法直接将更新像素点的置信度由0更新为1．该方法忽略了未知像素点与已知像素点之间存在的差异，这些差异随着修复的不断深入将导致修复图像出现块效应[16,17]．对此，本文将借助像素点之间的像素差异值构造置信度更新函数，确保更新的置信度项更合理．

令vi为Rv中已知像素点的像素值，bi为R b中与vi对应坐标处像素点的像素值，Rv中已知像素点个数为M，则构造的置信度更新函数为：

2 实验结果与分析

为了对本文所设计算法的有效性进行验证，本文在计算机上采用MATLAB2009b软件进行实验仿真．实验过程中选取了文献[18]与文献[19]中的算法做为对照组．

不同算法修复图像的效果如图2和图3所示．其中，图2为不同算法对划痕破损图像的修复效果图，图3为不同算法对文字破损图像修复的效果图．从图2可见，本文算法与对照组方法都具有较好的修复效果．通过进一步对修复区域观察可见，文献[18]算法的修复区域（见图2（d））中存在一定的不连续效应以及修复残留效应，文献[19]算法的修复区域（见图2（f））中存在一定的块效应及模糊效应，本文算法的修复区域（见图2（h））中存在轻微模糊效应．通过图3中不同算法修复的图像比较可见，文献[18]算法的修复效果图（见图3（c））中存在一定的模糊效应以及振铃效应，文献[19]算法的修复效果图（见图3（d））中存在一定的不连续效应以及块效应，本文算法的修复效果图（见图3（e））中存在少许修复残留效应．通过将图2和图3不同算法的修复效果图对比可见，本文算法具有较好的修复效果以及鲁棒性能．究其原因为本文算法采用了引导滤波方法对待修复图像进行了预处理，在滤除噪声的同时保护了图像的边缘信息，避免了噪声对修复过程的干扰，提高了算法的修复质量以及鲁棒性．同时本文还通过区域结构因子与SSD函数，对图像块的强度以及相似度二维特征进行度量，搜索最佳匹配块，确保了获取最佳匹配块的准确性，进一步提高了算法的修复质量．

图2 三种算法对划痕破损图像的修复结果

图3 三种算法对文字破损图像的修复结果

为了客观量化三种算法的修复质量，本文引入结构相似度(Structure Similarity Measurement,SSIM)对修复图像的质量进行评估[20]．SSIM是当前评估修复算法的经典指标，其值越大，代表修复图像与初始图像之间的差异越小，表明算法的修复质量更高[20]．

以图4为测试对象，并对其进行不同程度的损坏，接着利用三种算法对损坏图像进行修复，将不同算法修复后图像的SSIM值进行记录，结果见图5．从图5可见，在小面积损坏的条件下(4%∼16%)，三种技术都有较高的复原能力，相应的SSIM值均维持在0.9左右，但是，所提算法的SSIM值仍然要高于文献[18]、文献[19]．然而，在大面积损坏情况下，所提算法具有更大的优势，表现出更好的适应性．当像素丢失率超过40%时，所提算法的SSIM值仍可维持在0.85左右．文献[19]也属于块修复技术，对大面积损坏图像具有良好的复原能力，像素丢失率超过40%时，所提算法的SSIM值仍可维持在0.81左右；而文献[18]则难以适用于大面积损坏图像的修复，相应的SSIM值在0.626左右．由此可见，本文算法修复的图像较对照组算法修复的图像，与原图像的差异最小．因为本文算法通过像素点的梯度值构造了区域结构因子，并将其与置信度项、数据项联合构造了优先权函数，充分利用了待修复块中已知像素点的结构信息对待修复块的优先级进行度量，同时还避免了待修复像素点等照度线与法向量相垂直时造成的误判，提高了算法的修复正确度．另外，本文算法还利用像素点之间的差异值对置信度项进行了更新，避免了“非0即1”更新方式引起的块效应等，进一步提高了算法的修复质量．文献[18]中算法在偏微分方程(PDE)的基础上设计了一种自适应的四阶偏微分方程模型，利用该模型自适应的对图像的边缘以及平滑区域进行扩散修复．由于该方法对单个像素的灰度值依赖较为严重，而且其修复过程是通过对局部已知信息的扩散来实现的，导致其修复图像的质量不佳．尤其是对大面积破损图像，其可用的信息较少，导致修复质量较低．文献[19]中算法通过计算获取优先修复块后，再通过对图像块周围的纹理结构进行计算，建立放射不变相似度测量模型，用于自适应的对样本块大小进行调整，以获取最佳匹配块，完成图像修复．由于该方法在获取优先修复块时，没能较好的利用待修复块中已知信息的结构特征，而且忽略了对等照度线与法向量相垂直时造成的误差，导致文献[19]中算法修复图像的质量有所下降．

图4 测试对象

图5 不同算法修复图像的SSIM值

3 结论

本文设计了一种基于区域结构因子耦合强度特征约束的图像修复算法，利用引导滤波对待修复图像进行预处理滤除噪声，利用区域结构因子构造优先权函数，合理准确的选取优先修复块．通过强度特征约束项与SSD函数，从图像块的强度以及相似度二维特征出发，精准搜索最佳匹配块，对待修复块填充修复．利用像素点之间的差异度，构造置信度更新函数，合理更新置信度项，以实现对破损区域进行准确的修复．