基于非均匀模糊核的RL改进算法

唐敏，彭国华

西北工业大学理学院，西安 710129

基于非均匀模糊核的RL改进算法

唐敏，彭国华

西北工业大学理学院，西安 710129

1 引言

图像复原是图像处理领域的一个关键问题，因为数字图像在形成、传输、存储、记录和显示过程中不可避免地存在不同程度的变形和失真，导致图像质量的退化，因此要想得到高质量的图像，需要对退化的数字图像进行复原。造成图像退化的原因很多，如传感器噪声、成像设备聚焦不佳、曝光过程中成像系统与场景之间的相对移动以及大气湍流等[1]。最典型的退化现象就是模糊，本文主要讨论由于相机抖动所产生的模糊图像的复原问题，即去模糊。

在许多运动去模糊算法[2-5]中将图像模糊过程建模为清晰图像与空间均匀模糊核的卷积加上噪声，这意味着图像中所有的点与同一个运动模糊核进行卷积，而Levin等人[6]和Chao Wang等人[7]指出这种全局一致的模糊核（PSF）的假设是不能够充分描述由于相机的抖动而导致拍摄的图像模糊这一过程。最近有一些人研究非均匀模糊图像，例如Sawchuk[8]通过对图像进行对数变换，这样模糊核可以用空间不变的模糊核表示，Levin[9]、Chao[10]中首先将图像分割成具有不变模糊核的区域然后再对图像进行去模糊，Yu[11]等人提出了射影运动模糊模型，用单应性矩阵来表示清晰图像和模糊图像之间的关系。去模糊依据模糊核是否一致分为均匀模糊模型和非均匀模糊模型；依据模糊核是否已知分为非盲去卷积与盲去卷积。本文主要讨论非均匀模糊图像的非盲去模糊问题。非盲去卷积方法是在PSF已知的情况下，由模糊图像求取清晰图像的近似。经典的非盲去卷积算法有维纳滤波、卡尔曼滤波、Richardson Lucy （RL）算法等[12]。目前，RL算法是应用最广泛的图像复原算法之一，假定图像噪声符合泊松分布，采用最大似然法估计清晰图像，是一种基于贝叶斯估计的迭代复原算法，但是RL算法也存在一些问题，造成图像复原的效果不是很理想。第一是振铃效应，当迭代次数增加时，能恢复更多的图像细节，但是在图像边缘的平滑区域的振铃效应也会增多，影响图像恢复的质量；第二是噪声放大问题，当模糊图像中存在噪声时，在每一次迭代中噪声都会被放大，这也严重影响图像复原的质量。最近Wang等人[13]提出了一种改进的RL算法，主要思想是对图像的平滑区域和边缘部分使用不同的权重，这样可以减少振铃，但此种方法对具有复杂纹理结构的图像恢复效果不是很好[14]。本文采用Yu-Wing的射影运动模糊模型[11]，提出了一种基于局部的RL去模糊法，利用基于局部极值分解的方法（EMD）[15]提取含有图像结构但无振铃的边缘图像，将边缘图像和模糊图像作为去模糊算法的输入图像，用改进的RL算法对图像进行去模糊。

2 射影运动模糊模型

其中I(x)表示曝光之后所得到的图像；δI(x，t)以及它的离散形式ΔI(x，ti)为图像传感器在无限小的时间段dt处获得的图像；[0，T]为总曝光时间；x为3×1的齐次坐标。在此模型中，假定N（在曝光时间段内离散采样点数）是很大的数，可忽略连续积分与离散和之间的误差。

当相机和场景间没有相对运动时，假定传感器的噪声很小，此时：

当相机与场景间有相对运动时，假定传感器的噪声很小，此时：

一幅图像的像素灰度值是由在曝光时间段内相机传感器所接受的光子量决定的。为单应性矩阵。故射影运动模糊模型可以表示为：

其中B(y)为一幅运动模糊图像；I0(x)为要恢复的清晰图像。

3 射影运动模糊模型下的RL改进算法

在RL去模糊迭代过程中图像的细节和振铃现象是一对矛盾体，随着迭代次数的增加去模糊图像越来越清晰，同时图像边缘的平滑区域处振铃也越来越明显，均匀模型下的RL法不能够很好地均衡去模糊图像的质量和边缘振铃程度间的关系。本文提出了一种非均匀模型下的基于局部先验和EMD的RL算法。引入的局部先验可使得图像的光滑区域的振铃明显减少；通过EMD分解法可提取无振铃的边缘图像，将边缘图像和模糊图像作为去模糊算法的输入图像，用改进的RL法对图像进行去模糊。改进的算法能够较好地抑制振铃并能够恢复图像的细节。

3.1 射影运动模糊模型下RL算法

3.1.1 均匀模型下的RL算法

均匀模型下，模糊图像可以表示为：

其中，B表示模糊图像，I表示希望得到的清晰图像，K表示模糊核（PSF），N表示加性噪声，⊗表示卷积过程。

在RL算法[12]中假定噪声服从泊松噪声分布，图像I的似然概率为：

图像I的最大似然解可通过最小化下面的能量函数得到：

上式求导并且假设归一化的模糊核K(∫K(x)dx=1)，得到RL算法的迭代公式为：

其中K*为K的伴随矩阵。

3.1.2 射影运动模糊模型下RL算法

根据基本RL算法可推导出射影运动RL算法，首先定义一个空间变化的模糊核PSFky，则射影运动模糊模型可以写为：

3.2 改进的RL算法

射影运动模型下的RL法虽能够从模糊图像中恢复出清晰图像但图像边缘平滑处存在严重的振铃现象，本文针对此问题提出了一种改进的算法。引入的局部先验可使得图像的光滑区域的振铃明显减少；基于局部极值的图像分解法EMD[15]能够很好地把图像的细节层与基层图像分离，本文采用EMD法[15]来提取包含图像结构但无振铃效应的边缘图像。在算法的每次迭代中同时输入边缘图像和模糊图像，可消除严重的振铃现象。在算法的第一次迭代中输入边缘图像和模糊图像，用改进的RL法进行去模糊，在下次迭代中用上次迭代后的图像代替模糊图像，并将其经EMD[15]分解来得到此次迭代的边缘图像。本算法分为两部分：用EMD[15]法提取边缘图像；用边缘图像和改进的RL算法去模糊。整个算法的流程图如图1。

3.2.1 边缘图像的提取

本文采用EMD法[15]提取边缘图像，算法通过在矩形窗内寻找局部极大值和局部极小值，由局部极大值和局部极小值的平均值所形成的图像为基层图像M，EMD算法中将细节定义为在局部极值间振荡的像素点，细节D1可通过输入图像B减去光滑（基层图像）图像M得到，D1=B-M。通过观察含有振铃的图像知，在边缘处产生振铃的像素点的灰度值为边缘处像素点灰度值的一半，因此需对基层图像M再进行分解得到基层图像M′，M′=M-D2，其中M′中无振铃。通过M′计算边缘图像S，S=M′+D1，其中S中无振铃。算法流程如图2。

3.2.2 改进的RL去卷积算法

Shan等人在文献[16]中用局部先验来作为一个正则项以此来抑制振铃，图像中局部光滑的区域在经过模糊后还是光滑区域，但图像边缘处的光滑区域会受到影响，因此可用高斯分布来对原始图像和模糊图像间的局部误差来进行约束。

图2 流程图

其中Ω为局部光滑区域。

添加了式（7）局部先验的RL去模糊算法，对于边缘区域处的最近两条边界线之间的像素点没有进行去模糊，因为把它们认为是边缘像素点[14]，而EMD法可以很好地提取含有图像结构但无振铃的边缘图像，通过将EMD法、局部先验用到RL法中，可以有效地抑制振铃。

添加了先验项的能量函数为：

其中I为清晰图像，B为模糊图像，S为边缘图像。改进后的RL算法的迭代公式为：

4 实验结果与分析

本文用两组实验来验证改进的RL算法的优点，第一组实验对射影运动模糊模型下的四种方法进行比较，第二组实验对均匀模型下的RL法与射影运动模型下的RL法比较。

对于所有的实验，采用Yu-Wing[11]中的方法对模糊核进行估计，设置迭代次数为500次，EMD法的窗口8×8，以100次迭代为一个分界点，将λ分别设置为1.0，0.5，0.25，0.125，0.0。

4.1 射影运动模型下的RL法、RL-TV法、RLBilateral法与本文算法的比较

在本组实验中，原始的清晰图像图3（a）的尺寸为150× 150，图3（b）为非均匀模糊图像，其中添加了均值为0，方差为2.0的高斯噪声，图3（c）为RL算法去模糊结果，图3（d）为RL-ΤV算法去模糊结果，图3（e）为RL-BL算法去模糊结果，图3（f）为本文算法的结果，图3（g）～图3（l）分别为图3（a）～图3（f）的放大区域。

图3 lena

从图3（g）～（l）中观察可知，图3（c）～（e）中图像的部分细节丢失，图3（f）的恢复效果较好，细节能够很好地恢复且振铃较少。

为了验证本文方法的实用性，采用一幅来自真实世界的含有较多细节的图像。原始的清晰图像图4（a）的尺寸为150×150，图4（b）为非均匀模糊图像，其中添加了均值为0，方差为2.0的高斯噪声，图4（c）为RL算法去模糊结果，图4（d）为RL-ΤV算法去模糊结果，图4（e）为RL-BL去模糊结果，图4（f）为本文算法的结果。

图4 lake

比较图4知RL法、RL-ΤV法[14]、RL-Bilateral法[14]的恢复结果较差，丢失部分细节，本文方法能够恢复出更多的细节。

表1给出了RL法、RL-ΤV法[14]、RL-Bilateral法[14]与本文方法峰值信噪比（PSNR）、结构相似度（SSIM）、算法运行时间（ΤIME）的比较。

表1 RL、RL-ΤV、RL-BL的方法与本文方法的PSNR、SSΙM、TΙME值对比

4.2 均匀模型下的RL法与射影运动模型下的RL法比较

在本组实验中，原始的清晰图像图5（a），图6（a）的尺寸为150×150，图5（b），图6（b）为非均匀模糊图像，其中添加了均值为0，方差为2.0的高斯噪声，图5（c），图6（c）为均匀模型下的RL法去模糊结果，图5（d），图6（d）为射影运动模糊模型下的RL法去模糊结果。图5（e），图6（e）和图5（f），图6（f）分别为图5（c），图6（c）和图5（d），图6（d）的某一区域。

图5 doll

图6 fruits

从图5、图6中观察可知，图（d）的恢复效果好于图（c），图5（c）中doll的脸部、头部还有灯头，灯的底部几乎没有恢复出来而且振铃现象比较严重，图6（c）中各种水果的边缘处存在严重的振铃现象。由实验可知，对于因相机抖动产生的模糊图像，非均匀模糊模型较均匀模糊模型在去模糊中更为有效。表2给出了均匀模型与非均匀模型下的RL法的PSNR、SSΙM及时间的比较。

表2 均匀模型与非均匀模型下的RL法的PSNR、SSΙM、TΙME对比

5 结束语

本文针对均匀模糊模型下的RL法振铃现象严重，图像的部分细节丢失等缺点，提出了基于非均匀模糊模型下改进的RL算法。由于振铃常出现在图像边缘的平滑区域处，本文算法是在每次迭代中首先用基于局部极值的分解法EMD[15]提取出包含图像结构但无振铃的边缘图像，这样可以明显减少振铃，然后用添加了局部先验项的RL法对图像进行去模糊。实验结果验证了本文算法较非均匀模糊模型下的RL法、RL-ΤV法、RL-BL法能更好地恢复图像的细节并减少振铃，表明对于相机抖动产生的模糊图像，非均匀模糊模型在去模糊中更为有效。

[1]赵博，张文生，丁欢.基于Richardson-Lucy的图像去模糊新算法[J].计算机工程与应用，2011，47（34）：1-4.

[2]Chan Τ F，Shen J.Τheory and computation of variational image deblurring[C]//MS Lecture Notes in Singapore：IMS，2006.

[3]Cai J，Ji H，Liu C，et al.Blind motion deblurring from a single image using sparse approximation[C]//Proc IEEE Conf Comput Vis Pattern Recog，2009：104-111.

[4]Fergus R，Singh B，Hertzmann A，et al.Removing camera shake from a single photograph[J].ACM Τrans on Graph，2006，25（3）：787-794.

[5]Bronstein M M，Bronstein A M，Zibulevsky M，et al.Blind deconvolution of images using optimal sparse representations[J]. IEEE Τrans on Image Process，2005，14（6）：726-736.

[6]Levin A，Weiss Y，Durand F，et al.Understanding and evaluating blind deconvolution algorithms[C]//Proc CVPR，2009：1964-1971.

[7]Wang Chao，Sun Lifeng，Cui Peng，et al.Analyzing image deblurring through three paradigms[J].IEEE Τransactions on Image Processing，2012，21（1）：115-128.

[8]Sawchuk A A.Space-variant image restoration by coordinate transformations[J].J Optical Soc Am，1974，64（2）：138-144.

[9]Levin A.Blind motion deblurring using image statistics[C]// Proc Advances in Neural Information Processing Systems，2006：841-848.

[10]Cho S，Matsushita Y，Lee S.Removing non-uniform motion blur from images[C]//Proc 11th IEEE Int’l Conf Computer-Vision，2007：1-8.

[11]Τai Y W，Τan Ping，Brown M.Richardson-Lucy deblurring for scenes under a projective motion path[J].IEEE Τransactions on Pattern Analysis and Machine Intelligence，2011，33（8）：1603-1618.

[12]Kunder D，Hatzinakos D.Blind image deconvolution[J].IEEE Signal Processing Magazine，1996，13（3）：43-64.

[13]Wang Y，Feng H，Xu Z，et al.An improved Richardson-Lucy algorithm based on local prior[J].Optics&Laser Τechnology，2010，42（5）：845-849.

[14]Wu Jiunn-Lin，Chang Chia-Feng，Chen Chun-Shih.An improved Richardson-Lucy algorithm for single image deblurring using local extrema filtering[C]//IEEE International Symposium on Intelligent Signal Processing and Communication Systems，2012.

[15]Subr K，Soler C，Durand F.Edge-preserving multiscale image decomposition based on local extrema[J].ACM Τrans on Graph，2009，28（5）.

[16]Shan Q，Jia J，Agarwala A.High-quality motion deblurring from a single image[J].ACM Τrans on Graph，2008，27（3）：1-5.

ΤANG Min,PENG Guohua

School of Natural and Applied Sciences,Northwestern Polytechnical University,Xi’an 710129,China

In view of the problem of ringing effect and missing details in Richardson Lucy（RL）algorithm under conventionally uniform blur model,an improved RL algorithm based on the non-uniform blur model is put forward.Under the blur model of projective motion path based on Yu-Wing,edge image which has structure and no ringings is extracted,using the method based on local extremum decomposition in the iterative process.Making the blurred image and the edge image as the inputs,then the inputs using the RL method with partial prior terms are deblurred.Experimental results demonstrate the effectiveness of the algorithm to suppress the ringing effect,while preserving the image details,and indicate that the non-uniform blur model is more effective to deblurring in camera shake.

motion deblurring;non-uniform kernel;local a prior;local extremum filtering;ringing

针对传统均匀模糊模型下的Richardson Lucy（RL）算法存在振铃效应和细节丢失等问题，提出了一种基于非均匀模糊模型下的改进RL算法。基于Yu-Wing的射影运动模糊模型，通过在迭代过程中采用基于局部极值分解的方法提取含有图像结构但无振铃的边缘图像，将模糊图像和上述提取的边缘图像作为输入图像，用添加了局部先验项的RL法对输入图像进行去模糊。实验验证了算法抑制振铃效应的有效性，同时很好地保留了图像细节，表明非均匀模糊模型在相机抖动产生的模糊图像去模糊中更为有效。

去模糊；非均匀模糊核；局部先验；局部极值分解；振铃

A

ΤP391

10.3778/j.issn.1002-8331.1304-0031

TANG Min,PENG Guohua.Improved RL method based on non-uniform kernel.Computer Engineering and Applications, 2013,49（21）：114-118.

国家自然科学基金（No.61070233）。

唐敏（1987—），女，研究生，主要研究方向为图像处理、计算机视觉；彭国华（1962—），男，教授，博士生导师，主要研究方向为计算机图形学、计算机辅助几何处理、图像处理、计算机视觉。E-mail：tangmin828@yahoo.cn

2013-04-03

2013-05-06

1002-8331（2013）21-0114-05

CNKI出版日期：2013-06-17http://www.cnki.net/kcms/detail/11.2127.ΤP.20130617.0923.002.html