基于二维经验模态分解的单幅图像超分辨率重建

毛晓波，张志超

(郑州大学 电 气工程学院，河南 郑 州450001)

0 引言

图像超分辨率重建是指用信号处理和图像处理的方法，通过软件算法的方式将已有的低分辨率图像转换成高分辨率图像的技术［1］.它在视频监控、图像打印、刑侦分析、医学图像处理、卫星成像等领域有较广泛的应用［2］，因而具有很高的研究应用价值.输入与输出均为单幅图像的超分辨率重建称为单幅图像超分辨率重建.根据是否依赖训练样本，超分辨率重建分为图像增强的超分辨率重建(无训练样本)与基于学习的超分辨率重建(有训练样本)［1］.图像增强的超分辨率重建，只对图像的显示效果进行增强，可将其归为图像插值［1］.此类方法的计算复杂度低，未从本质上提高分辨率，适用于对重建图像质量要求不高但速度要求较高的场合.基于学习的单幅图像超分辨率重建是近年来研究的一个热点［3］.如Chang等提出基于流形学习的方法［4］，Freeman等提出用马尔科夫网络的方法［5］，Kim等提出改进核岭回归方法［6］.这类算法重建图像质量高，但通常算法复杂度高、速度较慢，且需要大量的训练数据，不适用于实时性要求较高的场合.

针对这一问题，笔者提出一种基于二维经验模态分解的单幅图像超分辨率重建算法，该算法将图像插值的超分辨率算法与基于学习的超分辨率算法相结合，充分利用二维经验模态分解能分层提取图像信息的特点，改进核岭回归法对图像高频细节信息的高质重建优势及双三次插值运算速度快的优势.首先用二维经验模态分解法将一幅低分辨率图像分解为不同复杂程度的图层;然后对包含图像高频细节信息的第一层用改进核岭回归法进行超分辨率重建，以保证重建质量，对包含趋势信息和亮度信息的其它层用双三次插值法进行超分辨率重建，以提高运算速度;最后将各层重建图像合成一幅完整的高分辨率重建图像.

1 原理及方法

1.1 二维经验模态分解

二维经验模态分解(Bidimensional Empirical Mode Decomposition，BEMD)能将图像逐步分解为一系列具有不同频率的IMF分量和残余项R，先提取出的IMF分量包含主要的高频细节信息，最后的残余项R包含了图像的大致走向和亮度信息.对于一幅大小为M×N的图像f(x，y)，二维EMD实现过程如下［7］:

(1)对所给图像曲面求取所有局部极大值和极小值;

(2)对极大值点和极小值点分别用径向基函数法进行曲面拟合，得到极大值点包络曲面和极小值点包络曲面，将两曲面数据求平均得到均值包络曲面数据;

(3)用原曲面减去均值包络曲面;

(4)判断是否满足终止条件，即每个IMF满足(1)信号极值点与过零点数量必须相等，或最多相差一个，(2)在任一时间点上，由信号极大值定义的上包络和极小值定义的下包络局部均值为零.

重复(1)～(3)，直到满足给定的终止条件，得到第1层二维固有模态函数IMF1，用原图像减去第1层模态函数得到第1层残差R.对残差重复(1)～(4)，依次得到图像的N层固有模态函数和第N层残差，N取4.

1.2 改进的核岭回归方法

Kim等将高频细节重建看成回归问题，提出一种基于学习的单幅图像超分辨率重建算法，将核匹配追踪和梯度下降相结合，对核岭回归法的正则化代价函数进行优化，同时采用自然图像先验模型进行边缘清晰化处理［6］.

首先对高分辨率图像进行模糊和下采样得到低分辨率图像，然后分别对高、低分辨率图像采样得到图像块对，组成训练图像对集.对于给定的训练数据点集{(x1，y1)，…，(xl，yl)}⊂IRM× IRN，对每一个回归量的独立凸代价函数求和并分别最小化:

式中:i=1，…，N;k为希尔伯特空间H的再生核.将式(2)代入式(1)可得

改进核岭回归法是基于学习的单幅图像超分辨率重建算法中的典型算法，其对高频细节丰富的图像重建质量较高，但时间复杂度高，运算量大.

1.3 基于二维EMD的单幅图像超分辨率重建

改进的核岭回归法对高频细节丰富的图像重建效果很好，但其耗时较长.而双三次插值法运算简单，对包含低频信息的图像重建质量较好［8］.结合二者的优势，笔者提出了基于二维EMD的单幅图像超分辨率重建算法.

先对高分辨率图像Butterfly进行高斯模糊和4倍下采样，得到一幅低分辨率图像，如图1所示.用二维 EMD分解此 LR图像，得到 IMF1、IMF2、IMF3和残余项R，为了便于观察，只给出其中的细节图，如图2(a)～(d)所示，IMF1包含了主要的高频细节信息.对包含高频细节信息的IMF1，采用改进核岭回归的方法重建，重建放大4倍，如图2(e)所示.对IMF2、IMF3和残余项R用双三次插值法重建，重建放大4倍，如图2(f)～(h)所示.可看出，由改进核岭回归法重建的重建IMF1效果很好.

图1 HR与LR图像Fig.1 HR and LR image

2 实验结果与分析

笔者算法对图像中包含高频细节信息的部分用改进核岭回归法重建，可以保证重建图像质量;在包含较少信息的部分用运算简单的双三次插值方法，可以减少运算时间，提高算法的效率.相比于改进核岭回归法对整个图像进行重建，笔者算法运算量小且速度快，更具优势.

为了进一步验证本文算法的有效性，将本文算法和改进核岭回归法、双三次插值法的重建效果进行对比.选 peppers、fabric、butterfly 和 lotus四幅图像进行实验，重建效果如图3所示.由于图像的峰值信噪比PSNR、视觉效果及运算速度是衡量重建图像质量的常用标准［8］，笔者给出了三种算法的峰值信噪比PSNR及各自的耗时，以客观说明本文算法的有效性，如表1所示.

图2 LR图像的二维EMD分解及其重建图像Fig.2 BEMD of the LR image and the reconstructed image

图3 三种算法的重建效果比较Fig.3 The simulation results of the three algorithm s

表1 3种算法的重建性能指标比较Tab.1 The reconstruction performance comparison of the three algorithms

由图3可以看出，双三次插值方法重建出的图像边缘呈锯齿状，重建效果较差;笔者算法和改进核岭回归法重建出的图像边缘清晰，说明本文算法有较好的视觉效果.由表1的PSNR这一指标看出，双三次插值方法的PSNR最小，改进核岭回归法的PSNR居中，笔者方法的PSNR最大，一般认为峰值信噪比越大，图像质量越好［8］，因而笔者算法在PSNR这一指标上优于其它两种方法.由表1中的耗时指标可以看出，双三次插值法耗时最少，本文算法居中，核岭回归法耗时最长，表明笔者算法在运算速度上优于核岭回归法.

综合上述三项指标看出，双三次插值法运算速度快，但重建质量较差;改进的核岭回归法重建质量较高，但运算速度慢;笔者算法的重建质量显著高于双三次插值法，与改进的核岭回归法相当，且在运算速度上显著优于改进的核岭回归法.

3 结论

将二维经验模态分解法能分层提取图像高频细节信息的特点，改进核岭回归法对图像高频细节信息的高质重建的优势和双三次插值运算简单的特点结合起来，提出基于二维经验模态分解的单幅图像超分辨率重建算法.实验结果和衡量指标表明，笔者算法不仅有着较好的视觉效果，且有效地提高了峰值性噪比和运算速度，是一种实时有效的图像超分辨率重建方法.

［1］ 苏衡，周杰，张志浩.超分辨率图像重建方法综述［J］.自动化学报，2013，39(8):1202-1213.

［2］ 吴炜，杨晓敏，余艳梅，等.核偏最小二乘算法的图像超分辨率算法［J］.电子科技大学学报，2011，40(1):105-110.

［3］ 陈杰，朱秀昌.一种基于彩色化的单幅彩色图像超分辨率重建［J］.南京邮电大学学报:自然科学版，2013，33(4).

［4］ CHANG Hong，YEUNG Dit-yan，XIONG Yi-min.Super-resolution through neighbor embedding［C］//Computer Vision and Pattern Recognition，2004.CVPR 2004.Proceedings of the 2004 IEEE Computer Society Conference on.IEEE，2004:275-282.

［5］ FREEMAN W T，PASZTOR E C，CARMICHAEL O T.Learning low-level vision［J］.International journal of computer vision，2000，40(1):25-47.

［6］ KIMK I，KWON Y.Example-based learning for single-image super-resolution［M］//Pattern Recognition.Springer Berlin Heidelberg，2008:456-465.

［7］ 宋立新，高凤娇，郗朝晖.二维 EMD分解方法的比较与改进［J］.电子与信息学报，2008，30(12):2890-2893.

［8］ 杨宇翔.图像超分辨率重建算法研究［D］.合肥:中国科学技术大学自动化系，2013.