多向滤波结合小波逆变换的图像超分辨率重建

宋明煜 张靖 俞一彪

摘  要：超分辨率图像重建技术是指对低分辨率图像进行处理得到高分辨率的图像。文章提出多向滤波和小波逆变换相结合的超分辨率图像重建算法，首先对原始图像进行多向滤波处理，得到水平、垂直和对角线的高频分量图像，然后将原始图像作为小波变换的低频分量，结合上述高频分量图像进行小波逆变换得到超分辨率重建图像。实验结果显示，文章提出的方法相比已有的小波变换超分辨率重建方法在视觉感受、峰值信噪比和均方差等方面有显著提高。

关键词：超分辨率图像重建;多向滤波;多向差分;小波变换

中图分类号：TP391.41      文献标识码：A 文章编号：2096-4706（2020）15-0005-04

Abstract：Super-resolution image reconstruction technology refers to processing low-resolution images to obtain high-resolution images. A super-resolution image reconstruction algorithm combining multi-directional filtering and inverse wavelet transformation is proposed. Firstly，the original image is processed by multi-directional filtering to obtain the horizontal，vertical and diagonal high-frequency component images. Then，the original image is taken as the low-frequency component of wavelet transform，and then the super-resolution reconstruction image is obtained by inverse wavelet transform combined with the high-frequency component image. The experimental results show that compared with the existing wavelet transform super-resolution reconstruction methods，the proposed method has a significant improvement in visual perception，peak signal-to-noise ratio and mean square deviation.

Keywords：super-resolution image reconstruction;multi-directional filtering;multi-directional difference;wavelet transform

0  引  言

圖像的超分辨率重建技术可以对现有的低分辨率图像进行相关处理来获得对应的高分辨率图像。基于低分辨率图像的超分辨率图像重建技术在多媒体通信、医学影像分析、视频监控等领域具有十分广泛的应用价值[1]。

近年来，随着小波理论的成熟，越来越多的人将小波技术引入图像重建领域，并取得了重要的研究成果。离散小波变换（Discrete Wavelet Transform，DWT）[2]具有很多优点，它不仅可以分离图像的高频信息含量和低频信息含量，而且具有多尺度分解的特点。超分辨率影像重建技术于60年代由Harris以单张影像复原的概念和方法提出，随后许多人对其进行了研究，并相继提出了各种复原方法。虽然这些方法作出了较好的仿真结果，但并没有在实际中得到广泛的应用[3]。80年代初，Tsai和Huang首先提出了基于序列或多帧影像的超分辨率重建问题，并给出了基于频域逼近的重建影像的方法[4]。80年代末之后，随着计算机技术、电子技术以及信号处理理论与技术特别是小波理论、自适应滤波理论以及一些优化理论的发展，人们在超分辨率影像重建方法研究上取得了突破性进展，研究成果倍出，其应用涵盖了航空航天遥感、目标识别、医学计算机层析成像、空中目标光电监视成像等诸多领域[5]。

2016年香港中文大学Dong等人将卷积神经网络应用于单张图像超分辨率重建上，完成了深度学习在图像超分辨率重建问题的开山之作，提出了超分辨率卷积神经网络SRCNN（Super Resolution Convolutional Neural Network，SRCNN）。重建效果远远优于其他传统算法[6]。美国加州大学Milanfar等人提出了大量实用的超分辨率图像复原算法[7];Chan等人从总变差正则方面[8]，Zhao等人、Nagy等人则是从数学方法、多帧图像的去卷积和彩色图像的超分辨率增强方面，对超分辨率图像恢复进行了深入研究。Rajan等人分别从物理学和成像透镜散射的角度提出了新的超分辨率图像恢复方法[9];韩国浦项理工大学将各向异性扩散方法用于超分辨率图像重建[10]。基于单幅图像的超分辨率重建的重建质量和计算简便性仍然是目前的研究热点之一。

在多媒体通信领域，实时通信时由于信道的限制往往很难直接获得高分辨率高清晰度的图像，而一些应用场景又对图像的质量有较高要求，此时图像的超分辨率重建工作就显得尤为重要。如果直接拉大图像，会产生视觉上的模糊的现象，即马赛克效应。为了克服这种马赛克效果，现考虑利用小波反变换对图像进行处理，使图像尺寸放大却依然保持视觉上的清晰效果。利用小波变换可以对图像进行降低分辨率处理，那么理论上小波逆变换（IDWT）即可对图像实现高分辨率的重建，因此考虑采用这个基本原理进行系统的搭建。

本文提出采用多向滤波结合小波逆变换的方法（Multi-directional Filtering with inverse Wavelet Transform，MFWT）构建超分辨率图像重建方法，根据具体滤波处理方法不同而形成两种重建算法：（1）多向高通滤波小波逆变换算法，首先分别构建水平、垂直和对角方向高通滤波器对低分辨率原始图像进行滤波，得到三个方向的高频分量，然后将原始图像作为低频分量，结合得到的三个高频分量通过小波逆变换得到超分辨率重建图像;（2）多向差分滤波小波逆变换重建算法，这一算法与前述算法的差异在于高通滤波方法的不同，其通过对原始低分辨率图像前向差分实现水平、垂直和对角方向的高通滤波。实验证明本文提出的方法相对经典小波变换重建方法有较好的重建质量和较小的计算量。

1  小波变换超分辨率图像重建

二维小波变换把一幅图像分解成尺度更小的四个分量，这四个分量分别为低频分量和水平、垂直与对角三个方向的高频分量。对于一个图像来说，低频分量也保留了原始图像的大部分信息，而高频分量主要包含原始图像的轮廓等细节信息。

迄今为止，几乎所有基于小波变换理论的图像超分辨率计算总体方案都是把原始图像作为小波变换中的LL分量，再利用不同的计算方法来计算HL、LH、HH这三个高频分量，最后再将这四个分量进行小波逆变换，得到需要的超分辨率图像[11]。如图1所示，经典小波变换超分辨率图像重建方法直接将低分辨率原始图像作为低频分量，并对其进行小波变换得到HL、LH、HH三个高频分量，之后再通过线性插值形成所需尺度的高频分量，然后将这三个高频分量作为目标超分辨率图像的高频分量进行小波逆变换最终得到重建的超分辨率图像。这里的LL代表水平垂直低频分量，LH、HL和HH分别代表垂直、水平和对角高频细节分量[12]。

这种经典小波变换超分辨率图像重建方法利用了小波变换的特点，但在获取高频信息方面，通过小波分解再插值的方法会因插值计算窗口过宽引起较大误差与失真，从而使得重建图像的轮廓边缘变得模糊。

2  多向高通滤波小波逆变换重建方法

利用小波逆变换重建超分辨率图像的方法的难点在于如何获取低分辨率原始图像对应的高频信息，具体来说就是利用小波逆变换获取超分辨率图像重建所需的水平、垂直和对角高频分量。本文提出多向滤波的方法可以较好克服经典DWT方法重建超分辨率图像轮廓边缘信息模糊的问题。

基于小波变换原理，小波分解结果代表了原始图像的低频主体分量以及水平、垂直和对角线三个方向的高频分量，并可以基于这四个分量通过小波逆变换无失真恢复原始图像。在超分辨率图像重建中，低分辨率原始图像因保留了完整的图像基础信息，可以作为所需超分辨率图像小波分解得到的低频分量，而其对应的高频分量可以通过对其高通滤波估计得到。其中，可以通过分别把二维图像按照水平方向和垂直方向分成行向量和列向量的一维信号进行高通滤波来获得水平和垂直高频分量，可以直接通过对图像的二维高通滤波来获得对角高频分量。若原始图像的第h行和第v列像素值序列分别为xh和xv，则其离散傅立叶变换后得到的频率和相位信息可以分别用式（1）和式（2）来表示。整个图像x（m，n）的二维DFT如式（3）所示。

将x（m，n）作为低频分量，结合以上三个高频分量进行小波逆变换就可以得到重建超分辨率图像。理论上可以证明，多向差分滤波虽然无法精确计算得到原始低分辨率图像对应的高频分量，但其计算窗口宽度仅为经典DWT方法插值计算窗口宽度的一半，因此估算精度明显提升，有利于提高重建超分辨率图像的质量。

4  实验结果与分析

选取分辨率为128×128像素的图像作为本实验的原始低分辨率图像对本文算法进行仿真验证，得到256×256像素的高分辨率图像，完成了2倍超分辨率的图像重建。为了体现算法对不同图像的有效性，实验中选取了三幅标准的灰度图（Lena、Bridge和Zebra）进行图像重建。实验中小波变换采用Haar小波分别实现了经典DWT方法、本文提出的多向高通滤波小波逆变换算法MFWT-1和多向差分滤波小波逆变换算法MFWT-2。采用均方差（Mean Squared Error，MSE）和峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）兩个客观指标来衡量重建图像的质量，主要通过比较重建图像的细节和视觉感受进行主观评价。

4.1  客观评价

经典DWT、MFWT-1和MFWT-2各算法的超分辨率图像重建实验结果如表1和表2所示。

由表1可知，本文提出的方法MFWT-1和MFWT-2得到的超分辨率重建图像的PSNR值相比经典DWT算法有明显提高，同时，采用高通滤波的方法MFWT-1相比采用差分滤波的方法MFWT-2更加优越。而从表2也可以看出，本文方法重建的图像与目标图像之间的均方误差较小，MFWT-1方法同样获得了最优MSE指标值，与PSNR测试结果一致。

4.2  主观评价

表3展示了使用三种不同方法对三种低分辨率图像的超分辨率重建效果。

可以明显看出采用本文提出的两种方法重建图像的主观视觉效果优于传统小波变换方法，特别是在纹理细节丰富区域的重构质量有很好的提高，重构的图像边缘更加光滑，同时图像细节也更加清晰。

图4是Lena图像的眼部和帽檐局部细节放大对比图，可以明显看到MFWT-1的重建细节优于MFWT-2和经典DWT方法，相对而言，无论在边缘轮廓的平滑度、纹理的清晰度和灰度层次方面都有很大改善。

以上主观评价的结果与客观评价一致，说明了采用多向滤波结合小波逆变换可以有效提高超分辨率图像重建的质量，以及对原始图像直接高通滤波和差分滤波相对DWT高频分量插值方法都能更好地获取重建所需的高频分量。另外，MFWT-1的重建质量要优于MFWT-2，说明采用滤波器进行高通滤波的方法比时域差分滤波要好，差分滤波的计算窗口虽然比经典DWT的插值计算窗口窄了一半，但仍然大于理论上的标准窗口宽度，因此效果不如直接高通滤波方法。

5  结  论

目前图像超分辨率重建的研究越来越受到国内外学者的重视，基于小波变换的图像超分辨率重建的关键问题在于如何获取与低分辨率图像对应的高频分量信息。本文主要研究了结合多向滤波的小波逆变换图像超分辨率重建算法，通过引入水平、垂直和对角方向高通滤波来获得图像重建所需的三个方向的高频分量，结合低分辨率原始图像经过小波逆变换得到重建图像。实验证明了本文提出的算法相对于经典DWT算法在PSNR和MSE性能指标上均取得明显优势，并且明显提升了重建图像的主观视觉感受。说明多向滤波可以有效提取原始低分辨率图像对应的高频分量，相对经典DWT方法的线性插值方法具有明显优势。

参考文献：

[1] 贺清碧，黄大荣，杨永琴.基于小波分析和多项式细分定位的超分辨率图像重建算法 [J].计算机科学，2016，43（3）：313-316.

[2] 刘扬阳，金伟其，苏秉华.基于正交离散小波的超分辨力图像复原算法 [J].北京理工大学学报，2005（5）：431-434+438.

[3] HARRIS J L. Diffraction and Resolving Power [J].Journal of the Optical Society of America，1964，54（7）：931-936.

[4] HUANG T S. Advances in computer vision & image processing [M]//TSAI R Y. Multipleframe Image Restoration and Registration.Greenwich：JAI Press Inc.，1984：317-339.

[5] 肖杰雄.基于POCS算法的超分辨率图像重建 [D].上海：上海交通大学，2009.

[6] DONG C，LOY C C，HE K M，et al. Learning a Deep Convolutional Network for Image Super-Resolution [C]//European Conference on Computer Vision，ECCV 2014. Cham：Springer，2014：184-199.

[7] NGUYEN N，MILANFAR P. An efficient wavelet-based algorithm for image super resolution [C]//Proceedings 2000 International Conference on Image Processing.Vancouver：IEEE，2000：351-354.

[8] CHAN T F，WONG C K. Muhichannel Image Deconvolution by Total Variation Regularization [C].San Diego：SPIE，1997：358-366.

[9] WOOD S L，RAJAN D，CHRISTENSEN M P，et al. Resolution improvement for compound eye images through lens diversity [C]//3rd IEEE Signal Processing Education Workshop.2004 IEEE 11th Digital Signal Processing Workshop，2004.Taos Ski Valley：IEEE，2004：151-155.

[10] KIM H，JANG J H，HONG K S. Edge-enhancing super-resolution using anisotropic diffusion [C]//Proceedings 2001 International Conference on Image Processing.Thessaloniki：IEEE，2001：130-133.

[11] 董理.超分辨率圖像重建算法研究 [D].广州：华南理工大学，2011.

[12] 叶双清，杨晓梅.基于小波变换和非局部平均的超分辨率图像重建 [J].计算机应用，2014，34（4）：1182-1186.

作者简介：宋明煜（1995—），男，汉族，吉林长春人，学士学位，主要研究方向：图像信号处理;张靖（1994—），男，汉族，江苏扬州人，硕士，主要研究方向：语音信号处理;通讯作者：俞一彪（1962—），男，汉族，江苏无锡人，教授，博士，主要研究方向：语音信号处理、多媒体通信、信息隐藏。