改进相似性度量模型的单幅图像自学习超分辨算法*

赵丽玲　孙权森

(1.南京理工大学计算机科学与工程学院，南京,210094; 2.南京信息工程大学信息与控制学院，南京,210044)

引　　言

高分辨率数字图像在遥感图像分析、医学检测、交通监控及公共安全等领域具有重要应用研究价值，有利于对感兴趣目标的提取、分析、检测和识别等。一般来说，提升数字图像分辨率的方法有两种[1]：硬件方法和软件方法。采用硬件方法提升数字图像分辨率，容易受成像平台、成像设备制造工艺水平和制造成本等因素的限制，提高图像空间分辨率所需的时间周期较长、成本较高；采用软件方法提升数字图像质量更加符合实际应用。图像超分辨(Super resolution, SR)技术是提升图像空间分辨率的一种有效的软件方法，是指利用图像处理技术试图恢复衍射极限以外数据的过程[1]。其中，软件超分辨技术的发展过程可以概括为3个阶段：传统单帧图像超分辨，多帧图像超分辨和新型单帧图像超分辨。20世纪60年代， Harris[2]和Goodman[3]首次提出超分辨重建率技术，指出可以通过软件方法提升图像的分辨率，提出的Harris-Goodman频谱外推超分辨率方法是领域内公认最早的超分辨率图像重建方法。随后，研究学者相继提出了能够保持超分辨图像边缘、纹理等高频信息的改进方法[4-7]；另外，解析延拓法、长球外推法、Papoulis-Gerchberg 迭代外推法等单帧图像的超分辨方法[8-9]也纷纷被提出。但是，由于引入先验信息的不足，单幅图像超分辨的进一步发展受到了制约[10-11]。1984年Tsai和Huang[12]提出了基于多幅图像的超分辨率方法，并在理论上给出了比较完美的实验结果。在之后的一段时间里，多幅图像超分辨技术成为了研究学者关注的主流研究方向[13-14]。然而，在许多实际应用领域，如卫星遥感、军事战场、医学检测及老照片修复等，同时获得多幅同一场景的低分辨率图像比较困难，多幅图像的超分辨技术因此遇到了发展瓶颈。随着新的数学理论不断借鉴引入，以及计算机技术的不断发展，近年来许多学者又重新开始投入到“单幅图像超分辨”的研究工作中[15-19]，并且基于学习的单幅图像超分辨方法逐渐成为目前研究学者关注的热点研究方向。

2002 年，Freeman等[20]首先提出了一种新型单帧图像超分辨方法(Freeman方法)，即基于示例学习(Example-based)的超分辨方法，该方法通过利用学习得到的高低分辨率图像块之间对应关系来预测输入低分辨率图像块的高频细节信息。2004年，Chang等[21]提出了基于领域嵌入(Neighbor embedding)的图像超分辨率重建方法，通过引入流形学习思想，获得了更好的超分辨结果。2009年，Glasner等[22]利用图像中重复出现的结构非局部相似性(Non-local similarity)，采用图形金字塔模型，构造了一组学习图像数据集，在不同尺度空间内寻找图像之间的相似性，超分辨效果有所提升。2010年，Yang等[23]在该项工作的基础上，提出了字典学习(Dictionary learning)超分辨方法，通过建立高低分辨率图像中相似性图像块的字典，完成超分辨重建，通过学习方法生成了表达能力强且更加精确的字典，超分辨效果更好。2011年，Freedman等[24]提出了基于图像自相似性理论的超分辨算法(Local self-examples)，即Freedman算法，该算法仅依靠图像自身的特征信息就可以完成学习训练过程，使基于学习的超分辨算法可以不依赖外部样本就能完成字典训练。

基于学习的超分辨方法与以往超分辨方法思路不同，获得测试样本超分辨率图像的基本思路是：在给定的训练图像集中，通过提取样本图像先验知识，计算测试样本块与训练图像块集之间的邻域对应关系，并进行权值最优化求解，完成图像超分辨过程。其中，训练集的构造可分为依赖外部数据集和不依赖外部数据集两种。依赖外部数据集的学习过程，对应关系建立在大量外部已知图像数据基础上，由于外部图像的引入，不但容易带来错误的图像结构信息，而且算法耗时相当大；不依赖数据集的学习过程，建立对应关系时直接通过对低分辨率图像本身进行变换实现，对低分辨图像高频细节的补充与其他图像无关，算法速度快。因此，基于自学习的超分辨重建速度快，算法更容易实现。在诸多单幅图像超分辨算法中，基于自学习的超分辨算法在实际应用中更具优势，是真正意义上的单幅图像超分辨技术，近年来受到广泛的研究关注[25-26]。

虽然基于自学习的超分辨重建算法有很多优势，但是仍然存在一些问题需要解决。特别是基于自学习超分辨算法在构造高低分辨率图像块之间对应关系时，需要首先完成高低分辨率图像块之间的相似性匹配，图像块之间匹配的准确程度与相似性度量方案的优劣有较大关系，进而影响超分辨图像质量。如何进一步提高相似性度量方案的可靠性，提高匹配精度，保证高质量的图像超分辨效果是一项值得研究的工作。本文提出了一种新的高低分辨率图像块之间相似性度量模型，并在Freedman算法框架下改进模型的计算方法，实现了超分辨图像质量的进一步提高。

1　问题分析及算法描述

1．1图像自相似性

一幅图像在相同尺度或不同尺度中通常存在着大量具有相似性的局部结构，尤其是边缘、纹理等结构在很小的比例缩放之后其特征保持不变。图1给出了具有局部自相似性图像的例子，位于左边花瓣和花托根部的图像块(图像矩形框内部)具有相似性；位于右边的图像块虽然在尺度上有微小的变化，但同样具有高度的相似性。这种结构自相似性在数字图像中非常常见，一般在图像的边缘、线条、道路、房屋、文字以及自然景观图像中广泛存在。这些图像块之间的自相似性完全可以为基于学习的超分辨方法提供大量不依赖额外数据集的样本图像。

图1　图像自相似性[24]Fig.1　Image self similarity[24]

Freedman[24]提出的利用图像自相似性构造高低分辨率图像块之间对应关系的超分辨算法是此类方法的经典之作。其算法基本框架如图2所示：算法建立对应高低分辨率图像匹配关系的策略是利用经过小尺度缩放的图像B和D之间的结构自相似性，然后将对应位置的高频图像E直接加载到图像B中，从而实现对低分辨图像B的高频细节成分补充。当待超分图像块(B中阴影部分)的某种特征在对应图像D中的一个有限区域内搜索时，需要计算每一次搜素图像块与待超分图像块之间的匹配程度，并寻找最小匹配值，即找到与待超分图像结构最相似的图像块。

分析Freedman算法原理以及实验结果发现，在对有丰富纹理结构的图像进行超分辨时，算法对纹理部分的超分辨效果并不十分理想，纹理错位和纹理混叠的情况常常发生。如图 3所示，矩形框内出现了错位纹理，这是由于寻找到的用于补充高频信息的高分辨图像块位置不够准确造成的。因此，Freedman算法的超分辨效果仍存在较大提升空间。为避免将错误位置的高频信息补充到低频图像，高低分辨率图像块之间准确的对应关系的建立非常重要。因此，度量图像块之间相似性的标准尤为关键。

图2　Freedman算法原理框图(以缩放倍数3∶2为例)Fig.2　Schematic diagram of Freedman algorithm (taking the scaling factor 3∶2 as an example)

图3　纹理错位示例(Freedman算法实验)　Fig.3　Texture dislocation (Freedman algorithm experiment)

1．2　纹理约束的相似性度量模型

图像间共性越多、差异越少，图像相似性程度越高。因此，共性和差异性是图像之间相似性度量的基本指标。图像相似性一般通过对表征图像信息的颜色、纹理、结构等特征进行相似度指标计算来实现。Freedman在度量高低分辨率图像块相似度时，采用了传统的绝对误差(Sum of absolute differences，SAD)算法，将高低分辨图像绝对值差最小值的位置作为最佳匹配，如式(1)所示。

(1)

式中：fl表示低分辨图像块像素点(i,j)处的灰度值；fh表示高分辨图像块像素点(i+u,j+v)处的灰度值；m,n表示图像块尺寸。

但是，SAD算法在计算过程中仅考虑了图像块中像素点灰度值的差异性，因此在实际匹配应用中对边缘、纹理、重复的细节等区域具有较高相似性时，容易出现错误的位置匹配，造成纹理错位和混叠等现象的发生。为了进一步增强算法的性能，本文引入匹配区域的方差进行改进，具体原理如式(2～5)所示。

(2)

(3)

Dvar=|varfh-varfl|

(4)

VSAD=S(u,v)+Dvar

(5)

式中：varfl为低分辨图像块方差；varfh为高分辨图像块方差；VSAD(Variance sum of absolute differences)表示方差的绝对误差，为本文改进的相似度计算指标。

本文提出的图像块相似性度量模型进一步增强了对图像块相似性程度的度量。在进行低分辨图像块对应的高分辨图像块搜索时，计算区域内所有目标高分辨图像块的VSAD值，通过选取VSAD最小值的位置作为高低分辨率图像块之间的最佳匹配。本模型综合考虑了图像区域平滑特征和纹理特征，可以提高具有丰富纹理结构图像的超分辨质量。

1．3　本文算法步骤

本文采用VSAD计算高低分辨率图像块的相似性，对具有丰富纹理结构的相似性图像块可以提高匹配准确度，算法步骤如下：

Step1已知待超分图像IA，对其进行放大(以3∶2为例)，得到放大后的图像IB。

Step2采用相反的放大因子(以2∶3为例)，反向操作于IA，得到缩小后的图像IC。

Step3将IC作用于步骤1，得到与原图IA相同大小的ID。

Step4计算高频图像IE，其中IE=IA-ID。

Step5使用VSAD对低分辨图像块进行高频补偿。具体操作是：将图像IB划分成图像子块(如5*5)，然后对IB中的某一块，在ID的相应窗口区域中(如15*15)用VSAD度量标准搜索最相似的子块，然后取出与ID中最相似子块位置对应的IE中高频图像子块，直接添加到IB的对应图像块上，完成该图像块的高频补偿。重复操作至所有子块都实现高频补偿。

Step6重复步骤(1～5)，直到组合后的放大因子大于或者等于初始放大因子。如放大2倍，可以使用组合放大因子为3∶2，4∶3。

2　实验结果与分析

图4　测试图像Fig.4　Testing images

为了验证本文算法的超分辨效果，采用图4中

的图像作为测试图像集，比较不同算法的性能。实验中，用本文所提出的方法直接对低分辨率图像进行超分辨重建，放大倍数为3倍。本文方法在实现过程中没有利用任何高分辨率图像，每个实验仅使用测试集中的单幅低分辨率图像。在实际应用中，对低分辨率图像直接运用本文方法即提升其空间分辨率，无需借助任何额外的高分辨率图像数据集。本文所有实验均在具有8 GB内存的PC机上进行，使用MATLAB R2012a编程语言。

图5　测试图像1及不同方法的超分辨结果Fig.5　Testing image 1 and its super-resolution results by different methods

2．1　理想图像仿真实验

本节采用理想图像完成仿真实验，说明图像结构自相似性所蕴含的信息可以作为超分辨图像的先验知识，可用于自学习超分辨算法中建立训练图像数据集，对提高图像质量有重要作用。仿真实验通过黑白相间的棋盘图像作为结果如图 5所示，图 5(a)是原始低分辨率图像，图 5(b)是双三次插值结果，由于插值的作用图像中黑白格子之间的边界比较模糊；图 5(c)是本文方法的超分辨率结果图像，可以看出超分辨结果图像质量有所提高，边界模糊程度减少。该仿真实验结果表明，隐含在图像中的自相似结构能够作为超分辨的先验信息，有利于超分辨图像质量的提高。

2．2　真实图像对比实验

本节利用测试集中的真实图像进行实验证明算法的有效性，并给出不同算法间的对比实验，同时进行客观指标的定量分析。图6给出了一幅人像图像不同方法超分辨的实验结果，图6(a)是原始低分辨率图像；图6(b)是双三次插值结果，可以看出图像的边界和细节信息等由于插值的作用变得模糊；图6(c)是Freedman算法结果，相比较插值结果而言，纹理部分变得丰富，但是有错位和混淆的现象发生，影响了整体超分辨图像的质量；图6(d)为本文方法的结果，可以看到图像细节更加丰富，眼睛的睫毛更加清楚，帽子的纹理更加清晰；而且纹理也没有明显的错位和混淆现象，超分辨图像质量优于前述两种方法。图6中矩形框强调了各种方法对图像细节的超分辨能力，从中可以更加清楚地看到本文方法在放大纹理结构能力上更具优势。其他测试图像的对比实验结果如图7～9所示。从图7可以进一步看出本文算法在提高纹理图像超分辨质量上的有效作用，图7中地面的彩色条纹是典型的纹理结构， 图7(b)插值法放大的彩色条纹比较模糊，边界不清晰；图7(c)Freedman算法放大的条纹稍清晰， 但是却有明显的错位现象； 图7(d)本文方法放大图像的条纹特别清晰， 而且几乎没有错位和混淆发生。从4组真实图像的实验结果中可以看到，本文方法在图像细节信息、边缘和纹理的结构等部分的超分辨视觉效果更好。上述超分辨图像的峰值信噪比值(PSNR)如图10所示，其中双三次插值方法的PSNR均值为71.97 dB，Freedman算法为73.84 dB，本文方法为75.24 dB，客观评价指标同样进一步说明了本文方法的优势。表1为本文方法与Freeman方法运行效率的比较，可以看出本文算法在实现效率上较Freeman方法略低，这是因为在进行相似性度量时，增加了对图像块求方差的步骤，对算法的运行速度有一定影响。综合以上主、客观评价来看，用一定的算法运行时间代价换取具有更高峰值信噪的超分辨结果图像在实际应用过程中是可以接收的。

图6　测试图像2及不同方法的超分辨结果Fig.6　Testing image 2 and its super-resolution results by different methods

图7　测试图像3及不同方法的超分辨结果Fig.7　Testing image 3 and its super-resolution results by different methods

图8　测试图像4及不同方法的超分辨结果Fig.8　Testing image 4 and its super-resolution results by different methods

图9　测试图像5及不同方法的超分辨结果Fig.9　Testing image 5 and its super-resolution results by different methods

图10　各种方法峰值信噪比比较Fig.10　Comparison of PSNR

表1　算法计算效率比较

3　结束语

本文针对自学习超分辨算法对具有丰富纹理高低分辨率图像建立匹配关系时容易出现错误匹配，从而使超分辨结果图像产生纹理错位的问题，提出了一种新的度量高低分辨率图像块之间相似性的数学模型。该模型综合考虑了图像的平滑和纹理特征，可以更好地描述图像中平滑、边缘、纹理等重要结构信息。在Freedman方法框架中，利用该模型实现高低分辨率图像块之间的匹配，匹配结果更加准确。实验结果表明，采取本文方法放大图像的同时可以准确保持丰富的纹理结构信息，与双三次插值和Freedman算法比较，本文方法可以有效提高超分辨图像质量，且客观评价指标也优于比较算法。不足之处是本文方法的计算速度有待优化和提高。

参考文献:

[1]苏衡, 周杰, 张志浩. 超分辨率图像重建方法综述[J]. 自动化学报, 2013, 39(8): 1202-1213.

Su Heng, Zhou Jie, Zhang Zhihao. Survey of super-resolution image reconstruction methods[J]. Acta Automatica Sinica, 2013, 39(8): 1202-1213.

[2]Harris J L . Diffraction and resolving power,Journal of the Optical Society of America[J].1964,54(7):931-936.

[3]Goodman J W. Introduction to fourier optics[M].New Youk: McGraw Hill, 1968:595-599.

[4]Plaziac N. Image interpolation using neural networks[J]. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society, 1999, 8(11):1647-1651.

[5]Battiato S, Gallo G, Stanco F. A locally adaptive zooming algorithm for digital images[J]. Image & Vision Computing, 2002, 20(11):805-812.

[6]Tao H, Liu J, Tian J. Superresolution remote sensing image processing algorithm based on wavelet transform and interpolation[J]. Proceedings of SPIE—The International Society for Optical Engineering, 2002, 4898:259-263.

[7]Rajan D, Chaudhuri S. Super-resolution imaging: Generalized interpolation for super-resolution[M]. New York: Springer US, 2006:45-72.

[8]Dai S, Han M, Xu W. Soft edge smoothness prior for alpha channel super resolution[C]∥Proc IEEE Conf Comput Vis Pattern Recognition CVPR.[S.l.]:IEEE, 2007:1-8.

[9]Sun J, Xu Z, Shum H. Image super-resolution using gradient profile prior[C]∥Proc IEEE Conf Comput Vis Pattern Recognit.[S.l.]:IEEE,2008: 1-8.

[10] Zhang X,Wu X. Image interpolation by adaptive 2-d autoregressive modeling and soft-decision estimation[J]. IEEE Transactions on Image Processing, 2008,17(6):887-896.

[11] Mallat S, Yu G. Super-resolution with sparse mixing estimators[J]. IEEE Transactions on Image Processing, 2010, 19(11):2889-2900.

[12] Tsai R Y, Huang T S. Multi frame image restoration and registration[J]. Advances in Computer Vision and Image Processing,1984(1):317-339.

[13] Aly H A, Dubois E. Image up-sampling using total-variation regularization with a new observation model[J]. IEEE Transactions on Image Processing, 2005, 14(10):1647-1659.

[14] Shan Q, Li Z, Jia J, et al. Fast image/video upsampling[J]. ACM Trans Graphics, 2008,27(5):153.

[15] Xiao L, Huang L. Edge and color preserving single image super resolution[J]. Journal of Electronic Imaging, 2014, 033002(23):572-579.

[16] Sun Y B, Wu Z B, Wu M, et al. Compressed sensing reconstruction of hyperspectral imagery jointly using low rank and sparse prior[J]. Tien Tzu Hsueh Pao/acta Electronica Sinica, 2014, 42(11):2219-2224.

[17] 李晓峰,曾蕾,徐进,等. 基于特征表征的单幅图像超分辨方法 [J]. 电子科技大学学报,2015(1):22-27.

Li Xiaofeng, Zeng Lei, Xu Jin,et al.Single image super-resolution based on the feature sign method[J]. Journal of University of Electronic Science and Technology of China, 2015(1):22-27.

[18] 吴巧玲,倪林,何德龙,等.基于非下采样Contourlet变换的指纹图像超分辨率重建[J].数据采集与处理,2012,27(2):173-178.

Wu Qiaoling, Ni Lin, He Delong. Fingerprint image super-resolution reconstruct ion based on NSCT learning[J].Journal of Data Acquisition & Processing, 2012,27(2):173-178.

[19] 何小海,吴笛,滕奇志,等.集成超分辨率重建的图像压缩编码新型框架及其实现[J].数据采集与处理,2014,29(1):36-42.

He Xiaohai,Wu Di,Teng Qizhi, et al. New image compression framework with super-resolution technique[J].Journal of Data Acquisition & Processing, 2014,29(1):36-42.

[20] Freeman W T, Jones T R, Pasztor E C. Example-based super-resolution[J]. IEEE Computer Graphics & Applications, 2002, 22(2):56-65.

[21] Chang H, Yeung D Y, Xiong Y. Super-resolution through neighbor embedding[C]∥IEEE Computer Society Conference on Computer Vision & Pattern Recognition.[S.l.]:IEEE Computer Society, 2004:275-282.

[22] Glasner D, Bagon S, Irani M. Super-resolution from a single image[C]// International Conference on Computer Vision IEEE International Conference on Computer Vision.[S.l.]:IEEE Computer Society, 2009:349-356.

[23] Yang J, Wright J, Huang T S, et al. Image super-resolution via sparse representation[J]. IEEE Transactions on Image Processing, 2010, 19(11):2861-2873.

[24] Freedman G, Fattal R. Image and video upscaling from local self-examples[J]. ACM Transactions on Graphics, 2011, 30(2):474-484.

[25] Ren C, He X, Teng Q, et al. Single image super-resolution using local geometric duality and non-local similarity[J]. IEEE Transactions on Image Processing, 2016, 25(5):2168-2183.

[26] Ferreira J C, Vural E, Guillemot C. Geometry-aware neighborhood search for learning local models for image superresolution[J]. IEEE Transactions on Image Processing, 2016, 25(3):1354-1367.