基于局部插值的双三次图像放大

纪琳琳，王 平，张云峰



基于局部插值的双三次图像放大

纪琳琳1，王 平2,3，张云峰2,3

(1. 湖北工业大学计算机学院，湖北 武汉 430068； 2. 山东财经大学计算机科学与技术学院，山东 济南 250014； 3. 山东财经大学数字媒体重点实验室，山东 济南 250014)

以距离和边缘特征为约束，提出构造分片定义的双三次多项式曲面实现图像放大的新方法，分为构造拟合曲面和修正曲面。以距离和边缘为约束构造对小邻域上像素拟合的二次多项式采样曲面，所有二次多项式采样曲面加权组合生成分片定义的双三次多项式整体曲面。由放大图像计算误差图像，由误差图像构造修正曲面的技术，进而提高放大图像精度和视觉效果。为减少构造二次多项式的计算量，提出对二次多项式系数分类计算算法，能够实现对图像任意倍数的放大。实验结果表明，该方法不仅提高了放大图像的峰值信噪比(PSNR)、结构相似度(SSIM)数值精度，也提高了图像的视觉效果。

图像放大；二次多项式曲面片；修正曲面；细节和边缘约束

图像放大的目的是由低分辨(low resolution，LR)图像构造出高分辨(high resolution，HR)图像，使图像细节信息更加清晰。根据生成HR图像的方式，可将图像放大方法分为基于插值、基于学习和其他3类方法。

基于插值的方法是由LR图像构造曲线/曲面，经过采样生成HR图像。最早的插值方法有最近邻插值、双线性插值[1]、双三次插值[2-3]。这些方法在光滑区域效果保持较好，在边缘纹理区域存在明显锯齿和振铃等现象。为消除锯齿，文献[4]提出梯度方向为导向的图像放大方法，通过LR图像的梯度方向估计出HR图像的梯度方向；文献[5]通过优化边缘方向的二阶方向导数放大图像，但得到的放大图像效果并不理想；ZHANG等[6]提出了由二次多项式曲面组合生成双三次多项式曲面对图像进行拟合的方法，减少了锯齿和振铃等失真现象，但放大图像的精度和视觉质量还有待提高。

基于学习的图像放大从HR和LR图像对的训练集中学习LR图像中缺失的高频信息，可分为依赖外部训练图像和用LR图像本身代替外部训练集两类。前者常用基于回归方法[7]和基于稀疏表达方法[8]等。近年来，深度学习得到广泛关注，如文献[9]通过深度学习方法直接学习LR和HR图像之间的端到端映射；文献[10]基于自相似性的HR图像生成方法(a self-similarity-driven SR algorithm，SelfExSR)，通过几何变化扩展内部搜索空间，从而提高视觉效果。然而，若LR图像不包含足够的相似模式，其将产生锋利边缘。文献[11]将非局部自回归建模(nonlocal autoregressive modeling，NARM)嵌入稀疏表示模型，提出一种图像放大方法，很好地改善了视觉效果，但当图像放大倍率较大时，会严重降低重建的HR图像质量。

分形是描述图像纹理的一种有效工具，在纹理描述和分类等应用中有着广泛应用。文献[12]利用局部分形分析提高图像放大性能的纹理增强方法，可有效增强图像细节，但不能在随机纹理区域提供令人满意的结果；文献[13]将分形分析方法应用于图像插值，提出分形插值方法(super-resolution based on rational fractal interpolation，SRRFI)，可以较好保持图像边缘结构，恢复令人满意的细节，且不依赖于训练集。

考虑到图像原场景表面的复杂性，本文采用分片多项式曲面拟合给定图像，可以实现对图像任意倍数的放大。在每个像素邻域构造二次多项式曲面，并将其加权平均生成放大图像的整体曲面。为提高放大图像质量，结合整体曲面与修正曲面生成放大图像，且修正曲面根据放大图像定义的误差图像来构造。本文的关键是构造二次多项式采样曲面和计算误差图像。构造二次多项式采样曲面需满足两个条件，即具有较高的精度和具有对应图像块所描述的形状。本文以边缘和距离作为约束，构造二次多项式曲面，使其具有二次多项式逼近精度。用分片二次多项式逼近存在误差，尤其是复杂边缘，为此，构造修正曲面减少误差。本文提出的计算误差图像的方法，为构造修正曲面提供了新技术。

1 方法的整体描述

由逼近理论可知，无论原场景表面如何复杂，均可用分片曲面片对其以任意精度逼近。因此，通过构造局部分片采样曲面片，将其拼合形成整体拟合曲面。由于多项式曲面简单且易计算，因此可采用多项式曲面构造曲面片。本文的图像放大过程如下：

2 整体曲面F(x,y)的构造

2.1 曲面片fi,j (x,y)的构造

图1 像素的3×3邻域

由式(2)得

2.2 曲面F (x,y)的构造

图2 边界像素对应关系

因此，相应曲面片定义如下

2.3 讨论

设给定的二次多项式曲面为

3 修正曲面Er(x,y)的构造和误差分析

3.1 误差图像的计算

合并式(14)和(16)，得新二次曲面和新整体曲面，再次计算修正曲面，得到新的二次曲面。为保证图像放大1倍得到的图像和给定图像一样，修改最终得到的二次修正曲面的常数项，即

根据式(14)和式(17)可知，由式(12)组合生成的曲面包含整体曲面和误差曲面。实验结果表明，对式(14)只修正2次，可得到较好的图像效果。

3.2 误差分析

泰勒多项式展开函数是分析拟合误差的有效工具，采用泰勒展开式为标准对方法进行误差分析。对本文方法的误差定理如下。

证毕。

4 实验结果

为验证本文方法的有效性，将本文方法与现有经典的图像放大方法进行对比。对比的方法包括Bicubic，DCCI[4]，ICBI[5]，SelfxSR[10]，NARM[11]和SRRFI[13]。本文采用图3及BSD200中多幅图像进行测试。通过平均降采样得LR图像，将其放大与原图像比较，包括峰值信噪比(peak signal to noise ratio，PSNR)、结构相似度(structural similarity index，SSIM)、视觉效果和计算时间。

PSNR是一种全参考的图像质量评价指标。

由表1可知，本文方法得到的放大图像的PSNR和SSIM数值最高，图像质量优于对比方法。

由图4~6可看出，本文方法产生的图像能够较好保持纹理，并且一定程度上消除了锯齿和扭曲现象。

图3 测试图像(从左到右依次为：(a) Chest；(b) Baboon；(c) Barbara；(d) Boat；(e) Couple；(f) Crowd；(g) Dollar；(h) Goldhill；(i) Kod；(j) Lake；(k) Lenna；(l) Peppers)

表1 PSNR值和SSIM值比较

表2 运行时间比较(s)

图4 7种方法放大的Chest图像

图5 7种方法放大的Couple图像

图6 7种方法放大的Lena图像

5 结束语

基于图像形状复杂性，首先构造局部曲面，由局部曲面加权平均生成整体曲面进行图像放大是一个有效策略。局部曲面构造过程中，可以图像的边缘特征和距离为约束，在每个像素邻近区域构造二次多项式曲面片，所有二次多项式曲面片加权组合形成双三次曲面片，并将其合在一起形成整体曲面，该曲面具有二次多项式精度。对整体曲面采样得到的放大图像不可避免存在误差，对该误差拟合可形成修正曲面，从而对整体曲面进行误差修正，提高整体曲面逼近精度。

放大图像较好保持了图像边缘纹理等信息，但仍存在边缘纹理信息缺失，且方法中双三次曲面只有二次多项式精度。因此提高边缘和纹理信息保持度和插值精度是接下来要开展的工作。

[1] GONZALEZ R C, WOODS R E. Digital image processing [M]. 2nd ed. New York: Prentice Hall, 2002: 90.

[2] KEYS R G. Cubic convolution interpolation for digital image processing [J]. IEEE Transactions on Acoustics Speech and Signal Processing, 1981, 29(6): 1153-1160.

[3] PARK S K, SCHOWENGERDT R A. Image reconstruction by parametric cubic convolution [J]. Computer Vision Graphics & Image Processing, 1983, 23(3): 258-272.

[4] ZHOU D, SHEN X, DONG W. Image zooming using directional cubic convolution interpolation [J]. IET Image Processing, 2012, 6(6): 627-634.

[5] GIACHETTI A, ASUNI N. Real-time artifact-free image upscaling [J]. IEEE Transaction on Image Processing, 2011, 20(10): 2760-2768.

[6] ZHANG C M, ZHANG X, LI X M, et al. Cubic surface fitting to image with edges as constraints [C]//IEEE International Conference on Image Processing. New York: IEEE Press, 2013: 1046-1050.

[7] TANG Y, YUAN Y, YAN P K, et al. Greedy regression in sparse coding space for single-image super-resolution [J]. Journal of Visual Communication and Image Representation, 2013, 24(2): 148-159.

[8] YANG J, WRIGHT J, HUANG T S, et al. Image super-resolution via sparse representation [J]. IEEE Transaction on Image Processing, 2010, 19(11): 2861-2873.

[9] DONG C, LOY C C, HE K M, et al. Learning a deep convolutional network for image super-resolution [C]// European Conference on Computer Vision. Cham: Springer International Publishing, 2014: 184-199.

[10] HUANG J B, SINGH A, AHUJA N. Single image super-resolution from transformed self-exemplars [C]// IEEE Conference on Computer Vision Pattern Recognition.New York: IEEE Press, 2015:5197-5206.

[11] DONG W H, ZHANG L, LUKAC R, et al. Sparse representation based image interpolation with nonlocal autoregressive modeling [J]. IEEE Transaction on Image Processing, 2013, 22(4): 1382-1394.

[12] XU H T, ZHAI G T, YANG X K. Single image super-resolution with detail enhancement based on local fractal analysis of gradient [J]. IEEE Transaction on Circuits System Video Technology, 2013, 23(10): 1740-1754.

[13] ZHANG Y F, FAN Q L, BAO F X, et al. Single-image super-resolution based on rational fractal interpolation [J]. IEEE Transaction on Image Processing, 2018, 22(8): 3782-3797.

[14] XU Y, QUAN Y H, LING H, et al. Dynamic texture classification using dynamic fractal analysis [C]//IEEE International Conference on Computer Vision. New York: IEEE Press, 2011: 1219-1226.

Bicubic Image Magnification Based on Local Interpolation

JI Lin-lin1, WANG Ping2,3, ZHANG Yun-feng2,3

(1. School of Computer Science, Hubei University of Technology, Wuhan Hubei 430068, China; 2. School of Computer Science and Technology, Shandong University of Finance and Economics, Jinan Shandong 250014, China; 3.Shandong Provincial Key Laboratory of Digital Media Technology, Jinan Shandong 250014, China)

Image details and edge features play a very important role in the visual effect of images. Therefore, a key to image zooming is to keep image details and edges. In this paper, a new method for image zooming is proposed to construct the sampling surface piecewise defined by bicubic polynomials with the constraints of distance and edge. The method consists of two steps: constructing fitting surface and modifying surface. First, in each neighborhood region where the pixel is located, the new method constructs a quadratic polynomial sampling surface fitting pixels with distance and edge constraints; the weighted combination of all the quadratic polynomial sampling surfaces produces the general surface, which is defined piecewise by the bicubic polynomials. The magnified image obtained from the general surface has higher accuracy and better visual effect. Second, a method for constructing corrected surface is presented, which can improve the quality of the enlarged image. The corrected surface is constructed by the error image that is estimated via magnified image. Moreover, in order to reduce the computational cost of the method, the new method divides the coefficients of the quadratic polynomials into three categories, and proposes an algorithm for calculating each type of coefficients. The proposed method can magnify the image at arbitrary scales. Experimental results show that the new method not only improves the peak signal to noise ratio (PSNR) and structural similarity index (SSIM), but also improves the visual effect of the image.

image magnification; quadratic polynomial surface; corrected surface; detail and edge constraints

TP 391

10.11996/JG.j.2095-302X.2019010143

A

2095-302X(2019)01-0143-07

2018-09-27；

2018-10-24

国家自然科学基金项目(61672018，61772309)；山东省自然科学基金项目(2016GSF120013，2017GGX10109，2018GGX101013)；山东省省属高校优秀青年人才联合基金项目(ZR2018JL022)

纪琳琳(1990-)，女，山东烟台人，硕士研究生。主要研究方向为数字图像处理、模式识别。E-mail：973984450@qq.com

张云峰(1977-)，男，山东聊城人，教授，博士，博士生导师。主要研究方向为数字图像处理、计算机视觉等。E-mail：yfzhang@sdufe.edu.cn