基于高频增强曲线与迭代反射投影的遥感影像超分辨率重建

郭桐宇,宋伟东

(辽宁工程技术大学 测绘与地理科学学院，辽宁 阜新 123000)

基于高频增强曲线与迭代反射投影的遥感影像超分辨率重建

郭桐宇,宋伟东

(辽宁工程技术大学 测绘与地理科学学院，辽宁 阜新 123000)

针对传统迭代反射投影方法得到的重建影像，其边缘部分存在锯齿效应和噪声信息，从而无法达到提升影像清晰度不足的问题。文中对初始重建影像，首先使用反锐化掩模方法提取其中的高频分量，并对高频信息进行分类，然后平滑掉其中的噪声信息，应用高频增强曲线对高频分量进行提升，保持高频分量的单调性。实验仿真结果表明，该方法可以消除噪声，小的边缘纹理细节得到增强，大轮廓没有过增强，可有效提升重建影像的清晰度。

迭代反射投影；高频增强；超分辨率重建；遥感影像

针对国产遥感卫星影像，采用提升传感器件的方法需要耗费大量的开支，为节约成本，通常用算法来提升遥感卫星影像的空间分辨率。迭代反投影算法(Iterative Backprojection Projection,IBP) 是一种基于空间域的常见算法，最早由Irani[1]于1991年提出，对多帧序列彩色图像和灰度图像进行超分辨率重建。但IBP方法由于投影核的各向同性，导致重建出来的图像在强边缘部分存在锯齿效应；针对这一现象，2007年戴盛阳[2]提出对单张图像使用双边滤波与迭代反投影方法相结合的方案，使用双边滤波器起到平滑图像的效果，同时对图像的边界进行保持，使得到的图像更加清晰；魏生东[3]提出一种将非局部相似性与迭代反投影过程相结合的算法，在对图像进行重建的过程中，同时保持图像的边缘部分，但是当这个算法应用于具有大片阴影区域的范围时效果不明显，并且这个算法复杂度高。范亚琼[4]提出自适应阈值检测与PCA数据降维相结合的方法来提升算法效率，但是其降质模型存在问题；郭伟伟[5]提出结合频率域运动估计与迭代反投影相结合的方法，得到的结果更加清晰；干宗良[6]于2011年提出一种快速算法，对图像的边界使用Canny算子进行边缘提取，在保持图像边缘的同时，提升运行效率。Jae-Seok[7]提出使用基于上下文相关的自相似性来产生更锐利的边缘来达到更好的视觉效果。申世闻[8]提出将双边滤波应用于单帧整幅图像作为图像的预处理过程来保持图像的边缘。徐志刚等提出一种基于L1/2范数正则约束的超分辨率重建算法，将L1/2范数替代L1范数构建超分辨率模型[9]。黄炜钦[10]等提出一种空间自适应正则化的图像超分辨率重建算法，将自回归模型引入超分辨率重建过程。

上述方法已经实现了一定的进展和突破，但上述方法存在时间复杂度高、计算代价大等缺点。本文对现有的超分辨率重建方法进行分析和总结，提出基于高频信息增强曲线与迭代反射投影相结合的超分辨率重建模型框架，使得重建结果可以提供更多有益的高频细节信息，同时能够达到兼顾遥感影像微观与宏观信息的目的。

1 相关理论

1.1 IBP算法模型

IBP算法应用于单幅图像进行超分重建时，分为以下3个步骤[11]，其对应的算法流程图见图1。

1)对现有的原始低分影像Il插值得到的模拟的高分辨率影像Ih见式(1)，经过降质模 型产生对应的模拟低分辨率图像见式(2)。

Ih=Il↑s，

(1)

Il=(Ih*g)↓s.

(2)

式中:Il为输入的低分辨率图像；Ih为使用双三次插值模拟得到的高分辨率图像；Il为对应的模拟低分辨率图像；*表示卷积运算符，其中↓s表示下采样运算符，↑s对应的 表示上采样运算符。

2)计算每次迭代中图像的重构误差：

Er=Il-Il.

(3)

式中，Er为两者之差即(误差)。

3)将式(3)得到的误差进行上采样插值最后反投影到重建的高分辨率图像中，来得到最终的高分辨率图像。

(4)

随着教育模式的不断改革，微课作为互联网背景下的一种教学载体，已经在教学中进行了应用。在农村语文教学过程中，由于教学资源的不均衡，微课成为了很好的教学模式，并且深受教师和学生的喜爱。

图1 传统迭代反投影算法流程

1.2 高频增强曲线

对图像进行分析，在空间域内计算出图像的高低频分量，依据频率的性质和大小不同，设置相应阈值，区分出图像中的噪声、细节和边缘；对检测出的噪声点进行去噪，并应用高频增量曲线对不同区域的高频分量进行自适应增强。细节区域做微增强，小边缘做较大增强，大边缘区域不做增强，使得图像的纹理细节更加丰富，使得增强后的高频分量可以保持图像的单调性[12]。

2 基于高频增强曲线和IBP超分辨率重建算法

为改善迭代反射投影方法重建后得到的影像质量，减小重建图像的边缘锯齿效应，使重建图像更加清晰，本文提出在使用迭代反射投影方法得到的重建影像依据高频增强曲线进行自适应高频信息增强。其算法流程如图2所示，具体步骤如下：

1)对使用迭代反射投影算法得到的初始高分辨率图像使用反锐化掩模方法[13]分别提取图像的高低频分量，则

fH=f-fl.

(5)

式中：fl表示原图像f经过高斯滤波后得到低频分量；fH表示原图与fL差值运算后得到的高频分量。

2)对图像信号的高频分量进行识别，分出噪声、细节、小边缘、大边缘、并进行如下增强处理。计算降噪动态阈值T。

根据该点的高频分量计算判断该点是否属于噪声点。其表述为

T=ave×T0/128.

(6)

式中：T为降噪动态阈值；ave为N×N模板内各像素的亮度平均值的大小；T0为固定阈值。

(7)

图2 算法流程

图3 高频信息增强曲线

本文方法的优势是依据所设定的高频曲线的变化趋势，对整幅图像其中的N×N大小的模块区域自适应对其进行不同程度的处理，对判定为噪声区域的图像进行去噪，对细节小边缘区域进行增强，而对大边缘区域，新的高频区域不应增强过大，防止画面变化太大。

4)获得增强信号。将依据高频增强曲线增强后的高频分量与低频分量相加，即

(8)

式中：fout(i,j)为增强后的新图像。

3 算法仿真实验结果

本文采用matlab语言设计本文算法，分别对遥感影像中的典型地物(见图4)，256×256像素图a,256×256像素图c分别应用双三次插值算法[14]，NLIBP算法[15]以及本文算法进行2倍超分辨率重建实验。并从重建图像质量，算法重建所用时间，以及重建的主观质量效果3个方面来评价本文算法的优劣性。图像重建质量和算法重建所用时间分别见表1和表2。

图4(a)、图4(b)、图4(c)及其降质图像及其对应的不同算法重建得到的结果分别见图5—图7。同时本文采用峰值信噪比(PSNR)[16]这一客观评价指标作为本文的图像质量评价方法。

图4 本文实验用图

算法图像双三次插值NLIBP本文算法图a320026323780333880图b302849305860314060图c352872356076367071

表2 3幅测试图进行超分重建所用时间对比图 s

图5 不同方法的超分辨率重建效果对比图

图6 不同方法的超分辨率重建效果图

图7 不同方法的超分辨率重建效果对比图

从上述图像中可以看到，图4和图6两幅降质图像普遍存在锯齿效应，而经过双三次插值和迭代反射投影方法进行处理后图像的边缘锯齿效应得以消除，但是其纹理细节提升程度十分有限，其对应的纹理边缘仍然存在不清晰的现象，而经过本文算法处理后，本文图像的纹理低细节区域做微增强，小边缘区域做较大增强，强边缘区域不做增强，增强了重建图像的轮廓和细节，产生的高频分量保持图像的单调性。通过上述实验图像和表格可以得到，本文算法能够提升图像的清晰度，增强图像的纹理细节，并且算法的实现复杂度低，运行速度快，对于单帧图像能达到实时的处理效果具有实际应用性。

4 结束语

本文提出一种基于高频增强曲线和IBP的超分辨率重建算法，首先对图像采用传统的迭代反射投影算法进行超分辨率重建。对重建得到的图像进行噪声识别并平滑掉，然后对重建图像的细节和小边缘，应用高频增强曲线进行自适应的图像增强，保持图像高频分量的单调性。本文实验表明，应用本文算法得到的图像处理结果，滤除图像噪声，加强图像的细节，同时也避免强边缘区域的过增强，提升图像的清晰度。

[1] IRANI M,PELEG S.Improving resolution by image registration[J].Cvgip Graphical Models & Image Processing,1991,53(3):231-239.

[2] DAI S,HAN M,WU Y,et al.Bilateral Back-Projection for Single Image Super Resolution[C]//IEEE International Conference on Multimedia and Expo.IEEE Xplore,2007:1039-1042.

[3] DONG W,ZHANG L,SHI G,et al.Nonlocal back-projection for adaptive image enlargement[C]//International Conference on Image Processing,ICIP 2009,7-10 November 2009,Cairo,Egypt. DBLP,2009:349-352.

[4] 范亚琼.利用非局部相似性的图像超分辨率重建研究[D].南京：南京邮电大学,2012.

[5] 郭伟伟,章品正.基于迭代反投影的超分辨率图像重建[J].计算机科学与探索,2009,3(3):321-329.

[6] LIANG X,GAN Z.Improved Nonlocal Iterative Back-Projection Method for Image Super-Resolution[C]// Sixth International Conference on Image and Graphics.IEEE,2011:176-181.

[7] QIN Fengqing,LI Zhong,ZHU Lihong,et al.Research on the Influence of Initial Value Estimation on Image Super Resolution Reconstruction[C]//Proceedings of the 2nd International Conference on Information Science and Engineering.Washington D.C.,USA:IEEE Press,2010:1-4.

[8] 杨词银,尚海波,贾晨光,等.基于区域分割的自适应反锐化掩模算法[J].光学工程,2003,11(2):188-192.

[9] 徐志刚,李文文,朱红蕾,等.一种基于L_(1/2)正则约束的超分辨率重建算法[J].华中科技大学学报(自然科学版),2017(6):38-42.

[10] 黄炜钦,黄德天,顾培婷,等.空间自适应正则化的图像超分重建算法[J].小型微型计算机系统,2017(6):1398-1403.

[11] LI H,LAM K M.Guided iterative back-projection scheme for single-image super-resolution[C]// Global High Tech Congress on Electronics.IEEE,2013:175-180.

[12] 袁野,顾振宇.通过高频增强曲线提高图像清晰度的方法[J].电视技术,2013,37(5):42-44.

[13] 高河伟,张丽,陈志强,等.基于反锐化掩模的辐射图像信息增强算法[J].核电子学与探测技术,2005,25(5):481-483.

[14] 屈有山,田维坚,李英才,等.基于小波双三次插值提高光学遥感图像空间分辨率的研究[J].光子学报,2004,33(5):601-604.

[15] DONG W,ZHANG L,SHI G,et al.Nonlocal back-projection for adaptive image enlargement[C]// IEEE International Conference on Image Processing.IEEE,2009:349-352.

[16] HORE A,ZIOU D.Image Quality Metrics: PSNR vs.SSIM[C]// International Conference on Pattern Recognition.IEEE,2010:2366-2369.

Superresolutionreconstructionofremotesensingimagebasedonhighfrequencyenhancementcurveanditerativebackprojection

GUO Tongyu，SONG Weidong

(School of Geomatics,Liaoning Technical University,Fuxin 123000,China)

For the reconstructed image obtained by the traditional iterative back projection method, the edges of the reconstructed image have sawtooth effect and noise information, so that the image resolution can not be improved. First, the unsharp masking method is used to extract high frequency components of the initial image reconstruction, classify the high frequency information, then smooth the noise information. The application of high frequency enhancement curve is used on the high frequency component upgrade to maintain the monotonicity of high frequency components. The simulation result shows that this method can eliminate the noise, small edge texture details are enhanced, and the large contour is not enhanced, which can effectively enhance the clarity of the reconstructed image.

iterative back projection;high frequency enhancement; super-resolution reconstruction；remote sensing image

著录：郭桐宇,宋伟东.基于高频增强曲线与迭代反射投影的遥感影像超分辨率重建[J].测绘工程，2018，27(1)：64-67，72.

10.19349/j.cnki.issn1006-7949.2018.01.013

2017-06-12

郭桐宇(1993-)，男，硕士研究生.

P237

A

1006-7949(2018)01-0064-04

王文福]