基于并联式卷积神经网络的遥感影像超分辨率重建

李薇,杜东升*,邓剑波,陈良宇

(1.湖南省气象科学研究所,长沙 410118; 2.气象防灾减灾湖南省重点实验室,长沙 410118;3.武汉大学,测绘遥感信息工程国家重点实验室,武汉 430079)

遥感影像的空间分辨率不仅是评价影像质量的一项关键性技术指标,更是衡量一个国家卫星遥感技术水平的重要标志之一[1-2]。高分辨率影像(high-resolution,HR)[3]包含的像素更多,纹理信息更丰富,可以提供更多的细节内容。

考虑到在卫星平台设计、核心元器件制造以及总体成本等方面存在的客观限制,使得通过改善硬件来提高影像空间分辨率这一思路受到的制约较大。从软件的角度基于信号处理的理论并结合一些算法也能实现图像空间分辨率的提升,这使得图像超分辨率重建(super-resolution,SR)[4]技术得到了广泛的研究和应用。在遥感成像领域,现有条件下得到的低分辨率影像进行超分辨率重建后,能够提供更多的地物分布及空间关联信息,有助于提升在目标识别、地物分类、特征提取等应用上的精度,对于地球资源调查与开发、全球自然环境监控、灾害预报和评估等都具有重要意义[5]。

基于深度学习的影像超分辨率重建是指采用先进的网络模型在高、低分辨率影像间建立“端到端”的映射,通过在低分影像中提取的低级和高级特征,进而获取高分辨率影像。2012年,Dong等[6]首次将卷积神经网络(convolution neural network,CNN)应用到超分辨率重建中,提出了SRCNN(super resolution convolutional neural network),针对SRCNN网络需要对小尺寸的图像进行尺寸插值到目标大小之后才能作为输入图像,又提出FSRCNN(fast super resolution convolutional neural network)[7]模型。EDSR[8]去除ResNet(residual network)[9]多余的模块,用节省出来的内存加深网络的深度进行更高级的特征提取。席志红等[10]利用残差网络选择合适的数据集和优化算法,对医学图像进行超分辨重建取得了较好的重建精度。EEDS(end-to-end image super-resolution algorithmviadeep and shallow convolutional networks)[11]利用一个深层来增加高频信息的预测和一个浅层来提高收敛速度从而共同提高重建结果。考虑到任何两个卷积层间都存在着连接关系,DenseNet(densely connected convolutional network)[12]被提出并应用到SR中,该网络实现了特征的充分利用并保证了信息最大流动性。DBPN[13]网络基于密集连接基础,在每个上、下采样层模块提供一种错误反馈机制,使得每个模块特征连接起来并且作为最终重建结果的组成部分来提升重建结果。RDNSR(residual dense network for image super resolution)[14]通过残差密集块来充分利用各层特征图的所有分层特征。

林琦等[15]将深度学习方法应用到视频数据的超分重建中,通过提取视频的多尺度特征并结合残差学习来恢复视频的高频信息。肖雅敏等[16]提出一种基于多窗口残差网络的优化模型,以解决网络结构过深导致高频信息丢失和模型体积较大的问题。陈行等[17]提出一种双路网络,通过两个支路网络分别实现分辨率提升和高频信息学习,实现了多角度遥感影像的超分重建。李现国等[18]提出一种结合局部和全局残差学习的方法,改善了提取影像细节不充分的问题。谌贵辉等[19]通过构建多尺度残差模块来提取影像的多尺度特征,同时引入一种通道注意力机制来提升影像更多的高频信息。仝卫国等[20]提出了基于多尺度特征融合的超分辨率重建算法,采用多特征模块获取更多浅层信息,并在网络中添加密集连接结构,有效地解决了提取特征单一问题,改善了图像质量。卢冰等[21]构建面向单帧低照度彩色图像的基于改进残差网络训练的超分辨率重建方法,提出的低照度图像超分辨率重建方法使得在低照度环境下的重建图像更为清晰明亮、细节更丰富。Liu等[22]提出了一种通过聚合跨尺度相邻特征块来考虑遥感图像中的自相似块,并采用双学习策略通过约束损失函数中的映射过程来细化重建结果。

针对现有的基于深度学习的超分重建方法,会存在遥感影像高、低频信息不能同时兼顾以至于重建影像的空间分辨率严重受限的问题。现在DBPN网络的基础上增加了一个浅层多尺度网络,共同组成并联式卷积神经网络(deep back-projection and shallow multi-scale parallel convolutional neural networks for super-resolution,DBSMN),利用这种并联式结构网络来实现在异源遥感影像之间,有效地保留主成分信息和预测高频信息来进行超分辨率重建,最终共同完成重建影像的质量提升。

1 研究方法

通过构建一个并联式卷积神经网络来实现遥感影像的超分辨率重建;采用密集深层反投影网络有效地提取影像细节,采用浅层多尺度网络保留影像的主成分信息,在帮助恢复低分影像高频细节的同时,更好地保留影像的主成分信息来增加目标的可分辨能力。技术流程如图1所示。

图1 技术路线流程图

1.1 浅层多尺度网络

一般的浅层网络就是由简单的卷积层堆砌,实现端到端的训练,即输入一景低分辨率影像,可输出一景重构的高分辨率影像。端到端浅层网络[11](end-to-end shallow network,EES)的结构如图2所示。

图2 端到端浅层网络

这样的浅层卷积神经网络不仅能加速网络收敛速度,且能够较好地保留输入影像的主成分信息。但遥感影像地物复杂、纹理信息丰富,简单的浅层卷积神经网络在单次卷积之后,结果只能单独传输来预测最终的目标地物细节,遥感影像不同尺度的信息被唯一的卷积核处理会导致预测信息不够准确。

针对端到端浅层网络对遥感影像超分重建存在预测信息不够准确的问题,采用多个不同尺度的卷积核学习遥感影像的自相关性及纹理特征,自主学习高分辨率影像与低分辨率影像内在的逻辑关联特性,对图像特征信息进行充分的提取,增加重建影像的准确性。

本文设计的浅层多尺度网络(shallow multi-scale convolutional neural network,EESM)的总体框架如图3所示,浅层多尺度模型为端到端模型。输入数据为影像矩阵,由于其包含各种类型的特征信息,因此利用多尺度(3×3、5×5和7×7)卷积核进行特征提取;并将得到的64个特征映射为16个特征;最后把不同卷积核提取的特征图进行堆叠得到最终的重建结果。

图3 浅层多尺度网络

1.2 密集深层反投影网络

密集深层反投影网络DBPN是由输入的低分辨率影像(low-resolution,LR)至高分辨率影像(high-resolution,HR)的非线性映射过程,有效地解决了现有的超分重建网络前后卷积层结果之间信息连接缺陷,通过不断迭代地进行上采样和下采样机制,为每个学习阶段提供错误反馈。为了使得在上-下采样阶段的特征连接起来,构建了相互依赖的上-下采样模块,其核心模块结构[13]如图4所示。

图4 密集投影单元

密集深层反投影网络的向上反投影单元,主要包括操作具体如下。

密集深层反投影网络的向下反投影单元,主要包括操作具体如下。

其中:*为空间卷积算子,↑s、↓s分别为上、下采样操作,pt、gt、qt为卷积层,L1,L2,…,Lt-1为上投影单元,H1,H2,…,Ht为下投影单位,上、下投影单元拥有连接作用并将特征映射作为所有后续单元的输入。

在高分影像和低分影像之间,把一系列的卷积操作构成上、下投影单元,将这些单元连接起来并组成最终网络构成的部分;作为一种自校正过程,投影单元将投影误差予以反馈来迭代地优化网络。

1.3 并联式卷积神经网络

为了使重建结果在拥有高频信息的同时还能保证低频信息的主要传递,充分利用DBPN网络和浅层多尺度网络的优势,提出一种密集反投影深层和浅层多尺度并联式卷积神经网络(DBSMN),简称并联式卷积神经网络。

密集深层反投影网络通过采用上下采样层提供反馈来优化采样结果。相互依赖的上下反复投影对模型的约束在防止过拟合上能够发挥更好的作用,可以很好地利用到低分辨率图像和高分辨率图像之间共有的关系,且保证每一个部分结果都能作为后续单元的输入,因此作为本文所提网络模型中的深层网络;考虑到高分影像的恢复可能同时依赖于不同范围的信息,根据尺度不变性原理,多尺度低分辨率影像的特征被映射到高分辨率影像特征空间,在重建过程中采用特征融合来提高特征利用率,增加预测的准确性,因此作为本文所提网络模型中的浅层网络。并联式卷积神经网络的结构框架如图5所示。

图5 并联式卷积神经网络

2 实验设置

2.1 数据集

随着中国自主研发航天卫星的能力越来越强,国产高分系列卫星在各方面都扮演着不可或缺的角色,因此对高分系列卫星遥感数据展开研究也必不可少[23-25]。选用武汉市部分区域,同时相且无云状态下,覆盖同区域的高分一号(GF-1)和高分二号(GF-2)遥感数据。选择GF-1空间分辨率为16 m的红、绿、蓝三个波段和对应GF-2空间分辨率为 4 m 的红、绿、蓝三个波段的影像,建立以GF-1影像为输入样本,GF-2影像为标签样本之间的映射关系。

基于深度学习的超分辨重建网络在进行样本训练和测试前,需对样本影像进行包括辐射校正、几何校正、影像配准、裁剪等在内的一系列预处理操作,以消除卫星成像过程中出现的变形、噪声、模糊等问题。预处理流程如图6所示。

图6 数据集预处理流程图

以分辨率较高的GF-2影像为基础,采用扫描线法先将GF-2影像中的最大内接矩形裁剪出来,然后用GF-2的最大内接矩阵裁剪出GF-1的重叠区域进行实验。

由于GF-1和GF-2的同一时间重叠区域影像存在色差,为了使两景影像具有相似的色调和像素范围,采用非线性拉伸方法对GF-2影像的灰度直方图中比较集中的一些区域进行处理。

在计算机视觉领域中,多数的超分重建方法均是实现输入影像空间分辨率的两倍提升。因此,本文中遥感影像超分辨率重建实验对原始空间分辨率为4 m的GF-2影像进行降采样处理到8 m,GF-1的样本尺寸为64像素×64像素,GF-2的样本尺寸为128像素×128像素,然后通过超分重建网络建立映射关系,最终实现将输入的GF-1影像空间分辨率从16 m提升至8 m。

由于少许云层遮挡或其他外界因素导致有些对应的样本均值之间存在差异较大的情况。对于每一组匹配的GF-1、GF-2样本进行均值计算,以GF-1的其中一个样本反射率均值为横坐标,相对应地GF-2每个样本反射率均值为纵坐标得到一个点,如图7(a)所示。红色圈内的点代表样本之间均值差异过大,需要剔除掉所对应的影像才能促进网络的训练。

图7 样本均值散点图

删除劣质样本的原则是在保证数本数据足够的前提下使得偏差尽可能小(样本总数为3 700个)。偏差公式为

(1)

从计算结果中得出偏差小于10%的样本数量有3 413个,拟合优度为0.87,样本较好地满足了足数和拟合优度最佳的条件。因此,选取10%偏差以内的样本作为最终的训练样本。筛选后的样本如图7(b)所示。

2.2 超分辨率重建的评价指标

为了能够全面地对超分重建结果进行评价,采用峰值信噪比PSNR[26]和结构相似度SSIM[27]量化指标来进行评估。

峰值信噪比用于表示信号最大可能功率与影响它表示精度的破坏性噪声功率的比值。PSNR取值范围为20～40。通过均方差的大小来评价影像的失真程度,值越高表示保真程度越高,其的定义为

(2)

式(2)中:MAX表示重建影像信号的最大峰值;MSE表示重建影像的均方误差,其定义为

(3)

式(3)中:m和n分别为图像的长和宽的维度;i表示像素横坐标值,j表示像素纵坐标值;I(i,j)表示输入图像;K(i,j)分别表示重建结果。

结构相似度(SSIM)可以反映原影像与预测影像间的结构相似程度,并且能够在客观上反映影像边缘和纹理的情况。其范围为[0,1],SSIM越大,说明两种影像在空间细节纹理上相似度就越高。在尺寸均为m×n的两幅影像x、y上计算时,其定义为

(4)

式(6)中:x和y为不同的影像;μx、μy为两景影像的均值;σx、σy为两景影像的方差;σxy为两景影像的协方差;c1、c2为常数。

2.3 实验环境

本文中所有实验都是基于表1中的实验环境。

表1 实验环境

3 实验结果

为了验证本文实验方法的有效性,选取了目前几种较为流行的深度学习超分辨率重建方法EDSR、EEDS、DBPN与DBSMN进行对比分析。

3.1 模型训练

实验中,选择64像素×64像素的GF-1(空间分辨率为16 m)影像为输入数据,128像素×128像素的GF-2(空间分辨率为8 m)为标签数据,分别对各种网络模型进行训练、验证和测试。训练集与验证集数量的比例为7∶3,测试集为单独的100张影像。深度学习框架为Keras[28],优化器选择为Adam[29]。

在训练中,设置初始学习率为0.001,若迭代10次损失函数(loss)没有减小就把学习率减半,最小的学习率为0.000 001,批处理参数设为15,总共迭代运行1 000轮。根据每一次的网络训练来修正损失函数的大小,待模型训练结束后,用额外的100张小影像作为测试数据。最后通过测试得到尺寸为128×128大小重建图像。

EDSR、EEDS、DBPN经过2 000次迭代完成网络的训练,为了更好地展示各个网络训练迭代过程的变化,由图8前1 000轮的迭代可知,在相同的循环迭代次数的前提下,DBSMN相较于其他的网络具有最高的PSNR和最低的损失函数,并且当训练循环迭代进行到120次时,DBSMN开始收敛,在收敛之前较DBPN网络波动较小,稳定性明显好于DBPN。从PSNR和损失函数的对比结果得知 DBSMN模型较其他算法都有不同程度的提高,重建表现最优。

图8 不同网络模型训练过程中的PSNR和损失函数对比

3.2 浅层多尺度网络结果分析

为了进一步分析浅层多尺度网络对主成分信息的保留作用,对100张测试数据分别进行EES和EESM网络模型测试,计算均值如表2所示。

表2 EES、EESM网络模型的PSNR、SSIM比较

把测试EES模型和EESM模型的结果与输入的低分辨率图像做比较,结果如图9所示。

图9 EES、EESM网络重建结果对比

从表2可以看出,EESM较EES网络在PSNR和SSIM指标上分别有0.41 dB和0.041 1的提升。在增加多尺度模块后,模型的整体性能有明显的提高。根据图9的 EES和EESM网络重建结果对比发现,多尺度模块有助于增强重建影像中地物的纹理细节,有助于保留影像边缘结构特征。通过多尺度卷积将低分辨率遥感影像特征映射到高分辨遥感影像的特征空间,利用特征融合来提高特征利用率,加强了对影像主成分特征的保留。

3.3 密集深层反投影网络结果分析

为了分析DBSMN与其他网络对高频信息的预测和低频信息传递的对比,对100张测试影像的PSNR与SSIM进行均值计算得到表3所示结果。

表3 不同网络的PSNR、SSIM比较

通过表3得出,DBSMN较EDSR、EEDS、DBPN网络的PSNR指标分别有2.3、2.23、0.25 dB的提高,在SSIM性能指标上本文算法较EDSR、EEDS、DBPN三个网络分别有0.131 6、0.108 5、0.009 6的提高。

对测试影像分别使用EDSR、EEDS、DBPN、DBSMN进行重建,选取25张测试样本拼接,输出结果如图10所示。

图10 不同网络重建结果对比

图10(b)～图10(e)为各个网络模型空间分辨率提升2倍的测试结果。取影像局部的某一处放大比较,可看出每种方法的重建结果对比输入影像来说,都有着不同程度的改善和提高,保留了不同程度的纹理信息,且重建结果都未出现锯齿效应。EDSR、EEDS在清晰度和纹理丰富度上相比于其他网络有一定的改善,但细节纹理上不如DBPN、DBSMN预测的细节更丰富;DBPN、DBSMN重建的影像地物纹理突出、不同地物边界明显且影像边缘结构特征保留完整,更加接近图10(f)的GF-2影像。通过对比,验证了本文方法在改善影像中目标的细微程度,和边缘结构信息都表现较好,能满足高频信息的预测和低频信息的传递。

3.4 泛化实验结果分析

为了验证本文网络模型的泛化能力,选择覆盖华北地区的Landsat 8影像和ASTER影像进行测试实验,具体使用了8景Landsat 8影像(空间分辨率为30 m)和8景ASTER影像(空间分辨率为15 m)的近红、红、绿三个波段的影像作为训练数据,另外的一景Landsat 8影像作为测试数据。由于只有DBPN和DBSMN两种网络之间存在较小的差距,因此特地把两种网络的测试结果拿出来进行对比,对100张测试图的PSNR与SSIM进行均值计算得到表4,随机两组测试结果如图11所示。

表4 DBPN、DBSMN网络泛化实验中PSNR、SSIM比较

由影像的客观评价指标对比可看出,DBSMN比DBPN在PSNR和SSIM指标上分别提升0.408 7 dB和0.043 2,这表明在DBSMN重建的影像中,信息量明显增加。从纹理丰富度对比,能够很明显地看到DBSMN对细节的重建要好于DBPN;这反映出在改善影像局部细节方面,本文方法具有更明显的优势。DBSMN网络在Landsat 8和ASTER这一组数据集上也有很好的表现;泛化实验结果表明,DBSMN能够适应不同特点的遥感影像,普适性更强。

4 讨论

本文提出的DBSMN算法适用性强,较DBPN网络性能更加稳定,能够更好地获得高质量的高分辨率影像,尤其适用于缺少图像序列的遥感影像场景。但后续研究还可在以下两个方面进行扩展。

(1)本文对所提出的方法只进行了2倍超分辨重建训练,虽然在各项实验中得到了较好的效果,但对于大倍数超分辨率重建实验并未过多开展,因此,在后续研究中可以调整网络结构和参数,进一步提升高倍数的重建效果。

(2)由于数据来源的原因,只选取了一些匹配性较高的影像对进行实验,但不能完整反映本文方法对整体卫星影像的通用性,下一步的研究也将面向来自不同卫星传感器的影像,增强模型的泛化能力,实现一个模型满足多源遥感数据空间分辨率的提升。

5 结论

本文提出了一种新的遥感影像超分辨率重建方法,通过结合深层网络预测高频细节和浅层网络保留影像主成分信息的优势,实现遥感影像的超分辨率重建。综合PSNR、SSIM评价指标以及视觉对比分析,得出以下结论。

(1)根据DBSMN的浅层EESM网络较EES网络评价指标的计算结果得知,在增加多尺度模块后,模型能更好地保留影像的主成分信息。

(2)DBSMN较EEDS、EDSR、DBPN模型重建结果的视觉和客观指标都有显著提高,重建结果纹理信息更丰富、更准确。解决了现有的超分辨率重建方法难以同时兼顾高、低频信息的预测和保留问题。

(3)利用异源遥感数据对该网络进行泛化能力测试。DBSMN比DBPN模型在PSNR和SSIM指标上分别提升0.408 7 dB和0.043 2,并且在视觉上展现出对改善局部细节方面具有更大的潜力,表明本文方法能够适应不同遥感影像的数据特点,普适性更强。