基于多尺度特征融合反投影网络的图像超分辨率重建

孙超文 陈晓,2

图像的超分辨率重建(Super-resolution,SR)主要分为单图像超分辨率重建和多图像超分辨率重建[1],本文研究单图像超分辨率重建.作为一种重要的图像处理技术,SR 从低分辨率(Low-resolution,LR)图像生成对应的高分辨率(High-resolution,HR)图像[2].它在图像压缩[3]、医学成像[4]、安全监控[5]、卫星遥感图像[6]等领域有着广泛的应用.近年来基于深度学习的图像超分辨率重建方法由于其优秀的重建性能受到广泛关注[7].

SRCNN[8−9]首次将卷积神经网络(Convolutional neural network,CNN)用于SR.此后许多研究提出了一系列基于CNN 的SR 算法.增加CNN 网络的深度虽然可以提供更大的感受野和更多的上下文信息,但是容易引起两个问题:梯度消失和大量参数[10].为了有效地缓解梯度消失的问题,VDSR[11]和EDSR[12]算法借助残差学习[13]训练了更深层的网络;SR-DenseNet[14]、RDN[15]和DBPN[16]算法则引入密集连接缓解梯度消失的问题[17].为了减少网络参数,DRCN[18]和DRRN[19]等网络采用递归学习实现权重共享.但只是以递归的方式堆叠多个相同的层或单元,容易导致出现深度网络模型的退化问题.基于递归网络的SR 算法以前馈的方式从输入的LR 图像中学习分层表示,这种单向映射依赖于LR 图像中的有限特征.基于插值的前馈网络如FSRCNN[20]和EPSCN[21],迁移到其他放大倍数需要繁琐的预处理,容易引入新的噪声,难以适应更大倍数的放大.虽然MSRN[22]和Lap SRN[23]可以执行8 倍放大但重建效果仍有很大的改善空间.尽管DBPN 算法[16]引入反投影机制实现了深度SR,却需要庞大的训练集和时间,包括DIV2K(800张2K图像)[24],Flickr2K(2650张2K图像)[12]和ImageNet数据集(超过1400 万张图像)[25].并且,以单……