深度特征均方误差的WGAN-GP图像超分辨率重建算法

黄力

（福州职业技术学院信息技术工程系 福建省福州市 350108）

1 引言

随着图像处理与计算机视觉研究的深入，图像超分辨率重建逐渐成为了研究重点和难点[1]。该问题的任务就是采用机器学习方法，从单幅或多幅低分辨率图像中重建出高分辨率图像。深度学习的崛起使得图像超分辨率重建出现了更多的解决方法。在卷积神经网络上构建的超分辨率重建方法(SRCNN)[2]，通过多层神经网络映射低分辨率和高分辨率图像之间的联系，重建出的图像比传统方法性能更好。在此基础上，由于3 层卷积神经网络结构简单，无法构建深层特征，快速的SRCNN 方法[3]则通过8 层卷积神经网络提升SRCNN 的性能，通过深度神经网络的反卷积过程，代替传统的插值方法完成上采样过程，极大的提升了超分辨率重建的效率。深度递归神经网络通过递归的方式大量减少网络参数，提升超分辨率重建效果的同时也能够极大的改善训练效率[4]。

如今，生成式对抗网络已经成为了神经网络的又一个研究热点[5]，基于生成式对抗网络的图像超分辨率重建带来了更好的结果，更清晰的边缘与纹理，获得了更佳的图像超分辨率重建性能。首先使用改进的带Wasserstein 距离和梯度惩罚的生成式对抗网络模型(WGAN-GP)，并在该模型基础上建立深度特征均方误差，用于图像超分辨率重建工作。通过这些改进的过程，解决训练生成式对抗网络的梯度消失问题。在判别器误差上引入了基于深度模型特征图的均方误差，用于提升重建后图像的边缘与纹理强度，从而获得更好的重建效果。

2 改进的WGAN-GP图像超分辨率重建模型

2.1 图像超分辨率重建模型

在改进的GANs 图像超分辨率重建模型设计中，我们采用多个深度残差网络块[6]，提升生成器和判别器训练时的效率和准确度。图1 给出了本文改进的WGAN-GP图像超分辨率重建模型。生成器模型包含有初始卷积层，6个DRNB，两个重建层和一个结束卷积层。在生成器中，我们采用ReLU 作为神经网络层的激活函数，在生成器中采用批归一化处理提升样本的多样性[7]。判别器模型包含有两个初始卷积层，6 个DRNB，两个全连接层以及一个sigmoid 判断层。在判别器中，我们采用LeakyReLU 作为神经网络层的激活函数[8]，并且也采用BN 提升样本的多样性。

图1：改进的WGAN-GP图像超分辨率重建模型

2.2 基于深度特征均方误差函数

2.3 算法流程

本文构建的改进的WGAN-GP图像超分辨率重建算法流程如下：

（1）分别基于深度神经网络平台，构建如图1所示的生成器和判别器；

（2）将低分辨率样本输入至生成器中，并将真实的高分辨率样本输入至判别器中，而且生成器的输出将传递至判别器中；

（3）根据当前生成器的生成样本与真实样本，结合预训练的VGG 模型，计算公式（8），（9）和（10）的内容误差、对抗误差和正则化误差；

（4）将GANs 的判别误差、原始图像的内容误差，以及梯度惩罚的正则化误差进行加权，作为图像超分辨率重建的损失函数lSR，并使用公式（5）给出的改进梯度惩罚的基于WGANs-GP 的损失函数优化，通过优化该损失函数获取最小值，并保留损失函数最优情况下的生成器、判别器网络参数；

（5）停止条件包含最大迭代次数或者误差函数达到最小值，二者达到一个即可获得最佳的生成器，产生最佳的图像超分辨率重建结果。

（6）通过若干次迭代后达到最大迭代次数或损失函数lSR达到最小阈值，生成器达到最佳，可以用于对图像的超分辨率重建。

3 实验结果与分析

3.1 实验初始化

为了验证本文提出图像超分辨率重建算法的可行性与有效性，我们在图像分割和重建的常用数据集BSD100 上进行对比实验。为了进行横向对比，所有的实验均是将缩小了4×被的图像进行超分辨率重建为原始图像大小。客观验证指标采用信号重建常用的两个经典指标，峰值信噪比和结构相似性[11]。为了横向对比算法，我们将当前效果最佳的算法SRCNN[3],DRCN[4],SRGAN[5]以及SRWGAN[12]算法，与本文提出的改进图像超分辨率重建算法进行主观重建映像和客观指标的横向对比。实验的硬件环境为Intel(R) Core(TM) i7-6500U CPU，并搭配两块NVIDIA GeForece GTX 1080Ti GPU,内存为64GB。在训练中，我们从低样本的图像中每次随机截取96*96 的图像子块(mini-batch)输入至GANs 中进行训练。在训练GANs 中优化损失函数时，我们采用WGANs 中给出的采用RMSprop 优化方式。在GANs 中由降采样后的低分辨率图像构造高分辨率图像的卷积层，我们采用上卷积操作完成图像的上采样，并用生成器的最后一层获得超分辨率重建内容。

3.2 实验结果

在横向对比各个算法的实验中，我们采用图像数量相同的训练集和测试集，训练的迭代次数均设置为1.2 万次。图2 给出了迭代过程中的生成器误差和判别器误差。其中，生成器误差越接近于0，说明超分辨率重建后生成的结果越接近真实图像；判别器误差越接近于0.5，说明判别器无法判断生成样本与真实样本，也就是生成的结果越接近真实图像。从图中的结果可以看出，随着迭代次数的进行，低分辨率图像的超分辨率重建逐渐获得稳定的结果。

图2：SRWGAN-GP 算法的迭代误差图

表1 给出了PSNR 以及SSIM 两个图像超分辨率重建的客观指标对比结果。表中给出的结果是测试数据集上所有测试结果的平均值。从两个客观评价图像重建效果的指标上可以看出，本文提出的SRWGAN-GP 优于SRCNN,ExSR,DRCN 等算法，与采用传统GAN 的SRGAN 以及SRWGAN 相比，本文算法在两个客观评价指标上也获得了一定的提升。图3 给出了在BSD100 数据集上SRGAN，WSRGAN 以及本文提出的SRWGAN-GP 的超分辨率图像重建结果。

表1：BSD100 数据集上图像超分辨率重建PSNR 及SSIM 结果对比

图3：BSD100 数据集超分辨率图像重建结果

3.3 结果分析

根据对比实验中的结果可以看出，本文改进的WGAN-GP图像超分辨率重建模型能够获得比现有算法更好的性能。SRWGANGP 在图像超分辨率重建上的结果优于SRGAN 以及SRWGAN 的结果，且能够在训练过程中保证很好的误差梯度，在训练中不存在误差精度出现消失的情况。在内容误差的对比探索结果中，PSNR与SSIM 两个客观评价指标无法准确给出重建图像的质量评价，与人类视觉系统给出的重建图像质量评价出现了违背情况。实际上，PSNR 只能给出峰值的信噪比，无法给出超分辨率重建图像的整体质量评价。因此，在后续的工作中我们应该将图像质量评价指标作为研究重点。另外，由于本研究采用的是生成式对抗网络，在图像超分辨率重建时的效率还不高，不能给出实时的视频流图像超分辨率重建。一方面，这是因为我们采用了较多的深度残差网络层来提升图像超分辨率重建的精度，进一步研究的重点还可以放在构建更有意义的损失函数以较少深度残差网络层数，以期获得更低的训练和重建效率，保证图像超分辨率重建达到实时的效果。

4 总结

在本研究中，通过基于梯度惩罚的改进生成式对抗网络以及基于深度特征图的均方误差作为损失函数，完成了对图像超分辨率的重建工作。与现有算法相比，本研究构建的SRWGAN-GP 算法具有稳定的梯度与交替迭代收敛能力，提供的深度模型特征图的均方误差能够为超分辨率重建图像提供良好的边缘和纹理细节。与现有主流算法相比，本研究提出的算法获得了更好的图像超分辨率重建性能，以及更优秀的图像超分辨率重建的效果。并且，传统的刻画图像超分辨率重建质量评价指标PSNR 与SSIM 效果不佳。今后的研究包括，构建更可靠的图像质量评价指标，以及构建更有意义的损失函数以较少深度残差网络层数，从而让图像超分辨率重建能够应用至更广泛的领域。