基于生成对抗网络的梯度引导太阳斑点图像去模糊方法

李福海，蒋慕蓉*，杨磊，谌俊毅

（1.云南大学信息学院，昆明 650500；2.中国科学院云南天文台，昆明 650216）

0 引言

在航空航天与电子设备快速发展的今天，日地之间的环境成为人们赖以生存的必备空间。由于太阳耀斑、日冕物质抛射等太阳能量变化，通常会伴随着X 射线、紫外线辐射增强、高能粒子流暴涨等现象发生，这些物质一旦接近地球表面，将会对地面通信、卫星基站、航天和电力等设备系统造成巨大损害，使用地基望远镜对太阳表面进行实时观测并实施空间预警可以减少通信设备的损失。但是由于大气湍流的扰动，通过地基望远镜获取的太阳活动观测图像会发生严重模糊，降低了峰值能量与成像的角分辨率［1］，需要借助于图像去模糊方法对低质的太阳斑点图像进行高分辨率重建。

目前，针对拍摄的低分辨率图像进行高清重建主要有斑点干涉术、斑点掩模法［2］、位移叠加法［3］、基于消息传递接口的选帧位移叠加（Level1+）［4］等方法，在重建过程中需要较多的先验知识，如大气视宁度、斑点干涉函数，并且需要较多的图像帧数，导致重建过程存在计算量大、部分高频信息无法恢复等问题。随着深度学习广泛应用于计算机视觉和图像处理领域，如何使用深度学习方法重建太阳斑点图像，成为太阳观测图像处理的研究热点之一。但现有深度学习重建网络对于特征明显、信息量较大的低分辨率图像重建效果较好，而对于特性单一、噪声较多、局部细节模糊的太阳斑点图重建效果不理想，重建的图像容易出现伪像、部分高频信息难以恢复等问题。

基于上述问题，本文提出了一种基于生成对抗网络（Generative Adversarial Network，GAN）与梯度信息联合的去模糊方法来重建太阳斑点图，能够很好地恢复出高频信息，满足云南天文台太阳图像重建的要求。首先，根据输入图像存在严重模糊等特点，生成器采用特征金字塔网络（Feature Pyramid Network，FPN）［5］与梯度的引导方式来构成，使用梯度引导方式可以有效还原图像细节，防止重建图像几何变形［6］；其次，考虑到图像无明显轮廓、难以获取有效梯度信息的特点，采用一种快速去模糊的方法对图像进行预处理，促使图像能够恢复出部分轮廓，有效提高梯度引导带来的局部细节重建效果；之后，使用双鉴别器的构造方法来鉴别重建图像与梯度图的真实性，损失函数由像素内容损失、感知损失和对抗损失三部分组成，以此保证网络的重建效果与准确度。实验结果表明，本文方法重建出的高分辨率太阳斑点图像相较于现有深度学习去模糊方法更加接近Level1+多帧重建效果，具有太阳米粒轮廓更清晰、局部信息明显、伪像较少等特点。

1 相关工作

深度学习作为当前图像高清重建的主流方法之一，已经被广泛运用在多种类型的重建任务上。针对高清重建问题采用的网络模型不同，通常分为卷积神经网络的重建方法与生成对抗网络的重建方法。

1.1 卷积神经网络重建方法

近年来，随着网络层数的逐渐加深，超分辨率与去模糊两个方向的图像重建任务联系越来越紧密，将估计模糊核的去模糊思路作用在超分辨率任务上的网络模型并不少见。Johnson 等［7］提出了感知损失，使用预训练网络提取高级特征进行比较，会获得高质量的重建图像。Gu 等［8］考虑到预测的模糊核与实际不匹配将会导致图像平滑或锐利，提出基于卷积网络的迭代修正模糊核（Iterative Kernel Correction，IKC）算法。Guo等［9］为了缩小模糊核的寻找空间，提出了一种对偶回归映射网络（Dual Regression Networks-Large，DRN-L）来估计模糊核，再重构低分辨率图像。Kaufman 等［10］为了能够对模糊核进行寻优，提出两个层次的模型用于重建，第一个层次用于得到模糊核图片，第二个层次使用模糊核进行去模糊，这样的构造允许对模糊核使用损失函数。Yang 等［11］为了恢复出局部重建细节，使用了基于参考图（Reference-based）机制构造了用于超分辨率的纹理转换网络（Texture Transformer network for image Super-Resolution，TTSR），采用低分辨率图像与同目标参考图共同重建出高清图像。以上工作表明卷积网络对于边缘细节处理、超分辨率重建和去模糊是有效的，但是本文通过实验发现，多数模型仅针对双三次退化和高斯模糊等人为构造的模糊核是有效的，而对于受大气湍流影响导致的太阳斑点模糊图像去模糊往往结果并不尽如人意。

1.2 生成对抗网络的重建方法

随着Goodfellow 等［12］构造了GAN 之后，近年来有关GAN的发展非常迅速，其中Radford等［13］使用反卷积的方式构造了深度卷积生成对抗网络（Deep Convolutional GAN，DC-GAN）模型，首次将GAN 应用于图像生成。Zhu 等［14］在风格迁移中使用两对生成器与鉴别器构造出循环一致性对抗网络（Cycleconsistent Adversarial Network，Cycle-GAN）模型，实现了高质量的迁移效果；随后Engin 等［15］将Cycle-GAN 用于重建工作，获得了令人满意的效果。Kupyn 等［16］采用双尺度鉴别器，使得其能够处理更大更复杂的真实模糊，并提出重建模型使用平均相对性最小二乘对抗损失（Relativistic average Least squares GAN Loss，RaLsGAN）［17］的建议，比Wasserstein 距离［18］和梯度惩罚的损失具有损失下降更快、更稳定，生成图像具有更优视觉效果的优点，同时提出的Deblur-GANv2 版模型获得了当前公开数据集上去模糊方向领先的效果。在太阳斑点重建方面，Ren 等［19］在Cycle-GAN 的基础上，添加了感知损失，针对太阳斑点难以获取有效细节的问题，改进了内容损失函数，提高了太阳斑点重建的局部细节。Jia 等［20］为了提高Cycle-GAN 对于太阳斑点去模糊的泛化能力，使用同一太阳望远镜拍摄到相同波长的斑点图像，随后经过精心挑选图像子块将其传入网络学习，最终重建获得了较好的恢复效果。本文经过实验发现，Deblur-GANv2 虽然对于由于相机抖动、目标运动等因素造成的图像模糊能够起到非常好的去模糊效果，但对于太阳斑点此类拥有更加复杂模糊核的图像而言，不能恢复出较好的边缘细节。Ren 等［19］改进的Cycle-GAN 用于太阳斑点的恢复取得了良好的视觉效果，但是其在太阳斑点米粒形状的边缘出现了大量伪像且很难恢复出米粒间的高频信息。而Jia 等［20］的结果与Ren 等［19］的结果相似，虽然在数据集的选帧算法上更胜一筹，但Cycle-GAN 在重建太阳斑点图像时细节恢复能力较弱，导致太阳斑点米粒间大量高频信息的丢失。

2 本文方法

2.1 网络整体结构

为了恢复出图像的高频信息、减少米粒轮廓的伪像，采用以FPN 结构与梯度信息引导联合重建的方式设计生成器网络，因为FPN 结构能够注意到更小的细节，同时将图像准确、有效的梯度图加入解码器的特征序列中能够有效帮助其恢复出图像的轮廓、局部细节。为了保证获取的梯度信息具有有效性与真实性，需要将梯度分支的重建结果传入鉴别器验证，本文使用了双鉴别器网络的结构对高清重建图像与梯度分支结果进行分别验证，验证结果产生的对抗损失一并加入到生成器的损失函数进行参数寻优。此外，输入的图像由于大气湍流等因素的影响导致严重模糊、缺乏细节，而常规的超分辨率重建与去模糊网络中使用的像素内容损失通常采用的均方误差（Mean Squared Error，MSE）会使得重建图过于平滑，更加难以重建出局部细节。基于以上考虑，本文采用平均绝对值误差（Mean Absolute Error，MAE）作为像素内容损失进行处理。

为了接近云南天文台所使用的基于消息传递接口的选帧位移叠加算法（Leve1+）的重建效果，本文将Level1+的重建结果作为有监督的真实图像，将大气湍流导致的模糊图作为网络的输入图像。本文方法网络框架如图1所示。

图1 本文方法网络框架Fig.1 Network structure of proposed method

2.2 生成器结构

2.2.1 生成器模型

本文提出的生成器模型结构受Ma 等［6］和Kupyn 等［16］的启发，采用FPN结构与梯度分支引导重建的方式构成，而FPN下采样提取特征阶段（FPN 编码器阶段）采用Inception 模块，生成器整体结构如图2 所示。其中，梯度分支部分正如Ma等［6］所描述的，将获取到的图像多尺度特征分层次输入梯度分支中将会有助于梯度信息的还原，且将梯度信息加入特征图中一并卷积提取也会恢复图像的局部细节。

图2 生成器结构示意图Fig.2 Schematic diagram of generator structure

与上述工作不同的是，本文通过实验发现Ma 等［6］提出的梯度引导的保持结构超分辨率（Structure-Preserving Super Resolution with gradient guidance，SPSR）模型虽然能够借用梯度图引导恢复局部的细节，但是该模型设计的梯度分支依靠编码器传入特征梯度信息会过于依赖输入图的原始特征。对于太阳斑点此类原图高度模糊的情况，编码器将会在原图中无法提取有效的特征梯度信息，从而导致梯度分支引导难以达到预期效果。

为了避免这个问题，本文所采用的FPN 结构在特征桥梁连接后的自顶向下上采样重建阶段（FPN 解码器阶段）构造了梯度分支。这样设计的目的是因为从FPN结构的解码器中能够获取更加有效的图像特征，而不是编码器当中提取的模糊特征，因此它能通过这些有效特征的梯度信息更好地还原出梯度图。实验结果表明，该设计能够有效提取梯度信息，且能恢复出局部细节。此外，在特征堆叠之后为了减少生成器带来的伪像，本文采用Wang 等［21］提出的残差密集块（Residualin-Residual Dense Block，RRDB）模块，能够在生成器训练时提高其稳定性且产生更少的伪像。

2.2.2 生成器损失函数

1）像素内容损失。

对于重建的图像，通常超分辨率重建与去模糊的深度学习网络采用均方误差（MSE）得到逐像素的差值比较，将结果作为像素内容损失，使用这样的损失将会有助于矫正生成器结果的颜色和纹理特征。但采用均方误差的损失函数将会使得重建图像的边缘、局部细节变得更加平滑，这与本文的重建目标相违背，因此本文采用平均绝对值误差（MAE）作为像素内容损失。而对于生成器的另一条梯度分支，同样需要像素内容损失作为引导。与重建图的考虑一致，均方误差可能会影响梯度分支获取的准确性，因此也采用了平均绝对值误差作为其损失函数。而为了保证重建图像与目标图具有相似的轮廓，本文采用均方误差对两者的梯度图做损失。所以，本文的像素内容损失一共由三个部分组成，分别是重建图像的像素内容损失，梯度分支输出结果对应的像素内容损失，重建图像的梯度图像素内容损失，其计算式如式（1）所示：

2）感知损失。

正如Johnson 等［7］所描述的，如果仅仅使用逐像素作差将会导致重建图像难以恢复出原图的感知效果。若两张图像仅仅只是产生小像素的平移，尽管从视觉感知上来说，两者区别并不大，但逐像素作差的结果将会认为这两张图完全不一样。考虑上述因素，本文同样引入了感知损失，采用在ImageNet上预训练完成的VGG19（Visual Geometry Group 19）网络［22］，将重建图与Level1+目标输入其中并比较其输出结果的差异性。这样的操作将会使得重建图像与Level1+图像具有相似的特征图，从而使得重建图像看上去更加真实。感知损失的计算式如式（3）所示：

其中Φ(·)表示上述提到的预训练VGG19模型。

3）对抗损失。

为了获取到更加高质量的重建图像，本文使用了Kupyn等［16］建议使用的平均相对性最小二乘对抗损失（RaLsGAN）［17］，它能获得更加高质量的感知效果与逼真的高频信息。其生成器的计算式如式（4）所示：

其中：pdata（x）代表目标（真实）分布；pz（z）代表生成（虚假）分布。与常规的GAN 中鉴别器用于鉴别输入样本是真实样本的概率不同，在使用相对性对抗损失的GAN 中，鉴别器D的目标变成了鉴别一个样本比另一个样本更加真实的概率。因此，随着训练的迭代次数增加，鉴别器D（G（z））将会提高，而鉴别器D（x）则会下降，最终两者达到平衡。

4）生成器损失函数。

最终将上述的损失函数相加即可得到损失函数，但为了使得损失函数各项之间的数值保持平衡，本文通过反复实验设置了加法每一项的权重。生成器损失函数计算式如式（5）所示：

2.3 鉴别器结构

2.3.1 鉴别器模型

与其他GAN 网络的设计思路相同，本文在鉴别器的使用上也采用了类似VGG128（Visual Geometry Group 128）［22］的结构作为生成器结果的真假辨认。值得一提的是，为了恢复出具有更高的细节，本文的鉴别器并未使用到池化层，且与Ledig 等［23］一样，采用斜率为0.2 的带泄露的线性整流单元（Leaky Rectified Linear Unit，LeakyReLU）作为激活函数。两个鉴别器的输入分别是来自于生成器的两个分支，即重建图像主干与梯度分支，结构示意图如图3所示。

图3 鉴别器结构示意图Fig.3 Schematic diagram of discriminator structure

2.3.2 鉴别器损失函数

与生成器的对抗损失对应，鉴别器采用的平均相对性最小二乘对抗损失计算式如式（6）所示：

因此，本文使用的两个鉴别器损失函数如式（7）与式（8）所示：

3 实验与结果分析

3.1 数据集

本文采用来自抚仙湖1 m 真空太阳望远镜（1 m New Vacuum Sun Telescope，NVST）所连续拍摄的太阳斑点作为数据集。虽然其观测数据量巨大，但并非所有拍摄图像都适用于重建工作，常见的Level1+算法采用200 帧拍摄的模糊图像重建出1 帧，因此对于数据集的采集来说会出现有大量拍摄图但均无对应的高清参照图情况。但在Jia 等［20］的实验下发现，深度学习网络仅需要采用波长相同的拍摄图像与其对应的少量高清参照图即可完成模型的学习且能较好恢复出该波长下大多数的拍摄图像。有了这个先验知识，本文使用中国科学院云南天文台所提供的重建选帧算法获取模糊图IBlur与其Level1+对应的少量重建图ILevel1+作为数据集（IBlur，ILevel1+）。与Jia等［20］的数据集设计一样，本文在挑选出拍摄图后与其对应的Level1+图像一并进行了分块操作，最终获得了超过5 万张大小为256 × 256 的图像子块作为实际训练数据集。受大气湍流、光学系统的热变形与重力变形等影响，拍摄模糊图IBlur的模糊因子构成与常规的失焦模糊、运动模糊都不尽相同，特征难以辨认，细节获取难度较大。部分数据集如图4所示。

图4 部分数据集Fig.4 Part of dataset

3.2 预处理方法

由于大气湍流等引起的高度复杂模糊输入图像不再具有明显的轮廓、细节等原因，生成器模型当中的梯度分支获取的梯度信息依然较为模糊。为了让梯度分支更好地引导重建，本文选用了Kupyn 等［16］提出的DeblurGANv2 模型进行预处理，而其生成器的编码器部分选用了Mobile 模块，这是因为Mobile-Net 参数量小、训练速度更快，比起采用Inception 模块而言，更适合作为预处理方法。通过实验发现，由DeblurGANv2-Mobile 模型得到的预处理结果虽然难以获取到局部细节，但是可以恢复出大致的结构，这将有效提升本文模型的梯度分支带来的局部细节重建效果，且最终获得的重建效果从测试集评估的结构相似度（Structural SIMilarity，SSIM）评价指标上看能够比未经过预处理时提高约2个百分点。

3.3 训练过程

3.4 与同类方法的对比

将本文提出的方法与当前几种在公开数据集上的超分辨率、去模糊先进算法以及太阳斑点同类去模糊算法进行了比较，其中包括了针对公开数据集上的超分辨率模型重建方法SPSR［6］、DRN-L［9］，去模糊模型重建方法DeblurGANv2［16］，以及同样针对太阳斑点进行高清恢复的模型重建方法Cycle-GAN［19］、Cycle-GAN［20］。

为了将文献［19-20］方法进行区分，本文将文献［19］方法表示为Cycle-GAN1，文献［20］方法表示为Cycle-GAN2。而DeblurGANv2［16］拥有两个版本，分别是采用了Mobile 模块与Inception 模块构造的DeblurGANv2-Mobile 和DeblurGANv2-Inception。此外，本文方法+预处理表示使用DeblurGANv2-Mobile进行图像预处理后，再使用本文方法得到的结果。

3.4.1 定量比较

为了保证对比的公平性，本文采用了对比方法研究中均出现过的评价指标：峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和结构相似度（SSIM）。定量比较的结果如表1 所示，可以看出，本文所提出的方法在PSNR 和SSIM 上均取得了较好的结果。

表1 不同方法在测试集上的评估结果Tab.1 Evaluation results of different methods on test set

3.4.2 定性比较

从更加直观的角度来看，本文提出的方法有效接近了目标Level1+的重建效果。不同方法的重建结果如图5～6所示。

图5 不同方法的重建结果对比Fig.5 Comparison of reconstruction results of different methods

从图5 中可以发现，采用的FPN 与梯度引导联合的重建方式能够清晰地还原出图像的整体轮廓特征且产生极少的伪像。此外，可以从图6 的局部放大结果中观察到，本文方法还原出的局部高频信息更加接近Level1+图像，而同样采用的FPN 构造的DeblurGANv2 虽然能够有效还原出边缘信息，但是会丢失细节特征。Jia 等［20］虽然在数据集上做了很多工作，然而其重建模型的不适应性导致生成图像上的米粒轮廓存在大量的伪像。Ren 等［19］针对太阳斑点特性，将Cycle-GAN 进行改进后，能够清晰还原出太阳斑点图像的米粒轮廓特征，但是同样会带来大量伪像，忽略掉较多的高频信息。

图6 不同方法的重建结果细节对比Fig.6 Detail comparison of reconstruction results of different methods

作为采用梯度引导的重建网络，梯度分支的有效性将作为重要的参考依据。从图7 输入图像的梯度图可知，对于太阳斑点的模糊图细节获取难度较大，这也证实了本文模型的设计想法，对于太阳斑点图像而言，梯度分支想要获取图像的特征信息，不能过于依赖输入图像的原始梯度信息，而需要在解码器阶段的特征信息中逐渐获取图像的细节，从而梯度分支才能恢复出有效的梯度去引导重建。

图7 不同方法的梯度分支信息获取情况对比Fig.7 Comparison of gradient branch information acquisition of different methods

经过预处理之后，模型的梯度分支可以获取到图像的有效轮廓特征，与重建图像的局部细节效果一致，梯度分支最终获取到的梯度结果同样比无预处理时更加清晰、准确。这表明了本文方法的梯度分支能够正确引导图像重建。

3.4.3 预处理方法的比较

从图6～7 的结果中可以发现，采用预处理之后无论是重建结果还是梯度分支的获取情况都能够比无预处理更加接近Level1+算法重建的结果，然而使用预处理也会花费更多的时间。表2 与图8 给出了本文模型使用两种不同预处理与未使用预处理时的结果比较，可以看出：使用预处理时，能够获得更好的结果，但训练时间会大幅增加，且Inception 模块比Mobile 模块在模型尺寸和训练时间上都需要花费更多开销，评估指标SSIM 却提高不多；而无预处理方法即本文模型在针对太阳斑点图像时也能获得较好的去模糊视觉效果且节约大量训练时间，但会导致梯度分支的使用率降低，同时可能会丢失部分细节。因此，在太阳斑点图重建时，如果原图有一定轮廓特征，就可使用本文模型进行训练，如果原图无明显轮廓、难以获得有效梯度信息，使用预处理就可获得更加精确的去模糊效果。

图8 不同预处理方法在不同训练时间上的SSIM对比Fig.8 SSIM comparison of different preprocessing methods in different training time

表2 不同预处理方法的性能比较Tab.2 Performance comparison of different preprocessing methods

3.5 消融实验

本文所提出的模型梯度分支构造在FPN的解码器阶段提取特征，为了验证其有效性，分别对梯度分支的构造方式、去掉梯度分支进行了测试。其中，把梯度分支构造在FPN 的编码器阶段与Ma 等［6］的想法近似，但对于太阳斑点图像而言，在输入图中难以获取有效原始梯度信息，因此梯度分支得到的结果并不理想，可参考表3与图9。而将本文模型的梯度分支去掉以后，模型将退化为近似Kupyn等［16］提出的结构。

表3 不同梯度分支构造带来的影响Tab.3 Impact of different gradient branch structures

图9 不同梯度分支构造方式结果对比Fig.9 Results comparison of different gradient branch construction methods

3.6 公开数据集对比结果

为了验证所提出的模型是否在常规模糊中同样适用，本文同样在公开的模糊数据集中进行比较。选取的公开数据集有DVD 数据集与GOPRO 数据集，定量评估结果如表4～5 所示，定性评估结果如图10～11所示。

其中，DVD 数据集上选取的比较算法为DeblurGANv2［16］的两个版本算法，GOPRO 数据集上还选取了额外三种去模糊算法［24-26］，下面首先对这三种算法进行简要介绍。

3.6.1 额外对比方法

1）结合深度学习的非均匀运动模糊去除（Deep Learning a convolutional neural network for non-uniform motion blur removal，DL）模型［24］。首先，该算法使用卷积神经网络估计斑块大小的非均匀运动模糊核场；随后，使用马尔可夫随机场模型来修正估计的模糊核场的结果；最后，使用反卷积方法清除非均匀运动模糊。

2）用于运动去模糊的深度多尺度卷积神经网络（Deep multi-scale convolutional neural network for dynamic scene Deblurring，DeepDeblur）［25］。该算法将模糊图分成三个不同尺度大小的图像，逐级输入三个不同的卷积神经网络，网络间使用上采样层将不同特征连接在一起，得到较好视觉效果的重建图像。

3）用于深度图像去模糊的尺度递归网络（Scale-Recurrent Network for deep image deblurring，SRN）［26］。与DeepDeblur［25］算法相似，首先，该算法构造了三个不同尺度的编码器-解码器结构；随后，将模糊图分成三个不同尺度大小的图像，逐级输入编码器-解码器当中；最后，通过上采样连接不同尺度的特征图像，得到最终的重建结果。

3.6.2 评估结果

在表4～5 以及图10～11 中可以看到，本文所提出的模型在公开数据集中也具有一定的竞争力，能够有效恢复出图像局部细节。同时，从评估结果中也看出，本文所提出的预处理方法在评估指标上没有明显提升，这是因为公开数据集的模糊图像均具有明显的梯度特征，无需进行预处理操作。本文方法需要预处理是因为太阳斑点图像的特殊模糊性质导致其不具有明显梯度特征，若直接将其模糊特征输入到梯度分支当中，梯度分支很难捕获有效的边缘细节，在最后联合梯度分支结果与FPN 结果进行重建时，无效的梯度分支结果将会影响模型计算。

表4 不同方法在DVD数据集上的评估结果Tab.4 Evaluation results of different methods on DVD dataset

表5 不同方法在GOPRO数据集上的评估结果Tab.5 Evaluation results of different methods on GOPRO dataset

图10 不同方法在公开数据集上的重建结果对比（图像1）Fig.10 Reconstruction result comparison of different methods on public datasets（Image 1）

图11 不同方法在公开数据集上的重建结果对比（图像2）Fig.11 Reconstruction result comparison of different methods on public datasets（Image 2）

4 结语

本文提出了一种基于生成对抗网络的FPN框架与梯度引导联合的去模糊方法，能够有效重建受大气湍流、光学系统的热变形和重力变形等影响的太阳斑点图像。针对梯度分支难以获取原图像梯度的情况可采用预处理先行去模糊的方法以获得更加有效的梯度信息。在损失函数上采用了平均绝对值误差作为像素内容损失来对局部细节进行重建，而对抗损失采用了Kupyn等［16］建议使用的平均相对性最小二乘对抗损失以获得更高质量的感知图像。实验结果表明，本文所提出的模型在太阳斑点图像的恢复上具有很强的能力，其视觉质量和评估指标明显优于其他对比深度学习模型在太阳斑点图像上的重建效果。

尽管本文所提的方法从视觉上能够非常逼近云南天文台所采用的Level1+算法结果，然而它也同样会将Level1+算法重建中带来的伪像一并进行学习。在未来的工作中，将尝试引入无监督的方式对太阳斑点图像进行重建，减少对Level1+算法结果的依赖性，重建出更高质量、更接近真实的太阳斑点图像。