基于退化学习的图像超分辨综述

陈红，周耀东

（西华大学计算机与软件工程学院，成都610039）

0 引言

人们生活逐渐被网络渗透，数字图像作为可视化的信息载体得到了高度关注。而在数字成像系统中超分辨率的研究是很重要的探索方向，尤其是在医疗、监控、压缩等领域。图像超分辨技术按退化原理可以分为监督退化的图像超分辨率和无监督退化的图像超分辨率。监督退化是先假设出了一个图像退化模型，这个模型模拟了自然环境下的高分辨率图像如何退化为人眼观察到的低分辨率图像[3-4]，然后经过逆过程得到超分辨率结果。其常用的有两种模型，一种是先用模糊内核与高分辨率图像卷积，再使用具有缩放因子的双三次下采样器作用于卷积后的高分辨率图像得到小尺寸的低分辨率图像，最后再加上一加性高斯白噪声(AWGN)。Kim 等人[3]采用另一种简化的模型，直接把高分辨率图像通过双三次下采样器得到退化图像。无监督退化的提出是为了仿制真实的低分辨到高分辨的超分过程，提出的模型与现实的情况存在很大的区别。本文着重对图像超分辨率方法分两类进行阐述和分析，以向人们展示图像超分辨率技术的发展方向和应用前景。

1 监督退化的图像超分辨率

监督学习的图像超分辨率，基本上是学习了人为设计的图像降质过程的逆过程，需要先构成LR-HR 的图像对，采用双三次下采样的方法将高分辨率图像缩小为低分辨率图像，这种方法是现阶段主要的研究方式。监督学习是从成对的训练数据集中学习出一个函数（模型参数），输入一个低分辨率图像通过这个函数得到高分辨率图像；监督学习的训练集要求包括输入输出，也可以说是低分辨率图像和高分辨率图像；训练集中的目标是由人标注的。监督学习就是最常见的分类问题，通过已有的训练样本（即已知数据及其对应的输出）去训练得到一个最优模型（这个模型属于某个函数的集合，最优表示某个评价准则下是最佳的），再利用这个模型将所有的输入映射为相应的输出，对输出进行简单的判断从而实现分类的目的。监督学习的目标往往是让计算机去学习我们已经创建好的分类系统（模型），但是在超分辨中是为了学习低到高的映射关系，输入一张低分辨率图像最后可以得到一张放大的高清图像。

从基于传统的字典学习到基于深度学习的超分辨率方法已经很成熟了，Yang 等人[1]提出了基于图像块的稀疏表示图像超分辨，明显降低了计算成本，显著加快算法速度。文献[24-25]中Freedman 等人[6]提出了基于示例的超分辨框架，不依赖外部示例数据库，也不使

用整个输入图像作为示例补丁的源，而是在自然图像上遵循局部自相似假设，并从输入图像中极其局部的区域提取补丁。大量从外部低分辨率和高分辨率示例图像对中学习映射功能[1,2,9-10]。近年来，许多基于深度学习的图像超分辨在网络结构、学习策略、参数效率上提出创新[3,11-17]。Dong 等人[11]开创了在超分辨率工作中运用深度学习的先河，结构简单，仅仅使用了三个卷积层。Shi 等人[12]对SRCNN 提出了改进，为了降低复杂度，直接在低分辨率图像尺寸上提取特征，最后使用亚像素卷积层放大得到高分辨率图像。Ledig 等人[15]为了增强细节信息，提出了感知损失函数。下面介绍两种常用的监督退化学习的超分辨方法。

1.1 基于字典学习的超分辨

对超分辨率方法的字典训练，预先构建高低分辨率图像对，由于在现实生活中真实的实验数据很难采集，所以将清晰的图像进行下采样和添加加性高斯白噪声等操作得到低分辨率图像。设Y∈Rn表示为原始高分辨率图像，X∈Rm表示为降质处理后得到的低分辨率图像，HR 图像和LR 图像之间的关系可以表示为：

S 表示下采样因子，B 为模糊算子，n 为加性高斯白噪声。

将低分辨率图像X∈Rn图像双三次方插值得到和高分辨率图像相同大小的低分辨率图像M∈Rn。将所有的M 图像分成若干个3×3 或者5×5 之类的小块，小块之间有1×1 或者2×2 之类的重叠区域，对应的Y 图像同样对应坐标位置，分成小块。对低分辨率图像块做特征提取操作，通过4 个滤波器提取低分辨率块图像的特征信息，4 个滤波器依次定义为：

每个图像块可以产生相应地4 个特征向量，合并后得到最后的特征表示。因为每个低分辨率图像块的特征表示都将其邻近信息编码进去，这将更好地促进最终SR 重建图像的相邻块之间相互兼容。

接下来随机初始化字典Dh和Dl并训练。训练过程如下：

上面方法是对两个字典分开训练，式中ℓ1范数‖ ‖·1为了保证稀疏度，ℓ2范数‖ ‖·2对字典的列向量进行约束。

通过对两字典同时训练可以节省时间，Yang 等人采样联合字典训练，假定对高分辨率字典和低分辨率字典的稀疏表示是相似的，则可以用相同的编码来表示高分辨率和低分辨率图像块，上面公式联合得到：

式中N 和M 分别表示Y 和X 向量形式的维度，接下来一般采用交替优化方法，先对字典固定，更新Z 值：

最终得到D 和Z。

1.2 基于深度学习的超分辨

最近几年深度学习在处理图像、文本、语音的任务上表现出了一定的优势，所以基于深度学习做超分辨也得到了广泛关注，涌现了大量的文章[31-35]。以下是对近年基于深度学习超分辨方法的部分分析，表1 是部分分类。

影响超分辨效果的因素有很多，例如数据集的多少、学习策略、评价指标等。这几年在基于深度学习的方法中这些因素都有体现，文献[21]和[22]在网络设计上改进，文献[23]使用感知损失函数来训练网络。虽然改进方法很多，但是大致的框架流程是差不多，先提取图像块特征，建立映射关系，最后图像重建。图1 展示了大致的流程：

图1 基于深度学习超分辨网络结构

图1 是最简单的直接学习低分辨率到高分辨率映射的网络结构，提取特征是将图像分成小块提取特征，中间的卷积网络可以看做许多的卷积层，通过不断地训练调整参数，最后低分辨率图像通过学习的参数得到高分辨率图像。深度学习网络结构的主要模块是卷积，池化，激活，这是一个标准的非线性变换模块。随着深度学习的发展，更深的结构模型，意味着更好的非线性表达能力，可以学习更加复杂的变换，从而可以拟合更加复杂的特征输入。然而随着网络深度的加深可能导致，梯度不稳定，这就有可能出现网络加深，性能反而开始下降。残差网络[17]的提出，解决了之前网络结构较深时无法训练的问题，也提高了性能。文献[26]结合了之前的字典学习提出了的残差字典学习，将低分辨图像与高分辨图像的残差高频信息学习出来。图2展示了基于残差学习的图像超分辨。

图2 基于残差学习的超分辨网络

图2 中网络输入的是低分辨率图像通过插值后变成目标像素的低分辨率图像，再将这个图像与网络学到的残差相加得到最终的输出。残差网络用来处理超分辨问题再合适不过，其原因在于输入的低分辨率图像和输出的高分辨率图像在很大程度上是相似的，也就是指低分辨率图像携带的低频信息与高分辨率图像的低频信息相近，在训练阶段带上这冗余部分会多花费大量的时间，实际上我们只需要学习高分辨率图像和低分辨率图像之间高频部分的残差图像即可。之后改进基于残差学习的网络提出了很多方法，何恺明[16]第一次将递归神经网络结构融入图像超分辨任务，而Tai等人[18]对一些残差网络的结构进行了分析调整，提高了网络性能。

2 无监督退化的图像超分辨率

深入了解一些如今做超分的方法，会发现大家都是先将原图HR 进行下采样得到LR，再用LR 作为输入，经过设计的超分算法，得到SR，与原来的HR 计算图像质量指标，如PSNR、SSIM 等。这个流程跟我们的实际应用场景相差甚远，需要做超分的输入图片，大多数都没有经过下采样，即使是有图像质量压缩，模式也是未可知的，远远不是用某个函数下采样就能模拟出来。所以针对现实生活中低分辨率图像的模糊核未知且对应的高分辨率图像不存在的问题提出了无监督退化学习，所谓无监督的训练，就是指在训练过程是不需要配对的图像对去用于训练。

目前无监督超分辨率方法很少，Zhang[19]设计了一个新的SISR 退化模型，利用现有的盲去模糊方法进行模糊核估计，文章给出的实验效果很好，但是经过实验后发现，在未知模糊核的情况下效果仍待改进。自2014 年Ian Goodfellow 提出了GAN（Generative Adver⁃sarial Network）以来，对GAN 的研究可谓如火如荼，各种GAN 的变体[28-30]不断涌现。Kupyn 等人[27]实现了一种基于GAN 盲运动去模糊的方法，即在没有关于模糊核信息的前提下，给定模糊图像，复原清晰图像。Ledig等人[15]利用GAN 增强了超分效果，提出了感知损失函数，它包含了对抗损失和内容损失，对抗损失采用了一个判别器网络，使结果更加接近原始自然图像，但它不是无监督退化的方法。最近Zhao 等人[2]提出了一种无监督退化学习的单图像超分辨，利用生成对抗网络模拟真实的超分辨过程。生成对抗网络主要分成两个部分，一个是生成器，顾名思义它的功能是生成数据；一个是判别器，用来判断生成的数据的真假。如图3 显示了简单的无监督退化超分辨生成对抗结构。

在这个网络中，双向结构一致性被利用于去训练退化和超分辨率重构网络，以一种非监督的方式，退化网络可以通过使用生成对抗网络去建模从高分辨率到低分辨率的退化过程，然后这些生成的逼真的低分辨率图像和现实生活中的高分辨率图像用于去训练超分辨率重构的网络，形成第一个循环。然后在第二个逆循环中，实际生活中的低分辨率图像被用于进一步去稳定SR 重构和退化网络的训练。在合成的和实际生活的图像上的大量实验表明提出的算法在对比最先进的单图像超分辨率方法都能变现更出色。

图3 无监督学习超分辨网络

3 结语

现代社会网络迅猛发展，通过图片、视频展示和传递信息成为一种日常的操作。因而对图像质量的要求也越来越高，由于设备、技术、距离等限制，导致许多成像系统所得到的图像不能满足实际需要，所以图像超分辨率技术的出现可以解决这些问题。图像超分辨率在视频、遥感、医学和安全监控等领域具都有十分重要的应用，另外其应用也逐步涉及到其他各个领域。在高清数字电视方面采用超分辨率技术会进一步减少成本，提高画面的质量。超分辨率技术在采集军事与气象遥感图像应用可实现高于系统分辨率的图像观测。在医学成像系统中（如CT、MRI 和超声波仪器等），可以用图像超分辨率技术来提高图像质量，对病变目标进行仔细的检测。在银行、证券等部门的安全监控系统中，当有异常情况发生后，可对监控录像进行超分辨率重建，提高图像要害部分的分辨率，从而为事件的处理提供重要的线索。单图像超分辨率是一个具有挑战性的研究问题，具有重要的现实生活应用，在未来超分辨技术广泛的应用前景必然会推动这一技术不断发展。

深度卷积神经网络在单幅图像上的超分辨率取得了非常好的效果，人们在网络结构和学习策略等方面，提出了不同的方法，并获得了令人振奋的创新。未来既可以从无监督退化学习的方面进行改进，也可以改进损失函数来提升性能。