图像超分辨率算法研究进展

侯腾

（四川大学计算机学院，成都 610065）

0 引言

图像超分辨率算法是一项增强图像分辨率的技术，目的是从一幅或一系列低分辨率图像中重建出一幅高分辨率的图像。高分辨率图像能协助警察更好地维护公共安全，能帮助医生做出更正确的诊断，在目标识别领域（如无人驾驶）也能发挥重要的作用。超分辨率算法可以在不升级成像系统硬件设备的前提下，从软件算法层面来满足市场在图像分辨率上日益增长的需求，具有重要的研究意义。图像超分辨率算法可以分为基于插值的方法、基于重建的方法和基于学习的方法三大类。

1 基于插值的方法

基于插值的方法是一种较早提出来且相对简单的算法。核心是计算低分辨图像和目标高分辨率图像之间的配准关系，目标图高分辨率图像由合适的插值算法插值得到。常见的有双线性插值[1]、双三次插值[2]和最邻近插值[3]。

此类算法复杂度低、计算量小，因此具有很好的实时性。但适应性较差，处理场景较为简单，仅仅是基于周围已确定的图像灰度值进行复制、扩展，对图像灰度值变化较大的场景，如图像边缘或纹理，结果图像会出现边缘模糊或高频细节丢失等问题。

图1 四邻域示意图

2 基于重建的方法

基于重建的方法是被广泛研究的一种算法，此类算法先根据低分辨率图像与高分辨率图像之间的配准关系，得出高分辨率图像与低分辨率图像像素之间的依赖关系作为先验知识，利用先验知识重建出目标高分辨率图像。算法常用的图像成像模型[4]通常可表示为：

其中：Lk表示低分辨率图像，H为对应的高分辨率图像，D表示降采样矩阵，Bk表示模糊矩阵，Mk表示几何运动矩阵，Nk表示附加噪声。

2.1 迭代反向投影法（Iterative Back-Projection ，IIBBPP）

该算法最先由Irani和Peleg[5][6]提出来应用到图像超分辨率处理上，通过重复迭代反向投影过程，将模拟低分辨率图像与输入低分辨率图像之间的误差最小化，由此估计得到目标高分辨率图像。其核心公式为：

其中K表示低分辨率图像的数量，↑s表示上采样因子，p表示反向投影算子。张永育等[7]提出了基于Keren改进配准算法的IBP超分辨率重建算法，算法的收敛速度得到了有效增长，算法稳定性也有效提高，但是重建图像容易出现边缘锯齿效应。针对该问题，陶志强等[8]提出了基于新边缘指导插值的IBP超分辨率重建算法，利用低分辨率图像与高分辨率图像局部协方差间的几何对偶性，通过计算低分辨率图像各像素点的局部协方差系数，提高峰值信噪比，降低均方根误差，结果图像的质量得到了提高。Hsieh等[9]采用运动补偿方式改进反向投影函数，整合绝对误差和、有效的图像区域选择以及运动向量聚类等方法优化了快匹配算法。进而减少了算法的收敛时间，提升了运动估计的精确度。缺点是存在多个解，而且先验知识的应用较为困难。

2.2 凸集投影法（Projection onto Convex Sets ，PPOOCCSS）

该算法可以把目标高分辨率图像的先验知识运用到超分辨率重建的过程中，POCS算法基于集合理论，将超分辨率重建的可行解空间限制为一组约束集的交集，这些约束集是关于目标高分辨率图像先验知识的凸集。POCS算法通过迭代寻找符合所有约束集的一个点，用以重建目标高分辨率图像的对应点。POCS算法最早由Stark和Oskoui[10]提出，其迭代过程可表示为：

其中H0表示任意一起始点，Pi表示将对应点投影到凸集上的投影算子。Patti和Altunbasak[11]提出了一个改进的POCS算法，算法采用可被自适应改变的约束集，且在成像模型离散化过程中采用更高阶的插值算法，结果图像的边缘振铃效应得到了很好的抑制。黄华[12]等提出了一种基于线过程模型的POCS算法，将

2.3 最大后验概率估计法（Maximum a Posteriioorr，MMAAPP）

基于MAP的算法原理是利用低分辨率图像序列使得目标高分辨率图像的后验概率最大，算法核心可以表示为：

其中H^表示目标跟分辨率图像H的估计，即算法所求目标高分辨率图像；p(Y1,…,YN|H)为条件密度项，p(H)为先验概率项。Schulz和Stevenson[14]提出的算法的图像先验模型采用胡贝尔-马尔可夫随机场模型（Huber-Markov Random Field Model），增强了图像边缘部分重建的鲁棒性。张新明等[15]提出了一种基于多尺度正则化先验的最大后验概率算法，对运动估计结果采用可信度验证，并构建多尺度Huber-Markov先验模型，由此产生了较优的目标图像，有效消除了图像伪迹。陈海棠等[16]提出了一种改进的MAP算法，利用Curvelet插值将低分辨率图像构建成高分辨率图像，并应用不同的方向因子结合权重系数进行插值，从而得到合成的目标高分辨率图像，使图像的色彩信息得到了更好的恢复，抑制了丰富纹理区域的模糊和锯齿现象。除了上述模型，还有一些先验模型被提出应用到图像超分辨重建，如条件随机场模型[17]、双层高斯非平稳模型[18]和广义各向异性马尔科夫随机场模型[19]等。MAP算法具有较好的适应性和稳定性，是一种相对较优的超分辨率重建算法。

线过程模型作为先验知识用于迭代过程中的平滑性约束投影，从而得到更好视觉效果的图像。许录平[13]等提出了一种快速的凸集投影算法，根据图像区域的特征自适应的选取迭代步长，显著地提高了算法运算速度。POCS算法有利用强大空间域观察模型的能力，可以便捷的将先验知识综合运用到超分辨率重建的过程中，但此类算法同样也没有唯一解，收敛速度总体比较慢，计算复杂度高，效率低。

3 基于学习的方法

基于学习的方法是近年来较流行的一种算法，算法的基本思想是从训练集中学习高分辨率图像与低分辨率图像之间的联合先验，然后利用联合先验重建出目标高分辨率图像。基于学习的超分辨率重建算法将图像的先验知识运用到算法中，因此能得到更好的重建图像，且所需图像信息大幅减少。缺点是这些算法都只能使图像放大固定倍数，得到的目标高分辨率图像尺寸是固定的。

3.1 领域嵌入方法（Neighbor Embedding）

Cheng等[20]利用局部线性嵌入流行学习的思想，提出了一个通用的使用训练集的方式-基于邻域嵌入的学习策略。假设高低分辨率图像块形成的流形在两个特征空间中存在相似的几何结构，让高低分辨率图像块间的局部几何结构形成映射，由此重建出目标高分辨率图像。用K个最近邻域块重构一个块系数来表示局部几何结构。此算法可以使用一个小型训练集来表示较多的图像块模式，因而降低了计算量，提高了算法速度。但由于K是固定的，常常会引发过拟合或欠拟合，进而导致图像模糊效应出现。针对该问题，徐胜南等[21]提出了一种基于改进的邻域嵌入算法，利用图像多尺度相似性，采用双层方式寻找图像邻域块，克服了重建图像产生的失真问题，进一步提升了算法速度。算法双层方式寻找邻域块的第一层图像块间的欧氏距离为：

其中z(0)和z(1)表示算法利用图像的多尺度相似性分化出的低分辨率空间，高分辨率空间用x表示。对应的邻域图像块为：

其中C(z(1)(p,q))表示z(1)(p,q)的邻域，|C (z(1)(p,q))|表示C(z(1)(p,q))中图像块的数目。在第二层中图像块之间的距离为：

3.2 稀疏表示法（Sparse Presentation）

Yang等[22]利用稀疏信号表示提出了一种基于稀疏信号表示的超分辨重建方法，通过对高低分辨率图像块字典的联合训练，强化高低分辨率图像块间对应的真实字典稀疏表示的相似性，进而重建出目标高分辨率图像。李民等[23]在此基础上提出了非局部联合稀疏近似的算法，将图像的高低分辨率图像块进行统一联合稀疏编码，建立稀疏关联，用以指导重建过程。算法具有更强的自适应性。Dong等[24]提出将稀疏性当做先验知识去正则化病态超分辨率重建问题，由于图像块间的最优稀疏域存在多个解，因此提前学习多个字典，重建过程中选择最优的字典，从而得到更好的重建结果。

3.3 基于样例法（Example-bbaasseedd）

基于样例的算法从通过学习建立高低分辨率之间的对应关系，更注重对高频信息的利用，重建形成目标高分辨率图像。Glasner等[25]人提出一个无需外部训练信息，只利用图像本身的信息进行超分辨重建。他们认为，一副图像中的图像块会有极大的概率在图像自身其他地方出现相似的，无论是在相同还是不同的尺度上。利用这种子块自相似的思想形成一个字典，用以重建目标高分辨率图像。算法去除了对外部训练数据的依赖，减小了存储空间。但是这类算法由于图像大小有限，内部字典通常不足以对包含复杂纹理信息的进行良好重建，此外，重建结果还和选取的图像块之间存在很大的相关性。为了解决这些问题，Singh等[26]人提出了一种基于子块自相似的算法：算法首先将低分图片I0下采样为一系列图片分别对这些图片序列从不同方向进行单独的自相似处理，处理分为三个步骤：①形成一个的字典，②寻找k=5个与目标区域最相似的子块，③利用：

重建出系列高分辨率图像。最后再将分别处理得到的系列高分辨率图片反相处理得到目标高分辨率图像

图2 子块自相似算法演示过程

该算法在不同的子块之间使用自适应的相似性原理，即使用方向不同的带通滤波器，并对字典进行了扩展，从而降低了图像块间的误匹配率，并且算法对图像子块的大小不敏感。由此得到了更清晰的目标高分辨率图像，算法在处理纹理信息（如动物毛发）上的效果尤其突出。Huang等[27]人在此基础上，在寻找自相似的过程中利用透视几何来指导子块的搜索，并结合仿射变换来适应局部形状变化，由此得到的优异的重建效果。

4 结语

本文对不同的超分辨率重建方法进行了综述，其中包括基于插值、重建以及学习的方法，阐述了各自的优缺点。并对部分算法进行了详细的描述，图像超分辨率重建的研究对我们具有重要的意义，这一技术的发展与应用解决了不少问题，然而该技术还存在一些难点和发展契机。

（1）视频超分辨率重建。视频场景比图像要复杂得多，视频的信息量、视频帧之间的场景变换，大部分算法也都不能满足视频实时性的处理要求。如何准确提取同一场景的低分辨率帧来重建，如何提高运动估计的准确性，如何确定重建后高分辨率图像帧的前后相关性等。

（2）特定场景的超分辨率重建。一些特定的场景，如医学超声图像或者夜间监控等暗光场景图像。由于特定因素的限制使其处理难度增大。

（3）超分辨重建图像评价标准。主流的质量评价方法有峰值信噪比、结构相似度等。但它们不能完全反映全部信息，它们都属于有参考评价方法，但在实际研究中不一定都有高分辨率原图像作为对比。