基于稀疏表示的图像超分辨率重构算法❋

李 雪，蒋爱民，刘小峰，施铃泉

（河海大学物联网工程学院，常州213022）

·微机软件·

基于稀疏表示的图像超分辨率重构算法❋

李 雪，蒋爱民，刘小峰，施铃泉

（河海大学物联网工程学院，常州213022）

为提高单幅图像的分辨率，提出一种基于稀疏表示的图像超分辨率重构方法。该方法的核心是联合训练高分辨率和低分辨率字典，然后利用所得字典求解高、低分辨率下图像块共有的稀疏表示系数。与已有的基于稀疏表示的图像超分辨重构算法相比，该算法在求解稀疏表示系数时并未采用拉格朗日乘子将稀疏度和重构误差相结合，而是利用对偶模型求解原始的带约束优化问题。实验表明，与其他图像超分辨率重构方法相比，该方法所需手动调节参数较少，重构效果较好。

稀疏表示；超分辨率重构；二阶锥规划；稀疏编码

1 引 言

随着图像在各行各业中日益广泛的应用，人们对图像分辨率的要求也越来越高。然而单从硬件方面来提高传感器的分辨率代价昂贵，因此需要在不改变传感器的前提下，通过图像处理算法来获得更高空间分辨率的图像。图像超分辨率重构就是提高图像分辨率的方法之一。图像超分辨率（superresolution，SR）重构是指由一幅或几幅低分辨率（low-resolution，LR）图像重构出原始高分辨率（high-resolution，HR）图像［1-3］的过程。SR已在遥感成像、视频监控、医学成像、高清电视等领域获得重大应用。

2 图像超分辨率重构方法研究现状

传统图像超分辨率重构的方法是通过融合多幅低分辨率图像来恢复高分辨率图像。为了达到重构目的，首先需要根据高分辨率图像和低分辨率图像之间的对应关系建立一个模型，SR重构则是基于这一模型的假设及先验信息的逆问题。由于从高分辨率图像转换到低分辨率图像的过程中丢失了很多信息，重构问题就变成了一个欠定问题，重构结果并不唯一。为了较为可靠地重构高分辨率图像，研究人员相继提出了一些解决方法，如最大后验概率法（maximum a-posteriori，MAP）［4］。然而这一方法在放大因子很大或没有足够多的低分辨率图像（尤其是单幅输入图像）时的效果会急剧下降［5］。为了解决这一问题，研究人员又提出了另一种超分辨率重构方法——基于学习的超分辨率重构方法。这一方法利用学习到的共有先验知识来预测低分辨率和高分辨率图像块之间的对应关系［6-10］。

文献［6］中提出了一种基于学习的图像超分辨率重构方法，这种方法是通过马尔可夫随机场（Markov Random Field，MRF）来学习、预测低分辨率图像与高分辨率图像之间的对应关系。文献［11］中Sun等人又对其做了进一步改进，通过先验细节信息加强了重构图像的边缘轮廓部分。然而以上两种方法均需要由大量低分辨率和高分辨率图像块构成的训练集，并且目标高分辨率图像中的每个图像块都来自于训练集中与其最匹配的一个图像块。文献［9］中Chang等人则采用局部线性嵌入法（Locally Linear Embedding，LLE［12］）来重建目标图像，该图像中的每个高分辨率图像块都是由训练集中的k个最近邻域块得到的。因此，与前面两种方法相比，该方法需要较少的训练集。然而k值选取不当会带来欠拟合或过拟合问题，从而导致重构图像模糊。

文献［13］中Yang等人提出了一种利用稀疏表示进行图像超分辨率重构的算法。他们通过一组高、低分辨率图像间的关系来学习一组稀疏表示字典，使训练集中的每个图像块都能由所得字典进行稀疏表示。在超分辨率重构过程中，对于输入的低分辨率图像中的每个图像块而言，首先获得其在低分辨率字典下的稀疏表示系数，然后对应的高分辨率图像块可以由高分辨率字典和该稀疏系数的乘积得到。与前面几种方法相比较，该方法在保证了足够先验知识的同时减少了重构时所需的数据量，提高了算法的效率。

这里仍然延续文献［13］所提出的重构思路，但是在稀疏编码部分，通过将相应问题转化为二阶锥规划（Second-Order Cone Programming，SOCP）问题，并利用高效数值算法求解此类问题。采用这一思路，可以有效避免由于参数选择不当所导致的算法性能下降。实验结果表明，该算法在重构图像主观视觉效果上有明显改进，获得了主客观均较满意的超分辨率图像。

3 基于稀疏表示的图像超分辨率重构算法及实现

3.1 基于稀疏表示的图像超分辨率重构模型

根据调和分析理论，图像x∈Rn可由一组原子｛fi｝i＝1，...，K线性组合所得，将这些原子作为列向量构成字典D∈Rn×K，从而图像x可以表示为：

其中a∈RK是系数向量。图像的稀疏表示理论认为在合适的字典D下图像x总存在稀疏的表示形式，即系数a中只有少量的非零元素。

单幅图像超分辨率问题可以描述为：已知LR图像Y，重构出对应的理想HR图像x，问题模型如下：

其中S∈Rk×n为下采样矩阵，H为模糊算子。因为超分辨率重构是病态欠定问题，满足以上等式的高分辨率图像Y具有无穷多种情况。因此需要一定的先验知识来保证解的唯一性和稳定性。为了这一目的，可以将信号的稀疏表示模型引入问题的求解过程。假设理想的HR图像块x能够表示为x＝Dhah，而其相对应的LR图像块y能表示为y＝Dlal。联合式（2），得到

如果选择合适的HR／LR超完备字典对，则理想HR图像块在字典Dh下的稀疏表示可近似由捕获的LR图像在字典Dl下的稀疏分解来表示，即ah≈al。此时，由y＝Dla求得稀疏表示系数a，再由x＝Dha来获得SR图像块。

从上述可知，稀疏表示超分辨率重构方法的关键是构建适当的字典对和快速精确的稀疏编码方法。下面主要从这两个方面讨论基于稀疏表示的单幅图像超分辨率重构。

3.2 稀疏字典对学习

根据训练样本X＝｛x1，x2，...，xt｝，学习稀疏字典D，如下式

其中Z为X的稀疏表示，l1范数保证系数的稀疏性，l2范数约束重构误差。

为对高、低分辨率图像特征块统一进行稀疏关联学习，定义训练样本对P＝｛Xh，Yl｝，其中Xh＝｛x1，x2，...，xn｝是一组HR图像块，Yl＝｛y1，y2，...，yn｝是一组对应的LR图像特征块。因为人类视觉对图像中的高频信息比较敏感，为了保留这一信息，可以通过取LR图像块的一阶、二阶导数来获得对应LR图像块的特征信息［9］。

目的是通过对的学习来估计稀疏字典对，使HR图像块和相应的LR图像块具有相同的稀疏表示。基于以上考虑，构建训练问题目标函数：

Dh表示HR图像块的稀疏字典，Dl为对应的LR图像块的稀疏字典。N和M分别是HR／LR图像块向量表示方式的维数，引入是为了平衡HR／LR图像块尺度问题对整个问题的影响。式（5）可简写为

3.3 基于稀疏编码的超分辨率模型

在获得HR／LR超完备字典对后，则可对输入的低分辨率图像进行重构。已知每一个输入的LR图像的局部特征块y，根据低分辨率字典Dl计算其稀疏表示系数a，再根据高分辨率字典Dh和系数a来估计相应的HR图像块x。其中的稀疏表示问题可以表示为：

其中，F是线性特征提取矩阵。

公式（7）对每个图像块单独进行处理，并没有考虑相邻图像块间的匹配问题。用类似文献［6］中的one-pass算法来确保其兼容性，对（7）式进行改进得到以下优化问题：

其中P是用于提取当前估计的目标块与其相邻块的重叠区域，w表示已估计高分辨率图像块在重叠区域的估计值。

采用基于二阶锥规划的方法［14］来求解问题（8），该方法可以求解带有多个约束条件的稀疏编码问题。为了方便描述，将（8）式重新表述为

其中y1＝Fy，D1＝FDl，Y2＝w，D2＝pDh。求解过程从初始系数a0开始，采用循环迭代的方式进行。在当前迭代中，通过引入附加项，将（9）中约束条件修改为

其中a（l-1）是最后一次迭代的解。为了保证以上约束条件所定义的集合为一凸集，ck必须满足，其中λmax（·）表示对称矩阵的最大特征值。实际中，。用（10）式代替式（9），得到

其中λ＝［λ1，λ2］T是拉格朗日乘子。为了获得对偶模型，需要在给定的拉格朗日乘子下最小化L（a，λ），这一过程可以分解为一系列的标量优化问题：

其中M表示系数a的维数，上述标量优化问题的最优解可以表示为：

其中Z（l）为一集合，包含（14）式中向量a的所有零分量的索引，即Z（l）＝｛n｜an≠0，an∈a｝。p（l）的每个元素由确定。为了便于求解，引用辅助变量z＝［z1，z2，...zn］T来表示（15）式中的，则（15）式可以写成

式（16）是二阶锥规划问题，可利用凸优化工具包加以求解。假设λ*是（16）式的最优解，新的稀疏系数可以通过（14）式获得，并带入下一次循环。待循环结束，所得稀疏系数为a，再根据x＝Dha重构出HR图像块的估计值。

3.4 全局重构约束条件

通过对每一高分辨率图像块求解稀疏系数，并估计图像块中的像素值，从而获得高分辨率估计图像X0。为了满足全局重构约束Y＝SHX（或使得两者足够接近），进一步构建如下优化问题：

（17）式可以通过反投影算法（back-projection，BP）［15-16］求解，迭代公式如下：

其中Xt是第t次迭代后高分辨率图像的估计值，p是反投影滤波器，↑s表示因子为s的上采样运算。将迭代得到的结果X*作为最终的超分辨率图像估计值。

整个超分辨率过程如下：

算法稀疏表示超分辨率算法

1）输入：训练字典Dl和Dh，低分辨率图像Y，图像块大小n，重叠像素个数m。

2）从Y的左上角逐个取n×n图像块y，并保留m个像素宽的重叠区域。

根据SOCP稀疏编码方法计算稀疏表示系数的估计值a*。

再由a*计算高分辨率图像块的估计值x＝Dha*。再把图像块x依次排列组成高分辨率图像X0。

3）结束

4）用反投影方法找到满足重构约束条件的最佳估计值X*：

5）输出：高分辨率图像X*。

4 实验仿真与分析

本实验选择一些自然图像作为训练集，进行尺度放大2倍的超分辨率实验，实验结果与传统的双立方差值（Bicubic）法作比较。为了检验算法性能，采用峰值信噪比（peak signal-to-noise ratio，PSNR）评价重构图像质量。

4.1 参数设计

对于彩色图像，实验中只取相应的亮度通道进行处理。从训练图像集中随机选取10000对高、低分辨率图像块进行训练，字典中原子总数设为1024。每个图像块大小为5×5，水平和垂直方向上相邻图像块间保留若干重叠像素。

4.2 质量对比

对Lena图像进行重构实验。图1比较了文中提出的算法（简写为SR-SOCP）与双立方差值（Bicubic）法的重构结果。可以看到，与Bicubic法重构图像相比，SR-SOCP重构图像整体较为逼真，边缘清晰，更逼近原始图像。

在其他参数不变的情况下，针对不同重叠像素下重构算法的性能进行了研究，实验结果列于表1中。可以看到，重叠像素点数越多，重构算法的性能越好。但是，即使在相邻图像块无重叠像素的情况下，文中所提出的方法仍然要优于双立方差值法。在其他参数不变的情况下，调节稀疏编码问题中的重构误差门限值εk，所得结果列于表2中。可以看到，误差门限对重构算法性能的影响较小。

图1 实验结果（误差门限εk＝0.01，重叠像素设为4）

表1 超分辨率重构图像的PSNR对比（误差门限εk＝0.01）

表2 超分辨率重构图像的PSNR对比（重叠像素设为4）

5 结束语

针对单幅低分辨率图像，提出了一种基于二阶锥规划（SOCP）的稀疏表示图像超分辨率重构算法。因为基于SOCP的稀疏编码方法可以解决同时具有多个重构约束条件的稀疏问题，并且在稀疏编码迭代中采用拉格朗日对偶模型来解决凸优化的子问题，因此有利于恢复原始稀疏信号，进而提高了超分辨率重构算法的精确度。实验仿真表明，从主客观上本方法与经典的双立方插值法相比，重构结果明显改善。尽管如此，本方法仍存在一些改进之处，比如减少训练样本集中的图像个数；提高超完备字典的自适应性；减小字典尺寸；提高稀疏编码速度等。这将是未来的主要优化方向。

［1］ELAD M，FEUER A.Restoration of a single superresolution image from several blurred，noisy，and undersampled measured images［J］.IEEE Transactions on Image Processing，1997，6（12）：1646-1658.

［2］GREENSPAN H，OZG，KIRYATIN，et al.Super-resolution in MRI：Proceedings of the IEEE International Symposium on Biomedical Imaging［C］.Washington，ISBI，2002：943-946.

［3］KENNEDY JA，ISRAEL O，FRENKEL A，et al.Superresolution in PET imaging［J］.IEEE Transactions on Medical Imaging，2006，25（2）：137-147.

［4］HARDIE R C，BARNARD K J，ARMSTRONG E E.Joint MAP registration and high-resolution image estimation using a sequence of undersampled images［J］.IEEE Transactions on Image Processing，1997，6（12）：1621-1633.

［5］BAKER S，KANADE T.Limits on super-resolution and how to break them［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，24（9）：1167-1183.

［6］PICKUP L C，ROBERTS S J，ZISSERMAN A.A sampled texture prior for image super-resolution［C］.in Proceedings of Advances in Neural Information Processing Systems 16（NIPS＇03），S.Thrun，L.Saul，and B.Schølkopf，Eds.，MIT Press，Vancouver，British Columbia，Canada，2004：1587-1594.

［7］LIU C，SHUM H，FREEMAN W T.Face hallucination：Theory and practice［J］.International Journal of Computer Vision，2007，75（1）：115-134.

［8］FREEMAN W T，PASZTOR E C，CARMICHAEL O T.Learning low-level vision［J］.International journal of computer vision，2000，40（1）：25-47.

［9］WANG Q，TANG X，SHUM H.Patch based blind image super resolution［C］.proceedings of the tenth IEEE International Conrerence on Computer Vision，2005，Beijing，ICCV，2005，1：709-716.

［10］CHANG H，YEUNG D，XIONG Y.Super-resolution through neighbor embedding：Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2004［C］.Washington，CVPR，1：275-282.

［11］SUN J，ZHENG N，TAO H，et al.Image hallucination with primal sketch priors：Proceedings of the 2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2003［C］.Madison，CVPR，2：11-729-36.

［12］ROWEIS S T，SAUL L K.Nonlinear dimensionality reduction by locally linear embedding［J］.Science，2000，290（5500）：2323-2326.

［13］YANG J，WRIGHT J，HUANG T S，et al.Image superresolution via sparse representation［J］.IEEE Transactions on Image Processing，2010，19（11）：2861-2873.

［14］JIANG A，KWAN H K，ZHU Y.Peak-Error-Constrained Sparse FIR Filter Design Using Iterative SOCP［J］.IEEE Transactions on Signal Processing，2012，60（8）：4035-4044.

［15］CAPEL D.Image Mosaicing and Super-resolution［M］.Univ.Oxford，Oxford，U.K.2001.

［16］IRANIM，PELEG S.Motion analysis for image enhancement：Resolution，occlusion，and transparency［J］.Journal of Visual Communication and Image Representation，1993，4（4）：1912-1993.

Image Super-Resolution Reconstruction Algorithm Based on Sparse Representation

LIXue，JIANG Ai-min，LIU Xiao-feng，SHILing-quan
（College of IoT Engineering，Hohai University，Changzhou 213022，China）

In order to enhance the resolution of single degraded images，amethod of super-resolution reconstruction is proposed via sparse representation in this paper.The core of thismethod is to train high-and low-resolution dictionaries jointly and employ a set of common sparse coefficients to represent high-and low-resolution images under corresponding dictionaries.Compared with the existing image super-resolution reconstruction algorithms based on sparse representation，the proposed method establishes dualmodels to solve the original optimization problem in the stage of sparse coding instead of combining sparsity and reconstruction error by Lagrange multipliers.Experimental results demonstrate that，compared with other approaches，a less number of parameters aremanually set up，and the reconstruction results of thismethod are also improved.

Sparse representation；Image super-resolution；Second-order cone programming；Sparse coding

10.3969／j.issn.1002-2279.2014.01.012

TP391；TP301.6

：A

：1002-2279（2014）01-0041-05

国家自然科学基金项目（61101158）；中央高校基本科研业务费项目（2011B11214）

李雪（1989-），女（满），辽宁锦州人，硕士研究生，主研方向：数字图像处理。

2013-07-22