基于几何字典学习和耦合约束的超分辨率重建

莫建文，曾儿孟，张 彤，袁 华



基于几何字典学习和耦合约束的超分辨率重建

莫建文1，曾儿孟1，张 彤2，袁 华1

（1. 桂林电子科技大学 信息与通信学院，广西 桂林 541004；2. 桂林电子科技大学 机电工程学院，广西 桂林 541004）

传统的基于稀疏表示的超分辨率重建算法对所有图像块，应用单一冗余字典表示而不能反映不同几何结构类型图像块间的区别。针对这一问题，本文探索图像局部几何结构特性，提出一种基于结构特性聚类的几何字典学习和耦合约束的超分辨率重建方法。该方法首先对训练样本图像块进行几何特性聚类，然后应用K-SVD算法为每个聚类块联合训练得到高低分辨率字典。此外，在重建过程中引入局部可控核回归和非局部相似性耦合约束，以提高重建图像质量。实验结果表明，与单一字典超分辨率算法相比，本文方法重建图像边缘和细节部分明显改善，评价参数较大提高。

几何聚类；字典学习；稀疏表示；局部可控核回归；非局部相似

0 引言

图像超分辨率（Super-Resolution，SR）技术是指利用硬件或者软件方法，从一幅或者一组低分辨率（Low-Resolution，LR）重建相同场景高分辨率图像（High-Resolution，HR）的过程。因其能最大限度恢复图像中丢失的高频细节信息，该技术在医学图像、卫星图像和监控图像领域有广泛的应用[1]。在软件研究领域，与传统的基于插值方法[2]和基于重建方法[3]相比，基于学习方法[4-8]重建图像质量更优，所以大多数学者的研究都建立在该方法之上。

为了获得可靠的HR图像，Yang等[4-5]应用稀疏表示算法，利用高低分辨率图像块之间的对应关系，提出了耦合字典训练思想，即同时训练生成出高分辨率冗余字典h和低分辨率冗余字典l，保证了高低分辨率图像稀疏表示系数的一致性。但是作者并没有对生成字典的过程进行优化，导致字典训练时间过长。Zeyde[9]对Yang[4]的方法存在的问题进一步研究，采用效率更高的K-SVD算法两步生成字典l和h，其做法是首先用PCA（Principal Component Analysis）对LR图像块做降维处理；其次采用K-SVD对LR图像块训练得到LR字典l；最后利用高低分辨率图像块对应的关系求其伪逆得到高分辨率字典h。Wang[10]借鉴联合字典学习方法，提出半耦合字典训练模型，生成高低分辨率字典以及高低分辨率稀疏系数空间的映射矩阵。虽然该方法能确保了训练误差的最小化，但是生成的矩阵不能表示两个字典之间的关系，导致重建结果不够理想。

近年来，随机器学习技术的快速发展，很多非参数回归方法[10]应用到图像恢复中。其中，由于可控核回归（Steering Kernel Regresssion，SKR）[11]算法有较强的局部结构自适应能力和噪声鲁棒性，因而得到广泛应用。另外，自然图像中的局部块的非局部相似性（Non-local simi-larity，NLS）[12]有助于保持边缘细节和抑制噪声，并且与稀疏编码的有机组合可以极大提高重建图像的性能。

虽然基于稀疏表示重建方法[4,9,13]都取得一定的成绩，但这些方法仅训练单一的冗余字典对，而单一字典对所有图像块进行稀疏编码时，不足以反映不同结构类型图像块间的区别，从而导致重建得到的图像在一定程度上出现伪影效应。针对这一问题，本文提出了基于结构特性聚类的几何字典学习和耦合约束的SR重建方法。该方法在稀疏表示算法的基础上探索图像局部几何结构特征，对具有几何特性相似的图像块聚类，并应用K-SVD算法[14]对每类图像块联合训练对应的高低分辨率字典；然后应用学习到的聚类字典进行图像SR重建；最后引入局部可控核回归和非局部相似性耦合约束，从而提高重建HR图像质量。实验表明，本文提出方法的重建图像在主观视觉效果和客观评价参数都优于相比较的几种算法。

1 基于稀疏表示的SR重建

单幅图像的SR重建问题是指利用给定的LR图像，重建恢复成相同场景的图像。其降质模型为：

＝＋(1)

式中：为下采样算子；为模糊算子；为额外添加的噪声。单幅图像SR重建的目标就是从中精确恢复出。

基于稀疏表示理论[4]的SR重建算法如下：给定图像块x＝RX和HR的过完备字典h，其中R是指从图像中线性提取图像块的操作，利用h中系列合适的原子线性表示x，数学的表达式为：

式中：是HR块的稀疏系数；同时也可以作为对应LR块的稀疏系数y＝l。这里的高低分辨率字典h和l由对应的高低分辨率图像块训练生成。所以第个图像块的稀疏表示系数可由以下公式最优化求出：

由上式得到的最优解*，结合HR字典h，即可得到重建的HR块x＝h*，最后把所有的重建HR图像块通过以下公式(4)线性加权得到重建的HR图：

2 本文算法

为增强冗余字典的稀疏编码能力，本文探索自然图像中局部块的几何结构特性，对训练字典的图像块样本进行几何结构聚类。按照结构不同进行平滑块聚类、不规则块聚类和边缘块聚类；然后再对边缘块按相同梯度角聚类；进而应用改进的K-SVD算法对每个聚类块训练冗余字典对；最后对图像块进行稀疏编码重建，并按照重叠对应关系恢复HR图像。

2.1 几何结构特征聚类

图像块聚类算法有多种。为了减少计算量，本文应用方差进行平滑块类和非平滑类区分，图像块方差的计算公式如下：

设图像块中像素点x的梯度为g＝[gh, gn]，其梯度矩阵为＝[1,2, …,g]，根据文献[15-16]在中所有像素点梯度g的平均值与图像块的轴向正交，轴向估计问题可通过求解向量表示为：

图像块梯度场的主方向是最小奇异值所对应的奇异分量，对进行奇异值分解＝，其中是2×2的正交矩阵，第一列1表示图像块的梯度场主导方向；矩阵大小为×2，可以得到的奇异值1和2，1代表梯度场主导方向上的能量，2代表与梯度场主导方向正交方向上的能量。

设定参数判别边缘块和不规则块：

如果计算出的小于设定的阈值*（设为0.05），则判定为不规则块，反之判定为边缘块。

最后一步是对边缘块进行主导方向的判定。根据图像块主方向1，计算梯度角度：

对逆时针旋转90°即可得到图像块的梯度角度，并以此对边缘块进行不同角度分类。图1为选取的两个角度的图像块聚类效果。

2.2 字典的构造

经过对图像块几何结构特性聚类，我们获得到了类HR图像块集{h(1),h(2),…,h(K)}和对应的LR块集{l(1),l(2),…,l(K)}，字典训练过程把文献[4]的联合字典生成思想和文献[9]的K-SVD训练方法相结合，既保证了保证高低分辨率具有相同的稀疏表示，又发挥了K-SVD训练的高效性。

图1 梯度角度聚类效果

对第类高、低分辨率图块h(i)和l(i))应用下列公式(9)训练对应类的子字典对：

和分别表示高、低分辨率图像块的维数，表示高低分辨率块共同的稀疏编码系数，表示稀疏度的阈值。对上式公式，进行如下的变换：

应用OMP（Orthogonal Matching Pursuit）算法求解上式得到稀疏编码系数，然后结合HR字典D(K)可恢复对应的HR块x＝D(K)。最后把所有重建的HR块在重叠部分加权平均处理，按以下公式(12)到重建的HR图像：

2.3 局部可控核回归（SKR，Steer Kernel Re-gression）约束

基于图像局部平滑假设，SKR在图像恢复领域中得到广泛应用[10]，它能自适应图像局部块的条形或者椭圆形等边缘形状结构，具有较强的边缘保持能力和较高的噪声鲁棒性，能恢复出清晰的边缘。在图像中，图像块的中心像素估计，表示为：

式中：X为估计的中心像素值；q是一个邻域像素值的列向量，而w则为对应邻域像素权重w(,)的列向量。在SKR模型中，权值通过以下公式(14)计算：

式中：是位于x的梯度协方差矩阵；k为可控核的平滑参数；表示局部采样数据密度的标量（本文设＝1）。

将局部核回归与图像块的组合，整幅图像通过以下公式估计：

式中：为平衡因子，上式公式(15)可以写成：

其中为单位矩阵，且：

2.4 非局部相似性（NLS，Non-Local Similarity）约束

研究表明自然图像中包含很多非局部相似的重复结构和形状，且这些非局部冗余信息具有增强图像的稀疏分解稳定性和提高图像质量的作用[12-13]。本文引入非局部相似性约束的正则项来消除振铃问题从而提高重建图像的质量。

给定中心像素为X的图像块x，根据欧几里德距离最小的准则在整幅图像中搜索它的所有相似块x(＝1, 2, …,)。所以，图像块的像素X可以通过以下公式获取：

式中：X表示图像块x的中心像素；w(,)表示图像中像素X和X的相似度权值，通过以下公式计算：

式中：h是权重的控制项。通过下式(20)引入NLM约束正则项来估计图像：

式中：为平衡参数；p为包含所有像素X的列向量，且w是包含权值w(,)的列向量，上式可以写成如下形式：

式中：为单位矩阵，且：

2.5 局部和非局部约束

考虑图像的局部和非局部特性，并有效地结合起来，把第2.3节的局部核回归约束和第2.4节的非局部相似性约束组合作为图像重建的耦合约束，重建目标函数可以写成如下形式：

式(23)是一个凸优化问题，且式中含有3个变量、和，其求解过程是先利用公式(24)对稀疏重建的图像块加权平均得到初始化估计的HR图像：

最后，通过交替更新变量、和，直到重建误差小于设定的阈值或者更新次数达到最大，从而获得重建的HR图像。

2.6 基于几何字典学习和耦合约束的图像超分辨率重建方法

本文提出的方法流程如下：

Input：测试图像；训练样本集{h,l}，h为HR训练块集，l为LR训练块集；放大因子；

1）根据几何结构特性，对训练样本集进行几何特性聚类{h(i),l(i)}；并对按公式(10)训练生成对应的子字典对{h(i),l(i)}；

3）分别应用公式(19)计算NLS的权值矩阵和公式(14)计算SKR权值矩阵，通过最小化公式(25)更新重建的HR图像；

3 实验仿真及结果分析

本文的实验中，选择与Yang et al.[4]相同的包括建筑、人、花草和动物等69张自然图像作为训练样本。并从中抽取（＝1000）块图像块作为字典训练样本块，图像块大小为5×5，按照图像块的几何结构特性聚类，其中边缘块按梯度角度每间隔30°进行一次聚类，从而样本总共分成（＝8）类训练块，应用K-SVD算法迭代40次分别为每个聚类块训练原子数为512、稀疏度＝3的冗余子字典对。SKR权值计算需要的平滑参数h取0.75，非局部相似平滑参数h取15。更新迭代重建HR图像中平衡因子取0.03，取0.05。

实验过程，以双三次插值算法Bicubic作为基准算法，把最近提出的训练了单一冗余字典的算法ScSR[4]、SUSR[9]、SCDL[10]与本文提出的方法1和方法2进行比较，本文方法1是指未引入耦合约束，仅是几何结构特性字典稀疏重建结果，本文方法2是引入耦合约束后的重建结果。实验中，采用人脸、斑马、花朵等10张常用的图片作为测试图像。对输入的LR图像进行3倍放大，即放大因子＝3。重建结果对比如图2～3，其中展示仅为截取关键部分进行对比，同时重建图像与原高分辨率图像的峰值信噪比（PSNR）和结构相似度（SSIM）对比如表1～表2所示。

观察图2～图3中flowers的花瓣花粒以及lena帽子上的纹理细节，基准算法Bicubic基于平滑假设得到重建结果丢失大部分细节信息，图像表面过于平滑，而基于稀疏表示的SR算法都获得比插值算法更为尖锐的边缘，效果更优。ScSR稀疏表示重建结果在纹理细节部分得到一定保存，效果优于基准算法，但花粉粒出现模糊不清状况。SUSR在图像预处理和字典训练阶段的方法与ScSR的有所区别，前者采用包含高频细节信息的差值图像进行SR重建，高频细节由原HR图像减去插值放大的图像得到，但是由于插值法放大的图像过于平滑，得到的差值图像不能体现图像的高频细节信息，从而重建的帽子条纹出现平滑和边缘伪影效果。虽然SCDL方法应用了稀疏系数的映射关系获得较低的训练误差，但是该映射关系不能保证得到较低的重建误差，因而重建帽子条纹出现平滑不连续，恢复的花瓣花粒细节信息较少，视觉效果不理想。而本文提出的方法1考虑了样本块的几何结构特性的，学习的字典自适应重建具有不同几何结构类型的图像块，恢复的帽子边缘尖锐、伪影不明显，但是对于局部杂乱无章结构的花粒仍存在平滑状况；而在方法2中引入局部和非局部约束并将两者有效结合对重建HR图像进行迭代更新后，重建帽子条纹清晰、尖锐，局部无规则的花粉粒重建效果相比方法1也更清晰、细节更细腻，整体视觉效果与原始图像更接近。

从客观评价参数上比较，表1～表2可以看出，稀疏表示算法的重建结构都比基准算法有较高的PSNR和SSIM，而本文提出方法2的与其他的方法相比较，PSNR提高最大接近0.6dB，平均也有大约0.3dB的提高，即无论是从单一数值和统计平均上都是最高。另外，在时间复杂度上，本文方法采用精简字典的稀疏重建方法，相比于ScSR的单一冗余字典，重建时间缩短1.5～2.5倍；与SUSR相比不相上下；而SCDL由于在高低分辨率特征空间中均训练32个聚类字典，故重建的时间最长。

4 总结

本文提出了基于图像块结构特性聚类几何字典学习和耦合约束的图像超分辨率重建方法。该方法探索图像块几何结构特性，对具有相同结构性质的图像块聚类并应用结合了耦合字典训练思想相结合的K-SVD算法，为每类图像块训练冗余字典；在重建阶段引入局部可控核回归和非局部相似性耦合约束，以此获得质量更好的重建图像。虽然基于几何字典的方法1重建结果较之相比的算法略好，但在重建密集杂乱不规则细节时仍表现不够理想，然而引入了耦合约束后的方法2改善了这一问题，重建的质量得到较大的提高。相比文中提到的训练单一字典的稀疏重建算法，本文方法重建结构在主观视觉效果更好、客观评价参数更高。

图2 flowers原始HR及各方法重建结果对比

图3 Lena 原始HR及各方法重建结果对比

表1 本文测试图像重建结果PSNR对比

表2 本文测试图像重建结果SSIM对比

[1] 江静, 张雪松. 图像超分辨率重建算法综述[J]. 红外技术, 2012, 34(1): 24-30.

[2] Zhang D, Wu X. An edge-guided image interpolation algorithm via directional filtering and data fusion[J]., 2006, 15(8): 2226-2238.

[3] Rasti P, Demirel H, Anbarjafari G. Image resolution enhancement by using interpolation followed by iterative back projection[C]// 21.(), 2013: 1-4.

[4] Yang Jian-chao, Wright J, Huang T S, et al. Image super-resolution via sparse representation[J]., 2010, 19(11): 2861-2873.

[5] Yang J, Wright J, Huang T, et al. Image super-resolution as sparse representation of raw image patches[C]//, 2008: 1-8.

[6] Yu J, Gao X, Tao D, et al. A unified learning framework for single image super-resolution[J]., 2014, 25(4): 780-792.

[7] Zhou F, Yuan T, Yang W, et al. Single-image super-resolution based on compact KPCA coding and Kernel regression[J]., 2015, 22(3): 336-340.

[8] Peleg T, Elad M. A statistical prediction model based on sparse representations for single image super-resolution[J].:, 2014, 23(6): 2569-2582.

[9] Zeyde R, Elad M, Protter M. On single image scale-up using sparse-representations[M]., Springer Berlin Heidelberg, 2012: 711-730.

[10] Wang S, Zhang D, Liang Y, et al. Semi-coupled dictionary learning with applications to image super-resolution and photo-sketch synthesis[C]//(), 2012: 2216-2223.

[11] Takeda H, Farsiu S, Milanfar P. Kernel regression for image processing and reconstruction[J]., 2007, 16(2): 349-366.

[12] ZHANG Kaibing, GAO Xinbo, TAO Dacheng, et al. Single image super-resolution with non-local means and steering Kernel regression[J]., 2012, 21(11): 4544-4556.

[13] 首照宇, 吴广祥, 陈利霞. 基于字典学习和非局部相似的超分辨率重建[J]. 计算机应用, 2014, 34(11): 3300-3303.

[14] Rubinstein R, Peleg T, Elad M. Analysis K-SVD: A dictionary-learning algorithm for the analysis sparse model[J]., 2013, 61(3): 661-677.

[15] Feng X G, Milanfar P. Multiscale principal components analysis for image local orientation estimation[C]//, 2002, 1: 478-482.

[16] Yang S, Wang M, Chen Y, et al. Single-image super-resolution reconstruction via learned geometric dictionaries and clustered sparse coding[J]., 2012, 21(9): 4016-402.

Super-resolution Reconstruction Based on Geometric Dictionary Learning and Coupled Regularization

MO Jian-wen1，ZENG Er-meng1，ZHANG Tong2，YUAN Hua1

(1.School of Information and Communication, Guilin University of Electronic Technology, Guilin 541004, China;2.Electromechanical Engineering College, Guilin University of Electronic Technology, Guilin 541004, China)

Traditional super-resolution algorithms based on sparse representation of image patches exploit single redundant dictionary to represent the image patches that contain various textures, which can not reflect the differences of various image patches types. In order to overcome this disadvantage, this paper proposes a single image super resolution reconstruction method based on geometric dictionary learning and coupled regularization, by exploring the local geometric property of image patches. A large number of training image patches are clustered into several groups by their geometric property, from which the corresponding “geometric dictionaries” are learned via K-SVD algorithm which is combined with the idea that the high and low resolution dictionaries can be co-trained. In addition, a coupled regularization of local steering kernel regression and non-local similarity is introduced into the proposed method to further improve the quality of the reconstructed images. Experiment results show that the proposed method both increases the evaluation parameters and improves the visual quality of the edges and the details significantly.

geometric clustering，dictionary learning，sparse representation，local steering kernel regression，non-local similarity

TP393

A

1001-8891(2015)08-0664-08

2015-04-26；

2015-05-13.

莫建文（1972-），男，广西平男人，博士，副教授，硕士研究生导师，研究方向为图像处理、模式识别、智能信息处理。E-mail：mo_jianwen@126.com。

国家自然科学基金，编号：61362021；广西自然科学基金，编号：2013GXNSFDA019030，2013GXNSFAA019331，2014GXNSFDA118035；广西科技开发项目，编号：桂科攻1348020-6，桂科能1298025-7；广西教育厅项目，编号：201202ZD044，2013YB091；桂林市科技攻关项目，编号：20130105-6，20140103-5；桂林电子科技大学研究生教育创新计划项目，编号：YJCXS201534。