稀疏非负矩阵分解下的遥感图像融合

李 红,刘 芳,张 凯

(1.西安电子科技大学计算机学院,陕西西安 710071;2.西安电子科技大学智能感知与图像理解教育部重点实验室,陕西西安 710071;3.西安电子科技大学国际智能感知与计算联合研究中心,陕西西安 710071)



稀疏非负矩阵分解下的遥感图像融合

李 红1,2,3,刘 芳1,2,3,张 凯2,3

(1.西安电子科技大学计算机学院,陕西西安 710071;2.西安电子科技大学智能感知与图像理解教育部重点实验室,陕西西安 710071;3.西安电子科技大学国际智能感知与计算联合研究中心,陕西西安 710071)

摘要:为了降低多光谱图像与全色图像融合过程中的光谱扭曲和空间失真,提出了一种稀疏非负矩阵分解的融合新方法.首先从全色图像学习出一个高分辨字典和相应的低分辨字典,然后构造多光谱图像的稀疏非负矩阵分解模型,在低分辨字典下获得光谱系数矩阵,最后将该系数矩阵与高分辨字典相乘得到融合后的高分辨多光谱图像.稀疏正则项的引入有效克服了标准非负矩阵分解算法的不稳定现象,能够较好地保持图像的光谱信息和空间信息.将该方法应用于快鸟卫星和地球眼卫星数据,与同类方法的对比分析结果显示:该方法能够减少光谱扭曲和空间信息的损失,得到的融合结果在视觉效果和客观评价指标上均优于对比方法.

关键词:遥感图像融合;非负矩阵分解;稀疏正则

由于成像传感器的物理限制,大部分卫星只能获得低空间分辨率的多光谱图像(Low spatial ResolutionMultiSpectral,LRMS)和高空间分辨率的全色图像(High spatial Resolution PANchromatic,HRPAN),例如,快鸟卫星提供的多光谱图像和全色图像的空间分辨率分别为2.4 m和0.6 m,这些图像往往不能满足目标识别与地物分类的实际需求.为了提高多光谱图像的空间分辨率,研究者们通过融合多光谱图像和全色图像,综合利用多光谱图像中的光谱信息和全色图像中的空间信息,获得高空间分辨的多光谱图像(High spatial Resolution MultiSpectral,HRMS).常用的图像融合方法主要可分为基于成分替代的方法[1-3],基于注入的方法[4-6]和基于模型的方法[7-9].基于成分替代的方法其原理实现简单、易于操作,但是容易引起较严重的光谱扭曲;基于注入的方法能够较好地保持光谱信息,但是空间信息通常会被扭曲;基于模型的方法能够获得较好的融合结果,但是算法复杂度较高.

1999年,文献[10]提出了非负矩阵分解(Non-negative Matrix Factorization,NMF)理论,它是用非负性约束来获取数据表示的一种方法.NMF将一个非负的矩阵分解为左右两个非负矩阵的乘积,不仅反映了人类思维中“局部构成整体”的概念,而且要求分解后的所有分量均为非负值,使得数据分解后的矩阵具有严格的物理含义.NMF的出现克服了传统矩阵分解中的诸多问题,求解方法具有收敛速度快、左右非负矩阵存储空间小的特点,因此,该理论一经提出就引起了各个领域科学家的广泛关注.

文献[11]提出了一种基于有约束非负矩阵分解的多光谱与全色图像融合方法.该方法通过对多光谱和全色图像进行非负矩阵分解,采用有约束的更新规则进行求解,得到高空间分辨率的多光谱图像.然而,该方法容易引起较大的光谱扭曲,且融合结果易受矩阵初始化的影响.笔者提出一种稀疏非负矩阵分解下的遥感图像融合方法(Sparse Non-negative Matrix Factorization,SNMF).首先从全色图像学习出一个高分辨字典和相应的低分辨字典,然后构造多光谱图像的稀疏非负矩阵分解模型,在低分辨字典下获得光谱系数矩阵,最后将该系数矩阵与高分辨字典相乘得到融合后的高分辨多光谱图像.稀疏正则项的引入克服了标准非负矩阵分解算法的不稳定现象,能够较好地保持图像的光谱信息和空间信息.将文中方法应用于快鸟卫星和地球眼卫星数据,实验结果表明:该方法能够减少光谱扭曲和空间信息的损失,得到的融合结果在视觉效果和客观评价指标上均优于对比方法.

1 稀疏非负矩阵分解

作为一种矩阵分析方法,非负矩阵分解可以描述为以下问题,已知矩阵V∈Rm×n,该矩阵的任意元素均为非负,根据非负矩阵分解理论,V可以分解为

其中,W为基矩阵,H为系数矩阵,且W和H中的任意元素均为非负,则V中的每一列数据均可通过W中每一列的线性加权和获得.由于对W和H的非负约束,非负矩阵分解能够从V中学习到数据的局部属性,体现了局部组成整体的思想.

稀疏正则能够很好地保持图像的边缘和纹理特征,在图像处理领域中得到了广泛的应用.文献[12]提出了稀疏非负矩阵分解方法(SNMF),该方法利用l1范数构造了稀疏正则并引入到非负矩阵分解,则W和H的求解可转化为最小化如下目标函数:

其中,.*为点乘操作,./为点除操作,T为矩阵的转置.按照上述更新规则求解得到W和H,直到更新次数达到最大值或者目标函数的值达到预先设定的要求.

2 基于SNMF的遥感图像融合算法

假设低分辨率的多光谱图像具有K个波段,大小为m×n.全色图像大小为rm×rn,多光谱图像与全色图像空间分辨率之比为r.将多光谱图像分成l×l的小块,并转化为列向量,得到矩阵L∈Rl2×KN,则全色图像被分成rl×rl的小块,得到矩阵P∈Rr2l 2×N,N为全色图像的总块数.根据非负矩阵分解理论,P可分解为高空间分辨率字典W1和系数矩阵H:

为了获得低空间分辨率的字典,笔者将全色图像P下采样得到低空间分辨率的全色图像PL

其中,W2=DW1,为低空间分辨率字典.假设全色图像与其相应的低分辨图像分别在高空间分辨率字典和低空间分辨率字典下具有相同的分解系数矩阵.由式(6)和式(7)可得,P和PL在各自对应字典下的系数矩阵是相同的.因此,由式(5)和式(6)可得

则根据以下更新规则可同时得到W1和W2.

将多光谱图像L在低空间分辨率字典W2下进行稀疏非负矩阵分解,可得到具有光谱信息的系数矩阵H1,即

则高空间分辨率的多光谱图像HMS可由W1和H1相乘获得,即

基于SNMF的遥感图像融合算法如下:

Step 1 将多光谱图像L进行分块,块大小为l×l,并将各块拉成列向量;将全色图像进行分块,其块大小为rl×rl;

Step 2 将全色图像P进行下采样,得到下采样后的图像PL,将P和PL进行分块,并拉成列向量,组成˜P;

Step 3 加入稀疏正则项,依据迭代更新规则式(10)和式(11),对˜P进行稀疏非负矩阵分解得到W,其中W1和W2分别为高、低分辨字典;

Step 4 由式(13)得到L在字典W2下的系数矩阵H1,该矩阵包含多光谱图像的光谱信息;

Step 5 高分辨率字典W1与光谱信息矩阵H1相乘,得到最终的高分辨多光谱图像.

3 仿真实验

为了验证算法的有效性,将文中方法用于快鸟卫星和地球眼卫星数据的融合,其中快鸟卫星数据来自于西安地区,拍摄于2008年9月30日,地球眼卫星数据来自于澳大利亚霍巴特地区,拍摄于2009年2月24日.以上数据的多光谱图像均有4个波段,分别为红色(R),绿色(G),蓝色(B)和近红外(NIR).笔者对比了多种经典的相关图像融合算法,包括广义的亮度色调饱和度(Generalized Intensity-Hue-Saturation,GIHS)变换法[1]、主成分分析(Principal Component Analysis,PCA)变换法[2]、小波注入法(AWLP)[5]、基于稀疏表示的方法CS_1[7]和CS_2[8]以及有约束的非负矩阵分解方法(CNMF)[11].文中算法采用最大迭代次数作为更新规则的终止条件,涉及的主要参数有多光谱图像分块大小,字典中原子的数目以及稀疏正则参数λ,在实验中分块大小为8×8,原子数目为1000,λ为0.01.为了客观分析算法的性能,文中采用相关系数(Correlation Coefficient,CC),均方根误差(Root-Mean-Square Error,RMSE),全局融合指标(Q4),全局相对光谱损失(ERGAS)[13]和光谱角(Spectral Angle Matching,SAM)[13]这5种定量指标对文中算法进行评价.

3.1 快鸟卫星

图1给出了对比方法以及文中方法在快鸟卫星数据上的融合结果.从图1可以看出,基于GIHS方法的融合结果有严重的光谱扭曲,尤其是操场区域,绿色失真较严重,与参考图像差异较大;基于PCA方法的融合结果空间信息保持较好,但图像对比度较低,且光谱扭曲较大;基于AWLP方法较好地保持了图像的光谱信息,但是在局部区域将全色图像中的空间信息过多地引入到了多光谱图像,产生了一定的空间扭曲;基于CS_1的方法产生了较好的融合结果,但是在局部区域出现了边缘模糊的现象,例如在城镇区域的边缘比较模糊;基于CS_2方法的融合结果块效应较明显,且伴随有严重的空间扭曲;受初始化矩阵的影响,基于CNMF方法的融合结果不稳定,尤其是在操场区域与房屋区域产生了严重的光谱扭曲.而文中所提方法的融合结果更接近于参考图像,从视觉上看较好地保持了光谱信息,又避免了空间信息的丢失.

图1 快鸟图像的融合结果

表1给出了对比方法及文中方法的数值结果,其中加粗的数字表示所有方法中最好的结果.从表1可以看出,对于CC和RMSE,CS_2方法在NIR波段得到了较好的数值指标,且综合指标SAM优于其他方法.但文中方法的大多数数值指标均优于其他使用的对比方法.综上所述,由于引入了稀疏先验,对于快鸟卫星数据,文中方法在视觉效果和数值指标上均取得了较好的结果.

3.2 地球眼卫星

图2给出了对比方法以及文中方法在地球眼卫星数据上的融合结果.从图2中可以得到与图1相同的结论.基于GIHS方法和CNMF方法产生了严重的光谱扭曲,尤其是在植被区域;基于PCA方法的融合结果空间结构信息较好,但与参考图像相比,融合图像较暗,光谱扭曲较明显;基于AWLP方法的结果较接近参考图像,光谱扭曲度较低,但由于引入过多的空间信息,使得局部区域的空间细节过度增强;基于CS_1方法的结果图像空间信息保持较好,但光谱扭曲较明显,而基于CS_2方法的结果有明显的空间失真,导致图像模糊不清;基于CNMF方法的融合结果虽然空间信息保持较好,但光谱失真较严重,受初始化矩阵的影响,其运行结果不稳定.综合分析,文中所提方法得到的图像与参考图像相比,光谱信息比较接近原图像,而且图像空间分辨率较高.

表1 快鸟图像融合结果的数值指标

图2 地球眼图像的融合结果

表2 地球眼图像融合结果的数值指标

表2列出了图2中所有方法的数值指标,其中加粗的数字表示所有方法中最好的结果.从表2可以看出,对于CC指标来说,CS_2方法和CNMF方法分别对于G波段和NIR波段的融合结果较好;基于CNMF方法对于B和NIR波段的RMSE值优于文中方法的,但基于CNMF方法的运行结果不稳定;而文中方法的大部分指标优于其他对比方法的指标.综上所述,对地球眼卫星数据,文中方法在视觉效果和数值指标上均取得了较好的结果.

4 结 论

笔者提出了一种稀疏非负矩阵分解下的遥感图像融合方法.在快鸟数据和地球眼卫星数据上的实验结果表明,基于GIHS方法的结果获得的图像光谱失真较严重;基于CS_2稀疏表示的方法得到的图像块效应明显、图像模糊、空间信息损失较严重;而基于CNMF方法的算法稳定性较差,融合的结果光谱扭曲较严重.相较于对比算法,文中方法得到了视觉效果较高的高分辨多光谱图像,且客观评价指标大部分高于对比算法的评价指标.稀疏非负矩阵分解应用于多光谱图像与全色图像融合中,有效降低了图像融合的空间与光谱扭曲现象,挖掘不同谱段间的稀疏性,提高算法的鲁棒性,并将该模型扩展到高光谱图像与全色图像的融合,研究工作正在进行中.

参考文献:

[1]TU T M,HUANG P S,HUNG C L,et al.A Fast Intensity-Hue-Saturation Fusion Technique with Spectral Adjustment for IKONOS Imagery[J].IEEE Geoscience and Remote Sensing Letters,2004,1(4):309-312.

[2]CHAVEZ Jr P S,SLIDES S C,ANDERSON J A.Comparison of Three Different Methods to Merge Multiresolution and Multispectral Data:Landsat TM and SPOT Panchromatic[J].Photogrammetric Engineering and Remote Sensing,1991,57(3):295-303.

[3]GARZELLI A.Pansharpening of Multispectral Images Based on Nonlocal Parameter Optimization[J].IEEE Transactions on Geoscience Remote Sensing,2015,53(4):2096-2107.

[4]UPLA K P,JOSHI M V,GAJJAR P P.An Edge Preserving Multiresolution Fusion:Use of Contourlet Transform and MRF Prior[J].IEEE Transactions on Geoscience Remote Sensing,2015,53(6):3210-3220.

[5]OTAZU X,GONZALEZ-AUDICANA M,FORS O,et al.Introduction of Sensor Spectral Response into Image Fusion Methods.Application to Wavelet-based Methods[J].IEEE Transactions on Geoscience Remote Sensing,2005,43 (10):2376-2385.

[6]刘帆,张凯,焦李成,等.结合最优亮度分量的遥感图像融合方法[J].西安电子科技大学学报,2014,41(6):45-50.LIU Fan,ZHANG Kai,JIAO Licheng,et al.Novel Pan-sharpening Method via an Optimal Intensity Component[J].Journal of Xidian University,2014,41(6):45-50.

[7]LI S T,YANG B.A New Pan-sharpening Method Using a Compressed Sensing Technique[J]IEEE Transactions on Geoscience Remote Sensing,2011,49(2):738-746.

[8]LI S T,YIN H T,FANG L Y.Remote Sensing Image Fusion via Sparse Representations Over Learned Dictionaries [J].IEEE Transactions on Geoscience Remote Sensing,2013,51(9):4779-4789.

[9]ZHU X X,BAMLER R.A Sparse Image Fusion Algorithm with Application to Pan-sharpening[J].IEEE Transactions on Geoscience Remote Sensing,2013,51(5):2827-2836.

[10]LEE D D,SEUNG H S.Learning the Parts of Objects by Non-negative Matrix Factorization[J].Nature,1999,401 (6755):788-791.

[11]WANG Z N,YU X C,ZHANG L B.A Remote Sensing Image Fusion Algorithm Based on Constrained Nonnegative Matrix Factorization[C]//Proceedings of 1st International Congress on Image and Signal Processing:4.Piscataway: IEEE,2008:672-676.

[12]HOYER P O.Non-negative Sparse Coding[C]//Proceedings of the IEEE Signal Processing Society Workshop.Piscataway:IEEE,2002:557-565.

[13]ALPARONE L,WALD L,CHANUSSOT J,et al.Comparison of Pansharpening Algorithms:Outcome of the 2006 GRS-S Data-Fusion Contest[J].IEEE Transactions on Geoscience Remote Sensing,2007,45(10):3012-3021.

(编辑:李恩科)

Remote sensing image fusion based on sparse non-negative matrix factorization

LI Hong1,2,3,LIU Fang1,2,3,ZHANG Kai2,3
(1.School of Computer Science and Technology,Xidian Univ.,Xi’an 710071,China;2.Ministry of Education Key Lab.of Intelligent Perception and Image Understanding,Xidian Univ.,Xi’an 710071,China;3.International Research Center of Intelligent Perception and Computation,Xidian Univ.,Xi’an 710071,China)

Abstract:In order to reduce the spectral and spatial distortions,a novel method based on sparse nonnegative matrix factorization(SNMF)is proposed for multispectral and panchromatic images fusion.Firstly,the high spatial resolution and low spatial resolution dictionaries are learned from panchromatic.Then we construct a sparse non-negative matrix factorization model of the multispectral image.Thus,the coefficients matrix with spectral information can be obtained.The high spatial resolution multispectral image is produced by the multiplication high spatial resolution dictionary and the coefficients matrix.By introducing the sparse regularization,the instability of the standard non-negative matrix factorization is conquered and the fused image can preserve the high spectral and spatial information.Some experiments are made on QuickBird and Geoeye satellite datasets,and experimental results show that our proposed method can reduce distortions in both the spectral and spatial domains,and outperform some related pan-sharpening approaches in visual results and numerical guidelines.

Key Words:remote sensing image fusion;non-negative matrix factorization;sparse regularization

作者简介:李 红(1976-),女,西安电子科技大学博士研究生,E-mail:honglishining@163.com.

基金项目:国家重点基础研究发展计划资助项目(2013CB329402);国家自然科学基金资助项目(61173090,61573267,91438103,91438201);高等学校学科创新引智计划资助项目(B07048)

收稿日期:2015-06-26

doi:10.3969/j.issn.1001-2400.2016.02.033

中图分类号:TP751

文献标识码:A

文章编号:1001-2400(2016)02-0193-06