基于DWT和生成对抗网络的高光谱多光谱图像融合

孙佳敏，宋慧慧

(南京信息工程大学 自动化学院,江苏 南京 210044)

0 引言

光谱图像存储了被观测场景的不同光谱特征，广泛应用于军事监视、环境气候监测和空间观测等领域[1-2]。通常，光谱图像主要分为2类：高光谱(Hyperspectral,HS)图像和多光谱(Multispectral,MS)图像。HS图像通常包含数百个光谱波段，具有很高的光谱覆盖率，可以准确地识别地面上的物质和物体；MS图像通常具有较高的空间分辨率。低空间分辨率的高光谱(Low Spatial Resolution Hyperspectral,LRHS)图像与高空间分辨率的多光谱(High Spatial Resolution Multispectral,HRMS)图像融合具有重要意义。

LRHS和HRMS图像融合大致可以分为2类：传统方法和深度学习方法。传统方法包括基于矩阵分解的方法和基于张量的方法等。Yokoya等人[3]提出基于耦合非负矩阵分解(Coupled Nonnegative Matrix Factorization,CNMF)的图像融合算法，求解LRHS图像的端元矩阵和 HRMS图像的丰度矩阵，将求得的端元矩阵和丰度矩阵相乘得到高分辨率的融合结果。与基于矩阵分解的方法不同，基于张量分解的方法通常将HS图像看作一个三维张量，高空间分辨率的高光谱(High Spatial Resolution Hyperspectral,HRHS)图像被分割成若干图像块，对图像块聚类，划分为对应的图形块集合。基于深度学习的方法在计算机视觉领域取得了巨大成功，在遥感图像处理中也得到了广泛应用[4-11]。基于深度学习的方法在复杂的非线性关系表示和高层次图像特征提取方面具有优势，其结果的准确性通常优于一些传统方法。虽然这些方法在LRHS和HRMS图像融合中取得了优异的性能，但如何有效地在空间和光谱之间传递信息仍然是一个挑战，对于提高融合图像的质量至关重要。……