多源遥感影像协同应用发展现状及未来展望

胡顺石，黄 英，黄春晓，李大成，王 倩

(1.湖南师范大学 地理科学学院，湖南 长沙 410081；2.湖南师范大学 地理空间大数据挖掘与应用湖南省重点实验室，湖南 长沙 410081；3.太原理工大学 矿业工程学院，山西 太原030024；4.天津师范大学 地理与环境科学学院，天津 300387)

0 引言

随着航空航天遥感技术的发展，不同遥感平台和传感器采集数据的能力越来越强，可向全球用户提供越来越高的空间、时间、光谱以及辐射分辨率的遥感数据，这为人类认识、探索和研究地理要素空间分布、时空变化等提供了多源基础数据。由于地理环境要素之间存在着十分复杂的非线性关系，任何单一类型的遥感数据不能全面、准确地反映和提取地物综合信息，因此单一遥感数据源存在着其本身固有的局限性，而由不同传感器、不同成像手段获得的多源遥感数据为获取地物综合信息提供了有效的手段。多源遥感影像融合是将多个不同或相同传感器获取的不同空间、时间和光谱分辨率的影像进行多层次有机整合，以产生更加丰富的时空谱信息用以解决行业应用问题。与单一遥感数据源相比，融合后的影像具有更高的光谱、空间和时间分辨率，能够最大限度地利用不同数据源提供的信息，从而提高影像信息提取、分析和动态监测的能力，改善遥感信息提取的现势性和可靠性。根据遥感影像应用的目的，多源遥感影像融合可以分为空-谱遥感影像融合、时-空遥感影像融合和时-空-谱一体化融合。空-谱遥感影像融合是将同一研究区域多幅具有不同空间分辨率、光谱分辨率的遥感影像进行融合，得到具有高空间分辨率和高光谱分辨率的融合影像；当前空-谱融合技术可以有效地保持光谱信息的同时融入空间纹理特征，得到了深入的发展和广泛的应用[4]。时-空遥感影像融合在遥感应用中更关注研究区域的变化过程，随着时间维遥感信息的引入，衍生了一系列的时-空融合方法。时-空融合通过对高空间分辨率和高时间分辨率传感器影像进行融合处理，生成时间相对连续的高时空分辨率影像。虽然空-谱遥感影像融合和时-空遥感影像融合已经能解决很大一部分关于时间、空间和光谱分辨率相互制约的问题，但却无法同时得到时间、空间和光谱分辨率兼优的融合影像。目前，大部分时-空-谱一体化融合尚处于理论方法研究阶段，还需要进一步地深入研究，因此发展和挖掘时-空-谱一体化融合的统一融合框架及应用研究是未来重要的研究方向。

本文从多源遥感影像协同应用的角度出发，首先介绍了空-谱遥感影像融合、时-空遥感影像融合和时-空-谱一体化融合的相关模型和方法，着重介绍了全色、多光谱和高光谱等典型遥感影像的融合方法、影像特点及其局限性；总结了多源遥感影像融合方法的研究现状和面临的难题；然后，阐述了多源遥感影像在图像分类、目标信息提取、动态变化监测等方面的协同应用情况及存在的挑战；最后，对多源遥感影像协同应用的整体发展趋势与未来可能的研究方向进行了展望。

1 多源遥感影像及协同融合方法

1.1 多源遥感影像及协同融合

近年来，空间遥感技术取得了极大的进步，在各行业领域应用十分广泛；遥感对地观测的平台、遥感探测的方式越来越丰富，获取遥感数据的空间分辨率、光谱分辨率等也越来越高。多源遥感影像一般是指通过不同平台获取的、具有不同成像方式且类型多样的遥感观测数据，这些观测数据具有显著的冗余性、互补性和合作性。冗余性是指它们对目标地物的表示、描述具有相同的解释结果；互补性是指这些遥感观测数据从不同角度、尺度、方式来表征地物目标信息，具有一定的独立性和相互补充特性；合作性是通过综合利用这些信息可以达到解决复杂环境下的遥感应用问题。遥感应用者更加希望将同一地区的多源遥感影像数据加以智能化合成处理，产生比单源遥感影像具有更加精确、完全和可靠信息，用以获取目标地物更加综合的信息。这需要发展多源遥感影像协同融合技术，它是综合运用来自不同或相同传感器数据源各自的优势，在同质遥感数据、异质遥感数据、遥感-站点数据、遥感-非观测数据之间进行融合[4]，提高遥感影像的空间、时间、光谱分辨率以及分析、决策的精度。

全色、多光谱和高光谱影像反映了不同地物的反射光谱信息，但受成像指标及云、雨、雾等客观环境的限制，这些影像很难同时获得高分辨率的空间、时间和光谱信息[5]；相比光学遥感，合成孔径雷达(Synthetic Aperture Radar，SAR)具有全天时、全天候对地观测的优势[6]，获取的影像包含了丰富的空间和几何结构信息，但由于其成像原理和散斑噪声的影响，图像的视觉效果与光学影像存在很大差异，从而使得SAR影像解译具有一定的难度。将SAR影像与光学影像进行融合可以弥补SAR影像缺乏光谱信息等问题，提高融合影像的质量和可解释性[7]。此外，随着微波传感器的发展，多极化的SAR影像与光学影像融合也展现了巨大的发展潜力；热红外传感器记录地表自身发射的热红外辐射强度信息，广泛应用于地表温度反演、城市热岛效应等领域[9]。将热红外与多光谱数据融合能够综合利用温度、光谱和纹理等特征来分析有关地表热环境的问题；除了传统的遥感影像数据外，一些新型传感器获得的数据正在蓬勃发展，如夜间灯光数据、LiDAR数据等。夜光遥感卫星能在夜间无云的情况下捕捉城镇等地表发射的可见光-近红外电磁波辐射，获取的数据能有效反映人类活动强度及城市化进程的差异。在利用夜间灯光数据开展相关研究时，夜间灯光数据存在光谱信息不足、空间分辨率较低和灯光强度过饱和等问题[13]，将夜间灯光数据与全色、多光谱影像进行特征级、决策级的融合，则可以丰富夜间灯光数据的纹理和光谱信息，从而扩大应用范围和领域；激光雷达(Light Detection And Ranging，LiDAR)是集成了激光系统、全球定位系统、惯性导航系统等于一体的主动微波传感器，具有较为准确的三维空间信息、数据精度高和穿透性强等优势。LiDAR数据可以为其他遥感数据提供辅助信息，例如LiDAR数据与高光谱数据融合，可以较好地解决高光谱数据难以区分相似光谱但高程不同的地物；LiDAR数据与SAR数据融合，可以很好地消除SAR影像中的阴影[18]。

1.2 多源遥感影像协同融合方法

多源遥感影像协同融合方法按方式一般可以分为空-谱、时-空、时-空-谱一体化遥感影像融合，如图1所示，其中空-谱、时-空、时-空-谱一体化融合主要是对2个或多个原始观测数据进行融合，生成新的融合数据，其主要目的是为了提升遥感数据空间、时间、光谱分辨率等指标的质量，以便于提高地物解译及决策的精度。

图1 多源遥感影像融合方法Fig.1 Multi-source remote sensing image fusion method

1.2.1 空-谱遥感影像融合

空-谱遥感影像融合可以同时获得高空间分辨率和高光谱分辨率的遥感影像[19]，其基本思想是将多幅高空间分辨率的影像和高光谱分辨率的影像融合，得到高空间、光谱分辨率的遥感影像。空-谱融合方法主要分为4类：成分替换类融合方法、多分辨率分析融合方法、基于变分优化的融合方法以及基于深度学习的融合方法。

在空-谱融合方法中，成分替换类融合方法和多分辨率分析融合方法应用最为广泛。成分替换类遥感数据融合方法主要是高光谱分辨率影像的空间分量被高空间分辨率影像所取代用以增强空间细节等信息，该方法简单快速但光谱失真严重。多分辨率分析融合方法是将多幅影像分解到不同尺度、不同分辨率下分别采用有效的融合规则对影像进行融合，该方法相比成分替换类方法能在一定程度上保持光谱的不变性[20]，代表性融合方法有小波变换、Curvelet变换和Contourlet变换等，但这些常用的遥感融合技术都无法平衡空间信息融入度与光谱信息保真度这一组相互制约的方面[21]。其主要原因是影像光谱范围部分重叠，导致传感器光谱范围必须变化，遂产生光谱畸变[22]。后续不断有学者对融合算法进行了改进，以致力于获得最小的光谱扭曲度和最大的空间细节、纹理特征。

基于变分优化的融合方法的核心思想是针对输入、输出影像之间的联系做出假设建立条件约束构造融合模型，将影像融合问题转为优化问题求解得到融合影像。与传统融合方法相比，基于变分优化的方法能有效保护光谱信息和空间细节信息，增强融合影像的视觉效果，提高融合影像的质量[24]，但存在时间复杂度高、融合效率低和空间信息提取不充分等问题。基于此，胡甚等将变分法与偏微分方程理论结合应用到影像融合中得到最小的能量函数，获得最优权值求解得到融合影像，解决了融合效率低、影像细节信息提取不充分等问题。

在大数据时代背景下，基于深度学习的融合方法引起了广泛的关注，除了应用在光学遥感中，激光雷达和高光谱数据融合的领域也出现了大量的应用。基于深度学习的融合方法在大量训练数据的基础上从多层特征、结构中获得多层次的信息用于提取深层抽象的融合特征，同时深度神经网络具有多个隐藏层和大量参数，具有强大的非线性表达能力，适合描述不确定的复杂系统，但由于大量网络参数及样本数据的存在，该方法存在累积误差且对计算机的性能有一定的要求。因此，有学者通过更改神经网络结构以学习更多、更深层的空间和光谱特征，减少累积误差。

1.2.2 时-空遥感影像融合

时-空遥感影像融合技术是将高时间分辨率影像与高空间分辨率影像融合成高时空分辨率影像。目前常见的时空融合方法主要分为基于变换的模型、基于像元重构的模型和基于学习模型。

基于变换模型的融合方法主要包括小波变换和主成分分析，其中小波分析方法的应用最为广泛。小波变换是从空-谱融合领域引进的方法，它将影像进行小波分解，然后对分解后的各个层进行融合，再经过反变换，从而获得高分辨率时空影像。小波变换的时空融合能够很好地保留光谱信息，但是该方法在进行混合像元融合时容易出现“图斑”问题，且在地物变化较大的地区，融合结果与真实值会有一定的差异，因此该方法并没有得到广泛的应用。

国内外对多源遥感影像时空融合时，使用最多的是基于像元重构的模型，其主要思想是将目标像元周边的像素考虑到融合过程中，是一种降尺度的方法[31]。最早的学者Gao[34]提出的时空自适应反射率融合模型(Spatial and Temporal Adaptive Reflectance Fusion Model，STARFM)是应用最为广泛的融合算法，该方法将高时间分辨率的MODIS和中空间分辨率的Landsat影像进行融合，考虑了时间、光谱和空间3个方面的距离问题。但是该方法在对异质性较强的区域进行融合时精度并不高，因此Zhu等[36]在STARFM的基础上，提出了改进型时空自适应融合模型(Enhanced Spatial and Temporal Adaptive Reflectance Fusion Model，ESTARFM)，该模型将两景高空间分辨率的影像加入融合算法中，可以很好地解决混合像元的问题。STARFM模型另外一个明显的不足就是忽略了变化信息，例如土地覆盖、环境等在多数情况下是随着时间变化的，因此多个时空融合模型相继被提出来解决此类问题。

基于学习模型的时空融合模型主要分为基于稀疏表达及字典学习和基于深度学习两大类。2012年Huang等[42]提出基于稀疏表示理论的时空反射率融合模型(Sparse Representation-Based Spatial-Temporal Reflectance Fusion Model，SPSTFM)，该模型首先通过非线性的方法提取出MODIS和Landsat影像的字典对，然后使用了耦合字典模型以及稀疏表达理论完成Landsat影像与MODIS影像的融合。同时，基于深度学习的理论在时空融合中应用也越来越多，利用卷积神经网络[46]、基于条件生成对抗网络的时空融合方法能更好地学习融合影像之间的复杂非线性映射，保留更多细节信息，是一种低成本高效率的融合方法，且评价指标显示该方法明显优于其他基于稀疏表达及字典的方法。

1.2.3 时-空-谱一体化融合

卫星传感器的特点是在空间、时间和光谱分辨率之间存在制约、权衡，为了同时获得高空间、时间、光谱分辨率的融合影像，构建时空谱一体化模型成为必要手段，时-空-谱一体化模型在充分利用各传感器所包含的互补信息的同时，还融合了空间、时间和光谱特性[4]。早在2012年Shen[48]尝试基于最大后验概率(MAP)为多个时空谱遥感影像建立综合融合框架。Huang等[49]在Shen提出模型的基础上，扩展了模型并提出统一融合的概念，在实验结果中证明了模型的潜力和灵活性，但该模型仅实现了在2个传感器上的时-空-谱一体化融合。Wu等[50]提出一种在统一框架下对任意多个传感器的集成融合，但该框架没考虑多个时间、空间和光谱的同时融合。而在2016年Shen等[51]提出一种多传感器遥感影像时空谱融合的集成框架，不仅可以完成不同遥感数据类型的融合任务，还可以对空间、时间、光谱信息进行综合互补融合，但由于该集成框架算法复杂，导致算法执行时间较长、效率低。未来，在保证算法效率的基础上如何更全面、有效地利用时、空、谱特征及其相互之间的关系变得尤为重要。

2 多源遥感影像协同应用

多源遥感影像协同应用是指将卫星、航空和地面等遥感平台所记录的多种不同空间、时间、光谱分辨率以及不同成像类型的遥感数据加以综合利用，获得不同源数据的优势特征，用以解决复杂的地理现象和复杂环境下遥感应用问题。多源遥感影像协同应用的过程，其应用领域包括自然灾害监测与识别、农业、林业和气象等，如图2所示。鉴于许多遥感应用十分关注目标地物类别、信息变化，本文将着重介绍多源遥感影像在图像协同分类、目标信息提取和动态变化检测3个方面协同应用进展情况。

2.1 图像协同分类

遥感图像分类主要根据目标地物的辐射光谱特征，依据特征判断识别目标地物的属性，进而为目标信息提取、动态变化检测等其他应用提供了辅助信息。遥感图像分类方法按分类单元的大小，可分为基于像元的分类、基于对象的分类以及基于混合像元分解的分类[52]。

基于像元的分类是以每个像元为单位，主要依赖像元的光谱向量将像元划分到相应的类别。光学遥感是基于像元分类的主要数据源，可反映地物的光谱特征，但对地物的空间、纹理和形状等特征不敏感，且易受云雨天气的影响。微波遥感在一定程度上具有穿云透雾的能力，并且对地物的形状、纹理特征敏感，但微波图像受固有散斑噪声的干扰，缺乏光谱特征。将光学数据与微波数据融合分类，可在一定程度上减少“同物异谱”或“异物同谱”现象的发生，同时实现了光谱特征及空间纹理特征的互补。例如，马腾等[54]将高分一号多光谱数据与RADARSAT-2雷达数据相结合，利用决策树分类器对土地利用类型进行分类。

基于对象的分类是以图像分割所得到的“对象”为处理单元，综合考虑地物的光谱、纹理和形状等信息对“对象”划分类别。高空间分辨率的遥感数据能较好地提取地物的空间纹理特征，中空间分辨率的遥感数据能探测一定范围的光谱、纹理和时间等信息，低空间分辨率的遥感数据往往有较高的时间分辨率。综合利用多源遥感数据在空间、时间和光谱分辨率上的优势，能够提取多层次的遥感特征、提高图像分类精度。例如，李晓红等[55]综合提取GF-1宽幅多光谱图像的光谱、纹理、形状等特征及MODIS NDVI时间序列遥感数据的时序特征，基于分类回归树分类器完成面向对象的土地覆盖分类，结果表明综合应用多源遥感数据的面向对象分类精度要明显优于单源影像。

基于混合像元分解的分类是将基于混合像元分解的思想融入到遥感图像分类中，从“亚像元”级对图像进行分类，可以有效提高图像分类精度及效率。混合像元由于空间分辨率的限制，广泛地分布于中低空间分辨率影像，高空间分辨率影像存在的混合像元较少，但因为观测尺度原因无法对研究区域进行大范围快速的监测与评估。将高空间分辨率影像与中低空间分辨率影像融合进行混合像元分类分解，能有效提升高空间分辨率的时效性及应用尺度，有效克服中低空间分辨率混合像元的影响。例如，陈洁等[60]利用风云三号气象数据高观测频次和高分一号数据高空间分辨率的特点，基于遥感图像光谱分析和混合像元分解技术的多源卫星遥感农作物的分类与估算，既保证了高时效的需求又保证了分类精度。

基于像元的分类方法简单且应用广泛，但影像分类时仅考虑单个像元的特征并未考虑相邻像元之间的关系，并且混合像元广泛分布于中低分辨率图像中，导致基于像元的分类方法对像元的各种特征提取不充分，无法有效处理“同物异谱”的现象。面向对象的分类方法综合考虑“对象”的各种属性特征，能有效避免“同物异谱、异物同谱”“椒盐现象”等现象的发生，具有更为准确的分类结果，但该方法往往会造成图像光谱信息损失、光谱混淆的现象。基于混合像元分解的分类方法广泛应用于中低分辨率图像中，对目标“亚像元”级的探测与识别，能够提高精细化分类水平、多源遥感影像定量化协同应用水平，但如何有效处理光谱间冗余信息、噪声及有效提取端元信息成为亟待解决的问题之一。

2.2 目标信息提取

遥感目标信息提取是为了获得遥感图像上目标地物的光谱、纹理和形状等特征信息，在土地利用、水体提取和地质灾害等方面得到了广泛应用，揭示了研究对象本身的特征及其与周围环境的联系，为目标的定量反演、动态变化和质量评价等提供了依据。高分遥感多以IKONOS、SPOT等为数据源，能有效地综合图像的光谱、空间纹理等特征。中等分辨率遥感数据多以Landsat TM为数据源用于信息提取，虽然中高分辨率数据能提取较好的信息提取结果，但由于硬件、传感器等限制，使得中高分辨率数据无法大面积观测。低分辨率遥感数据多以MODIS作为数据源，受混合像元的限制，信息提取精度不理想，但低分辨率遥感数据在大面积监测方面具有明显优势。将中高分辨率遥感数据与低分辨率数据结合，就可以实现时间、空间和光谱分辨率的信息互补，实现全方位、快速、准确地提取大尺度信息。例如，崔璐等将MODIS NDVI产品、反射率产品数据和Landsat数据结合，利用决策树结合混合像元分解的方法提取竹林的时空分布信息，不仅实现了大尺度时空信息的提取，还在一定程度上减轻了混合像元的影响。除了传统的遥感影像数据，一些新型传感器获取的数据在目标信息提取中也发挥了其独特的优势。如LiDAR数据包含高度、强度和波形等特征，利用高度信息可以判别传统光学遥感难以区分的不同高程、相同光谱的地物[67]。相比普通光学数据，夜光遥感数据能在夜间获取城市灯光、人类活动等信息，与光学数据结合可有效减少夜间灯光数据存在的光谱信息不足、空间分辨率较低、灯光强度过饱和等问题的影响。

遥感目标信息提取在面临地理环境复杂、云雨天气频发等难题时，存在光学影像质量不佳、目标样本数据不充分和不丰富等问题，影响着目标信息提取的精度。此外，目标信息提取在具体应用领域方面的发展良莠不齐，如我国在农业熟制信息提取方面研究较成熟，但撂荒等种植制度变化的信息提取与动态监测能力有待加强。随着遥感数据产品的不断涌现，使用机器学习、深度学习等智能化方法融合多源遥感数据以形成更高维度的空间、光谱、时间数据，是提升遥感数据挖掘与提取深层特征能力的重要手段。

2.3 动态变化检测

遥感动态变化检测是综合利用各时相的遥感数据，通过时空融合的方法定量地分析和确定地表变化特征及过程，作为遥感的一项关键性技术，越来越多的遥感动态变化检测应用在城市规划、农林业监测和国土资源管理等方面[70]。遥感动态变化检测按时相的不同可以分为单时相分类比较法、双时相比较法及时序分析法[70]。

单时相分类比较法是在进行变化检测时，只输入一个单时相的遥感数据，常用分类后比较法来分析变化区域及类别，该方法简单、应用广泛，但处理过程耗时耗力、效率低下。双时相比较法输入2个时相的遥感数据，两两组合进行变换检测，对时间分辨率没有很高的要求，故双时相比较法多用中高分辨率遥感数据，如Landsat，Quickbird等[70]。时序分析法输入一系列的时相序列遥感数据，利用特征统计或数学统计方法分析地物的变化、发展趋势及规律，相比单、双时相动态变化检测，时序分析法对遥感图像时间分辨率要求更高，适用于时间分辨率较高的中低空间分辨率遥感数据，如MODIS，AVHRR等。在进行动态变化检测时，常因为大尺度、高时间、空间和光谱分辨率的要求，需要融合多源遥感数据来解决研究区域观测频次、范围和信息精细度等问题。例如，武喜红等[59]根据高时间、空间分辨率的需求，将多源数据(Landsat8，GF-1，HJ-1 A/B)融合来提高Landsat8中分辨率数据的观测频次，采用时序分析法揭示秸秆焚烧现象的蔓延过程。

动态变化检测在进行多源遥感影像融合时，不仅要考虑不同的传感器对光谱响应的差别还需考虑融合遥感数据之间的时相差异，时相差异过大会导致结果与真实值产生很大的偏差，难以进行后续的工作。随着新型传感器数据的层出不穷，多源遥感数据与新型传感器数据的融合也是待解决的难题之一，如将构成时间序列的影像数据与遥感视频数据融合等。

3 结束语

经过几十年的发展，多源影像融合技术在图像分类、目标信息提取和动态变化监测等领域已得到了广泛的应用。本文介绍了不同类型遥感影像的特点与局限性，分析了不同类型遥感影像协同应用的优势。此外，根据遥感影像应用的目的，介绍了多源遥感影像在时-空-谱融合中所面临的挑战和未来发展的趋势。最后，简单介绍了不同领域中多源遥感影像协同应用的现状与挑战。然而，多源遥感影像协同应用发展还未成熟，具有前瞻性的方向包括：

① 不同传感器，特别是一些新型传感器获得的多源遥感数据之间的融合仍是未来重要研究热点。不同传感器之间影像的地物电磁波特性存在较大差异，它们之间的融合仍面临重要挑战；新型传感器获得的多源遥感数据与传统光学影像之间的融合仍是较前沿的研究热点，如夜间灯光影像、视频卫星影像和LiDAR数据等。

② 时-空、时-空-谱一体化融合的拓展。时-空遥感影像融合正在蓬勃发展，但大多数的时空融合模型局限于MODIS和Landsat影像上，在不改变精度的前提下，将时-空融合模型扩展到其他类型的遥感影像中去，是未来可研究的趋势之一。而时-空-谱一体化模型还需要完成从理论到实践再到广泛应用的巨大飞跃，针对复杂场景的融合应用还有待研究、发展。

③ 面向应用的遥感影像融合。传统的多源遥感影像融合需要人为地根据特定的对象、目的选择融合数据、融合方法等。而面向应用的遥感影像融合方法，针对某一类应用，利用多源遥感数据融合的先验知识构建融合规则知识库、融合算法库，从数据集中自动选取该类应用中的最优影像数据，从算法库中自动选择满足该类应用融合的最佳算法资源，以实现自动化、流程化、系统化融合该类应用的多源遥感影像。

④ 随着具有不同时、空、谱特征遥感影像资源的增加，多源遥感影像融合也迎来了遥感大数据时代。面对海量、不同类型的遥感数据，有效地挖掘遥感影像的多源特征、建立统一的融合框架、构建融合规则知识库以实现遥感影像的智能融合，已成为未来多源遥感影像协同应用的新趋势。