“高分二号”卫星影像融合方法对比和评价

薛晶 官云兰 李宜龙 周冰 裴东东



“高分二号”卫星影像融合方法对比和评价

薛晶1,2,3官云兰2,3李宜龙4周冰5裴东东6

（1 91650部队，广州 510320）（2 东华理工大学测绘工程学院，南昌 330013）（3 流域生态与地理环境监测国家测绘地理信息局重点实验室，南昌 330013） (4 75838部队，广州 510515）（5 南昌市城市规划设计研究总院，南昌 330038）（6 河南省公路工程局集团有限公司，郑州 450000）

由于融合处理方法的原理以及获取影像的传感器特性不同，目前尚没有某种融合方法能适用于所有类型的影像。为了探究适用于“高分二号”（GF-2）卫星影像的融合方法，文章以GF-2卫星影像全色与多光谱数据为数据源，采用Brovey、PCA、GS、HPF、NNDiffuse五种融合方法对全色和多光谱数据进行融合处理，以主观评价和定量分析相结合的方式对影像融合结果进行综合对比和评价。试验结果表明，HPF变换法的融合影像光谱畸变最小，光谱信息保持最好；NNDiffuse变换法的综合效果最好，其在可见光波段的融合效果方面很突出；而在近红外波段的融合上，可以考虑PCA法和GS法。文章的研究成果可对GF-2卫星影像数据的融合处理及应用提供参考。

影像融合 融合方法 品质评价 “高分二号”卫星

0 引言

遥感影像数据融合的过程，是在统一的地理坐标系中对多幅遥感影像采用一定的算法，生成一幅更能有效表达该目标信息的图像，并且该图像具有新的空间特征、波谱特征和时间特征，从而可以得到比单一遥感数据更精确、内容更丰富的信息[1]。融合前两幅影像的精确配准以及融合方法的选择决定了遥感影像融合效果的好坏，两幅用于融合的影像只有精确配准，才可能得到令人满意的结果，而融合方法的选择要依据被融合影像的特征以及融合的目的来决定。

目前广泛应用的影像融合方法有HIS融合法、PCA融合法、Brovey融合法、SFIM 融合法、GS融合法、小波变换融合法、HPF融合法以及Pansharp融合法等，最近又提出了NNDiffuse融合法。根据有关学者的研究成果：HIS、PCA和Brovey等方法的融合结果存在较为明显的光谱失真现象，影像清晰度提高有限[2]；文献[3]指出对于高分辨率影像，HPF方法融合影像的清晰度及光谱保真度均显著优于HIS及PCA方法；文献[4]在研究中证明Pansharp方法及GS方法对中高分辨率影像的融合效果整体明显优于Brovey和PCA方法。这些结果表明每种融合方法都有各自的优劣[5-6]，对于同一种融合方法，当数据源、参数设置或者研究目的不同时，其融合效果也会有明显的差异[7]。因此，尚没有某种固定的算法适用于所有类型的影像。

通常可以从主观评价和客观评价两个方面来评价融合后影像的品质。主观评价是以信息的目视识别效果作为品质评价的依据，对处理前和处理后的影像进行对比做出评价，具有主观性。客观评价可以排除主观因素的影响，通过计算融合前和融合后影像的灰度平均值、信息熵、相关系数、平均梯度、标准差和偏差指数等参数，经过对比和分析对融合后影像的品质作出定量评价[8]。

“高分二号”（GF-2）卫星影像的光谱信息非常丰富，如果能将多光谱数据与全色数据进行融合就可以得到亚米级的多光谱影像数据，这将大大提高其在交通路网规划、林业资源调查、土地利用动态监测、农作物估产、城市精细化管理等众多领域所发挥的作用。为探析适用于GF-2卫星影像的融合方法，本文采用Brovey、PCA、GS、HPF及NNDiffuse五种融合方法进行试验。对试验结果进行主观评价和定量分析，从而得出不同融合方法对GF-2卫星影像的适用性差异，进而提高GF-2卫星影像的应用效果。

1 影像融合方法

本文选择了Brovey、PCA、GS、HPF及NNDiffuse这五种常用的融合方法，融合原理简要介绍如下。

1.1 Brovey融合法

Brovey融合方法又称色彩标准化变换融合方法，其算法主要是将多光谱影像的影像空间分解成色彩和亮度成分，然后再进行计算，这一变换过程最大限度地保留了多光谱影像数据的信息，简化了影像转换过程的系数。在进行融合处理的运算时，首先进行影像显示的多光谱波段颜色归一化，然后将全色影像的灰度值分别与多光谱影像各波段灰度值相乘，最后完成融合过程[9]。

使用该方法的前提是全色影像与多光谱影像具有相同的波谱响应范围，该方法主要用来增强影像的对比度，如阴影、水体、城市特征等高反射区域，提高人的视觉解译能力，而在保持影像的光谱特性方面则有些不足[10]。

1.2 PCA融合法

PCA变换法是融合中一种较为常见的方法，它是在图像统计基础上的一种线性变换，可以浓缩信息，压缩数据，又称作为K-L变换。

PCA融合法利用主成分变换将低空间分辨率影像转换成若干个主成分分量，将第一主成分分量提取出，并用高分辨率影像替换，最终进行PCA逆变换完成融合。

1.3 GS融合法

GS变换是一种多维线性正交变换。进行GS融合的步骤为：1）通过将高分辨率全色影像低通滤波或者通过多光谱影像模拟全色影像的方法生成低分辨率全色影像；2）将低分辨率全色影像作为第一分量对多光谱影像做GS变换，从而得到其他分量；3）用模拟的全色影像修改高分辨率影像，并将修改后的影像作为第一分量和其他分量一起做GS逆变换，最后得到融合后的影像[11]。GS变换虽然可以消除影像融合过程中的冗余信息，但是其抗干扰能力不太好。

1.4 HPF融合法

HPF变换的过程为：首先采用一个比较小的空间高通滤波器对高分辨率影像进行滤波处理，滤波处理的优势在于它既能滤掉绝大部分的光谱信息，又能保留与空间信息有关的高频分量；其次把高通滤波的结果加到多光谱影像数据中，这样就可以达到将高分辨率影像数据的空间信息和多光谱影像数据的光谱信息进行融合的目的。

1.5 NNDiffuse Pan Sharpening融合法

Nearest Neighbor Diffusion（NNDiffuse）Pan Sharpening算法由美国罗彻斯特理工学院（RIT）最新提出。该方法采用了共享存储并行编程（OpenMP）和统一计算设备架构（CUDA）技术来提高其处理性能，在融合影像品质和处理速度方面都具有比以往方法更突出的优势。当多光谱各个波段之间波长范围不交叉覆盖，并且全色波段能够基本覆盖到多光谱所有波段的波长范围时，融合效果较好。使用NNDiffuse融合方法须满足如下条件：1）低分辨率影像的像元大小必须是高分辨率影像像元大小的整数倍，若不是，影像需要重采样；2）影像必须有相同的投影信息；3）影像大小必须一致；4）确保影像左上角对齐，当配准精度小于1/2像元大小时，融合精度才不会受影响。

2 融合试验

2.1 数据及研究区概况

本试验以GF-2卫星4m多光谱影像和1m全色影像为数据源[12]，以云雾覆盖少、噪声条带少、时效性较好为原则选取试验数据开展影像融合试验，试验数据为2015年5月12日获取的河南登封地区数据。登封市位于河南省中西部，其地形复杂，依地形大致可分为深山、浅山、丘陵和平地；南有箕山、熊山山脉，北有嵩山山脉，均为东西走向，地势由南北向中间逐渐降低为丘陵河川。结合高分辨率遥感影像数据的应用特点，所选影像中的地物包括建筑物、林地、草地、耕地、裸地、道路等，地物类型比较全面，能够充分体现高分辨率卫星影像融合后的空间识别能力，确保融合及评价的有效性。

2.2 试验过程

利用ENVI 5.2对GF-2卫星1m全色影像和4m多光谱影像进行正射校正和自动配准[13]。将经过预处理后的全色影像和多光谱影像分别进行Brovey融合、PCA融合、GS融合、HPF融合以及NNDiffuse融合，其中，HPF融合通过ERDAS IMAGINE 9.2实现，其他方法通过ENVI 5.2实现。融合结果采用真彩色显示，并进行了2%的显示拉伸。通过五种方法将选取的GF-2卫星原始全色影像和原始多光谱影像（如图1所示）进行融合，融合后的影像效果如图2所示。

（a）原始全色影像

（a）Original panchromatic image

（a）Brovey融合效果

（a）Result of Brovey image fusion

（b）PCA融合效果

（b）Result of PCA image fusion

（c）GS融合效果

（c）Result of GS image fusion

（d）HPF融合效果

（d）Result of HPF image fusion

（e）NNDiffuse融合效果

3 融合效果评价

3.1 定性评价

从空间分辨率上看，Brovey法、PCA法、GS法、HPF法及NNDiffuse法得到的影像均提高了原始多光谱影像的空间分辨率，极大地丰富了影像的信息，所有地物的空间结构及各个地物之间的分界线都能准确区分出，提高了判读能力。图像的地物立体感更强，地物的纹理也比原始多光谱影像清晰很多，因此，在提取影像信息的时候，能够获得更加丰富和准确的结果，其中Brovey法的融合效果相对要差一些。

从光谱特征方面分析，Brovey法融合后影像整体光谱色调变化明显，其植被和道路的颜色变化最大，光谱扭曲很严重，植被的颜色和蓝色屋顶的颜色有些接近，很容易造成错误的地物划分，其他地物则变化不明显。PCA法、GS法、HPF法和NNDiffuse法融合后影像的色调基本接近于原始多光谱影像，总体上没有太明显的变化，较好地保留了影像的光谱信息。经过观察对比可以发现，HPF法融合后的植被颜色相对其他几种方法要稍暗些；而PCA法、GS法融合后蓝色屋顶和道路的颜色相比其他几种方法有些加深；NNDiffuse法的目视效果最好，各个地物的颜色与原始影像都比较接近，总体效果最好。

3.2 定量评价

本文从图像的亮度信息、信息量、清晰度、光谱信息这四个方面分别选取评价指标来客观评价影像的融合效果[14]，主要包括：1）反映亮度信息的均值和标准差指标；2）反映信息量的信息熵指标；3）反映图像清晰度的相关梯度指标；4）反映光谱信息的偏差指数和相关系数指标。

3.2.1 评价指标

（1）均值

均值在目视上表现为影像的平均亮度，也就是像素平均值。融合后影像像素平均值变化越小，则融合后影像的平均亮度越接近于原始影像，该融合方法的光谱保真性就越好[15]。计算公式为

（2）标准差

标准差指的是影像各个像元的灰度值相对于影像像元平均灰度值的离散程度。标准差越大，影像反差就越大，就更容易区分地物，有利于提取影像的信息。计算公式为

式中为影像标准差。

（3）信息熵

通常情况下，融合后图像的熵值越大，则图像包含的信息量就越多，说明融合的效果也就越好[16]。计算公式为

（4）平均梯度

平均梯度可以用来衡量图像的清晰程度，它可以反映出图像中纹理变化特征和微小细节反差。一般来说，融合后的图像平均梯度越大，则表示图像层次就越多，图像越清晰，融合效果也就越好[17]。计算公式为

式中为影像某一波段的平均梯度。

（5）偏差指数

偏差指数指的是原始影像和融合后影像的灰度平均值之差，既可以反映地物融合后的光谱变异程度，又可以反映融合图像对原始图像光谱信息的保存能力[18]。偏差指数越小，则说明融合后图像光谱变异程度越小，光谱保真能力越强。计算公式为

式中为偏差指数；(,)为融合后影像对应(，)位置像元的灰度值；(,)为原始多光谱影像对应(,)位置像元的灰度值。

（6）相关系数

融合后影像的光谱信息保存能力可以通过融合后影像与原始多光谱影像之间的相关系数来衡量[19]。通常情况下，两幅影像的相关系数越大，说明融合后影像的光谱信息保存能力就越强。其计算公式为

3.2.2 定量评价结果

根据上述6个参数比较融合后影像在亮度信息、信息量、清晰度和光谱信息等方面的差异。计算过程全部通过MATLAB R2012a编程实现，各参数的统计结果见表1所示，具体变化趋势如图3所示。

表1 图像融合评价参数统计

Tab.1 Evaluation parameter statistics of image fusion

（a）均值

（a）Mean

（b）标准差

（b）Standard deviation

（c）信息熵

（c）Comentropy

（d）平均梯度

（d）Average gradient

（e）偏差指数

（e）Deviation index

（f）相关系数

对图3中各评价指标的对比分析，可以得知：

1）对于影像的灰度平均值，Brovey法、PCA法和GS法融合后影像的灰度平均值相比原始多光谱影像均明显变小，尤其是Brovey法，融合后影像亮度变化最大，光谱失真最为严重。HPF法融合后影像的均值与原始多光谱影像的均值最为接近，所以这种方法融合后的影像光谱畸变最小，亮度信息保持最好。而NNDiffuse法融合后影像的灰度均值比原始多光谱影像有所增大，但变化幅度不大。

2）标准差方面，Brovey法融合后影像的标准差变小，而且变化很大，得到的影像质量很差。HPF法融合后影像的标准差和原始影像差不多，很接近，说明其地物可分性的能力与原始多光谱影像差不多。PCA法和GS法融合后影像的可见光波段的标准差均比原始影像要小，而近红外波段比原始影像要大。NNDiffuse法融合后影像的标准差均比原始影像有所增大，所以NNDiffuse法融合后影像的地物可分性最好，包含的信息最多，综合效果最好。

3）对于信息熵，Brovey法融合后影像的信息熵比原始影像要小很多，包含的信息量相对较少，信息表达能力较弱，效果较差。PCA法和GS法在近红外波段的信息熵比较大，而HPF法和NNDiffuse法在可见光波段的信息熵较大。

4）平均梯度可以反映影像的细节表达能力，平均梯度越大，影像就越清晰。GS法各波段的平均梯度都大于PCA法，并且在近红外波段上最大。可见光波段上HPF法的平均梯度最大，NNDiffuse法次之。综合来看NNDiffuse法最好，说明影像较清晰，效果最好。Brovey法效果最差。

5）几种方法的偏差指数结果中，NNDiffuse法融合后影像的总体偏差指数最小，光谱保真能力最强。其次是PCA法、GS法，Brovey法偏差最大。

6）相关系数反映的是融合后影像与原始影像光谱特征的相似程度，PCA法、GS法、HPF法和NNDiffuse法融合后的影像相关性都比较好，其中NNDiffuse法在可见光波段的相关性最好，而近红外波段的相关性不如PCA法、GS法和HPF法。Brovey法总体效果最差，光谱扭曲严重。

值得注意的是，NNDiffuse法在近红外波段的标准差、信息熵、平均梯度和相关系数上的值均略小于GS法和PCA法，而在可见光波段，NNDiffuse法融合后影像的这几个参数值均优于其他融合方法。

4 结束语

本文运用Brovey、PCA、GS、HPF以及NNDiffuse五种方法对GF-2卫星的全色影像和多光谱影像进行了融合试验。通过定性和定量分析，综合考虑各评价指标，可以得出：Brovey变换法的融合效果比较差；HPF变换法的影像光谱畸变最小，光谱信息保持最好；NNDiffuse变换法的综合效果最好，其在可见光波段的融合效果很突出，而在近红外波段的融合上，可以考虑PCA法和GS法，适宜监测植被、提取水体等融合目标。本次试验的结果可为GF-2卫星影像数据的融合处理及应用提供一定的参考和借鉴。

(References)

[1] 瞿继双, 王超, 王正志. 基于数据融合的遥感图象处理技术[J]. 中国图像图形学报, 2002, 7(10): 985-993． QU Jishuang, WANG Chao, WANG Zhengzhi. Data Fusion Based Technology for Remote Sensing Image Processing[J]. Journal of Image and Graphics, 2002, 7(10): 985-993. (in Chinese)

[2] 童庆禧, 张兵, 郑兰芬. 高光谱遥感—原理、技术与应用[M]. 北京:高等教育出版社, 2006: 293-309. TONG Qingxi, ZHANG Bing, ZHENG Lanfen. Hyperspectral Remote Sensing-principle, Technology and Application[M]. Beijing: Higher Education Press, 2006: 293-309. (in Chinese)

[3] 巩垠熙, 冯仲科, 吴露露, 等. QuickBird影像融合算法的评价研究[J]. 红外, 2010, 31(7): 18-23. GONGYinxi, FENG Zhongke, WU Lulu, et al. Evaluation Study of Fusion Algorithms for QuickBird Images[J]. Infrared, 2010, 31(7): 18-23. (in Chinese)

[4] 谭永生, 沈掌泉, 贾春燕, 等．中高分辨率遥感影像融合研究[J]. 遥感技术与应用, 2007(4): 536-542． TAN Yongsheng, SHEN Zhangquan, JIA Chunyan, et al. Research of Fusion for High Resolution Remote Sensing Image[J]. Remote Sensing Technology and Application, 2007(4): 536-542. (in Chinese)

[5] HA W, GOWDA P H, HOWELL T A. A Review of Potential Image Fusion Methods for Remote Sensing-based Irrigation Management: Part II[J]. Irrigation Science, 2013, 31(4): 851-869.

[6] PATIL R, ANSARI V. Image Fusion Techniques and Their Performance Evaluation : A Review[J]. International Journal of Global Technology Initiatives, 2014.

[7] 逄锦娇, 孙睿, 王汶. 高分辨率影像配准误差对土地覆盖分类和变化检测的影响[J]. 遥感技术与应用, 2014, 29(3): 498-505. PANG Jinjiao, SUN Rui, WANG Wen. Influence of Registration Error on Land Cover Classification and Change Detection in High-resolution Remote Sensing Image[J]. Remote Sensing Technology & Application, 2014, 29(3): 498-505. (in Chinese)

[8] 徐涵秋. 基于SFIM算法的融合影像分类研究[J]. 武汉大学学报(信息科学版), 2004, 29(10): 920-923. XU Hanqiu. Classification of Fused Imagery Base on the SFIM Algorithm[J]. Editorial Board of Geomatics and Information Science of Wuhan University, 2004, 29(10): 920-923. (in Chinese)

[9] 李爽, 姚静. 北京一号高分辨率影像数据融合效果评价[J]. 河南大学学报(自然科学版), 2008, 38(3): 276-280． LI Shuang, YAO Jing. Assessment of the High Resolution Image Data Merge Effect on Beijing-1[J]. Journal of Henan University(Natural Science), 2008, 38(3): 276-280. (in Chinese)

[10] JIM V. Multispectral Imagery Band Sharpening Study[J]. Photogrammetric Engineer & Remote Sensing, 1996, 62(9): 1075-1084.

[11] BAATZ M, SCHÄPE A. Multiresolution Segmentation: An Optimization Approaph for High Quality Multi-scale Image Segmentation[J]. Angewandte Geographische Informations-verarbeitung XII, 2000, 58(3/4): 12-23.

[12] 潘腾. 高分二号卫星的技术特点[J]. 中国航天, 2015(1): 3-9． PAN Teng. The Technical Features of GF-2 Satellite[J]. Aerospace China, 2015(1): 3-9. (in Chinese)

[13] 王忠武, 刘顺喜，戴建旺, 等. “高分二号”卫星多光谱与全色影像配准策略[J]. 航天返回与遥感, 2015, 36(4): 48-53. WANG Zhongwu, LIU Shunxi, DAI Jianwang, et al. Registration Strategy for GF-2 Satellite Multispectral and Panchromatic Images[J]. Spacecraft Recovery & Remote Sensing, 2015, 36(4): 48-53. (in Chinese)

[14] 黎新亮, 赵书河. 柯长青. 等. 遥感图像融合定量评价方法及实验研究[J]. 遥感技术与应用, 2007, 22(3): 460-465. LI Xinliang, ZHAO Shuhe, KE Changqing, et al. The Study of Methods of Quantitative Evaluation on Remote Sensing Image Fusion and Actualization[J]. Remote Sensing Technology and Application, 2007, 22(3): 460-465. (in Chinese)

[15] 李莹莹, 洪金益, 张建国, 等. IKONOS影像融合方法对比研究及应用效果评价[J]. 矿产勘查, 2014, 5(3): 499-504． LI Yingying, HONG Jinyi, ZHANG Jianguo, et al. Comparative Study and Evaluation of the Application Effect on the IKONOS Image Fusion Method[J]. Mineral Exploration, 2014, 5(3): 499-504. (in Chinese)

[16] 崔佳洁, 李世明. 高分一号卫星影像的融合方法比较研究[J]. 黑龙江工程学院学报, 2015(3): 2-15. CUI Jiajie, LI Shiming. Comparison of Image Fusion Algorithms for High Spatial Resolution Satellite Image of GF-1[J]. Joural of Heilongjiang Institute of Technology, 2015(3): 12-15. (in Chinese)

[17] 陈雪洋, 袁超. ZY-1 02C卫星影像融合方法评价[J]. 测绘与空间地理信息, 2013, 36(2): 50-53． CHEN Xueyang, YUAN Chao. Data Fusion Evaluation of ZY-1 02C Satellite Images[J]. Geomatics＆Spatial Information Technology, 2013, 36(2): 50-53. (In Chinese)

[18] 崔璨. 基于对比分析的国产卫星影像质量评价[D]. 长春: 吉林大学, 2014. CUI Can. The Quality Assessment of Domestic Satellite Images Based on Contrastive Analysis[D]. Changchun: Jilin University, 2014. (in Chinese)

[19] 李超, 朱满, 赵家平. 多源遥感影像融合效果的定量评价研究[J]. 测绘与空间地理信息, 2010, 33(3): 143-146. LI Chao, ZHU Man, ZHAO Jiaping. Research of Quantitative Methods for Evaluation of Multi-source Remote Sensing Image Fusion[J]. Geomatics & Spatial Information Technology, 2010, 33(3): 143-146. (in Chinese)

（编辑：夏淑密）

ComparisonandEvaluationof Image Fusion Algorithms for GF-2 Satellite Images

XUE Jing1,2,3GUAN Yunlan2,3LI Yilong4ZHOU Bing5PEI Dongdong6

（1 91650 Army, Guangzhou 510320, China）（2 Faculty of Geomatics,East China University of Technology, Nanchang 330013, China）（3 Key Laboratory of Watershed Ecology and Geographical Environment Monitoring, NASMG, Nanchang 330013, China）（4 75838 Army, Guangzhou 510515, China）（5 Nanchang Urban Planning & Design Institute, Nanchang 330038, China）（6 Henan Province Highway Engineering Bureau Group Limited Company, Zhengzhou 450000, China）

The theory of fusion method and the feature of satellite sensor are different, so there is no certain fusion method which is applicable for all types of images. In this paper, it uses the panchromatic and multispectral data of GF-2 as the data source, and adopts five image fusion algorithms Brovey, PCA, GS, HPF and NNDiffuse to process PAN and MSS data. And then a comprehensive evaluation of the effectiveness of image fusion is made through subjective evaluation and quantitative analysis to explore a suitable fusion method for GF-2 satellite image. The results show that fusion image with HPF method has minimum spectral distortion and keep the best spectral information. NNDiffuse method has the best effect in general and the effect of fusion in visible bands is very outstanding. While in the near-infrared band, PCA method and GS method can be used. The results of this research provides the reference for fusion processing and application of GF-2 satellite data.

image fusion; fusion method; quality evaluation; GF-2 satellite

TP79

A

1009-8518(2017)02-0091-09

10.3969/j.issn.1009-8518.2017.02.012

2016-10-28

国家自然科学基金（41401437）；江西省学位与研究生教育教学改革研究项目（JXYJG–2016–113）

薛晶，女，1990年生，2012年获东华理工大学测绘工程专业工学学士学位，现在东华理工大学测绘工程专业攻读硕士学位，助理工程师。研究方向为遥感图像处理与应用。E-mail：xj892316@163.com。

官云兰，女，1975年生，博士，教授，硕士生导师。研究方向为地面三维激光扫描、摄影测量、遥感影像处理。E-mail：guan8098@163.com。