结合IHS与自适应滤波的SFIM影像融合方法

唐育林，黄登山，陈抒录，陈朋明

（1.湘潭大学土木工程学院，湖南 湘潭 411105；2.湘潭市勘测设计院，湖南 湘潭 411100）

0 引 言

随着我国不同高分辨率的遥感卫星陆续投入使用，遥感数据也变得日益丰富［1-2］。由于受到卫星存储空间与卫星-地面观测数据传输速度的限制，遥感卫星一般采用互补的观测方式，即全色影像和多光谱影像共存［3-6］。相同场景下的多光谱影像比全色单波段影像的空间分辨率低。为了同时获得这2 种影像特征，研究者在光谱信息和空间分辨率之间进行权衡，提出了各种全色-多光谱影像融合方法。

根据融合方法作用域的不同，可以分为空间域和频率域［7-8］这2 类，空间域方法又可细分为系数增强与成分变换［8-10］。SFIM（Smoothing Filter-based Intensity Modulation）属于系数增强方法，利用全色影像与低分辨率全色影像的比值作为多光谱影像的调制系数以获得融合影像，其空间信息融入质量不高。Brovey［11］变换属于系数增强方法，与SFIM 不同的是，调制系数是全色影像与I（Intensity）分量的比值，存在较 为 严 重 的 光 谱 失 真。而IHS［9，12］（Intensity Hue Saturation）属于成分替换类型，将RGB 色彩空间转换为IHS 空间，用全色影像替换原I 分量作逆变换得到融合影像，由于只是简单的像素值替换［7］，同样存在光谱失真问题，并且受波段数量的限制，只能处理3个波段。小波变换［13-16］属于频率域方法，存在小基波难以选择和计算复杂的问题。随着神经网络的流行，许多研究者将深度神经网络（Deep Neural Networks，DNN）应用到影像融合中［6，17-19］，目的是寻找原始全色图像与其重采样全色影像之间的关系，训练并优化网络参数，将重采样的多光谱图像输入网络模型中，经一系列运算输出得到融合影像。此方法存在数据集制作繁琐［20］、设备要求高及结果不普适等问题，不适于日常生产工作。

全色-多光谱影像融合的目的在于尽可能地保持较多的光谱特征和最大限度地注入空间细节信息。针对以上问题，本文提出一种结合IHS 和高斯滤波的SFIM 影 像 融 合 方 法，并 与Brovey、SFIM［21］、AIHS（Adaptive Intensity Hue Saturation）［22］、WT（Wavelet Transform）和AGSFIM（Adaptive Gaussian Filter and SFIM Model）［23］进行比较。本文不做特殊说明外，P为全色影像，MS 为多光谱影像，Pds为下采样全色影像，Pdsh为Pds经高斯滤波后的影像，Mi表示多光谱第i波段影像。

1 本文方法

IHS 以强度（Intensity，I）、色调（Hue，H）和饱和度（Saturation，S）来感知图像颜色。为提高IHS 的融合效率，Tu 等［24］研究了传统HIS 原理，对计算过程进行了改进，将矩阵的乘积运算转换到了加法运算，大大节约了计算时间，但是P 和I 之间的差异并没有发生改变，依旧存在光谱扭曲和波段数量受限的问题。

紧接着Choi［12］就IHS波段数量受限的问题，提出了多于3个波段的多光谱影像I分量的提取方法。它以每个波段乘以波段权重1/N（N为波段数）做累和处理，由此获得I 分量。他们没有考虑到不同波段影像的光谱反射曲线不同，融合过程中会存在不同程度的光谱信息丢失，将每个波段的权重均等化所求得的I分量代表性不强。针对该问题，Rahmani等［22］提出了优化方案，用自适应线性组合来表示强度分量，如式（1）所示，以全色影像与加权多光谱各波段影像的最小二范数差值为拟合条件，求在不同数据集上不同波段的权重，进而获得I 分量。该方法是通过求取矩阵二范数的最小值来获得系数，存在计算量大和效率不高等缺点。

与IHS 模型相比，SFIM 模型具有较高的光谱保真度［21］。SFIM是以全色影像与低分辨率全色影像的比值来添加空间细节信息的。以统一的比值给整幅图像注入同比例的细节，会忽略不同区域的空间细节，导致空间融入度不高。简单来说，SFIM 在多光谱图像中添加全色影像的空间细节信息过程中，忽略了全色图像的光谱特征。理想下的低分辨率全色影像应同时具备与多光谱影像相似的空间特征和与全色影像相似的光谱特征。目前对于理想的低分辨率全色影像求取没有统一的标准，并且已有的研究方法存在不同差异。

王密等［23］提出了一种结合自适应高斯滤波与SFIM模型的全色-多光谱影像融合方法AGSFIM。考虑到AGSFIM 采用平均波段的平均梯度值代表性较差可能会影响融合结果，这里结合IHS 模型和光谱相关系数提取多光谱影像的I 分量，使用其平均梯度作为低分辨率全色影像评判的指标，以得到更理想的影像。同时，增加真实影像（参考影像）进行对比分析，更好地比较出各方法的差异性。故此，本文提出一种结合IHS 和高斯滤波的SFIM 影像融合方法，使其同时具备IHS 的空间细节注入能力和SFIM 的光谱保真能力，具体原理如下：

1）考虑时间效率和光谱覆盖范围，这里采用光谱相关系数［25］来获取权重αi，如式（2）～式（4）所示，将对应系数与波段相乘得到I 分量，计算得到I 分量的平均梯度AGI。因为单独计算出平均梯度只是相对量，为了使其变成绝对可比量，用全色影像均值与I分量均值的比值（调整参数μ）乘以AGI，得到绝对可比量，作为后面的参考标准值。

其中，μP、μI分别表示全色影像P和I分量的均值。

2）对全色影像P进行均值滤波得到低分辨率全色影像P'，因为直接使用均值滤波窗口做的是全局模糊处理，所以还存在部分区域的细节信息过剩。这里继续使用傅里叶变换将其转换到频域，使用距离取舍法再次去掉部分高频信息得到Pds，使其更接近多光谱影像相似的空间信息结构。算法流程如算法1所示，fft2 为二维傅里叶变换，fftshift 将低频信息集中到图像中心，ifft2 为二维傅里叶逆变换，ifftshift 将处理后的图像恢复到原始的分布位置，保留范围d用最小距离除以0.9（经验值）。

算法1 傅里叶变换去除部分高频算法

输入：均值滤波处理后全色影像P'

输出：二次去除部分高频信息的全色影像Pds

1：转换全色影像P'到频域，得到频域图像S

2：计算图像中心到上、左2 边的距离a0、b0，计算保留范围距离d

3：创建一个与频域图像S相同大小的零矩阵Pl，将范围d内的数据存储在Pl对应位置

4：对Pl进行逆傅里叶变换，保留实数部分，得到最终处理后的全色影像Pds

5：S= fftshift（fft2（P'））

6：［a，b］= size（S）

7：a0 = round（a/2），b0 = round（b/2）

8：d=（min（a0，b0）/0.9）^2

9：Pl = zeros（a，b）

10：fori=1：athen

11：forj=1：bthen

12：distance =（i-a0）^2+（j-b0）^2

13：if distance

14：h= 1

15：elseh= 0

16：end if

17：Pl（i，j）=h*S（i，j）；

18：end for

19：end for

20：Pds= real（ifft2（ifftshift（Pl）））

3）接着以0.1 为间隔，按式（5）计算σ在0.1～1 区间不同高斯滤波后Pdsh的平均梯度AG。以Pdsh的平均梯度点为基础做多项式线性拟合，求其与I 分量的交点，确定高斯滤波的最优参数σ。

其中，Fi，j表示影像F在（i，j）位置的像元值。

4）将高斯滤波后的Pdsh和多光谱各波段的Mi上采样至跟全色影像P相同大小，按式（6）计算得到最终融合影像，具体流程如图1所示。

图1 算法流程图

2 数据处理与质量评价方法

2.1 数据来源与预处理

实验数据为广州市石基镇的GF-2卫星影像和深圳市宝安区ZY3-1卫星影像，全色影像与多光谱影像空间分辨率分别为1 m 和4 m、2.1 m 和6 m，均进行了地理校正、辐射定标和大气校正处理。这里分别将GF-2 和ZY3-1 多光谱影像的空间分辨率重采样至16 m与18 m，全色影像为4 m和6 m，并对重采样影像使用中值滤波做进一步退化处理。使用退化后的影像开展实验，而原影像则作参考影像，预处理前后影像如图2 和图3 所示，全文所用的全色影像P和多光谱影像MS均为这一步处理的结果。

图2 GF2重采样前后的MS和Pan影像

图3 ZY3-1重采样前后的MS和Pan影像

2.2 最优参数计算

这里先对全色影像P下采样至与多光谱影像MS相同大小，接着进行均值滤波得到模糊后的低分辨率全色影像Pds，然后对Pds进行高斯滤波。根据分辨率之比，GF-2 高斯滤波采用4×4 的窗口，σ 取0.1～1，以0.1为间隔，分别计算不同σ高斯滤波下Pdsh的AG值，作多项式拟合得到拟合曲线。最后，计算多光谱影像各波段、平均波段及I分量的AG 值作直线（y=xAG），拟合曲线与直线的交点即为最优参数σ的值，如图4（a）所示。因为ZY3-1的分辨率之比不为整数，这里采用大于其比值整数倍的6×6 窗口，其余操作相同，结果如图4（b）所示，GF-2 和ZY3-1 的σ 分别为0.5931、0.9159。

图4 各影像平均梯度

3 实验与结果分析

3.1 定性评价

所有的影像均以真彩色波段组合，采用仿真数据集开展实验，同时使用真实数据集对仿真数据结果进行验证，GF-2 和ZY3-1 结果分别如图5 和图7 所示。相比待融合多光谱影像，融合影像在空间分辨率上均有很大的提高。

图5 GF-2仿真数据和真实数据的融合结果

图6 GF-2仿真数据和真实数据的融合结果细节对比

图7 ZY3-1仿真数据和真实数据的融合结果

GF-2 仿真数据方面，Brovey 影像光谱失真严重，左边和左下角的部分植被呈现黄色色调，部分房屋和植被过饱和，部分田地光谱信息几乎全部丢失，使得颜色溢出，失去色彩层次细节，显得不太自然。AGSFIM 和SFIM 方法左下角的道路区域均存在异常光亮点问题，建筑物在这2 种影像中的效果相似，与原影像相比，部分屋顶颜色不一致，右下角的池塘在这2 幅影像中植被的特征存在严重失真。相比Brovey 方法，虽然AIHS 方法抑制了光谱失真，但某些地物光谱颜色依旧与参考影像存在一定差异。WT方法的光谱颜色保真高，但细节信息注入不足。在真实数据集上，除SFIM 和AGSFIM 左下方的道路没有出现异常光亮点外，其他情况与仿真数据相同。通过图6 细节对比，可以更好地发现不同融合影像上不同地物的光谱和细节区别，所提方法的地物细节和光谱保真更好，进一步验证了前面的结论。

ZY3-1 仿真数据方面，Brovey 影像植被的光谱失真依旧很严重。SFIM 方法虽然地物颜色呈现与参考影像类似，但细节信息注入不足，出现模糊感。WT左下角的湖泊区域光谱颜色相比参考影像要淡，尤其是湖泊与陆地边界线过于突出。AIHS、AGSFIM 方法和本文方法总体表现相似，仅存在颜色细微的不同。在真实数据实验结果和图8 细节对比上，不同影像之间的差异及效果与仿真数据结果相同。

图8 ZY3-1不同数据集的融合结果细节对比

通过GF-2 和ZY3-1 不同融合影像的视觉对比可以看出，相比前5 种方法，本文所提方法的地物光谱颜色和空间细节结构更好。

3.2 定量评价

定量分析设置实验组和验证组，实验组采用仿真数据，以未退化的多光谱影像作为参考影像，验证组采用真实数据，均使用3 种不同类型的指标做参考，考虑到数据指标的重复性，验证组方面分别从3种不同指标中各挑选一个作为评价指标。空间分辨率评价方面，平均梯度（Average gradient，AG）反映图像的微小细节反差和纹理变化特征，值越大，图像层次越丰富；结构相似性（Structural Similarity，SSIM）［26］越大，表示原始影像和融合影像之间的亮度、对比度和结构越接近。影像整体质量评价方面，相对无量纲全局误差（Relative Dimensionless Global Error，ERGAS）越小，表明影像的整体质量越好。光谱质量评价方面，光谱角（Spectral Angle Mapper，SAM）一般用来计算参考影像与比较影像（光谱曲线）之间的相似性，值越接近于0，代表融合影像的光谱性能质量越高；相关系数（Correlation Coefficient，CC）表示融合影像的光谱保留能力大小，值越大，能力越强［27］；扭曲度（Distortion，D）反映2 幅影像间灰度信息的偏离程度［28］，值越趋向于0，说明光谱保持性越好。传统的Brovey 算法只能处理3 个波段，GF-2 和ZY3-1 的质量评估指标结果如表1～表3 所示，最优值已加粗显示。

表1 GF-2实验组不同融合影像的质量评价指标结果

表2 ZY3-1实验组不同融合影像的质量评价指标结果

表3 GF-2和ZY3-1验证组不同融合影像的质量评价指标结果

对于GF-2 实验组，本文算法影像的整体质量相比其他5 种算法提升最大，ERGAS 为12.041，说明其影像整体质量最接近参考影像，其次是AGSFIM 方法，相差6.212。所有融合影像中，本文方法各波段的CC 值均达到了最优，具有较好的光谱质量保存能力，融合过程光谱信息损失少，后面依次是AIHS＞WT＞AGSFIM＞SFIM＞Brovey；D平均值最小的是本文方法，为16.259，其次是AGSFIM，相差9.611；PSNR 最大的是本文方法，为21.649，第二为AGSFIM（18.065），相差接近3.6，SAM 也是本文方法最小，这4 个评价指标相互印证了所提方法具有更高的光谱质量。虽然AG在所有方法中处于中间水平，但是SSIM 值达到了最优，说明该方法即使图像层次达不到最丰富，但其亮度、对比度和结构最接近参考影像。

对于ZY3-1 实验组，本文算法的ERGAS 为10.444，其次为AGSFIM，相差2.89说明该影像整体质量最好，与第二方法相比，有较大的优势。CC 值最优的是AGSFIM，为0.925，但本文方法与其仅相差0.001，说明二者的光谱保留能力相同。D 平均值最小的是AGSFIM，为8.375，后面依次是本文方法＞SFIM＞Brovey＞AIHS＞WT，后4 种算法D 值均大于15。AGSFIM 方法的PSNR 最大，为26.205，本文方法排第二，相差不大（0.53）。本文方法与AGSFIM 算法的SAM 一样，这4 个评价指标相互印证了虽然AGSFIM为最优方法，但所提方法的光谱质量与其接近。虽然AG 在所有方法中处于最低，但是SSIM 为最优，表明该方法的图像层次虽然不丰富，但亮度、对比度和结构表现最好。

对于验证组，本文所提方法在GF-2 和ZY3-1 上ERGAS、SAM 指标上均表现最优，第四波段的AG 值最大，其他波段的AG 值相比AGSFIM 均有提高，进一步验证了实验组结果的可靠性。

4 结束语

本文提出了一种结合IHS 和高斯滤波的SFIM 算法，在GF-2 和ZY3-1 影像数据上进行了实验，与已有的5 种方法进行比较，对结果进行定性分析，并结合3 种类型的影像评价指标做定量分析。实验结果表明：在这2 种影像数据中，Brovey 影像所存在的过饱和情况在本文算法中得到了改善；在GF-2 中，SFIM 和AGSFIM 影像的异常光亮点问题在本文算法中得到了解决，具备了WT 和AIHS 算法的优点；在ZY3-1 中，虽然本文算法只有部分指标达到了最优，但与第一的算法的评价指标相差很小。总的来说，本文所提出算法能在保证融合影像光谱性能质量的同时，尽可能注入较为完整的空间信息，使其清晰度与全色影像接近。

本次研究只在GF-2 和ZY3-1 上开展了实验，后面可以针对其他数据集和波段光谱不是包含关系的情况展开详细讨论。