密集连接网络在SAR 与多光谱影像融合中的应用

王书涛，崔 凯，孔德明，刘诗瑜，吴 兴

（燕山大学电气工程学院河北省测试计量技术及仪器重点实验室，河北秦皇岛066004）

1 引 言

多光谱（Multispectral，MS）卫星和合成孔径雷达（Synthetic Aperture Radar，SAR）卫星的成像原理不同。多光谱影像是基于光反射成像，拥有较高的光谱分辨率，可以较好得反应地物光谱信息。但其成像受限于天气和光线因素，无法在云雾、冰雪等恶劣天气下保证影像质量，不便于及时性分析。不同于多光谱成像，SAR 采用主动式微波成像，不仅可以不受天气影响，全天时全天候成像，而且可以穿透水体，获得更多普通光学卫星无法获得的地物信息［1］。因此，为了突破卫星单一传感器的成像限制，将多光谱影像和SAR 影像进行特征融合，以充分获得地面有效信息，融合后的图像可用于图像分类［2］、图像分割［3］和目标识别［4］等领域，在灾情监测、环境监测、资源勘查、测绘和军事应用等方面都具有重大意义［5］。

目前针对多源遥感影像的融合算法主要为空间域变换和多尺度分析［6］两大类。其中，空间域方法采用分量替换，主要包括PCA 变换、IHS变换和Brovey 变换等。以IHS 变换为例，首先将多光谱影像变换到IHS 空间，将SAR 影像与多光谱I 分量做直方图匹配，然后用SAR 影像替换其I 分量，反变换回RGB 空间［7］。然而此方法在保留光谱信息的同时也造成了光谱失真和细节模糊等问题。多尺度分析法主要是将图像进行多尺度分解，得到低频和高频信息，然后在各自频率上采用不同的融合规则进行特征融合，最后进行逆变换，重构出融合图像［8］。常用的多尺度分析法有金字塔变换、小波变换、NSCT 变换和NSST 变换等。2015 年，Liu 等［9］提出了小波变换和稀疏表示相结合的融合算法。2017 年，Mao等［10］将多尺度分解和稀疏表示的方法用于太赫兹影像，取得了较好的增强效果。之后，Shen等［11］提出了基于非下采样剪切波变换（NSST）的偏振图像融合算法。虽然多尺度分析可以在不同尺度分辨率下分析图像，但需要设计不同尺度下的融合规则，增加了计算的复杂程度，同时也容易损失空间细节特征。

近年来，深度学习发展火热，基于卷积神经网络（Convolutional Neural Network，CNN）的特征提取算法应用广泛，也备受多源图像融合领域相关学者的青睐。2016 年，Masi 等［12］提出了基于CNN 的泛锐化方法，使用简单的三层结构提高了光学卫星影像的融合效果；2017 年，Yuan 等［13］结合深度残差网络，增强了多光谱影像泛锐化的精度；2019 年，Ma 等［14］提出了基于生成对抗网络的融合模型，在近红外和可见光图像融合中取得了良好的效果；2020 年，Xu 等［15］使用ResNet 进行多尺度特征融合，并应用于遥感影像建筑物分割。目前，针对SAR 与多光谱的研究多集中于多尺度分析。

基于以上分析，本文利用密集连接网络（Densely Connected Network，DenseNet）可减少梯度消失、最大化网络层中特征传播的特点，同时为解决融合影像光谱失真、细节模糊等问题，提出了基于DenseNet 的SAR 与多光谱影像的融合算法，将图像输入编码器和解码器，充分学习图像特征，采用区域能量最大的融合策略融合深度特征，最终得到清晰的融合图像。

2 卷积神经网络

卷积神经网络（Convolutional Neural Network，CNN）是一种包含卷积运算的前馈性神经网络，网络中的参数的梯度可通过反向传播机制不断更新以达到最优，训练好的模型可以学习输入图像的某些特征。LeNet-5 是最早提出的用于图像分类的网络［16］。经过多年的发展，CNN 已被广泛应用于目标检测、图像融合、语义分割和自然语言处理［17］等领域。

CNN 的经典结构主要由卷积层、激活层、池化层和全连接层构成。其中，卷积层的作用是通过卷积核对输入图像进行特征提取，其公式如式（1）：

其中：ω为卷积核，通常为奇数大小，b为偏置向量，*代表卷积运算，x为卷积层的输入，f（x）为卷积层的输出。

卷积层之后通常为非线性激活层，其主要作用是提高网络解决非线性问题的能力［18］。常用的非线性激活函数有ReLU，LeakyReLU，tanh 和sigmoid 等。其中，LeakyReLU 如式（2）所示：

其中：x为上一层卷积层的输出，α为泄漏值。α的引入解决了当输入x为负时梯度消失的问题。

池化层也称下采样层，其作用为减少特征数据量，降低信息冗余，同时也防止学习过程中出现过拟合现象，常用的池化函数有最大池化和平均池化［19］。

全连接层位于网络模型的最后一层，该层中的每个节点都与前一层的所有节点相连，将学习到的特征映射到样本标记空间。

本文采用的融合过程如图1 所示。首先将源图像输入编码模型提取图像特征，然后采用融合规则对特征图进行融合，得到N维特征图组，最后输入解码器中重构得到融合图像。

图1 卷积神经网络融合过程Fig.1 Convolutional neural network fusion process

3 融合算法实现

3.1 DenseNet 模型

在传统的CNN 模型中，随着网络深度的增加，容易出现网络降级，并且输入层与输出层距离过远，容易导致细节信息的丢失。为了解决网络降级问题，本文引入了密集连接［20］的网络连接方式，即密集连接块中每一层的输入来自于前面所有层的输出，因此在L层的网络结构中，共有L（L+1）/2 个连接。通过这种连接方式，特征图和梯度信息可以在网络中更有效地传播，从而减轻了梯度消失问题，并且使得参数减少，网络更加容易训练。

本文CNN 模型由Encoder 和Decoder 两部分组成，包含1 个输入层、8 个卷积层和1 个输出层。其中，前4 层位于Encoder 中，采用密集连接的方式，对输入图像进行特征提取，每个卷积层的输出维度固定为16；后4 层位于Decoder 中，采用级联方式，对图像进行逆卷积重构。卷积核大小设为3，步长为1，采用反射填充模式，激活函数选用LReLU，模型框架如图2 所示。密集连接网络参数如表1 所示。

3.2 训练过程

3.2.1 损失函数

为了更好地重建输入图像、保存更多的有效信息，选择结构相似性（Structural Similarity，SSIM）［21］作为输入输出图像的相似性衡量指标，其公式如式（3）所示。为了避免使用滑动窗口计算SSIM 过程中产生的“分块效应”，使用了11×11 大小的对称高斯加权函数作为加权窗口，高斯函数标准差设为1.5，这样可以保证局部计算过程中的各向同性，减少窗口大小对计算结果的影响：

其中：x，y分别代表输入和输出图像，μx，μy分别代表x和y的均值，σ2x和σ2y分别代表x和y的方差，σxy代表x和y的协方差，c1和c2是维稳系数。SSIM 取值范围为（0，1），值越大表明相似性越好，因此选用损失函数Lloss，如（4）所示：

图2 DenseNet 模型图Fig.2 Model diagram of DenseNet

表1 密集连接网络模型参数Tab.1 Densely connected network parameters

其中，SSIM(O，I)为输入图像和输出图像的结构相似性指标，其值越大，表明结构信息损失越少，两幅图像越接近。

3.2.2 融合策略

多光谱影像具有丰富的地物信息和光谱信息，SAR 影像包含更多的细节信息，为了同时保留两幅图像各自的信息，更好地表达两类图像的特点，采用区域能量最大的融合策略。在融合阶段，融合层加在Conv4 之后，将两幅影像的64 维特征图进行能量计算，输入到解码器中重构出融合图像。融合公式可用式（5）表示：

其中：Ia和Ib分别是SAR 影像和多光谱影像的64维特征图，Ea和Eb为其对应区域的能量，表达式如式（6）所示：

其中，［m，n］为计算能量的滑动窗口大小，本文滑动窗口大小设为3。

4 实验结果与分析

实验采用哨兵1 号SAR 影像、Landsat-8 和高分1 号光学卫星影像进行融合实验。其中，SAR 影像采用SNAP 雷达影像处理软件进行预处理，主要步骤包括多视、滤波、去除热噪声和地形校正，其中滤波过程选用Lee 滤波器。Landsat-8 影像选用红、绿、蓝三个波段进行波段叠加，并用真彩色显示。所有影像均经过双三次插值法重采样处理，重采样后的影像空间分辨率均为10 m。为了验证模型的有效性和一般性，选择SAR 与Landsat-8 影像作为第一组融合数据，选择SAR 与高分1 号影像作为第二组融合数据。

4.1 训练过程分析

本文所提网络的主要功能为提取图像特征并重构图像，因此，训练阶段不进行图像融合，仅使用具有高空间分辨率的SAR 影像作为训练数据，数据量为95 000 张，图像尺寸为256×256，迭代次数设为3 800，epoch 设为3，batch size 设为25。采用随机梯度下降法计算损失函数的梯度，迭代更新网络中的权重与偏差项。迭代完成后，保存模型参数。训练过程损失函数曲线如图3 所示。

从图3 可以看到，网络收敛迅速，在迭代至936 次时，损失函数已达到10-4次方量级，且收敛平稳，迭代完成时，损失函数为6.8×10-4。这表明网络收敛性能好，可以最大程度减少输入图像的结构损失，网络输出影像与输入影像十分逼近。

4.2 融合结果分析

图3 训练迭代图Fig.3 Training iteration graph

结果分析从主观视觉和客观评价指标两个角度开展。为了更好地体现本文算法在SAR 与多光谱影像融合中的优越性，将本文融合算法与基于成分替换法的Brovey 变换和GS 正交融合、基于多尺度分析法的IHS+Wave 和NSCT、基于CNN 的PanNet 方法进行对比试验。对于PanNet 方法，使用40 000 张256×256 大小的哨兵1 号影像进行训练，保留原文中的超参数以达到最佳实验效果。两组实验结果对比如图4～图5 所示。

图4 第1 组融合结果Fig.4 Fusion results of the first set

图5 第2 组融合结果Fig.5 Fusion results of the second set

首先对融合结果进行主观评价。从图4 可以看出，基于成分替换法的Brovey 变换和GS 正交融合结果表现出了明显的光谱失真现象，岸边厂房和草地颜色明显发生了变化；基于多尺度分析法的IHS+Wave 方法和NSCT 方法较好的增强了空间分辨率，但也存在不同程度的光谱失真现象；而基于CNN 方法的PanNet 和本文方法在光谱保持程度上明显大于其他方法，与原多光谱影像相比几乎没有光谱失真，并且SAR 影像的空间细节在融合结果中得到了很好的保留，空间分辨率明显上升；相比之下，本文方法融合结果的清晰度要高于PanNet 方法，这是由于在训练过程中，PanNet 方法将上采样后的多光谱信息手动加入到了模型的输出中，不可避免的会产生手工伪影，影响空间分辨率。同理，在图5 中，本文方法融合结果不管是在光谱信息的保持上还是在空间细节的增强上，都明显优于其他方法，证明了本文方法在SAR 与多光谱影像融合中的优越性。

表2 客观评价指标Tab.2 Objective evaluation index

在客观指标上，选择信息熵（Entropy）［22］、平均梯度（Average Gradient，AG）、图像清晰度（Image Definition，IMDE）［23］、差异相关性之和（Sum of Correlations of Differences，SCD）［24］和多尺度结构相似性（Multiscale Structural Similarity，MSSIM）［25］作为融合质量评价指标。在测试阶段，选用landsat-8 影像、高分1 号影像和哨兵1号影像各500 张进行融合实验，融合结果的平均指标如表2 所示。

分析表2 可以得知，第一组数据中，本文所提方法在除平均梯度外的各项指标上均取得了最优值，与主观分析评价一致，证明本文方法在光谱保持和空间细节保留方面效果较好；其中，平均梯度越大仅表明了图像变化较多，层次更丰富，但从主观角度看，图像的光谱保持程度不一定好。两组数据中，本文方法在SCD 和MSSIM 指标上取到了最大值，说明融合图像较输入图像失真较少，且从主观角度看图像更加清晰，证明所提方法能很好地保持SAR 影像中的细节信息。

5 结 论

本文提出了基于密集连接网络的SAR 与多光谱影像融合算法，设计并实现了SAR 与多光谱影像的融合模型，算法模型分为三部分：编码器、融合层和解码器。首先，源图像输入编码器分别进行特征提取，然后采用区域能量最大的融合策略进行特征融合，最后输入解码器中重构影像，并对融合结果进行了主观和客观两方面的评价。主观上看，融合结果避免了光谱失真，较好地保持了原有的地物色彩，提高了影像的清晰度；多个客观指标也表明提出的算法优于其他融合算法，尤其是多尺度结构相似性指标达到了0.930 7，最大化保持了融合影像和源图像的结构相似度。实验结果表明，提出的密集连接网络融合算法适用于SAR 与多光谱影像的融合，且对多个卫星数据具有良好的适应性，表现出了很好的融合效果。