基于多尺度特征融合网络的新疆积雪覆盖度估算

张永宏，许 帆，阚 希，曹海啸

（1.南京信息工程大学 自动化学院，南京 210044；2.南京信息工程大学 滨江学院，江苏 无锡 213982）

0 概述

积雪在地球表面覆盖范围广泛且变化活跃，其在可见光波段呈现的高反射率和低导热性直接影响地表反照率、空气及土壤的温度，是反映全球能量平衡的重要指标［1］。新疆作为我国稳定的三大季节性积雪区之一［2］，其大范围积雪覆盖的相关信息研究为亚洲季风气候、降水等课题提供了可靠的参考来源，同时对当地淡水资源管理、强降雪等灾害预防以及居民生产生活产生一定的影响，因此构建高精度、高效率、高稳定性的积雪覆盖度反演模型具有重要的科学与现实意义。在多分辨率遥感卫星技术发展之前，新疆区域的积雪监测研究受地面气象站点的数量少及不均匀分布的限制，无法提供范围广、空间代表性强的数据资料。

相比传统二值化积雪遥感产品，基于亚像元尺度下的积雪覆盖度（Fractional Snow Cover，FSC）估算产品能为下垫面类型复杂、混合像元严重以及边缘信息模糊的积雪地区提供更细致、准确的积雪面积参数。目前，通过光学和微波遥感获得积雪范围遥感监测与制图的卫星数据［3］。由于微波遥感数据受制于较低的空间分辨率，因此基于亚像元尺度的FSC 反演方法的研究多集中于光学遥感资料。光学遥感FSC 的反演算法大致分为线性回归算法、基于光谱分析的混合像元分解算法和基于机器学习算法。

文献［3］基于雪盖算法提出FSC 与归一化冰雪指数（NDSI）存在着正相关线性关系的概念，并给出了相应的计算模型，为后期各类型FSC 的估算研究提供了思路。随着FSC 研究的不断深入，研究人员发现经验算法在处理地物类型复杂研究区域的FSC估算工作中存在一定的不足，仅利用各类型影响因子建立的积雪覆盖度线性关系模型通常存在泛化能力较差、稳定性低的问题。

大多数研究人员通过构建混合像元分解模型来解决FSC 估算问题。文献［4］提出基于Landsat8 TM的积雪制图算法，通过决策树的回归与分类模型对TM 图像进行解混。文献［5］提出一种基于光谱线性混合与辐射传输的中分辨率成像光谱仪（MODIS）积雪覆盖率和雪粒径反演的模型（MODSCAG），该模型准确率较高，但容易产生大量无意义的负值。近年来，国内基于混合像元分解理论的研究也取得一些进展。文献［6］通过对MOD09GA 数据进行纯净像元自动提取，并采用多端元光谱混合分析实现FSC 反演。文献［7］利用空间光谱端元提取方法自动提取端元，通过全约束最小二乘法求解线性混合模型，基于此，提出国产FY-3D 卫星MERSI-II 资料积雪覆盖率提取算法。混合像元分解方法在各项参数可靠的基础上能够解决积雪覆盖度的估算问题，但在现实情况中参数的获取面临储多困难，且该方法的运算量较大。

近年来，研究人员尝试利用以深度学习为代表的人工智能技术解决数据来源广、尺度不一的遥感数据解译以及参数反演的问题。文献［8］将MODIS地表反射率、NDSI、NDVI 和地表覆盖类型数据作为输入，基于人工神经网络应用于FSC 估算。文献［9］将小波分析技术与ANN 模型相结合，FSC 提取结果表明通过小波变换进行预处理，能够显著提高积雪覆盖度估算精度。文献［10］以MODIS 地表反射率数据、NDSI、地表温度、海拔等数据作为输入，以Landsat/ETM+积雪范围作为样本标签，基于BP 神经网络模型在黑河流域进行FSC 反演。文献［11］使用线性回归、混合像元分解及BP 神经网络方法分别对山区FSC 进行估算，结果表明，在地形复杂的现实条件下，考虑多因素的线性回归模型能够实现更高的预测精度和稳定性。

随着国产卫星遥感技术的快速发展，尤其是我国新一代地球静止轨道气象卫星风云四号A 星（FY-4A）的正式投入使用，其搭载的多通道辐射扫描计（AGRI）具有较高的时间分辨率，利用AGRI 时序特征可以提取更多相关信息。在FSC 反演过程中，预测模型的精度一定程度上依赖于数据源的空间分辨率，尤其在面对混合像元现象严重的研究区域时，通常不符合精度标准要求。

本文提出一种基于多尺度特征融合网络的积雪覆盖度估算方法。根据FY-4A/AGRI 遥感数据，基于ResNet 网络结构，结合特征金字塔模式对卷积层特征图进行重构，融合深度网络中深、浅层特征的多尺度信息，增强网络模型的特征表达能力，从而得到精度较高的积雪覆盖度估算结果，同时为国产遥感卫星下的积雪大范围覆盖研究提供有效的FSC 参数。

1 研究区概况与数据处理

1.1 研究区概况

新疆地区与西藏、东北地区并列，是我国季节性积雪资源最为丰富的省份之一［12］。研究结果表明，近五十年来新疆地区的积雪期一般从当年11 月份持续到次年3 月份，积雪空间分布规律遵循北多南少，积雪丰富区域大多分布在天山山区和新疆北部阿勒泰、塔城和伊犁河谷。新疆地区地理高程及研究数据源分布如图1 所示（彩色效果见《计算机工程》官网HTML 版）。新疆年平均自然降水量仅为155 mm，积雪融水为河川径流和生态发展提供了主要水资源［13］。降雪与融雪从两个方面影响着当地长期的生产环境，过于频繁的降雪使得牧区草场被积雪长时间覆盖，难以保障畜牧正常觅食活动，而积雪消融期的融雪性洪水给当地居民的生产和生活带来巨大的阻碍。由于新疆的地面气象站分布稀疏，地面积雪观测资料较为缺乏，因此高时空分辨率的遥感积雪资料对新疆地区积雪范围监控有着重要意义。

图1 新疆数字高程及研究数据源分布Fig.1 Distribution of digital elevation and research data sources in Xinjiang

1.2 数据来源及处理

1.2.1 FY-4A/AGRI 数据

FY-4A 是我国第二代地球静止轨道（GEO）定量遥感卫星的首颗星［14］，AGRI 作为其主要载荷之一，可实现分钟级的区域快速扫描。辐射成像通道覆盖了可见光、短红外波、中波红外和长波红外等波段。本文使用AGRI L1 级产品2 000 m 空间分辨率的7通道影像数据作为主要研究数据，具体通道数据信息如表1 所示。

表1 FY-4A/AGRI 7 通道数据信息Table 1 Data information of FY-4A/AGRI 7 channels

由于地形起伏、大气折射、地球自转等因素导致遥感图像在地理位置上发生变化［15］。为排除上述因素带来的误差，本文需要对原始影像数据结构进行重建。AGRI 数据预处理主要分为可见光近红外波段定标、几何校正、矢量裁剪3 个步骤。FY-4A/AGRI数据源预处理流程如图2 所示。几何校正采用地理位置查找表（GLT）将源影像转换成0.02°等经纬度影像，以完成待处理数据中每个像元与地理空间信息的匹配，根据新疆区域矢量文件裁剪出感兴趣区域文件，最终获得预处理后的图像。新疆地区FY-4A/AGRI 真彩图像如图3 所示（彩色效果见《计算机工程》官网HTML 版）。

图2 FY-4A/AGRI 数据源预处理流程Fig.2 Preprocessing procedure of FY-4A/AGRI data source

图3 新疆地区FY-4A/AGRI 真彩图像Fig.3 True color images of FY-4A/AGRI in Xinjiang

1.2.2 地理信息数据源和特征参数

地理信息数据源包括地理高程数据、坡度和坡向数据。本文采用GTOPO30（Global 30 Arc-Second Elevation）作为高程数据。高程数据、坡度和坡向数据主要反映研究区域的地理特征，其中坡度和坡向数据由高程数据计算得出，增加坡度和坡向地理信息数据为FSC 提取模型的输入增添了多样性，同时也为积雪不规则分布地区的FSC 反演工作增加了稳定性因素，新疆地区坡度和坡向图分别如图4、图5所示（彩色效果见《计算机工程》官网HTML 版）。

图4 新疆地区坡度图Fig.4 Slope map in Xinjiang

图5 新疆地区坡向图Fig.5 Aspect map in Xinjiang

1）归一化冰雪指数（NDSI）用于区别云雪在AGRI 通道1 和通道5 反射率差异，如式（1）所示：

2）归一化植被指数（NDVI）用于反映植被覆盖情况，包括AGRI 通道5 和通道3，如式（2）所示：

1.2.3 积雪遥感产品（MOD10A1）

本文使用的MODIS 每日积雪产品MOD10A1来源于美国国家航空航天局（National Aeronautics and Space Administration，NASA）的地球观测系统数据及信息系统网站［12］，被广泛用于积雪范围的监测和研究。

为实现MODSI 数据的FSC 制图，文献［13］构建一种NDSI 和FSC 的线性关系模型，如式（3）所示：

本文将MOD10A1 产品数据投影到WGS84 地理坐标系，使用Google Earth Engine 大数据云平台，根据式（3）输出FSC 通道数据。

1.2.4 真值标签

真值标签的制作是有监督深度学习方法的关键步骤［16］。本文FSC 真值标签来源于30 m 空间分辨率的Landsat8-OLI 陆地成像仪拍摄的影像，2019 年1 月29 日轨道号为147031 的Landsat8-OLI 遥感影像FSC 的真值提取图像如图6 所示，估算方法如下：

图6 Landsat8-OLI 遥感影像积雪覆盖度提取图像Fig.6 Image extracted from Landsat8-OLI remote sensing FSC

1）基于Google Earth Engine 大数据平台，筛选出云覆盖不高于10%的Landsat8-OLI 影像，将符合要求的图像按式（4）提取FSC；

2）将真值图投影成WGS84 地理坐标系，将其与AGRI 预处理后的遥感数据进行像元对像元的地理配准，如式（4）所示：

3）使用ENVI 遥感数据处理工具，通过像素聚类方法将30 m 空间分辨率真值图重采样到2 000 m 空间分辨率。

2 本文方法

用于FSC 研究的遥感数据规模庞大，其在不同波段的光谱信息和地理信息要素之间存在十分复杂的非线性关系，然而，深度学习方法具有较高的非线性拟合能力和运算效率［17］。在此基础上，本文构建一个基于ResNet的改进网络模型，对新疆地区FY-4A/AGRI FSC 进行估算与研究，其方法流程如图7 所示。云/雪的误判是影响积雪遥感产品精度的一个重要因素，当地形或气象条件变得严峻时，尤其在新疆的高海拔地区，存在大量混淆信息。去云算法是根据FY-4A/AGRI 高时间分辨率特性，基于卷积神经网络对积雪的时序特征进行提取，从而降低云雪误判概率。

图7 本文方法流程Fig.7 Procedure of the proposed method

2.1 深度残差网络

2.1.1 残差学习

网络的加深可以提取更复杂的特征，以达到更高的预测精度，但是在网络学习过程中仅采用堆叠层数、加深网络的方式，通常存在梯度爆炸和梯度消失的问题［18］。深度残差网络（ResNet）通过构建恒等映射为向量输入-输出增加多条短路连接路径，进而快速有效地解决网络退化的问题。深度残差网络模型由若干个基本残差单元组合而成，基本残差单元如式（5）所示：

深度残差网络通过递归可将任意层的残差单元的特征XL表达出来，如式（6）所示：

其中：Xl为对应残差单元的输入；F为残差函数。

残差单元的学习过程如图8 所示，通过图8 中捷径连接的方式（相当于电路连接中的短路操作）直接将输入Block 的x传播到输出位置，并将其作为初始结果H（x），当F（x）=0 时，即H（x）=x，以实现恒等映射。输入信息的传递可通过捷径连接方式跨过若干冗余层，再将误差通过捷径连接方式向上传播。

图8 残差单元学习过程Fig.8 Learning process of residual unit

2.1.2 ResNet 网络结构

相比卷积神经网络的其他经典架构（如VGG、AlexNet 等），ResNet 具有层级结构清晰、特征表达能力较好、传播效率高等优点，其主要结构由卷积层、池化层、全连接层组成，如图9 所示。

图9 ResNet 网络结构Fig.9 Structure of ResNet network

ResNet 网络模型具有较高的数据利用率、较低的冗余信息和良好的可优化性，能较好地匹配光谱信息与地理因素间的非线性关系，因此适用于解决遥感积雪覆盖度反演的问题。但是ResNet 网络深层的特征图具有较低的分辨率，缺乏对空间几何细节的表达，在一定程度上会影响模型的估算精度，在地形复杂、边缘信息模糊的研究区条件下，难以呈现细节丰富的FSC 制图。

2.2 积雪覆盖度估算方法

深层特征图和浅层特征图在语义表达和空间表达方面具有不同的优势［19］。基于深度残差网络和特征金字塔模式融合高层与低层特征的表达优势，本文综合考虑预测结果和地理空间分布两个层面，提出一种更合理的FSC 估算方法。

2.2.1 降维和上采样

由于ResNet 网络的卷积过程是自底向上的，输出的特征也是越来越深的，因此在初步的特征提取过程中，本文对高、低层特征图自顶向下、由深至浅进行1×1 的卷积降维，使得高层特征图的通道数与邻近特征层的通道数相匹配。本文采用最邻近差值法依次对降维后的每层特征进行尺度为2 的上采样操作，该方法在保持高速率运算的同时，还最大程度地保留了语义信息。

2.2.2 特征重构

特征的提取与重构主要分为2 个步骤。

1）通过ResNet 网络对FY-4A/AGRI 遥感图像进行初步的特征提取，由于第1 个STAGE 卷积层输出的低层特征不具备较多的语义信息，因此只对STAGE2～STAGE5 共4 个阶段的激活特征进行重构，分别对应为c2、c3、c4、c5。STAGE2～STAGE5 每个阶段的卷积层3×3。

2）c2、c3、c4、c5 共4 个阶段特征图遵循从高到低逐层上采样的规律，将上采样映射结果叠加到相同分辨率的邻近层特征图上，每个阶段的输出结果都作为下一个阶段的输入，分别对应为S1、S2、S3，重构过程如图10 所示。其中：L1 为AGRI 7 通道光谱数据；L2 为地理数据层；X2 为尺度为2 的上采样操作；将升采样后的特征图叠加到相应尺度的特征图上，通过逐层的叠加与组合，最终生成增强的特征信息。重构过程的参数信息如表2 所示。

表2 特征重构参数信息Table 2 Parameters information of feature reconstruction

图10 基于ResNet 改进网络的积雪覆盖度估算流程Fig.10 Estimation procedure of FSC based on ResNet improved network

损失函数通过度量真实值与预测值之间的偏差，以衡量模型预测效果［20］。本文对融合FY-4A/AGRI 光谱信息和地理特征信息后的遥感数据进行回传损失，损失表达如式（7）所示：

其中：n为输入图像像素数量之和；ti为FSC 真实值；pi为FSC 预测值。

3 实验结果

3.1 实验设计

本文方法将2018 年11 月 至2020 年1 月FY-4A/AGRI 2 000 m 空间分辨率的L1 级数据的卫星影像数据作为主要数据来源。按照80%和20%的占比划分为训练集和测试集。选择MODIS 过境新疆地区的MOD10A1 积雪产品V006 版本的遥感影像用于与本文FSC 估算方法进行对比分析。其中，MOD10A1 的载体为太阳同步极轨卫星，每日固定过境时间采用西八区计时规则，AGRI 研究数据采用与MOD10A1 成像时间最接近的5 时30 分的影像。真值标签的设计与制作采用Landsat8-OLI 30 m 空间分辨率遥感图像，筛选云量低于10%并符合要求的图像，共计70 幅遥感源影像，验证集4 幅遥感源影像。实验硬件环境为：Intel i9-9900K 16 核心CPU、Nvidia RTX2080 Ti 11GB 显存。软件环境为：python3.7、Ptorch 学习框架、pycharm 集成开发环境。

3.2 对比与验证

本文采用新疆地区的A1、A2、A3、A4 共4 个样本区作为主要研究区域，使用4 种不同的FSC 估算方法，分别为基于线性回归算法代表的MOD10_FSC、基于深度学习算法的 BP-ANN_FSC、ResNet_FSC，以及本文提出的Our_FSC。本文将提取的Landsat 8 FSC 通道数据作为真值，基于FY-4A/AGRI 和MOD10A1 影像数据进行遥感FSC 的提取研究。图11 为新疆地区FSC 比例化制图（彩色效果见《计算机工程》官网HTML 版），其中图像中FSC 值的区间为0～1，不同的比例值呈现在不同的颜色区间内。

图11 新疆全景积雪覆盖度比例化制图Fig.11 Proportional mapping of panoramic FSC in Xinjiang

本文使用相关系数（R-Square）、解释回归模型方差得分（Explained Variance Score，EVS）和均方误差（Mean Squared Error，MSE）作为模型的评估指标。表3 为不同FSC 估算方法与真值对3 种评估指标的拟合结果。本文方法在4 个样本区与真值FSC的R-Square 平均值为0.57，EVS 平均值为0.65，MSE平均值为0.10。

表3 不同积雪覆盖度估算方法与真值的拟合结果Table 3 Fitting results of different FSC estimation methods and true values

图12 为 在A1（2018 年12 月5 日）、A2（2019 年1 月29 日）、A3（2019 年2 月14 日）、A4（2019 年11 月19 日）样本区不同FSC 估算方法的比例化制图对比（彩色效果见《计算机工程》官网HTML 版）。

图12 不同积雪覆盖率估算方法的比例化制图对比Fig.12 Proportional mapping comparison among different FSC estimation methods

从4 组实验提供的比例化制图的成像效果可以得出以下结论：

1）MOD10_FSC 方法对比例值低于0.3 的区域不敏感，即呈现的蓝紫色块较少，且在部分区域的色块呈现“过红”现象，间接说明MOD10_FSC 方法会高估像元预测值。

2）BP-ANN_FSC 方法的比例化制图整体成像效果与真值标签图相比，A1～A3 组实验在积雪丰富区域存在较严重的低估现象。在A4 组实验中，该方法与ResNet-FSC 方法出现了对积雪覆盖度的低估现象。在BP-ANN_FSC 与相同分辨率的Our_FSC 方法的成像效果对比时，BP-ANN_FSC 方法的比例化制图相近颜色色块分布较为集中，说明该方法无法精准地预测比例值相差较小的区域。

3）ResNet_FSC 方法，虽然在A2组实验中R-Square拟合精度略高于MOD10_FSC 方法，但平均精度和稳定性较低。与本文方法相比，ResNet_FSC 方法呈现的比例化制图的纹理不清晰，对细节特征的表达能力较差，无法完成高精度的FSC 反演工作。

本文方法的主要优势与特点在于：FY-4A/AGRI数据源具有较高的时间分辨率，从而提供更多的光谱信息特征；采用去云算法形成云掩膜，以降低云覆盖因素带来的干扰；基于ResNet网络结构，结合特征金字塔模式对卷积层特征图进行重构，以融合深层和浅层特征的表达优势，从而更好地拟合光谱信息与地理因素间的非线性关系，在实现模型预测高精度的同时保证了FSC 制图在地理空间分布上的高连续性。

4 结束语

积雪覆盖度估算的相关研究在一定程度上依赖于遥感数据源的分辨率，然而现有深度网络模型对源图像的特征提取能力有限，对于中低分辨率遥感数据的反演效果不理想。本文提出一种基于多尺度特征融合网络的积雪覆盖度估算方法。通过融合深层和浅层特征的多重语义信息，同时融入地理信息数据，并结合AGRI 数据高时间分辨率的特性，以提高数据源和特征信息的整体利用率，从而得到更准确和合理化的积雪覆盖度反演图像。实验结果表明，本文提出的FSC 估算方法能够充分结合数据源优势和深度学习方法的特点，相比MOD10_FSC、ResNet_FSC 等方法，该方法的R-Square 和EVS 均值分别为0.57 和0.65，能够得到高精度的积雪覆盖度估算结果。后续将针对不同地物类型进行分类讨论，进一步提高模型精度和泛化能力。