深度学习在天气预报领域的应用分析及研究进展综述

2023-07-03 14:12董润婷王晓英曹腾飞黄建强吴洁瑕
计算机应用 2023年6期
关键词:天气预报气象数值

董润婷,吴 利*,王晓英,曹腾飞,黄建强,管 琴,吴洁瑕

(1.青海大学 计算机技术与应用系,西宁 810016;2.青海省气象台,西宁 811300;3.北京弘象科技有限公司,北京 100195)

0 引言

天气预报作为一个与人类生产生活和社会稳定息息相关的课题,一直是科学家们的研究重点。由于人们并不完全清楚气候变化这种复杂时空问题的内在机制,很难建立精确且高效的数值天气预报(Numerical Weather Prediction,NWP)模式;另外,虽然基于机器学习的方法已被证明可以根据历史数据学习内在“规律”并有助于作出相对准确的预测[1],但是由于天气预报相关问题涉及的气象数据体量庞大、特征维度高、格式复杂多样,传统机器学习方法在面对爆炸式增长的气象训练数据和更长期的预测需求时,预测效果难以进一步提升,因此当前人们能够准确预测的天气演变时长仍然仅限于短短几天,而长期或者季节性的预测,以及台风、山洪等极端天气情况的预报仍然是该领域面临的主要挑战[2]。目前,不断发展的时空序列深度学习模型、计算机持续增长的计算能力和大量现有的观测数据都为气象领域相关问题建模分析和预测提供了新的机遇。气象领域的预测或检测问题无论是从数据形式还是问题本身,都非常经典地融合了时间与空间特征的深度学习问题,因此深度学习在天气预报领域,例如风速与降水等天气要素的预测问题[3-4]、极端天气的检测问题[5-6]和天气现象的分类问题[5]等,都有着广泛的应用。根据历史的观测结果准确检测气象信息、正确预测气象要素的未来趋势对广泛的科学研究和实际应用至关重要。

虽然深度学习模型一般分为能够编码时间信息的递归神经网络(Recurrent Neural Network,RNN)和能够编码空间信息的卷积神经网络(Convolution Neural Network,CNN)两大主要方向,但现在越来越多研究开始将两者结合,对融合时间与空间特性的气象数据进行分析建模。这种使用深度学习模型进行时空序列预测(SpatioTemporal Sequence Forecasting,STSF)分析的方式与传统机器学习模型相比有诸多优势:气象数据的空间邻近性和长期时间相关性通常比较复杂,特征难以捕捉,因此与传统的需要人工设定特征的机器学习方法相比,融合了CNN 多层卷积和RNN 递归结构的深度学习模型可自动从原始数据中学习这些时空依赖关系[7];气象数据特征维度高、数据格式复杂难懂[8],而由多个简单且非线性的模块堆叠而成的深度学习模型拥有强大的函数逼近能力,可以通过子模块的池化、参数丢弃和激活的功能将抽象的高层特征表示转化为较低层次的潜在特征表示。目前已有更多的研究者[9]探索由用于时空序列预测的深度神经网络和编码器结构(例如注意力机制)组成的混合深度学习模型,这种组合建模的发展过程如图1 所示。在天气预报领域,具有发展前景的融合时空信息与注意力机制的深度学习模型则是将原始数据按时间序列顺序输入经过采样器采样和时空序列预测模型编码时空信息,再通过注意力机制整合空间信息得到预测输出的结果,原理如图2 所示。

图1 时空序列预测问题的深度学习模型发展流程Fig.1 Development flow of deep learning model for spatiotemporal sequence forecasting problem

图2 融合时空信息与注意力机制的深度学习模型Fig.2 Deep learning model integrating spatiotemporal information and attention mechanism

同时,随着遥感和实地检测技术的普及,已有大量的地球系统数据可用[10],但是来自传感器的观测数据可能会由于设备原因而包含噪声信息或缺省值[11],如何从这些大量复杂又不确定的时空数据中提取有用的信息和知识也是一个需要突破的方向。此外,从原理上来看,理论驱动的数值天气预报模式和数据驱动的深度学习技术通常被视为两个不同的领域,具有截然不同的科学范式,但两者间的协同作用较大,因此两种技术的共同进步也使得使模拟和数据科学的方法能够在多个方面更紧密地结合在一起。

本文先将经典深度学习应用领域的科学问题与天气预报领域应用深度学习技术的数据格式和问题模型的异同作类比分析。首先,回顾并总结了深度学习在解决天气预报方面问题的发展历程与应用现状;然后,综述了将深度学习技术与数值天气预报结合的技术重点和最新应用进展,指出了在庞大的气象数据体量下对深度学习模型性能提升的可能性和研究深度学习模型的可解释性对天气预报领域的重要性;最后,对比了深度学习问题的评价指标在气象领域的融合与适配以及应用场景,指出了深度学习在天气预报中应用的挑战问题、后续发展方向和研究重点,为以后天气预报领域的深度学习发展提供参考依据。

1 天气预报问题与其他经典深度学习问题的类比分析

针对时空数据的深度学习技术已经在智能交通(交通预测)、城市规划(人流移动)等相关应用领域[12-14]取得了显著成功,而在天气预报领域的应用仍处于初级阶段。

使用深度学习模型解决经典时空序列预测问题的一般过程通常是:首先将原始时空数据构建数据实例进行存储,再将时空数据实例表示为一种特定的数据格式,例如序列数据、二维矩阵、三维张量和图等;然后针对不同的数据格式采用不同的深度学习模型进行处理;最后选择合适的深度学习模型用于处理各种时空数据挖掘任务,如预测、分类等。

无论是数据格式还是抽象后的问题模型(回归、分类、异常检测、时空状态预测),天气预报领域问题与其他经典深度学习问题都有着一定的相关性。

1.1 数据格式

Wang 等[15]总结了经典深度学习问题的基本数据格式,包含事件、轨迹、数值和视频等几种类型。基于此,本文将各类数据格式与相关天气预报问题对应如下。

1)事件。事件数据包括在某个地点和时间发生的离散事件,例如极端天气检测问题中的冰雹、雷电等。

2)轨迹。轨迹表示随时间推移在空间中移动的物体所经过的路径。轨迹数据通常由传感器收集,随着时间的推移周期性地采集云高云量等天气相关信息。

3)数值。数值数据包括各类连续时空场的测量值,例如在空间和时间上观测的一组温度、湿度等基本天气要素参数。

4)图像。天气预报领域的图像数据通常是将雷达的基本反射率通过线性转换成普通图片后进行雷达回波外推。

5)视频。由一系列图像组成的视频也可以视为一种时空数据。在空间域中,相邻像素通常具有相似的RGB 值,因此呈现出较高的空间相关性。在时间域中,连续帧的图像通常会平滑变化并呈现较高的时间依赖性。

深度学习模型所处理的数据类型与气象数据之间的相似性为将深度学习整合到气象系统中提供了令人信服的论据,但气象数据独有的特性也一定程度上成为了天气预报问题应用深度学习模型的挑战。例如,卫星观测数据会伴随着各种噪声、缺省与不确定性,以及采集、存储和传输过程中的失真[16],另外,光谱、空间和时间维度也带来了计算上的挑战[17]。

1.2 问题模型

当把包含有时间与空间的气象数据,表示为深度学习模型能够处理的合适的数据表示格式后,将它们提供给不同的深度学习模型,以解决不同类型的天气预报问题。例如经典CNN 模型主要用于处理图数据[18],完成对各类天气模式的检测与识别,也可以用来处理轨迹数据,预测雷达回波图中的云层轨迹;RNN 模型用于预测时间序列,预测天气要素的未来值;ConvLSTM(Convolutional Long Short-Term Memory network)[19]首先提出将RNN 和CNN 结合,通过雷达回波图应用于降水情况分类;此外还有以自动编码器(Auto-Encoder,AE)为基础的复杂深度学习模型[1,20],在模型中同时编码时间与空间信息以解决更复杂更不确定的科学问题。

天气预报问题可以类比经典深度学习问题,大致划分为分类、回归、检测识别等几个方向;然而在解决每个天气预报领域中具体的实际问题时,如何选择并设计一个完整且合理的深度学习模型,以及需要融合哪些其他数据或基础模型仍然需要具体分析。因为现实中某个时间和空间点上的过程会受到一些不易被观察到的其他状态的影响,例如,当判定某一大气状况归类是飓风还是温带风暴时,就需要同时了解一定的空间信息[21]。

综上所述,在天气预报领域中的观测图像可以类比为经典深度学习问题中包含特定变量的二维数据或是照片中的颜色三元组(RGB 值);而动态视频本质上为一系列图像序列,可类比于随时间演变的二维数据;同样,自然语言和语音信号也具有与地球系统变量动态时间序列相同的多分辨率特性;此外,分类(气旋分类、天气状况分类)、回归(天气要素数值预测)、异常检测(极端天气检测)和动态建模是气象监测领域的典型问题。

因此,经典问题中深度学习技术的发展方向也同样适用于天气预报领域。经典深度学习方法通常被分为空间特征学习(例如计算机视觉领域的CNN)和时间特征学习(例如自然语言处理领域的RNN)两个方向,Shi 等[19]提出的ConvLSTM 将两个方向结合用于降水预测。

1.3 评价指标

在深度学习领域,针对不同类型的数据(数值、图像等)和问题(分类、回归、检测识别等)的评价指标体系已基本建立完备。下面对于这些评价指标在天气预报领域的适配与应用进行总结和说明。

1.3.1 分类问题

天气预报问题中经常根据预测后的雷达回波图在一定区域范围的网格化的气象要素结果对该区域进行晴雨分类,当格点数值大于一个特定阈值时,预测为有降水;否则预测为无降水。以晴雨分类为例,经典深度学习中的混淆矩阵对应的气象概念如表1 所示。

表1 气象领域的混淆矩阵Tab.1 Confusion matrix in meteorological field

针对不同需求,气象上有许多评价此类预报准确度的指标,其中关键成功指数(Critical Success Index,CSI)、误警率(False Alarm Rate,FAR)和检测率(Probability Of Detection,POD)常用于评估模型精度,具体如表2所示。

表2 气象分类问题的评估指标Tab.2 Evaluation metrics for meteorological classification problems

1.3.2 回归问题

当评价时序模型预测结果时,一般基于预测值和实际值的函数,比如预测某坐标未来一段时间的风速、温度和降水量等数值预测问题。假设存在n个样本,每个样本的真实值为预测值为y={y1,y2,…,yn},则常用的评价指标通常有均方误差(Mean Square Error,MSE)、均方根误差(Root Mean Square Error,RMSE)、平均绝对误差(Mean Absolute Error,MAE)、平均绝对百分比误差(Mean Absolute Percentage Error,MAPE),以上几种评估结果的数值范围均为[0,+∞),且结果越小,模型越优。表3 给出了关于上述指标的计算原理和说明。

表3 气象回归问题的评估指标Tab.3 Evaluation metrics for meteorological regression problems

1.3.3 图像预测与检测识别

气象有关的时空序列问题也通常包含图片的数据格式,例如在视频帧预测、根据雷达回波图进行降水预测或者根据温度位势图检测热带气旋以识别极端天气模式时,通常需要对比评估预测生成的图像与真实地理图像的区别,客观的基于数学原理的评价方法则有助于量化评价的数值结果。目前主流的客观评价方法为通过峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)和结构相似度(Structural SIMilarity,SSIM)评估预测图像与真实图像的差异[22],通过交并比(Intersection of Union,IoU)[23]评估检测范围与真实范围的重叠度。例如,Chen 等[24]使用生 成式对 抗网络(Generative Adversarial Network,GAN)解决天气雷达回波的超分辨率问题,通过PSNR 指标证明了该方法可以取得更好的重建性能;Yuan等[25]也分别通过对比PSNR和SSIM结果证明了所提出的模型在天气雷达图像重建的视觉质量方面取得的优异性能。

PSNR 基于统计学原理,通过计算预测结果与原始图像对应像素点灰度值之间的差异评估预测结果图片的准确度。公式如下:

其中:F为结果图像,R为原始图像,图像的大小为M×N。结果范围[0,+∞],结果越大,模型效果越好。

PSNR 的原理简单直观,但PSNR 仅考虑了图像像素值的全局统计结果;而人眼对不同区域的敏感度是不同的,相较于PSNR,SSIM 更符合人类视觉系统的特点,SSIM 的评估对象由亮度、对比度和结构这3 个方面组成,可以避免PSNR 的局限性。

在计算亮度相似度时,SSIM 使用亮度的均值来度量两幅图像的亮度差异;在计算对比度相似度时,SSIM 使用标准差来度量两幅图像的对比度差异;在计算结构相似度时,SSIM 使用亮度和对比度信息的相关性来度量两幅图像的结构差异。

若使用x和y表示需要计算相似度的两幅图像,则SSIM的具体公式可以表示为:

其中:l(x,y)表示亮度相似度,c(x,y)表示对比度相似度,s(x,y)表示结构相似度,α、β和γ是3 个非负的加权系数,满足α+β+γ=1。

亮度相似度可以用式(3)进行计算:

其中:μx、μy分别表示两幅图的亮度均值。

对比度相似度可以用式(4)进行计算:

其中:σx、σy分别表示两幅图的亮度标准差。

结构相似度可以用式(5)进行计算:

其中σxy表示两幅图的亮度协方差。

式(3)~(5)中的c1、c2和c3均为常数,用于避免分母为0或者噪声过大的情况,取值需要根据具体应用进行调整。

另一个在处理气象领域的异常天气检测(例如气旋检测等)问题上广泛应用的评价指标为交并比(IoU)。例如在检测热带气旋时,不仅要识别气旋中心,同时也要定位整个热带气旋的发生和影响范围。定位精度评价指标IoU 定义了两个边界框的重叠度,如图3 所示。

图3 IoU示意图Fig.3 Schematic diagram of IoU

矩形框A、B的一个重合度IoU 计算公式为:

即矩形框A、B的重叠面积占A、B并集的面积比例,其中SI、SA、SB分别表示I、A、B三个部分的面积:

实际上,除了上述PSNR 和SSIM 此类常用的有参考的图像质量评价方法之外,由于天气预报领域数据来自传感器收集的局限性,数据图片常伴随有缺失值和模糊噪声,因此Doukari 等[26]针对无人机/传感器等获取的天气预报数据(即风速、云量、降水概率等)进行关于图像去噪去雾等方面的研究,并使用BRISQUE(Blind/Referenceless Image Spatial QUality Evaluator)[27-29]、RankIQA(Rankings for no-reference Image Quality Assessment)[30]等无参考图像质量评估方法[31]进行定量评估。目前尚未有直接将此类方法应用于天气预报结果评估的研究,但由于气象图像变化复杂性,无法获取原始可参考图像,因此在后续研究中可以综合考虑无参考图像的质量评价方法应用于天气图像预报的评价。

表4 总结了天气预报领域问题的经典案例中所使用的深度学习模型及其评估模型性能时所用到的评价指标。

表4 天气预报问题和对应评价指标Tab.4 Weather forecasting problems and corresponding evaluation metrics

2 深度学习在天气预报领域的应用现状

天气预报领域问题可以分为天气现象分类问题、天气要素预测问题、极端与异常天气模式检测与识别这3 个方面,分别总结深度学习在各个方面的应用如下。

2.1 天气现象分类问题

近年来,基于计算机视觉和深度学习的天气自动分类研究引来广泛关注。Yildirim 等[32]使用了深度学习、支持向量机(Support Vector Machine,SVM)分类器和最大相关最小冗余算法(minimum Redundancy-Maximum Relevance,mRMR)特征选择的混合方法,对阴天、雾天、雨天、阳光和日出这5个类别的天气状况分类;Xie 等[33]首次尝试将天气分类视为一项无监督任务,即从没有标签的单个图像中分类天气状况;Mishra 等[34]在使用图像数据实现天气分类的同时,还比较分析了机器学习分类技术,证明基于深度学习的卷积神经网络明显优于传统机器学习方法;此外,经典的以GoogleNet及其衍生网络为基础的神经网络框架[35-36]也已经被用于天气现象分类任务,并且获得了高达92%的分类准确率。

吴昆等[37]提出了一种基于3D-CNN 与LSTM 融合的混合模型预测短临降水。将历史数据按时序输入卷积模块中提取特征,然后将提取的高阶特征信息输入LSTM 模块预测降水量,并通过大量实验优化模型的网络参数,解决了过拟合和特征学习不充分的问题。

天气预报领域的分类问题也存在需要依赖检测技术的应用[38],例如,极端气象分析工具包(the Toolkit for Extreme Climate Analysis,TECA)[39]是使用启发式方法对气象数据进行大规模模式检测的应用。基于TECA 分析的输出,Liu等[40]利用深度卷积网络预测两种极端天气事件类型的分类标签,通过考虑从二维多通道图像中对中心、裁剪的斑块进行二元分类任务。

另外,Zhou 等[41]开发了基于数值天气预报数据的强对流天气深度学习预测解决方案,包括对短时大雨、冰雹、对流阵风和雷暴的检测与分类。刘新伟等[42]基于LightGBM(Light Gradient Boosting Machine)算法,利用甘肃3 个地区的雷达回波和地面观测数据,对3 类极端天气状况(冰雹、雷暴大风、短时强降雨)分类,实验得到的整体误判率仅为4.9%。

2.2 天气要素预测问题

Shi 等[19]提出一种用于降水实时预报的ConvLSTM,该网络在输入到状态和状态到状态的转换中都具有卷积结构,由编码网络和预测网络组成。与全连通LSTM 相比,ConvLSTM的编码部分对气象数据的时空关系进行了编码,有助于提高预报精度;然而,ConvLSTM 的卷积递归结构是位置不变的。为了研究一个更一般的预测框架,Wang 等[43]提出了PredRNN(Predictive RNN),在递归过程中的相邻时间步之间增加了额外连接,利用双存储器机制在统一的存储池中同时提取和存储序列的空间和时间变化。此后,Wang 等[44]又提出了PredRNN++来解决深层时间结构和消失梯度之间的时空预测学习问题,并将PredRNN 及其变体成功地推广到了降水实况预报[45]。

针对通过雷达回波图预测降水的问题,Zamo 等[46]将它归结为输入和预测目标都是图像序列的视频预测问题,将LSTM 与卷积编解码网络(U-Net)结合以捕捉时空相关性,获得了有意义的预测结果。黄兴友等[47]针对传统雷达回波外推方法中存在资料信息利用率不足和外推时效有限的问题,通过利用预测神经网络模型进行2 h 以内的回波变化预报分析结果,发现预测神经网络对强回波的预报能力高于光流法,且在预报时效性和准确性上更好。Li 等[48]基于互信息(Mutual Information,MI)特征提取方法和不平衡数据采样方法(Adaptive Synthetic Sampling),构建了自适应合成和互信息提取矩阵(Adaptive Synthesis and Mutual Information extraction Matrix,ASMI-M),并通过一种基于深度学习的卷积神经网络和长短期记忆(CNN-Long Short-Term Memory,CNN-LSTM)模型预测兰州市3 h 内的降水量,得到了更好的预测性能。Gorooh 等[49]开发了一种名为深度神经网络高时空分辨率降水估计(Deep neural network high SpatioTemporal resolution Precipitation Estimation,Deep-STEP)的CNN 算法,能可靠地检索高空间分辨率的地表降水。

针对其他天气要素的预测问题,马景奕等[50]通过神经网络的前向训练、长短时记忆反馈学习,经过多隐藏层的自主训练,对温度、风速、风向和压力等6 项气象信息实现准确预测;对于更为特殊的海表面温度预测问题,张雪薇等[51]采用卷积门控循环单元(Convolutional Gated Recurrent Unit,ConvGRU)深度学习神经网络模型,分析研究了西北太平洋部分海域的海表面温度预测,预测准确率达到99.64%。

考虑风速属性和时空相关性的预测建模同样对人类生产(例如风电并网)有着较大的影响。潘超等[52]通过CNN 降维风速信息并提取空间特征,再由双层记忆神经网络进行多位置多步超短期预测,实现了对实际风电场的风速预测。修春波等[53]也针对风速预测问题设计了由多个LSTM 和卷积网络组成的预测模型,并利用误差动态补偿方法校正预测值;Li 等[54]提出了一种混合时空注意网络和多层感知器的集成模型(Ensemble of Spatial-Temporal Attention Network and Multi-Layer Perceptron,E-STAN-MLP)同时预测风速和风向,模型主要由一个时空注意递归神经网络和一个多层感知器结构组成,实验结果证明E-STAN-MLP 模式在风速与风向方面获得了比NWP 更好的效果。

2.3 极端与异常天气模式检测与识别

极端天气(如台风、强降水、雷暴等)探测对于自然灾害管理、防灾和应急决策至关重要。数据驱动的数值预报方法可以在接收到新数据后的几分钟内提供预报,比传统的理论驱动的数值预报方法更适合高响应性预报服务。另一方面,有监督和半监督的深度学习方法能够突破传统基于阈值的检测方法的局限性。

Wang 等[55]提出了一种将自动气象站数据和单极化S 波段雷达数据与图形模型和随机森林耦合的算法用于短期强降水检测预警,以2015—2016 年华北地区的数据实现了79.2%的检测概率(POD)和68.3%的关键成功指数(CSI)。Peterson 等[56]为GOES 地球静止闪电测 绘仪(Geostationary Lightning Mapper,GLM)观测开发了一种根据闪电数据中与非对流电荷结构的相互作用特征识别雷暴中对流/非对流区域的算法,并通过提供与闪电物理学相关的当代评估补充其他云型检索。针对高原地区数值预测法建模复杂、雷达回波外推法易产生累积误差且模型参数难以设置的问题,张永宏等[57]针对小目标和非平衡数据集,提出了一种基于改进DeepLab v3 网络模型的西藏地区降雨云团的分割方法,可以更准确地分割降雨云团,为降雨云团监测预警提供参考。

为了解决热带气旋、温带气旋、热带低压和大气流等极端天气的多类检测和定位问题,Mudigonda 等[58]提出了一种三维(高度、宽度、时间)多通道时空卷积编码解码器,首次将深度自编码架构应用于边界盒回归的半监督学习,通过对未标记数据重构训练,有效地克服了气象数据集标记的困难。Tong 等[59]提出了一种基于深度卷积神经网络技术识别热带气旋的方法,在西北太平洋盆地200 多个热带气旋的测试数据中,达到96%的识别准确率。耿逍懿等[60]提出了一种以LSTM 为基础构架的热带气旋路径集成预报方法,集成直接预报和通过路径间接预报的结果进行综合预报,并通过实验验证了所提出的方向预报因子、集成方法在热带气旋路径预报问题中的有效性。同样在预测热带气旋轨迹和强度的问题方面,Na 等[61]提出了一种用于预测西北太平洋盆地的递归神经网络模型——热带气旋预测的水库计算,用于预测热带气旋的4 个属性,即纬度、经度、最大持续风速和最小海平面水平压力。

为减轻台风可能造成的巨大生命财产损失,Chen 等[62]提出了一个CNN-LSTM 混合模型,用于预测台风的形成和强度。考虑到台风是一个受多个相关气象属性影响的强对流天气过程,作者设计了一个由3 个部分组成的混合模型:使用一个2D-CNN 从前一个特征图的局部邻域中提取特征,并将它分为3 个部分用于分析二维海面变量;使用一个带三维滤波器的CNN,用于捕捉三维大气变量(如风和气压)之间的空间相关性;使用一个LSTM 用于捕捉时间相关性。该混合模式的预报效果优于以往的台风预报方法,包括台风的形成和强度。钱奇峰等[63]以ResNet 模型为基础,在预训练后应用迁移学习技术,以西北太平洋和南海台风的卫星云图为样本,设计了一种自动且客观的台风强度估测技术。陈睿[64]提出了一种基于深度学习的台风时空深度混合预测模型,在24 h 台风形成预测实验中,最高准确率为85.2%,展现了机器学习在极端天气中短期预测中的强大能力。

3 深度学习与数值模式结合预报最新进展

在天气预报方面,气象科学家一直致力于通过对物理机制的理解提高预报的准确性,试图应用数据驱动的计算范式挖掘气象数据元素之间复杂的时空关系。因此,将深度学习(Deep Learning)与数值天气预报(NWP)结合的DLWP(Deep Learning Weather Prediction)已成为研究热点[65]。图4 展示了数值天气预报模式与人工智能技术结合的整体概念,在预测前使用深度学习技术分析参数不确定性,在预测过程中融合特征信息进行综合预报,并在NWP 模型输出后对预测结果进行偏差订正。

图4 NWP与深度学习结合的天气预测Fig.4 NWP combined with deep learning for weather forecasting

目前,将数值模拟与深度学习相结合的方法有很多,典型的方式有两种:一是提高DLWP 的解释能力,二是提高数值预报的准确性和时效性。

DLWP 使数值模拟和观测数据在多个方面更紧密地结合,从整个系统建模的角度,有4 个深度学习与数值模式的结合方向:1)使用深度学习技术改进数值模式物理参数;2)使用深度学习模型替换数值模式子模块;3)使用深度学习技术订正数值模式输出与真实值间可能存在的偏差;4)利用数值模式输出的科学先验知识作为约束条件训练深度学习模型。

3.1 用数值理论知识增强深度学习模型

经典数值模式由一组原始方程描述,这些方程基于理论物理原理,包括牛顿第二运动定律、质量守恒定律、热力学第一定律、理想气体定律和静水力学定律。因此,数值预报模式不仅可以同时捕捉多个气象要素的时空动态,而且可以考虑不同变量之间的相关性。观测到的天气要素的许多重要方面可以通过数值模式重现,但完全由数据驱动的深度学习模型本身难以从观测数据中发现因果关系[66],也不能模拟整个复杂的天气系统,因此将数值模式输出的科学先验知识作为约束条件编码于模型中,有助于保证模型的物理一致性和可解释性。

Frnda 等[67]利用数值模式的知识训练深度神经网络,将天气预报问题转化为端到端的深度学习问题,并提出一种有效的信息融合机制,从历史数据中学习包含NWP 先验知识的历史数据,可以预报多种气象变量。Zhuo 等[68]提出了一种名为DeepTCNet 的深度学习方法,该方法由热带气旋的先验知识增强,在性能上超越了多平台热带气旋表面风分析技术(Multiplatform Tropical Cyclone Surface Wind Analysis,MTCSWA),在风半径估计方面平均提高了32%。Chen 等[69]基于物理的深度学习框架中提出了一种名为PGnet 的温度预测方法,其中生成神经网络部分将掩码作为精细预测的先验,并通过掩码损失和跳跃模式策略训练生成神经网络,避免时间序列预测期间的误差累积,从而更精确地预测温度。

3.2 通过深度学习改进数值模式

随着气象数据量的快速增长和模型分辨率的不断提高,数值预报的计算需求急剧增加,导致数值预报效率低下。深度学习模型可以“学习”系统的复杂行为并快速建模,避免了求解复杂的偏微分方程,同时对于传统预报方法难以预测的突发性天气现象,深度学习与数值模式结合预报可以更及时准确地得到预测结果[70]。而经过历史观测数据或模式模拟运行输出数据训练后的深度学习模型,也可以直接用于模拟数值天气模式的一个模块或过程,同样可以提高混合模型的预测准确度和预报及时性。这种通过深度学习技术改进数值天气预报模式的方式可以从以下3 种途径进行。

3.2.1 深度学习方法改进数值模式参数化

理论驱动的物理数值模式需要的参数存在很大的不确定性,且复杂不易推导,而深度学习方法可以学习参数化,并以最佳方式描述观察或生成的基本事实。为了提高子网格参数化的精度,Rasp 等[71]通过学习多尺度模型训练深度神经网络表示混合机器学习-物理大气环流模型(General Circulation Model,GCM)中的所有大气子网格过程,使用训练后的深度学习模型替代GCM 中传统的子网格参数化,实验结果证明模型整体的预测过程更快,结果更准确。在GCM 中模拟具有不同输出的超参数化方面,Wang 等[72]设计了一组具有强非线性拟合能力的残差深度神经网络(Residual-Deep Neural Networks,ResDNNs),首次使用基于神经网络的参数化在现实世界的地理边界条件下实现长达十年的稳定真实世界气候模拟,展示了在气候模拟中使用机器学习参数化的新兴潜力。

3.2.2 数值天气预报模式输出结果的偏差订正

虽然近年来数值模式不断朝着精细化方向发展,但是由于它采用理想化数值假设模拟混沌大气系统,输出结果不可避免地会出现偏差,因此可以通过深度学习技术快速、准确地识别和校正偏差。Peng 等[73]提出模式距平积分预报订正方法(Anomaly Numerical-correction with Observations,ANO),通过计算多年的平均气候态订正数值模式系统性误差,这是早期经典的偏差订正方法之一。在此基准订正方法之上,Han 等[74]使用基于U-Net 改进的CU-Net 模型,针对ECMWF(European Centre for Medium-range Weather Forecasts)的偏差订正,订正效果相较于传统的 ANO 有较大提升。张延彪等[75]通过引入稠密卷积优化CU-Net 模型,又融合多种气象要素和地形特征信息构建了Fuse-CUnet,最终进行了不同模型的偏差订正实验和对比分析。

Sayeed 等[76]研究了使用计算高效的CNN 作为改进中尺度天气研究和预报(Weather Research and Forecasting,WRF)一日模拟的输出,对 2018 年全年 WRF 模型计算的几个气象参数进行了偏差校正,在模拟地表风速和风向、降水、相对湿度、地表压力、露点温度时减小了这些偏差。为了对所生成多步预测结果进行偏差校正,Sha 等[77]将模拟集成(Analog Ensemble,AnEn)和CNN 结合,提出了名为AnEn-CNN 的集合降水预报后处理方法,可生成长达7 d 的经过概率校准和物理现实的网格化降水预报序列。

在总结评估偏差订正模型方面,Wang 等[78]使用GCM 每日平均、最高和最低温度在CMIP6(Coupled Model Intercomparison Project phase 6)中全面评估了用于气候降尺度和偏差校正的超分辨率深度残差网络(Super Resolution Deep Residual Network,SRDRN)深度学习模型。为了基于本地数据同化和预测系统进行总结评估,Cho 等[79]比较了各种单独的后处理模型——多线性回归、支持向量回归、门控循环单元和卷积神经网络的参数化效果,并提出了多模型集成方法,得到了比单个模型更可靠、更稳健的结果。

3.2.3 利用深度学习模拟数值模式的物理过程或动力框架

如果数值模式子模块的函数形式理论基础不足,可以使用足够数量的观察值训练机器学习模型替换原子模块。例如,Scher 等[80]设计了一个直接利用端到端的深层卷积神经网络完全模拟并替代GCM,神经网络以GCM 的完整模型状态为输入,学习仿真其动力学框架并预测下一个模型状态,结果证实了该模型可以在保证预报准确率的情况下有效提高计算效率。类似地,De Bézenac 等[81]使用深度学习模型有效地模拟海洋中的水的运动并预测海面温度(Sea Surface Temperature,SST)。在此基础上,Weber 等[82]探讨了 用CanESM2(Canadian Earth System Model2)模拟的1pctCO2(二氧化碳浓度每年增加1%)运行97 年的输出训练的卷积神经网络,作为降水场替代模型的应用,这种替代后的混合模型即使在预测长度延长至120 个月时,性能也没有显著下降。

4 现存挑战与未来工作展望

尽管深度学习模型已经通过各种方式被广泛应用于天气预报的研究中,但是由于气象数据本身复杂度高、数据量大和格式多样的特点,用于时空数据的预测问题的深度学习模型仍然面临挑战,例如高纬度多通道的天气数据带来的庞大的算力需求、深度学习模型本身的可解释性、以及观测数据自身的复杂和不确定性。目前针对这些挑战的解决方案,也已经有了一定的研究进展。

4.1 庞大的算力需求

天气预报这类科学问题的高计算成本一直是一个巨大的技术挑战,气象机构每天都必须以几乎实时的方式处理万亿字节,通常精度也非常高,因此在深度学习模型上应用并行技术已成为一种必然趋势。模型在训练时可能被挖掘的并行性能也应是深度学习应用于天气预报领域需要考虑的问题,而对于深度学习模型本身的计算性能提升也已经有了一定的研究基础。

使用CUDA(Compute Unified Device Architecture)利用GPU 强大的并行计算能力处理深度网络的这个思想最早在ResNeXt[83]中被提 出。Huang 等[84]将分组 思想应用于DenseNet,提出了优化后的CondenseNet。后续也有不少研究者指出传统的组卷积存在需要手动设置组数、分组方式不确定等不足,并提出了针对这些问题的优化方法[85-86]。

上述研究都证实了CNN 的可并行性,但是几乎所有的序列预测问题上都有良好表现的RNN 在每个时间步上的计算结果之间都存在依赖关系,意味着所有基于LSTM 的模型都难以直接并行。因此,解决问题的主要思路就是抛开RNN 作序列建模。

例如,Transformer[87]充分利用了注意力机制,在编码器的内部使用自注意力与前馈神经网络联合建模进行训练,在编码器和解码器连接处使用注意力机制作映射,最终达到了优于RNN 的效果。Bai 等[88]以加入残差块的CNN 为基础,首次提出了一种时域卷积网络(Temporal Convolutional Network,TCN)。TCN 的卷积层结合了因果卷积与空洞卷积,其中因果卷积保证了前面时间步的预测不会使用未来步的信息,空洞卷积则可以在不做池化的情况下迅速扩大感受野(Receptive Field)。随后,Yan 等[89]发表了有关TCN 用于天气预报任务的研究成果,通过TCN 和LSTM 的对比实验,证实TCN 在计算效率和预测准确度上都表现良好。近期,Hewage 等[90]进一步提出具有LSTM 和TCN 层的深度学习网络,在多输入多输出和多输入单输出两种不同的回归分析中进行了评估,并表明与复杂WRF 模式相比,这种轻量级天气预报模式也可以拥有很好的预报效果。

4.2 深度学习模型的“黑箱”问题

提升预测准确度的同时将结果可视化供人类分析的可解释性也是至关重要的,而深度学习模型的可解释性被认为是它的一个潜在弱点[91]。鉴于气象科学问题的复杂性,研究人员在实践中很难获得模型训练过程中的假设,因此也限制了模型的可解释性。深度学习技术可以通过建立更复杂的函数拟合观测值,但是观测数据的偏差和训练过程中的误差都是不可避免的,所以预测结果也可能出现与物理理论不一致或结果不可信的情况[9]。通过对深度学习模型进行特征分析与可解释研究,不仅有助于人们理解模型的推理过程以便于更有针对性地优化预报模型,同时还有助于提取有效的科学信息以更好地理解地球系统。

目前已经有不少研究者开始探索利用“可解释人工智能”解决机器学习和深度学习在气象领域的可解释性问题。Manandhar 等[92]通过特征选择方法找到对降水具有较大影响的特征,并基于这些特征优化机器学习方法,在降水量预测上有效降低虚警率。Gagne 等[93]使用CNN 基于上层空气动力场和热力场进行冰雹预测,并通过对CNN 特征重要性的解释与分析综合了对冰雹生成过程的理解,最终实验结果证明模型预测结果优于其他模型。Toms 等[94]优化了特征可视化和层间相关传播(Layer-wise Relevance Propagation,LRP)方法,并分析探讨了厄尔尼诺现象季节性预报相关的可解释性问题。Yuan 等[95]提出了一种基于双因素注意力机制的预报模型,从时间信息和先验知识这两个方面学习训练注意力权重,并在公共天气预报数据集上得到了更高的预报精度。

4.3 复杂且不确定的数据

虽然各种传感技术的发展能够收集并保存大量可供学习的地球数据,但是不同的传感器观测获得并转化生产的数据图片形状和统计信息的内容和物理意义都不同,并且观测数据也不可避免地伴随着各种噪声、不确定性和缺失;因此集成处理、消纳利用这些数据且是一个非常大的挑战,而且在这个过程中往往需要采用复杂和不确定的数据机器学习方法。Chakraborty 等[96]通过研究NCEP/NCAR、MERRA-2和ERA5这几种全球再分析数据集,发现它们的月平均入射辐射都存在不同程度的低估,散射辐射同时存在被低估或高估的情况,并通过实验证明随机森林方法可在一定程度上改善这一误差。

此外,集成多传感器数据在天气预报领域也是一项挑战,因为从不同的传感器获取的内容和信息不同,统计数据的空间和时间分辨率和物理意义也不同。不过资料同化技术已经发展多年,目前已有逐步订正、最优插值和卡尔曼滤波等较为基础的同化技术。Peyron 等[97]将深度学习方法整合到数据同化框架中,利用自动编码器提供的潜在结构设计潜在空间中具有模型误差的集成变换卡尔曼滤波器(Ensemble Transform Kalman Filter,ETKF),这种新颖的算法可以准确地表示观察的动态,既降低了计算成本,又提供了比ETKF-Q 等先进算法更好的准确性。Wang 等[98]则通过使用正压涡量方程展示深度学习增强数据同化的潜力,通过以粗略的“预测”分辨率训练具有长时间模拟的卷积自动编码器,将空间上不完整的观察映射到具有完全空间覆盖和分辨率的模型状态,最终得到了令人满意的重建性能。

除了以上研究,更具挑战性的就是如何从深度模型的训练过程中获得对地球体统本身的理解,并实现从数据中最大限度地学习模型的同时,将物理、生物、气象和地质等原理知识也纳入考虑范围。目前主流的将这些要素综合考虑的方法是将数值模式与深度学习结合建立混合模型。下文总结了综合研究可能的研究方向与问题。

数据和模型的选择与融合 对于同一个气象任务,可以收集到的数据格式和可选择的深度学习模型都是不唯一的。例如,针对气象观测站点的多维数据,可以将预测问题的目标数值直接建模为一个时空序列,使用RNN+CNN 进行预测;也以可将各个站点建模为图,融合图卷积建模。如何正确选择或者融合深度学习模型和时空数据目前还缺乏更深入的研究。

更综合的评价标准 很多模型通过堆叠各种现有的时空预测技术以得到更好的预测性能,大部分的文章也通过消融实验证明了所提模型架构的每一部分的有效性;但是重用多种深度学习技术构造的复杂的深度学习模型同时也会带来巨大的时间和空间复杂度。这种用“大量的训练时间”和“巨大的显存占用”换取“精度的提升”的平衡是否值得的问题尚且没有全面的研究,也没有一个综合精度与计算性能的评估标准评价模型的综合性能。

总之,气象相关的地球科学问题需要处理大量、快速增长的数据,为了能够更进一步完成更精准的预测、更科学的建模,并在研究中理解复杂地球系统,研究者需要继续探索将融合了时间与空间信息编码能力的深度学习模型进行优化,并考虑与基于过程的物理模式相结合,以提供更准确、不确定性更小、物理上一致的推断。

5 结语

本文主要总结了深度学习在天气预报领域的发展历程,将天气预报问题与其他典型深度学习应用问题进行了类比研究,回顾与总结了天气预报领域的深度学习的发展过程,也对比了深度学习评价指标在天气预报领域的融合以及应用场景。目前,正在兴起且具有一定前景和潜力的基于过程和深度学习模型相结合的方法尚有许多问题和挑战等待解决和深入探究。天气预报中完全通过数据驱动的机器学习方法短时间内不会取代由物理原理构建的数值模式,但却是对数值模式的有力补充,并且能够有效优化预报效率,所以二者间的协同作用是不可忽略的。对于天气预报领域,最终目标是通过混合建模使得模型能够自适应数据,且遵守物理定律,具有一定的可解释性。通过综合分析和总结研究现状中存在的不足和空白点,本文最后提出了对未来可行研究方向的展望,旨在为本领域研究者梳理亟待研究的问题并为后续研究工作提供参考。

猜你喜欢
天气预报气象数值
气象树
数值大小比较“招招鲜”
《内蒙古气象》征稿简则
测不准的天气预报
天气预报的前世今生
大国气象
美丽的气象奇观
中期天气预报
基于Fluent的GTAW数值模拟
基于MATLAB在流体力学中的数值分析