基于Meteva的2020年陕西汛期暴雨过程检验评估

梁 绵，张煦庭，刘嘉慧敏，高星星，刘菊菊

(1.陕西省气象台，西安 710014；2.陕西省气象局秦岭和黄土高原生态环境气象重点实验室，西安 710016)

陕西秦岭和黄土高原地形复杂，夏季暴雨频发，易产生洪涝与地质灾害。研究暴雨发生发展的机制，建立适用于本地的暴雨预报方法和客观产品尤为重要。而数值模式是降水预报的基础与重要参考依据，增强对数值模式预报的性能认知，特别是在夏季暴雨过程中的预报表现，对于提高暴雨预报能力至关重要。目前，针对降水预报，业务上主要采用经典检验方法，经典检验方法也称之为传统检验方法[1]。降水作为离散型变量，可看作简单二元事件预报，归纳为对降水的肯定或否定预报，也可作为多分类预报进行检验[2]。1965年，Brounlee等设计了两变量的预报检验列联表，并通过列联表将事件进行分类，然后计算一系列评分指数，如命中率，虚警率，误警率等[3]。1990年Doswell等发现计算小概率事件预报评分时，真实技巧评分TSS(true skill statistic)常趋于命中率(POD)，为此他们修订后提出了HSS评分[4]。此后发展了一系列评分指数，对于二元事件的确定性预报主要包括: 预报偏差(Bias)[5]、胜算比(OR)[6]、准确率(ACC)等。而对多分类事件的确定性预报，可采用2×K列联表将不同等级事件发生的频率分别归类来计算评分指数。陕西气象学者围绕降水预报检验开展了大量工作，潘留杰等[7]基于邻域法FSS、ETS评分指数，分析了多模式的降水预报性能。薛春芳等[8]基于面向对象模式诊断分析MODE方法，研究了降水对象的客观表现以及日本细网格模式对降水个例的预报能力。采用的方法均为国内外较先进的空间检验法，反映了降水预报的空间结构与尺度变化，在网格预报检验行业内具有引领作用。但从实际业务出发，其实经典检验方法能更直观反映模式预报的准确率，更利于预报员主观应用与订正。

陕西对数值模式产品的应用，以日常预报业务参考和后处理释用订正为主，所用模式包括全球尺度和中尺度数值产品，主要有欧洲中期天气预报中心(European Centre for Medium-Range Weather Forecasts，ECMWF)高分辨数值预报、美国国家环境预报中心(National Centers for Environmental Prediction，NCEP)数值产品、中国气象局全球同化预报系统(China Meteorological Administration-global forecast system，CMA-GFS)数值产品，以及基于高分辨数值模式发展的客观释用产品，有中央气象台预报订正系统(system of Central Meteorological Observatory correction forecast，SCMOC)产品和陕西动态交叉最优要素预报(dynamic cross optimal element forecast，DCOEF)产品，而预报员基于DCOEF主观订正后产品简称为Release。客观合理的评估结果可为预报员数值模式产品应用提供科学参考，有利于预报准确率的提升，因此选取业务最常用的这六种高分辨数值产品进行检验。以往多基于要素预报进行长时段批量化检验，对重大灾害性天气个例的精细化检验较少。本研究将基于国家气象中心全流程检验程序库Meteva，以经典检验方法为主对2020年汛期4次致灾性暴雨过程开展检验，重点评估多模式产品在时间演变、空间区域和关键点等方面的预报表现，以期得出有利于提高暴雨预报能力的科学客观依据。

1 资料与方法

1.1 资料来源

观测资料选取陕西省1 500多个站点(国家气象站和区域气象站)08、20时统计的过去24 h累计降水量产品，模式资料包括数值模式ECMWF、CMA-GFS、NCEP和陕西智能网格预报产品DCOEF、预报员主观订正产品Release以及中央台格点指导预报产品SCMOC，选取08、20时起报的24、48、72 h降水预报产品。

1.2 研究方法

为客观评估多模式在2020年汛期4次重大灾害性暴雨过程中的预报表现，首先采用经典评分检验方法对模式预报性能进行综合诊断，包括TS评分、晴雨预报准确率(H)、预报偏差(Bias)、命中率(POD)和成功率(SR)等，具体计算步骤如下：

TS=A/(A+B+C),

(1)

H=(A+D)/(A+B+C+D),

(2)

Bias=(B+C)/(A+C),

(3)

POD=A/(A+C),

(4)

SR=1-C/(A+C)。

(5)

式中，A为有降水预报正确的站(次)数，B为空报的站(次)数，C为漏报的站(次)数，D为无降水预报正确的站(次)数。当Bias>1时表示预报事件高于观测事件的发生频率，Bias<1则相反；当降水预报的格点数与实况格点数完全一致时，则TS=1，TS越接近于0，表明预报技巧越差。

再通过平均误差(EM)、平均绝对误差(EMA)、均方根误差(ERMS)等统计指标分析模式预报与实况的偏差特征。

最后选取4次过程中降水强度较大的关键站点，从降水的日变化演变角度进行精细化评估，以期得到较为有用的信息。

1.3 Meteva检验程序库

Meteva程序库是国家气象中心研发的全流程检验算法程序库，是提供各类常用气象预报检验评估方法的Python算法函数，可批量生成供气象检验分析的数值型、表格型和图片型检验产品。本文检验方法的所有计算均来自此程序库。

2 经典检验

选取的检验个例为2020年汛期7—8月的4次暴雨过程，分别是7月10—12日、20—26日过程和8月4—7日、14—19日过程，应用Meteva程序库的检验算法和产品，从时间演变、空间分布、降水落区对比等方面分类评估不同模式产品在4次过程中的预报表现。

2.1 评分时间演变

应用Meteva程序库检验基础算法模块的数值检验指标，计算4次暴雨过程各家模式降水预报的晴雨预报准确率和暴雨及以上TS评分。按预报时效对4次过程综合计算评分可得，晴雨预报准确率08时起报的(图1a)均是SCMOC评分最高，24、48、72 h分别为0.81、0.85、0.83，Release、DCOEF、ECMWF次之；20时起报(图1b)的24、48 h是CMA-GFS评分较高，为0.8和0.84，72 h则是ECMWF更优(0.85)。暴雨及以上TS评分08时起报(图1c)24 h是Release预报较优(0.19)，48、72 h DCOEF相对较高；20时起报(图1d)24 h是SCMOC最优(0.19)，48和72 h仍是DCOEF预报效果更好。而分过程计算24 h暴雨及以上TS评分发现，7月10—12日过程评分表现最好的是DCOEF，7月20—26日是SCMOC，而8月4—7日和11—19日较优的分别是Release和SCMOC。综合不同预报时效和各过程计算暴雨及以上TS评分，由高到低依次是SCMOC、DCOEF、Release、ECMWF，分别为0.114、0.112、0.111、0.099。另外，在时间序列上，随着预报时效的增加，各模式晴雨预报准确率均呈稳定态势，评分较优，仅NCEP呈递减趋势。暴雨及以上TS评分，各模式在24 h后评分递减明显，DCOEF相对而言较为稳定。无论是晴雨预报准确率还是暴雨及以上TS评分，NCEP较其他模式预报能力明显不足。

图1 4次暴雨过程中各模式晴雨预报准确率(a 08时；b 20时)和暴雨及以上TS评分(c 08时；d 20时)

根据已有数据样本，应用Meteva程序库检验产品模块的误差序列分析产品，以箱线图方式，可直观分析不同数值模式产品在时间序列上的偏差特征。样本量显示，除7月25日、8月7日和8月18—19日样本较少外，其余时间样本数均接近5 000，误差分析具有一定客观性。对比分析各模式产品在4次降水过程中平均误差EM、平均绝对误差EMA和均方根误差ERMS的时间序列演变可得，DCOEF、ECMWF、SCMOC和Release产品的平均误差、平均绝对误差和均方根误差变化趋势基本一致。平均误差结果显示，ECMWF(图2a，见第5页)误差范围最小为-1.9～10.3 mm，降水量预报相对更准确；而NCEP逐日误差均为负值，说明预报值较观测值明显偏小，呈现弱报；DCOEF误差较其他模式略偏大且均为正值，可见降水量级预报整体略偏强。均方根误差代表了预测值与真值的偏离程度，各模式以ECMWF和SCMOC(图2b，见第5页)表现偏差最小。平均绝对误差能更好地反映预测值误差的实际情况，从逐日分布情况来看，数值模式整体对8月12日08时起报和8月17日20时起报降水表现为较大误差，各模式误差均值分别为16.9 mm和16.2 mm，而对8月3日20时和8月10日20时起报降水误差值均较小，均值仅为8.1 mm和7.9 mm。结合降水量实况与天气形势发现，预报效果表现较优的为系统性降水，各量级降水分布呈带状，表现较差的为以局地为主的分散性暴雨。

图2 4次暴雨过程中各模式误差综合分析图(a ECMWF；b SCMOC)(文见第3页)

综上所述， SCMOC在晴雨预报准确率和暴雨及以上TS评分中相对较优，DCOEF和ECMWF次之，ECMWF在整体时间序列上表现为较小的预报误差，而预报员主观订正产品Release对暴雨及以上强降水表现出较好的预报订正能力。

2.2 降水落区对比

应用Meteva检验产品模块的空间分布对比产品， 可直观对比模式预报与实况观测站点的空间分布情况。将4次暴雨过程各模式逐日降水分别绘制空间分布图进行落区对比。在7月10—12日过程的强降水时段(10日08—11日08时)，除NCEP预报产品外，各模式对区域较大的暴雨落区把握均较好。其中DCOEF落区预报更准确，陕南西部实况降水量级为50～100 mm的站点均位于预报落区内，但ECMWF存在站点漏报。对关中西部局地暴雨，各模式均无反映。7月20—26日暴雨过程强降水时段为21日08—22日08时和23日08—24日08时，DCOEF表现为暴雨命中率较高，但预报范围略偏大，局地大暴雨点位置存在偏差。ECMWF对暴雨和局地大暴雨均存在明显漏报，21日陕南暴雨漏报站点占到三分之一，23日关中西部暴雨漏报站点达二分之一。相比之下，CMA-GFS的落区预报更准确。8月4—7日过程中，4日陕北出现区域暴雨，DCOEF对暴雨及以上量级落区把握较准确，4日08时起报的暴雨及以上TS评分为0.625。ECMWF对大暴雨区域存在漏报，CMA-GFS对暴雨落区预报范围和强度均偏小。6日关中西部和陕南西部的局地分散性暴雨，各模式预报效果均较差。8月14—19日重点对比了15—16日强降水时段(图3，见第5页)，对雨带的位置和走向，各模式均有很好反映。暴雨落区是DCOEF、CMA-GFS与实况较为接近，但都存在空报；ECMWF部分站点仍有漏报现象。

图3 2020-08-15T08起报24 h各模式降水预报和观测空间分布对比(a DCOEF；b CMA-GFS；c ECMWF；d NCEP)(文见第4页)

可看出，4次暴雨过程中，当过程为大范围系统性降水时，各模式对暴雨及以上落区预报较准确，以DCOEF表现最佳，CMA-GFS次之。DCOEF暴雨预报命中率较高，但落区范围稍偏大，ECMWF存在部分站点漏报情况，而NCEP预报的落区范围和强度显著偏小。当强降水以局地分散性为主时，各家数值产品的预报能力均有限，降水的位置和强度存在较大偏差。

2.3 评分空间分布

应用Meteva程序库计算经典预报评分在空间区域上的分布情况，可直观诊断模式在不同区域的预报表现。图4(见第6页)为各模式产品对暴雨及以上降水的预报偏差Bias、TS评分和命中率POD的空间分布。可看出4次过程暴雨及以上落区主要位于榆林南部、延安北部、关中中西部和陕南西部。在陕北区域，SCMOC、ECMWF、DCOEF和Release对暴雨及以上量级降水的命中率均较高，多数站点可达0.9以上，其中ECMWF的TS评分相对优于其他模式，大部站点评分为0.5以上，个别可达0.7，故而预报最准确。DCOEF的Bias评分(图4a)较高，大多在4以上，部分可达8，说明其对暴雨及以上量级的预报频率高于实况，漏报情况较少，因而预报员主观订正后的Rlease产品命中率达0.9的站数，为各模式中最多。在关中中西部和陕南西部，DCOEF预报表现较好，命中率(图4b)和命中范围明显大于其他模式，大部站点命中率达0.9以上，其他模式除命中率不高外，对关中中部强降水存在大范围漏报。TS评分也是DCOEF(图4c)相对更高，多数站点为0.4以上，Release和CMA-GFS次之。而对关中东部局地和陕南南部部分地区的暴雨及以上降水，SCMOC和ECMWF的命中率和TS(图4d、4e、4f)评分均较高。

图4 DCOEF(a Bias；b POD；c TS)、SCMOC(d POD；e TS)和ECMWF(f TS)对4次暴雨过程中暴雨及以上量级预报评分的空间分布(文见第4页)

可见， 4次过程中各模式对暴雨及以上的预报在各区域表现存在差异，陕北是ECMWF预报准确率更高，关中西部和陕南西部则是DCOEF表现最优，而对关中东部和陕南南部局地的暴雨及以上量级，SCMOC和ECMWF相对更好。DCOEF对暴雨及以上量级预报频次偏多，避免了漏报，命中率较高，具有一定参考性，但需注意空报。而NCEP和CMA-GFS对暴雨及以上漏报现象严重，预报表现整体较差。

2.4 分级综合检验

分级降水评分综合图为Meteva检验产品模块的降水类图片型检验产品，也称为预报性能评分综合图，可在一张图上综合对比分析不同模式、不同量级降水的命中率、成功率、TS评分和预报偏差Bias，有利于预报员快速判断不同模式对不同量级降水的预报能力。综合图中的黑色斜线为Bias评分，以对角线Bias=1分为上下两限，上限表示Bias>1，下限反之，而与之交叉的黄色曲线则表示TS评分，由坐标圆点TS=0处向45°方向逐级递增。

综合计算4次降水过程不同起报时次各模式分量级降水预报的性能评分(图5，见第6页)，发现08和20时起报的预报各模式评分较为接近。对不同量级的降水，小雨、中雨各模式预报表现均较好，除NCEP外，TS评分基本在0.7和0.4左右，命中率平均为0.9和0.7，其中以ECMWF和SCMOC表现最优，DCOEF次之。对于大雨和暴雨，命中率各模式大多在0.4和0.3附近，DCOEF相对最高，为0.7和0.5，成功率各模式平均为0.3和0.2，TS评分为0.2和0.1。对比可得SCMOC和Release产品降水量级预报更准确，DCOEF次之，但各模式对大暴雨预报均表现不足。

图5 4次暴雨过程中各模式分级降水预报性能评分综合图(a 08时；b 20时)(文见第4页)

从量级分布来看，各模式均呈现出从小雨到暴雨随着量级的增加预报评分逐级递减的特征，在综合评分图上表现为明显的阶梯分布，说明数值模式对小量级降水的预报能力较强，而对大量级降水预报仍存在较大提升空间。再分析不同预报评分发现，预报偏差Bias大多位于区域上限，说明各模式整体预报事件的频率大于观测事件，其中DCOEF对暴雨及以上的预报偏差08时和20时分别为3.4和4.3，较其他模式略偏大，而Bias小于1的均是NCEP。可见DCOEF预报频次略偏多，需注意空报，而NCEP漏报较严重。命中率各模式存在差异，DCOEF评分最高，为0.5～0.6，之后依次是Release、SCMOC、ECMWF，DCOEF和Release命中率高但成功率不是最优，这可能与网格产品对暴雨预报范围略偏大有关，而SCMOC和ECMWF产品成功率接近，但SCMOC的命中率更高，说明存在空报。

综上，通过对比各模式降水在时间演变、空间分布等多方面的预报表现，可得出较为一致的评估结果。对降水落区的预报以DCOEF表现最优，避免了站点的漏报，而晴雨预报准确率和暴雨及以上TS评分SCMOC相对较高，且不同产品在不同地理区域预报效果存在一定差异，各有优势。综合而言，预报更准确的是SCMOC和DCOEF，ECMWF次之。

3 单站精细化检验

以业务应用最广泛的DCOEF为对象，选取4次暴雨过程中24 h累计降水量最大站点和小时雨强最大站点分析降水日变化演变，通过对比实况、DCOEF和Release产品的降水日变化特征，进而评估网格预报产品对站点强降水的预报能力。24 h累计降水量最大站点选取的是广坪站(汉中宁强)、王盘山六要素站(榆林定边)、青木川站(汉中宁强)、太要站(渭南潼关)(图6)，其24 h累计降水量分别为162.7、106.3、117.4、74.7 mm，小时雨强最大站点为阎良区政府站(西安)和下梁镇老安寺村站(商洛柞水)(图7)，其最大小时雨强分别为97.8 mm/h和29.3 mm/h。

图6 4次暴雨过程中实况与模式24 h累计降水量最大站点降水日变化(a 广坪站；b 王盘山六要素站；c 青木川站；d 太要站)

图7 4次暴雨过程中实况与模式小时雨强最大站点降水日变化(a 阎良区政府站；b 下梁镇老安寺村站)

对比发现，当暴雨过程为连续性降水时，DCOEF对降水趋势变化把握较准确，累计降水量与实况较为接近，可达到暴雨级别。如青木川站在14日20时—15日20时过程中，DCOEF和实况降水趋势除20时外，其余时刻均一致，且累计降水量分别为124.4 mm和117.4 mm，仅差7 mm。不足的是，在日变化时间尺度内，峰值时段和峰值量级存在偏差。如对王盘山六要素站3日20时—4日20时降水过程，逐3 h降水量不同时次存在强度偏小或偏大情况，实况出现2个峰值分别为21 mm和58.6 mm，DCOEF与实况偏差约10 mm；对太要站18日20时—19日20时降水过程，峰值时间存在偏移，实况为08时，预报为11时，导致在更为精细的时段内预报能力下降。而当暴雨过程为短时突发性降水时，DCOEF预报能力较差。比如5—6日阎良区政府站，短短1 h内产生97.8 mm降水，但前后几个小时内无降水。这种短时强降水，DCOEF很难预报。

4 结论

应用国家气象中心全流程检验程序库Meteva，从经典检验和单站精细化检验两方面，对2020年陕西汛期4次重大暴雨过程多模式的预报表现进行综合评估，得出以下结论。

(1)各家模式对汛期4次暴雨过程的预报，以中央气象台指导产品SCMOC和陕西智能网格预报产品DCOEF表现较优，其次是欧洲中心ECMWF，预报员基于DCOEF主观订正后产品Release对暴雨及以上强降水有较好的订正能力。

(2)当暴雨过程以系统性降水为主时，各模式对暴雨及以上降水落区预报较准确，以DCOEF表现最佳，避免了站点的漏报，不足是暴雨落区预报范围略偏大，ECMWF存在部分站点漏报情况，而NCEP无论是范围还是强度预报均偏弱。当强降水过程以局地分散性为主时，各家数值产品的预报能力均表现不足。

(3)对于不同地理区域的暴雨及以上强降水，各模式预报表现存在差异，ECMWF对陕北的暴雨预报较为准确，在关中西部和汉中西部DCOEF表现更优，而对关中东部的局地暴雨，则是SCMOC的TS评分较高。

(4)当暴雨过程为连续性降水时，在日变化时间尺度内，DCOEF对于单站降水趋势变化把握较准确，累计降水量与实况较为接近，不足的是峰值时间和强度存在偏差。