“天镜”全流程指标计算功能优化

2023-07-21 08:05:24王英杰
计算机技术与发展 2023年7期
关键词:考核系统

徐 达,曾 乐,王英杰

(国家气象信息中心,北京 100081)

0 引 言

气象综合业务实时监控系统—“天镜”[1]是国家气象信息中心为建设统一数据环境、整合分散独立的监视业务建立的通用、综合、高效的集约化监视平台。“天镜”能够为全国气象部门在收集、分发、入库、数据同步各个环节提供实时观测数据和产品的数据全流程监视服务。目前“天镜”每小时接收处理气象业务监视全流程[2]数据记录达到3千万条,累计接入的数据资料超过400种,为了使目前的数据全流程监视业务可以更高效地在大数据计算和分布式存储架构上运行,需要对目前海量监视数据的处理中加大对计算策略和存储策略的研究力度。

Spark[3]是对海量数据计算处理的重要工具和手段,是基于弹性分布式数据集(RDD)的数据结构,具有数据流模型特点。RDD将数据保留在内存中,且允许用户程序多次查询,降低了对磁盘和网络的开销,适用于在线计算和迭代计算。“天镜”系统使用Spark计算全流程数据,并按全国、省、市县维度的统计指标进行汇聚。气象资料的接入和监视环节的扩展使得需要计算和处理的监视信息激增,使得Spark运行作业时间变长,这对于满足时效性要求而言需要缩短计算任务的运行时间,一种方式是从Spark集群框架和配置参数进行修改和优化,另一种方式则是通过对程序代码进行改动,采用最优的计算策略来提升计算效率。

1 研究环境简介

1.1 国内外监控系统分析

2017年10月,中国气象局批复了由国家气象信息中心牵头,国家级各业务单位共同参与建设的气象综合业务实时监控系统(一期)项目。……

登录APP查看全文

猜你喜欢
考核系统
Smartflower POP 一体式光伏系统
工业设计(2022年8期)2022-09-09 07:43:20
WJ-700无人机系统
ZC系列无人机遥感系统
北京测绘(2020年12期)2020-12-29 01:33:58
内部考核
童话世界(2020年10期)2020-06-15 11:53:22
基于PowerPC+FPGA显示系统
创新完善机制 做实做优考核
当代陕西(2019年9期)2019-05-20 09:47:40
半沸制皂系统(下)
连通与提升系统的最后一块拼图 Audiolab 傲立 M-DAC mini
展演期间基本功考核
影剧新作(2017年4期)2017-03-22 05:47:21
公立医院 如何考核?
中国卫生(2016年2期)2016-11-12 13:22:24