基于大数据技术的气象业务监视数据采集处理

曾 乐，孙 超，张来恩，陈文琴

(国家气象信息中心，北京100081)

1 引言

气象综合业务监视数据是能反映全国气象业务实时运行状态的各种数据的集合[1-2]。为实现“全流程、全业务、一体化”的综合业务监视目标，与一般的信息系统监视数据相比，气象综合业务监视数据涵盖的内容更广泛，包含很多业务运行的细节数据，数据量非常大，处理逻辑较为复杂，时效性要求高。

气象综合业务监视数据可分为资源类监视数据和业务类监视数据。其中资源类监视数据是从信息系统层面体现气象业务软硬件资源可用性，包括主机、存储、网络、安全、动力环境等基础设施以及数据库、消息中间件等通用系统软件、气象业务应用进程运行状态数据；而业务类监视数据是从业务层面体现气象业务运行状态的监视数据，在这类监视数据中，一般包含具有气象业务涵义的数据内容，如收集的观测资料到报率、可用率等[3]，与气象业务流程和业务逻辑息息相关，能反映业务可用性等情况。

根据监视数据的形态，气象综合业务监视数据可细分为资源性能指标类数据、原始业务日志数据、业务指标类数据、告警事件类数据等。

1)资源性能指标类数据是以指标数值来反映资源的运行能力状态的数据，如存储可用率、网络流量等。

2)原始业务日志数据是业务各环节产生的日志数据，是主要的业务监视数据来源，其中最核心的是气象行业内各种观探测资料从采集、传输、预处理、存储到产品加工、服务应用的气象资料全生命周期各环节的运行状态日志数据。……