气象数据监控系统的设计与实现

叶汶华

摘 要气象数据监控系统设计用于对种类繁多的气象数据统一收集管理，及时发现传输中的问题。系统主要功能包括数据探测、智能分析和实时监控。重点介绍针对数据库数据和文件系统数据的探测及监控技术。在深圳市气象局的应用表明，系统可以及时发现数据传输中的问题，有效提高气象资料采集传输的管理能力。

【关键词】气象数据 数据探测 实时监控

2006年，深圳市气象局建立了数据中心，将气象基本观测数据都纳入统一管理，近年来，数据种类、内容大大丰富。不同种类的多种数据来源不同，格式多样，数据规律不一。建立一个数据监控系统，实现对各类数据的实时监控统计和告警，将可提升数据传输质量保障能力。

1 总体架构

气象数据监控系统分为数据探测、智能分析、实时监控三个模块。数据探测模块采集每类数据到报情况，智能分析模块根据各种数据的规律、预警条件、分析数据是否正常，实时监控模块展示数据到报情况以及发出告警通知。

2 数据探测

气象原始数据，可以将其分为结构化数据和非结构化数据，结构化数据一般采用关系型数据库系统存储，非结构化数据一般采用文件系统存储。数据探测程序按照结构化数据和非结构化数据分别设计。

2.1 结构化数据

对于结构化的关系型数据库类的数据，数据探测程序主要是通过定期统计数据到报的数量来获得数据到达情况。具体做法是在数据库中定义一个定时任务，定期对目标数据表进行扫描统计，获取特定时间段内的数据到报数量。

如下面以区域站数据示例说明：该表包含了数据观测时间（ddatetime），数据写入时间（crttime）字段。因该类数据是每分钟周期性到达，定期JOB定义为每5分钟扫描一次，设定每次统计当前时间上5分钟的数据，探测程序统计的SQL语句：

select ddatetime 时间， count（*） 到报数

from （select ddatetime

from T_LOCALOBTMIND

whereddatetime>=sysdate - 1 /288）

group by ddatetime

得出的结果如表1所示。

2.2 非结构化数据

非结构化的文件数据的数据探测程序定期扫描目标文件夹，并将每次扫描结果存放在数据探测结构表中。记录文件的文件名、文件大小、生成时间、修改时间等属性。以欧洲中心精细化预报产品目录为例，说明一下程序运行情况：

目标目录：＼＼cmacast＼NWP_MCTR_002＼ECMF_DAM＼PUB

扫描频率：1小时

select file_name 文件名，accept_day||accept_time 接收时间

fromcmacast_file_nwp_mctr_002

order by mod_timedesc

扫描后的结果记录如表2所示。

3 智能分析

气象数据一般都具有较好的规律性。预警规则的设置，可以设置数据的数量阈值，时间阈值等参数。以深圳市区域站数据为例，区域站共120多个站点，每分钟产生一个数据，因此，可将预警时间阈值设置成5分钟，数量阈值设置成120。

设置完后，系统自动跟前面数据探测中获取的实时数据情况作比对，当发现数据未在规定时间内到达数量阈值时，触发告警。

4 实时监控

为了让业务人员更直观的了解各种数据到达情况，实时监控功能提供了页面展示和短信告警功能。监控主页面可以看到各种数据的到报情况，每一类数据可以设定一条对应的告警短信内容以及对应的通知手机号码，当达到预警条件时候，会触发告警，发送告警短信到指定的手机号码。

5 结语

系统考虑到了主流的结构化关系数据库数据跟非结构化文件类数据的监控，基本可以涵盖现在所有常见气象数据类型。系统还可以从以下方面进行改进。

（1）告警方式还可进一步改进增加直拨电话通知。

（2）可以考虑增加对数据内容的验证。

参考文献

[1]李雁，李峰，赵志强，等.中国区域自动气象站运行监控系统建设[J].气象科技，2013，41（2）：231-235.

[2]王海宾，邵玲玲.基于ORACLE的长三角自动站数据库系统[J].气象科技，2012，40（6）：933-937.

[3]孙周军，肖文名，宋远清，等.气象信息实时监视系统改进设计与实现[J].成都信息工程学院学报，2012，4：168-173.

[4]张华丽，杨帆，于海平.分布式数据监控系统的设计和实现[J].计算机与数字工程，2013，8：1298-1301.

[5]樊伟钰，朱晓民.一种PaaS系统的数据监控平台的设计方案[J].电信工程技术与标准化，2013，11：80-84.

作者单位

深圳市气象局 广东省深圳市 518040