气象数据服务系统初步设计与方法研究

何学敏

（内蒙古自治区气象信息中心 内蒙古自治区呼和浩特市 010051）

1 引言

我区气象资料具备长序列、高精度、种类繁多、高时空分辨率、与社会生活息息相关等重要性质，为气象部门天气预报、防灾减灾、服务人民生产生活的同时，也是天气及气候研究，气候变化，多领域合作的基础[1]。2017年，为贯彻落实“创新、协调、绿色、开放、共享”五大发展理念，利用云计算、物联网、移动互联网、大数据（简称“云物移大”） 等新兴技术，依托“一平台，三系统”建设，构建气象大数据综合应用平台。建成气象大数据管理云平台，实现对气象及相关行业部门数据的集约化、标准化汇集管理，促进气象信息资源整合共享，挖掘气象大数据应用价值的大数据平台建设启动，旨在有效促进气象业务服务能力的提升，有效支撑和服务政府大数据平台建设，支撑和服务行业部门气象大数据应用，支撑和服务气象大数据在气象防灾减灾、自治区生态文明建设、社会治理、公共服务领域的应用[2,3]。

随着气象资料需求和服务方式的不断拓展，气象资料共享服务业务的复杂度不断提升，如何及时了解用户使用数据的问题，为我区气象业务、科研和服务提供丰富、准确的气象资料，并实现气象数据资源的充分共享，发挥资料价值，释放气象数据红利至关重要，同时规范数据服务、做好资料服务情况的统计分析从而更好的为用户和管理部门服务迫在眉睫。

2 研究内容及相关技术

2.1 研究内容

2.1.1 数据清单发布及账户清单查看

基于内蒙古自治区统一数据环境，和内蒙古自治区气象档案馆，进行数据资源的梳理，在本系统发布内蒙古自治区在线服务资料的数据清单和离线数据服务的数据清单。根据业务发展的需要，建立数据清单更新发布流程，规范实时和历史数据管理和清单维护。

2.1.2 数据服务反馈

建立规范化的数据使用反馈机制，接收用户在服务方式、服务体验、数据质量、数据种类的各方面的反馈意见，针对不同的服务问题进行实时或定期处理和调整，从而避免的零散的问题处理和问题描述不详细无法处理；同时，系统自动记录服务情况，定期进行用户使用情况的统计，实现服务技术与服务管理的有机结合，发挥气象数据的效益。

2.1.3 数据服务情况统计和报告的制作

实现MUSIC 接口的异常访问接口的监控和告警管理；实现在线CIMISS 数据访问量的用户单位访问量和访问数据服务量的统计及排名，各类数据访问量和服务量的统计；实现为用户解决问题的情况统计。

2.2 相关技术

气象数据服务系统采用B/S 结构，选用Java 作为编程语言，基于SpringBoot 框架，通过SpringBoot 配置文件完成了后台框架组织。基于Mysql 数据库管理系统对本系统中的数据持久化进行操作。Web 设计基于Bootstrap 前台UI 完成页面设计，采用JQuery、JavaScript、JSTL、Ajax 等技术完成动态响应。

2.2.1 SpringBoot 简介

图1：气象数据服务系统总体架构

图2：数据服务系统流程

SpringBoot 是一个是由Pivotal 团队提供的全新框架，其设计目的是用来简化新Spring 应用的初始搭建以及开发过程[4]。该框架使用了特定的方式来进行配置，它具有以下特点：

（1）创建独立的Spring 应用程序，基于其Maven 或Gradle 插件，创建可执行的JARs 和WARs；

（2）内嵌Tomcat 或Jetty 等Servlet 容器；

（3）提供自动配置的“starter”项目对象模型（POMS）以简化Maven 配置；

（4）自动配置Spring 容器；

（5）提供准备好的特性，如指标、健康检查和外部化配置；

（6）绝对没有代码生成，不需要XML 配置。

2.2.2 Quartz 技术

图3：MUSIC 接口帐户同步调度任务流程图

Quartz 是OpenSymphony 开源组织在Job scheduling 领域又一个开源项目，它可以与J2EE 与J2SE 应用程序相结合也可以单独使用。Quartz 可以用来创建简单或为运行十个，百个，甚至是好几万个Jobs 这样复杂的程序。

2.2.3 Redis 缓存技术

Redis 是一个使用ANSI C 编写的开源、支持网络、基于内存、可选持久性的键值对存储数据库[5]。根据月度排行网站DBEngines.com 的数据，Redis 是最流行的键值对存储数据库。

2.3 系统架构设计

气象数据服务系统基于CIMISS 数据环境，通过实时获取MUSIC 接口帐户信息、在线数据清单、接口访问日志，深度结合业务需求对各类数据服务情况数据进行加工处理。其中，接口帐户信息用于形成气象数据服务系统帐户清单，供数据用户和数据管理员登记维护在线接口帐户。

在线数据清单，进行实时同步和加工处理，同时纳入数字化资料、离线资料等形成气象数据服务系统数据清单。

通过对CIMISS 在线接口访问日志对进行加工处理入库，形成在线数据服务情况日统计，长期保存以支持数据服务情况查询统计功能和数据服务报告自动制作。如图1 所示。

2.4 系统流程设计

系统设计分为数据服务管理员和数据使用用户2 种角色，基于数据服务系统账户开展MUSIC 接口账户的管理、对接业务系统管理、资料申请使用管理，及满意度反馈的管理，建立规范化的服务反馈和申请处理流程，如图2 所示。

3 系统功能页面设计

3.1 清单功能

数据服务的建设任务之一是构建包含在线、离线、业务内网各级资料类型的数据清单，本功能主要包括：

（1）在线服务数据清单页；

（2）在线服务帐户清单页，集中展示数据服务系统中所有用户绑定MUSIC 接口帐户、接口帐户绑定业务系统和接口帐户数据订阅情况；

（3）MUSIC 接口帐户同步调度任务，将CIMISS 系统支撑库中的接口帐户基本信息同步到数据服务中（图3）；

（4）MUSIC 接口帐户页，可绑定或解绑接口帐户、查看接口帐户基本信息、接入业务系统以及管理每个接口帐户的数据清单；

（5）新增资料提醒；

（6）对接业务系统登记，便于进行MUSIC 账户的级别区分，进一步规范资料安全和数据使用，开展MUSIC 接口绑定业务系统登记。其中在线数据清单自动同步，离线及业务内网数据清单手动维护。

3.2 资料订阅

资料订阅主要包括：

（1）数据清单订阅，用于展示一个MUSIC 接口帐户下，在线数据清单的订阅情况；

（2）数据清单订阅审核页，用于审核数据服务用户提交的，单个MUSIC 接口帐户数据清单订阅申请。

3.3 问题和反馈

问题与反馈主要针对数据用户在使用数据过程中出现的问题，系统中提供问题提交和处理的统一渠道，并由数据管理员集中处理问题。主要包括的功能有：

（1）建议登记和处理反馈，用户对数据服务相关的建议可通过系统提交，可在后台查看所有用户提交的建议，并进行处理反馈。

（2）满意度调查，以调查问卷形式，定期给数据用户推送满意度调查表，点击相关提示后在系统内完成满意度调查的填写。

3.4 数据服务情况

数据服务情况主要统计用户使用离线数据和在线数据情况，并用于相关统计及服务报告。主要功能包括：

（1）离线数据申请/审核；

（2）离线数据服务统计，用于开展离线数据服务情况的统计及服务报告；

（3）在线服务情况逐时统计调度任务，用于逐日统计调度任务，及支持后续其它数据分析；

（4）在线服务情况逐日统计调度任务，将前一天的MUSIC 接口访问情况进行初步统计并入库，为后续的统计、超阈值提醒等功能提供数据支持；

（5）在线数据服务情况统计页面，用于在线数据服务情况的查询统计并进行图表展示；

（6）MUSIC 接口访问超阈值告警，如果访问次数或数据量超过预设的阈值，为其用户生成告警消息；

（7）数据服务报告制作，基于系统内在线和离线数据服务日常业务的数据积累，及数据服务业务系统相关访问情况的实时同步统计，进行阶段性数据服务报告的人工制作和自动制作。

4 结语

气象数据服务系统的建立为气象资料的安全管理、规范气象资料服务业务流程、提升气象资料服务水平和能力提供了前提和基础，保障了统一数据环境数据服务的正常和稳定，为用户提供平等、稳定的数据环境和接口环境。

在充分考虑数据安全使用的前提下，既能够规范数据使用问题和接口用户调用数据的管理，同时也有助于提升用户服务体验的同时，便于数据服务管理员开展问题的梳理和总结，提升服务能力和服务水平。