云计算环境下的气象资料管理平台设计

孔令旺，张 瑾，薛万孝

（甘肃省气象信息与技术装备保障中心，甘肃 兰州 730020）

1 引言

云计算[1]是一种资源的使用模式，这种模式是对可配置的计算资源共享池（资源包括网络、服务器、存储、应用软件和服务）提供可用的、便捷的、按需的网络访问，只需要投入很少的管理工作，或与服务供应商进行很少的交互，这些资源即可被快速提供。

随着气象现代化的逐步推进，甘肃省气象信息中心已经建成了以NAS（网络接入存储Network-Attached Storage）为平台的在线存储系统，实现了高空、地面、农气、辐射、酸雨、雷达、报表等多种非结构化类型气象观测资料的在线云存储，满足了气象数字档案资料海量增长的存储需求，同时，海量的虚拟化资源池建设构建了云计算必要的软硬件环境，本研究旨在云计算环境下设计一套气象资料管理平台，优化气象资料的收集、整理、加工、检索和服务流程，保证甘肃省气象资料的集约化、标准化以及气象资料的安全性、正确性和完整性。

2 平台的组成

如图1 所示，云计算环境下的气象档案资料管理平台分为4 个层次，由数据源、数据采集层、服务层和用户层组成。

图1 云计算环境下的气象档案资料管理平台架构

2.1 数据源

数据源由在线存储在大容量存储NAS 或SAN等设备的高空、地面、农气、辐射、酸雨、雷达、图像报表、区域站资料、多普勒雷达等多种非结构化气象标准文件、天擎数据资源服务器、MDOS 数据库服务器、MODI 标识符数据库服务器和数字化资料索引数据库组成，为数据采集层提供历史及实时气象资料。

2.2 数据采集层

数据采集层由实时数据采集软件、资料管理软件、资料服务采集软件、SaaS 服务软件组成。

数据采集软件自动定时采集区域站、雷达、沙尘暴、闪电定位、土壤水分、大气成分等实时数据。

资料管理软件接收高空、地面、农气、辐射、酸雨等人工审核后的历史数据，并建立索引数据库。

资料服务采集软件接收来自服务层的数据请求，根据被服务用户的需求，采集相应的结构化或非结构化数据形成服务文件传递到服务层。

SaaS 服务软件是部署在其服务器上以云服务的方式直接运行的气象业务软件。

2.3 管理和服务层

管理和服务层由WEB 服务器、SaaS 服务器、Ftp 文件服务器、邮件服务器组成。

管理用户通过WEB 服务器上传和管理审核后的资料。当被服务用户的气象资料请求审批通过以后，由WEB 服务器或SaaS 服务器向数据采集层发出数据请求消息，并在数据生成层生成用户所需数据之后，按照用户的需求由WEB 服务器或SaaS 服务器将数据发送给FTP 文件服务器或邮件服务器，完成整个服务流程。

2.4 用户层

用户层由管理用户、资料服务用户和SaaS 用户组成，该层通过互联网发布气象资料云服务安全接口。管理用户通过WEB 页面管理和上传资料。资料服务用户在线定制个性化的气象资料，发出气象资料服务申请，由管理用户进行在线审批，如果资料请求符合规定，管理用户审批通过，气象资料服务任务交由服务层处理。SaaS 用户通过WEB 页面登录远程桌面访问相关业务软件，提取相关气象资料。

3 平台的功能和业务流程

3.1 实时资料数据收集

本管理平台由专门的数据采集软件自动定时采集存储实时数据，根据气象资料的类别、生成时间、文件命名格式等资料特征制定数据采集规则表，数据采集软件根据数据采集规则表定时从实时气象数据资料库中提取相应数据文件，建立相关索引，并保存到云存储设备中。

3.2 人工审核资料在线上传和下载

经过人工审核的常规气象资料，由气象资料审核人员登录WEB 网页，在线上传本人审核后的气象资料。资料上传后生成资料索引记录，并记录相关日志。同时，气象资料审核人员也可用根据相应权限下载相关资料。

3.3 资料完整性检查

一方面，平台设计了自动完整性检查功能，定时启动完整性检查流程，并生成相关信息推送给管理员，由管理员审核资料完整性检查软件推送的资料完整性信息，通过管理平台对缺失的文件进行补录，同时生成资料索引记录，并形成相关记录日志。另一方面，管理员可以通过人工方式手动运行资料完整性检查软件，检查数据文件的完整性。

3.4 文件管理

文件的管理功能包括为数字化文件自动建立文件索引、删除和移动、资料检索和查找、创建目录、记录操作日志等功能。资料上传后，服务器应用程序会自动根据上传文件的类型和文件名自动匹配文件名的格式，自动提取出资料类型、观测日期、观测时间，记录上传时间等索引信息。资料审核人员和资料管理人员按照自己的权限管理资料，可以删除、移动资料文件，删除移动的同时系统会自动记录日志，修改检索信息。管理人员也可以按照资料的种类、观测时间等信息检索需要的资料，并可以按照自己的权限下载到本地。操作人员可以根据需求，通过WEB 服务器在云存储上新建立目录。操作人员对资料的上传、删除、移动、修改都会在操作日志表中留有记录。

3.5 用户及权限管理

平台用户的角色分为管理员、资料审核员、资料服务审批员、资料服务用户四大类。每一个平台用户都可以同时拥有一个或多个角色，每一个角色对应了平台上一个或多个应用模块的功能，系统管理员给用户授予不同的角色，用户就可以使用相应角色拥有的平台功能模块。

（1）审核人员。审核业务为高空、地面、农气、辐射、酸雨等常规资料的审核工作。管理平台按照审核人员的业务赋予审核人员不同的存取权限，审核人员登录之后，可以提交、下载和管理自身业务范围的资料，之后平台会执行一系列的自动化操作，包括将资料保存到云存储平台，将提交的资料进行索引，将管理后的资料索引进行修改，在日志表中记录操作过程，向资料管理员发送消息，等待管理员的确定。

（2）管理人员。管理人员与审核人员一样，具有提交、下载和管理维护资料的权限，做出相应操作之后，也会执行一系列自动化的操作，保存资料到云存储平台，对资料进行索引，修改资料对应的索引，记录日志等。不同的是，管理人员登录系统后，平台会发送给管理员资料变化的相关消息，由管理人员作出相应的确认操作。

（3）资料服务用户。资料服务用户是被服务用户，用户通过管理平台提交资料申请，然后平台会创建一个资料审批服务流程，平台将用户提交的资料申请通过消息发送给资料服务审批员，待审批人员确认后，由资料管理人员提供服务。

（4）资料服务审批员。资料服务审批员是资料业务主管单位，审批来自资料服务服务用户发来的资料申请，并将审批结果发送给资料管理人员处理。

3.6 流程管理

如图2 所示，操作人员登录后，管理平台会按照操作人员的角色和业务权限为其划分不同的资源模块，之后操作人员会按照自己的岗位职责及平台赋予其个人的角色进行数据提交、数据维护、资料管理、资料审查等操作。

图2 平台的工作流程

审核人员登录之后，提交、下载和管理自身业务范围的资料，随后平台会执行一系列的自动化操作，将资料保存到云存储平台，对提交的资料进行索引，修改管理后的资料索引，在日志表中记录操作过程，向资料管理员发送消息，等待管理员的确定，管理人员收到平台发送给管理员资料变化的相关消息后，由管理人员作出相应的确认操作。平台每天会唤醒一个数据检查进程，按照各类业务提交资料的时间，检查数据是否完整，如果数据超过设定的期限没有提交到平台，平台会给管理员和相应业务的审核员发送一个提醒提交资料的消息。数据检查进程也可检查数据源是否正常，并对不正常的数据源进行故障排除。资料的服务流程是被服务用户通过甘肃省气象数据标识符系统（MOID）提交资料服务申请，然后MOID 标识符系统会创建一个资料审批服务流程，将用户提交的资料申请通过MOID系统发送给资料服务审批员，待审批人员审批确认后，由资料管理人员提供数据服务。

4 平台设计

气象资料管理平台在ASP.net 环境下开发，平台的主体程序部署在WEB 服务器上，数据的索引和检索结构部署在数据库服务器上，在线收集和汇交的历史数据存放在NAS 服务器上。

平台的主体程序包括索引模块、数据管理模块、用户权限管理模块、资料收集模块、日志管理模块，各个模块相互独立，通过数据库服务器进行相关的数据和消息传递，以此来控制整个数据的操作流程。

4.1 索引模块设计

文件的索引信息包括：资料类型、文件名、修改日期、备份日期、备份方式、备份次数、文件存储路径、文件大小、观测时间、上传时间等。

索引模块包括对历史数据文件建立索引和对在线提交的数据建立索引两个部分。历史数据由管理员或者审核员直接批量上传到NAS 文件服务器上，然后通过WEB 服务器上管理平台的文件列表功能将无文件索引的文件进行在线网页列表，通过网页界面，操作人员调用建立索引的软件模块为历史文件建立索引。由管理员和审核员在线提交的数据文件通过网页界面在线提交本地数据文件，在线上传后，平台为提交的数据建立索引，并记录上传日志。

索引模块能够根据上传数据的文件名自动匹配气象资料的类型、观测日期、观测时间等信息，并将这些信息自动记录到文件索引数据库中。其工作原理是在索引数据库服务器中定义了气象文件命名规范信息表，表中记录了各类气象数据文件名的资料类型标志信息、标志信息的位置和长度、观测时间的位置和长度、时制等信息，当要为文件建立索引时，索引模块提取出上传到管理平台的文件的文件名，搜索气象文件命名规范信息表，查找该文件是何种类型的气象资料，确定了资料的类型后，根据气象文件命名规范信息表中记录的该类资料的文件名中观测时间的位置和长度在文件名中提取观测时间信息。

4.2 数据管理模块设计

数据的管理模块是对已经保存到管理平台的数据文件进行日常维护，包括数据文件维护和文件索引维护两个方面。

首先，数据管理模块可以对数据文件及其索引进行一致性检查，查找出有文件索引但丢失数据文件的索引记录，也能查找到有数据文件但没有索引记录的文件，管理平台检索到数据文件和索引的不一致后，可以删除多余文件的索引，也可以为没有建立索引的文件建立新的索引。

其次，数据管理模块可以检查管理平台上数据的完整性。按照气象文件命名规范信息表中定义的资料类型及该资料的周期，以时间顺序在索引表上依次查找数据文件是否齐全，并输出缺失的数据文件列表，提醒管理员及时收集和补录。

另外，数据管理模块也实现了数据文件的网页在线管理功能，如生成数据文件的列表，删除、复制及上传文件等功能。

4.3 用户权限模块设计

用户管理权限模块以用户角色列表和用户表作为数据支撑，对平台上的用户及其操作权限进行管理。其中，用户角色列表中定义了各种角色及其在平台上所拥有的权限，用户表中定义了用户是哪一类角色。用户登录时，用户权限模块先查找该用户是哪一个角色，然后根据这个角色赋予该用户相应的权限来访问管理平台。

4.4 资料采集模块设计

数据采集模块的设计是基于数据文件周期列表的检索与拷贝，该列表中定义了数据文件的类型、数据文件的生产周期、数据文件的原始目录、数据的目标存储目录、文件名的格式等信息。数据采集模块根据数据文件周期列表定时对源数据目录进行检索，查找没有收集到的文件，并将这些文件拷贝到文件周期列表中定义的该类数据文件的目标目录中，同时记录被采集数据文件的相关日志信息和索引信息。

4.5 日志管理模块设计

日志管理模块记录了用户对数据文件的操作记录，在平台的数据库中建立了操作日志信息表，信息表中定义了文件的名称、文件所在目录、用户信息、用户操作类型、操作时间等信息，当用户对文件进行操作时，日志管理模块就对当前用户进行的操作记录到操作日志中。管理员可以对所有用户的操作记录进行检索，监督用户的操作数据记录是否规范。

5 结束语

本平台的建设，为提高气象档案数字化服务能力，提升气象数据档案的利用率，促进气象档案事业的发展，带动气象数字档案馆建设打下了坚实基础。但是云计算环境的发展是一个动态创新的过程，随着中国气象局天擎系统在全国各省的部署和应用，为气象大数据业务创造出了新的云计算环境，将来必须结合天擎系统改造完善气象资料业务的管理和服务模式，进一步提高气象资料管理和服务的质量。