气象大数据分布式存储设计与实现

雷 鸣

(天津市气象信息中心，天津 300074)

0 引 言

随着信息技术的进步，以及互联网和科学数据分析等领域的快速发展，每年数据量近乎在成倍增长，人类社会已进入大数据的时代[1-2]。而随着气象数据种类、数量日益繁多，范围尺度越来越大，在海量气象数据场景下，无论传统数据库还是文件系统技术的查询和存储方式都不能很好地满足气象数据的高性能查询要求。因为气象数据不仅要在高并发情况下高速存储，同时还需要在毫秒级的时间内提供数据产品服务，而传统关系类数据库因为一致性约束不能提供大数据要求的高强度采集和存储需求，且维护比较困难、查询效率低下[3-4]。同时，现有支撑省级业务的CIMISS系统的数据处理能力不足，尤其是数据的存储能力和响应速度，已不能满足现有的数据服务要求[5]。

随着大数据时代的到来，低成本、高效率的数据存储方式逐渐受到关注，将分布式文件系统作为大数据存储载体，是当前大数据存储领域相关技术的重点关注方向[6-10]。

基于以上原因，参照大数据技术在各行业中的成功应用[11-14]，利用分布式技术、按照集约化原则，构建天津省级气象大数据服务中心。

1 系统架构

1.1 系统总体架构

考虑到利旧和核心业务数据难以动迁的实际问题，拟采用关系型数据存储、分布式NoSQL数据库存储、网格存储系统和分布式NAS存储相结合的混合云存储架构。整体系统架构如图1所示。

系统涵盖了数据采集、数据存储到数据发布的整个流程。……