NVMe在气象大数据分布式存储中的研究与应用

陈旭辉，刘 洋，高 鹏，徐 娟

(甘肃省气象信息与技术装备保障中心，兰州 730020)

0 引言

气象部门在长期的气象探测、气象服务中积累了大量的全球气象监测及气象分析产品数据。近年来，随着物联网技术、自动化气象探测技术、气象应用技术的发展，气象数据的种类越来越多[1]，监测数据的时空密度也越来越高，数据容量快速增长，以省级气象部门为例，每天接收的数据约500 G。气象数据具有典型的大数据特征，比如规模大、种类多、生成处理获取速度快、价值大但密度低、可信赖度高，其核心作用在于预测[2，3]。关于气象大数据的属性，沈文海、熊安元等进行过详细分析。2009年气象部门建立了全国气象信息共享系统[4-6]，实现了全球气象资料的收集、处理、存储和共享，但该系统采用了传统的集中存储架构，随着数据增长，扩展性和存储性能已经无法满足数据快速处理的需求。

沈文海认为以分布式计算和存储为主的分布式技术是大数据不可或缺的核心技术，气象部门应该建立以分布式技术和弹性计算为核心的大数据业务平台[7]。分布式存储是大数据需求驱动下出现的一种存储技术[8，9]，其安全可靠，扩展性强，并发性能好，特别适用于大数据处理环境[10]。NVMe(Non-Volatile Memory Express)全称非易失性存储器标准，是固态硬盘(SSD)的一种规范，NVMe规范采用了四通道PCI-E，PCI-E3.0的速度高达32 Gbps，是传统AHCI(Advanced Host Controller Interface，高级主制接口)协议SSD的5倍多。NVMe盘具有高带宽、高IOPS(Input/Output Per Second，每秒的读写次数)、低延迟、低功耗的特点，特别适合数据中心使用。

但是NVMe固态盘存在不支持主流的硬件RAID、使用寿命有限制、价格昂贵等缺点。……