省级气象大数据存储模型设计

2021-06-25 08:17:08夏正龙钟艳雯郑秋生
湖北农业科学 2021年10期
关键词:设计

夏正龙,钟艳雯,郑秋生,朱 亮

(1.湖南省气象信息中心,长沙 410118;2.气象防灾减灾湖南省重点实验室,长沙 410118)

随着Hadoop、HBase、ElasticSearch等大数据存储、处理、运算技术的日益成熟,基于大数据技术的应用研究也成为各行各业重要的课题,中国各级气象部门也展开了如火如荼的研究,如王若曈等[1]采用Cassandra进行实时气象数据存储,设计每类数据对应一个列族,每张表的行被称作列族的键值,类似于该类数据的某一种物理量的磁盘路径,解决了Micaps4业务系统的海量数据分布式存储;徐拥军等[2]利用地面自动站数据量,对分布式数据库的高性能、高可靠性与可用性、灵活性与可扩展性进行了存储测试,得出在入库性能与检索性能方面都高于传统数据库及具有高可靠性、灵活性和扩展性好的分布式集群系统,能提高服务能力、节约建设成本的结论;何林等[3]选用ElasticSearch智能化全文搜索引擎,以中国地面逐小时观测数据为例,设计了气象大数据原型系统,并选取5个典型应用场景开展数据检索和统计分析能力测试,基于ES的气象大数据原型系统在结构化数据的检索和统计方面,尤其是多并发访问的情况下,相比CIMISS(全国综合气象信息共享系统)数据服务接口,响应时间性能提升明显;徐熙超等[4]基于HBase已有的并行数据查询技术基础上进行了相应优化,在表设计阶段充分考虑了HBase特性与业务系统常规查询用例,通过协处理器建立适用于海量气象结构化数据的实时查询索引,实现了海量数据的快速查询,以支撑现代气象业务系统。……

登录APP查看全文

猜你喜欢
设计
二十四节气在平面广告设计中的应用
河北画报(2020年8期)2020-10-27 02:54:06
何为设计的守护之道?
现代装饰(2020年7期)2020-07-27 01:27:42
《丰收的喜悦展示设计》
流行色(2020年1期)2020-04-28 11:16:38
基于PWM的伺服控制系统设计
电子制作(2019年19期)2019-11-23 08:41:36
基于89C52的32只三色LED摇摇棒设计
电子制作(2019年15期)2019-08-27 01:11:50
基于ICL8038的波形发生器仿真设计
电子制作(2019年7期)2019-04-25 13:18:16
瞒天过海——仿生设计萌到家
艺术启蒙(2018年7期)2018-08-23 09:14:18
设计秀
海峡姐妹(2017年7期)2017-07-31 19:08:17
有种设计叫而专
Coco薇(2017年5期)2017-06-05 08:53:16
从平面设计到“设计健康”
商周刊(2017年26期)2017-04-25 08:13:04