基于Elasticsearch和FastDFS卫星数据生命周期管理系统的研究与设计

姜青涛 梅丹

北京道达天际科技有限公司 北京 100089

1 背景及意义

近些年来随着各类卫星持续发射并投入使用，卫星数据信源、卫星载荷类型、卫星数据产品种类不断增加，由此产生了巨量的卫星遥感数据。以高分卫星数据为例目前高分一号、高分三号、高分四号、高分六号已形成了可见光、微波遥感、立体测绘、高光谱等载荷；分辨率范围也覆盖了几十米、几米到亚米级；数据存储量每日接收量的单位从GB上升到TB，各级数据产品年产生量已达PB级，由此给数据管理带来的挑战日趋严重。如何建立一套兼顾高可靠性存储和便捷地检索，如何建立数据的全生命周期管理模式，如何方便扩展后续卫星信源扩展以满足后续卫星数据的不断接入，在大数据技术背景下建立一套开放式的卫星数据全生命周期管理体系已迫在眉睫。

2 相关技术研究

传统卫星数据管理模式，主要依托目录固定分类对各类卫星数据进行组织，这样的方式问题在于：第一，固化的数据目录划分和分类对数据多条件检索和查询要求不易实现；第二，受物理存储单元的限制，小碎文件的存储依然占用同等存储空间导致存储空间利用率低；第三，存放在文件服务器或者NAS[1]存储的数据能够通过外部访问致使数据安全性不高。利用Elasticsearch、FastDFS等大数据技术可解决传统存储和管理方式的不足。

2.1 Elasticsearch技术

Elasticsearch是一种分布式海量数据检索与分析技术[2]，其底层基于Lucene实现，支持的数据高达PB级别，其倒排索引的算法效率更优于传统数据库（如：Mysql）的B+Tree算法，能极大提高查询检索的效率，对于大数据量的卫星数据的查询能实现近实时性响应速度。……