E lasticSearch分布式搜索引擎在天文大数据检索中的应用研究∗

陈亚杰 王锋,2† 邓辉 刘应波

(1昆明理工大学云南省计算机技术应用重点实验室 昆明 650500) (2中国科学院云南天文台 昆明 650011)

E lasticSearch分布式搜索引擎在天文大数据检索中的应用研究∗

陈亚杰1王锋1,2†邓辉1刘应波1

(1昆明理工大学云南省计算机技术应用重点实验室 昆明 650500) (2中国科学院云南天文台 昆明 650011)

天文观测数据是天文研究的基础,但传统的集中式数据检索方法已难以满足日益增长的海量天文数据的高性能检索和查询需求.提出了一种基于ElasticSearch分布式搜索引擎,通过River机制对现有的海量FITS(Flexib le Image Transport System)数据进行索引构建,从而实现海量FITS数据高效检索的方法,并讨论了其中的近实时检索和查询的关键技术.实测结果表明,在百万到千万级的天文数据量下,该方法可获得极高的检索性能,并能够很方便地集成到现有的天文数据归档系统中,完全可以满足当前国内各类望远镜系统天文数据的归档要求.

方法:数值,方法:解析,天文数据库:其他诸多方面

1 引言

FITS(Flexible Image Transport System)[1]是国际天文学联合会(IAU)于1982年确定的用于各天文台之间数据传输、交换的统一标准格式,是天文学界常用的数据格式.目前,大量的天文数据都以FITS格式进行存储.随着天文观测技术和数据获取及处理技术的逐渐成熟,各天文观测站获取的天文FITS数据已经非常庞大[2];此外,由于不同观测站根据其自身的考虑会采用不同的存储规范,FITS数据文件基本没有完全统一的存储标准.因此,在当前海量数据增长背景下,对海……