基于Apache Spark的地震观测数据噪声功率谱计算①

郭 凯,黎建辉,温亮明,2,韩振华

1(中国科学院 计算机网络信息中心,北京 100190)

2(中国科学院大学,北京 100049)

3(中国地震台网中心,北京 100045)

4(太原理工大学,太原 030024)

在随着国内地震观测台站的持续布局,我国的地震观测台网不断加密,截至2018年底,中国地震台网中心实时汇集的测震台站数量已经达到了1107 个,地震观测数据每年汇集的量级已经达到数十TB 级别.如此海量级数据体量对数据的汇集和分析带来了巨大的挑战,采用传统单机模式进行的计算和分析在时效性上已经无法满足要求.

以数据质量评估为例,地震观测台站记录系统瞬态变化、仪器毛刺、数据记录的阶跃、尖峰以及由于系统故障引起的信号失真和重大环境的干扰等,都是影响数据记录质量的重要因素,国际上主要采用噪声功率谱PSD[1]和功率谱密度概率密度函数PDF 等方法进行台站的噪声水平监测[2].目前美国地震学研究联合会(IRIS)数据管理中心(DMC)将相关方法集成形成了单机运行的软件PQLX和相关脚本程序,国内相关研究开发大多都采用Matlab 等单机程序开发编制[3].这些处理方法计算效率受限于单机处理能力,在面向海量地震观测数据计算时均存在磁盘IO 瓶颈,主要原因在于其处理保存的数据量和计算结果非常有限,一般仅能处理半年到一年之内全国监测台网的数据,不利于对地震观测台站进行长周期的数据质量评估和挖掘分析.

随着大数据技术的高速发展,以Hadoop和Spark为代表的开源大数……