基于Spark平台的地理数据并行装载技术

贺梦洁，朱美正，初 宁，杨 岗

(1. 中国电子科技集团第十五研究所，北京 100000；2. 中国电子设备系统工程公司研究所，北京 100000)

基于Spark平台的地理数据并行装载技术

贺梦洁1，朱美正1，初 宁2，杨 岗2

(1. 中国电子科技集团第十五研究所，北京 100000；2. 中国电子设备系统工程公司研究所，北京 100000)

随着地理信息系统研究的不断深入发展，其应用领域不断扩张，地理数据规模越来越大，高性能的地理数据处理成为迫切并且必然的要求。为了适应地理信息系统发展的需要，本文设计了基于Spark平台的地理数据并行处理框架，并最终设计实现了地理数据并行装载技术，使得地理数据装载效率得到显著提高，为今后实现地理数据实时更新、访问、分析等奠定了良好的基础。

Spark；地理信息系统；并行装载

0 引言

随着信息时代的来临，人们对地理数据的依赖性越来越强。如今线上贸易渗透到生活的每个角落，物流公司需要利用地理数据节约成本、提高效率；经销商需要参考地理数据做出重要的商业决策；人们出行也基本不再使用纸质地图，有地图应用可以给出详细的路线指导。可见，衣、食、住、行无不和地理数据相关，因此对地理数据的需求量逐年呈爆炸式增长，称为海量亦不为过。与此同时，对地理数据处理的性能需求也越来越高。地理数据处理包括装载、组织、查询、分析等等，传统的单个CPU的计算资源，单进程、集中式的数据处理方式已经远远无法满足目前的性能需求，为了突破传……