面向轨迹流数据的索引构建与存储方法研究

蔡瑞初，林峰极，郝志峰，2，王 立，温 雯

（1.广东工业大学计算机学院，广州 510006；2.佛山科学技术学院数学与大数据学院，广东佛山 528000；3.依图网络科技有限公司新加坡研发部，新加坡 018960）

0 概述

随着信息处理技术的快速发展，人们生活各方面产生的数据量呈现几何级增长，对分布式计算与数据存储提出更高要求。在企业大数据应用需求推动下，Hadoop、Storm 和Flink 等分布式计算框架相继出现并显著加快了数据处理速度，其中Storm 是一种分布式流式计算处理框架，可使任务分布到集群中进行。Google 公司的GFS、HDFS 以及基于CEPH 的CephFS 等分布式存储系统支持文件及对象的快速读写，可存储大规模数据。key-value 模型［1］与以Redis 为代表的NoSQL 型数据库是目前使用广泛的存储模型。

在移动社交网络和基于位置的服务领域，每秒都会有大量轨迹数据产生。为便于分析与管理，数据存储系统需在存储高速轨迹数据流的同时支持低延迟的时间范围查询。例如，在以每秒约百万个元组的速度记录实时GPS 数据的同时，对最近5 min 内获取的某个地理区域中全部GPS 数据进行交互式查询。然而现有的HBase 等数据存储方案无法同时实现数据的高速插入与低延迟时间范围查询。此外，对大量数据进行低延迟时间范围查询需在时空列上创建索引，且元组插入与索引更新结合后产生大量时间开销，导致高吞吐量的插入无法实现。同时，由于众多场景要求数据元组在其到达时立即可见，因此不能采用基于批处理的插入来降低索引更新成本。……