Hadoop支持下海量出租车轨迹数据预处理技术研究

吕江波，张永忠

(1.兰州交通大学，甘肃 兰州　730070；　2.兰州市勘察测绘研究院，甘肃 兰州　730030)



Hadoop支持下海量出租车轨迹数据预处理技术研究

吕江波1，2，张永忠1，2

(1.兰州交通大学，甘肃 兰州730070；2.兰州市勘察测绘研究院，甘肃 兰州730030)

摘要：海量出租车轨迹数据预处理是轨迹数据挖掘和应用的前提。出租车轨迹数据是典型的大数据，传统的数据处理技术无法解决大规模出租车轨迹数据误差分析和处理问题，文章在分析轨迹数据误差来源和误差类型的基础上，提出基于Hadoop的海量出租车轨迹数据预处理模型，使用Hive实现轨迹数据误差统计分析，设计MapReduce并行处理程序实现轨迹数据预处理。实验结果表明，该模型可以有效解决大规模出租车轨迹数据预处理问题，处理方式可靠性较高，大大提高了轨迹数据预处理效率，为后期轨迹数据深入挖掘和分析奠定了基础。

关键词：轨迹数据；Hadoop；大数据；数据预处理；并行计算

1引言

随着卫星定位技术、无线通信技术和地理信息技术的迅速发展，定位设备在车载以及移动终端上得到广泛使用。许多城市的出租车都装载了定位设备，这些设备会定时将其位置信息传至服务中心，由此汇聚而成大规模的出租车轨迹数据。这些轨迹数据包含大量信息，已经开始应用于很多重要领域，如城市规划、智能交通、人类行为模式研究以及能源消耗等。近年来，由郑宇主导的“城市计算”，掀起了对GPS轨迹数据处理和分析的热潮。他们通过出租车在某区域的连通性评判区域规划的好坏；……