流式处理框架在实时交通信息中的应用

赵正+吕浩涵

【摘要】 流式处理既可以对海量数据实时分析以减少延迟，又可以对海量价值比较低的数据进行预处理再存储，有效节省存储空间，有利于提高后续数据处理的效率。本文在对三种流式处理框架分析的基础上，采用流式处理框架，建立实时交通信息流式处理模型，从数据的实时采集、数据缓冲、流式计算及数据存储方面来进行分析。

【关键词】 流式处理框架 交通信息 应用

一、前言

随着经济的快速发展及城市化进程的加快，机动车的数量越来越多，交通需求与道路设施之间的矛盾愈发尖锐，掌握实时交通信息状况，合理选择出行路线，成为人们出行前不得不考虑的问题。计算机应用系统的不断发展、通信网络技术和传感器的不断进步，数据采集、数据传输能力大大增强，使人类能够获取实时交通信息，如交通实验观测数据、交通导航服务信息、交通传感器网络监控数据、交通实时速度数据、交通摄像机监控数据等，这种在动态环境中产生的信息构成了连续不断的流式数据。先存储后处理是传统的数据处理方式，而这种方式无法满足海量数据实时处理的需求，流式处理应运而生。流式处理既可以对海量数据实时分析以减少延迟，又可以对海量价值比较低的数据进行预处理再存储，有效节省存储空间，有利于提高后续数据处理的效率。

二、流式处理框架介绍

1、流式处理Storm。Storm是一个免费开源的分布式实时计算系统，简化了流数据的可靠处理，可用于任意编程语言。……