流式大数据实时处理技术、平台及应用

陈纯

浙江大学计算机科学与技术学院，浙江 杭州 310058

聚焦

流式大数据实时处理技术、平台及应用

陈纯

浙江大学计算机科学与技术学院，浙江 杭州 310058

大数据处理系统根据其时效性可分为批式大数据和流式大数据两类。上述两类系统均无法满足“事中”感知查询分析处理模式的需求。为此，从分析大数据应用场景入手，提出了“流立方”流式大数据实时处理技术和平台，在完整大数据集上实现了低迟滞、高实时的即席查询分析。目前基于“流立方”平台开发的业务系统已应用到金融风控反欺诈、机器防御等领域，具有广阔的应用前景。

streaming big data, streaming processing, incremental computation, time series processing

1 引言

大数据技术的广泛应用使其成为引领众多行业技术进步、促进效益增长的关键支撑技术。根据数据处理的时效性，大数据处理系统可分为批式（batch）大数据和流式（streaming）大数据①https://www. infoq.com/ articles/streamprocessinghadoop/两类。其中，批式大数据又被称为历史大数据，流式大数据又被称为实时大数据。

目前主流的大数据处理技术体系主要包括Hadoop[1]及其衍生系统。Hadoop技术体系实现并优化了MapReduce[2]框架。Hadoop技术体系主要由谷歌、推特、脸书等公司支持。自2006年首次发布以来，Hadoop技术体系已经从传统的“三驾马车”（HDFS[1]、MapReduce和HBase[3]）发展成为包括60多个相关组件的庞大生态系统②http://dbaplus. cn/news-21-288-1.html。在这一生态系统中，发展出了Tez、Spark Streaming[4]等用于处理流式数据的组件。其中，Spark Streaming是构建在Spark基础之上的流式大数据处理框架。与Tez相比，其具有吞吐量高、容错能力强等特点，同时支持多种数据输入源和输出格式。除了Spark开源流处理框架，目前应用较为广泛的流式大数据处理系统还有Storm[5]、Flink[6]等。……