典型大数据计算框架分析

赵晟　姜进磊

摘要：认为大数据计算技术已逐渐形成了批量计算和流计算两个技术发展方向。批量计算技术主要针对静态数据的离线计算，吞吐量好，但是不能保证实时性；流计算技术主要针对动态数据的在线实时计算，时效性好，但是难以获取数据全貌。从可扩展性、容错性、任务调度、资源利用率、时效性、输入输出（IO）等方面对现有的主流大数据计算框架进行了分析与总结，指出了未来的发展方向和研究热点。

关键词：大数据分类；大数据计算；批量计算；流计算；计算框架

Abstract：Big data computing technologies have two typical processing modes： batch computing and stream computing. Batch computing is mainly used for high-throughput processing of static data and does not produce results in real time. Stream computing is used for processing dynamic data online in real time but has difficulty providing a full view of data. In this paper， we analyze some typical big data computing frameworks from the perspective of scalability， fault-tolerance， task scheduling， resource utilization， real time guarantee， and input/output （IO） overhead. We then points out some future trends and hot research topics.

Key words：big data； big data computing； batch computing； stream computing； computing framework

近年来，随着互联网进入Web 2.0时代以及物联网和云计算的迅猛发展，人类社会逐渐步入了大数据时代。根据维基百科的描述，所谓的大数据，是指所涉及的数据量规模巨大，无法通过人工在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息。大数据在带来发展机遇的同时，也带来了新的挑战，催生了新技术的发展和旧技术的革新。例如，不断增长的数据规模和数据的动态快速产生要求必须采用分布式计算框架才能实现与之相匹配的吞吐和实时性，而数据的持久化保存也离不开分布式存储。

图1展示了大数据应用的一般架构，其中的核心部分就是大数据计算框架和大数据存储。大数据存储提供可靠的数据存储服务，在此之上搭建高效、可扩展、可自动进行错误恢复的分布式大数据计算框架，计算依赖存储，两者共同构成数据处理的核心服务。……