基于云计算的海量数据处理平台设计与实现✴

宋均，祝林

（1.中国西南电子技术研究所，成都610036；2.四川职业技术学院，四川遂宁629000）

基于云计算的海量数据处理平台设计与实现✴

宋均1，祝林2

（1.中国西南电子技术研究所，成都610036；2.四川职业技术学院，四川遂宁629000）

针对传统并行处理技术在海量数据处理中存在的实际应用问题，利用云计算技术强大的计算能力、高效的海量数据处理方式，结合关系数据库实时访问的优点，在Hadoop分布式计算框架基础上，采用Map-Reduce架构，设计并实现了基于云计算的海量数据处理平台。实践证明，该系统在计算能力、稳定性、可扩展性等方面都优于传统并行处理的技术，能有效解决海量数据大并发访问。

云计算；海量数据；Hadoop分布式计算；并行处理技术

1 引言

在许多行业和机构中，大中型数据库和数据仓库的大批量数据集快速批量处理有广泛的应用需求。如何实现海量数据快速交互的批量处理是管理信息系统所面临日益突出的问题，也是数据集中工程中急需解决的关键问题［1］。传统的基于并行处理的数据平台已不能满足海量数据处理的实际要求，海量信息技术架构迫切需要具有动态的、可伸缩的存储计算模式，才能实现快速响应的机制［2-3］。

大型数据库大规模数据查询、分析、提取、更新等批量处理过程正面临着严峻的实际问题［4］：一是传统的数据库复杂，查询耗时过长，当面临大数据量查询任务时甚至无法完成；二是系统面临大并发的数据任务时，系统性能将急剧降低；……