Hadoop环境下节点负载均衡调度策略的设计与实现

王溪波 王珊珊 王越峰

（沈阳工业大学 辽宁省沈阳市 110000）

1 引言

云计算是用户通过远程连接来获取计算资源的一种计算方式，许多IT公司都推出相应的云计算平台，将云计算技术看成是一项重要的且有利于公司发展的技术，由此看出对云计算的研究是紧追IT技术的发展路线，有较高的应用价值。但伴随云计算技术的发展会涌现大量的数据，用户和企业都会面临海量数据的存储与处理问题，分布式存储模块可以存储海量数据，系统将大的数据块拆分成若干小的数据块，将这些小的数据块存放在集群的各个节点上。云计算技术的重要典型框架是MapReduce框架，为海量数据的处理提供平台。Hadoop是MapReduce框架的开源实现，既为海量数据的存储提供了可靠的平台-HDFS(Hadoop分布式文件系统)[1]。又能够很好地实现MapReduce框架，MapReduce框架为提高云计算平台上的大批量作业的性能而设计的[2]。

2 Hadoop体系结构

Hadoop是可靠的，可扩展的和开放式的源代码框架，由Apache基金会所开发。Hadoop系统本身具有高扩展性，高效性以及高可靠性等特质。分布式文件系统HDFS（Hadoop Distributed Files System）和分布式计算框架 MapReduce计算架构属于Apache Hadoop的两个核心子模块。

2.1 HDFS分布式文件系统

作为Hadoop集群的核心子项目之一的分布式并行文件系统是基于流数据访问模式开发的，可用于分布式计算的数据存储管理，也可以满足超大规模文件处理的需求。HDFS将分好的数据块存储在各个节点上，对数据块进行备份，以防节点失效。HDFS只需一次写入数据便可以多次使用该数据，这种访问方式具有高效性[5]。……