张国平,黄 淼,马 丽
(平顶山学院 软件学院,河南 平顶山 467000)
MapReduce[1]已成为支持云计算的关键技术之一,流行的MapReduce模型实现包括Mars、Phoenix、Hadoop和Google的实现[2],其中,Hadoop因其开源特性而最受欢迎,然而,Hadoop大量的配置参数给用户带来一些挑战[3].
云计算环境下,通常很难确定出有助于实现良好性能的参数集,即映射器数目、节点数目及其CPU速度、缓冲区大小,建立物理Hadoop环境评估具有上百甚至上千节点的Hadoop应用的扩展性变得非常困难甚至不可能实现[4].而这些挑战使得必须存在一种可以调整Hadoop集群性能的模拟器,现有的MapReduce模拟器往往仅限于简单行为的应用[5].
基于上述分析,本文设计了一种支持云计算的MapReduce模拟器,主要贡献在于模拟Hadoop环境动态行为的高精度,模拟器中可对大量Hadoop参数建模,如节点参数、集群参数、Hadoop系统参数及模拟器参数.
模拟器的精度验证遵循两个步骤:一、针对权威基准研究验证;二、评估它的行为,比较使用两个Hadoop应用的物理Hadoop集群中模拟器的行为.比较结果表明,本文设计的模拟器在模拟Hadoop环境中获得了较高的精度和稳定性.
Hadoop应用的性能受很多参数的影响,本节将描述对这些参数的建模.
处理器:模拟器缺省设计支持每个计算机一个处理器,但是处理器的数目可以改变,一个处理器可以有一个或多个内核,一个处理器内核的处理速度定义为每秒处理的数据单位量,可以从真实实验测试中测量.
硬盘:硬盘实体中,IO操作速度随时变化,引入……