戴小平,张宜力
DAI Xiaoping,ZHANG Yili
安徽工业大学 计算机学院,安徽 马鞍山243002
Computer Science School,Anhui University of Technology,Ma’anshan,Anhui 243002,China E-mail:jszhangyili@163.com
云计算是一种新的计算模型,是随着并行计算、分布式计算和网格计算技术的发展而来的,在学术界和工业界产生了巨大的影响,Google、Amazon、Microsoft 等大公司是云计算的先行者[1]在众多的云计算解决方案中,Google提出的基于分布式文件系统GFS 建立的廉价集群实现MapReduce 编程思想[2-3]的方案因其应用简单、高效的特点得到了广泛支持,解决了许多大规模数据的计算问题。而Hadoop 作为Google 相关思想开源实现的一个分布式系统,除了成本少,有较高的效率和伸缩性外,安全性也得到了很好的保障[4-5]。
Hadoop 平台中作业调度器对平台性能至关重要,作业调度技术作为Hadoop 平台的核心技术之一,不仅对Hadoop 平台的整体性能有影响,还对系统资源是否有效利用起到了至关重要的作用。但是目前的几种作业调度算法都存着资源浪费,作业响应时间过长,没有考虑作业配置及不能够满足作业多样性的服务要求等缺点[6]。
本文基于计算能力调度算法实现了一种基于优先级的计算能力加权调度算法,能够有效地解决目前Hadoop的作业调度算法中存在的一些问题,并在Hadoop平台的实验中表现良好。
MapReduce是Google公司的核心计算模型,它将复杂的运行于大规模集群上的并行计算过程高度地抽象到了两个函数:Map(映射)和Reduce(归约)。简单的MapReduce 的过程如图1 所示,MapReduce 首先将用 户输入的数据通过Split 方法将其分成若干Block(每个Block的默认大小为64 MB,每一个Block由一个Mapper管理,在……