Hadoop 平台下计算能力调度算法的改进与实现

2015-04-16 08:51:26戴小平张宜力
计算机工程与应用 2015年19期
关键词:计算能力作业

戴小平,张宜力

DAI Xiaoping,ZHANG Yili

安徽工业大学 计算机学院,安徽 马鞍山243002

Computer Science School,Anhui University of Technology,Ma’anshan,Anhui 243002,China E-mail:jszhangyili@163.com

1 引言

云计算是一种新的计算模型,是随着并行计算、分布式计算和网格计算技术的发展而来的,在学术界和工业界产生了巨大的影响,Google、Amazon、Microsoft 等大公司是云计算的先行者[1]在众多的云计算解决方案中,Google提出的基于分布式文件系统GFS 建立的廉价集群实现MapReduce 编程思想[2-3]的方案因其应用简单、高效的特点得到了广泛支持,解决了许多大规模数据的计算问题。而Hadoop 作为Google 相关思想开源实现的一个分布式系统,除了成本少,有较高的效率和伸缩性外,安全性也得到了很好的保障[4-5]。

Hadoop 平台中作业调度器对平台性能至关重要,作业调度技术作为Hadoop 平台的核心技术之一,不仅对Hadoop 平台的整体性能有影响,还对系统资源是否有效利用起到了至关重要的作用。但是目前的几种作业调度算法都存着资源浪费,作业响应时间过长,没有考虑作业配置及不能够满足作业多样性的服务要求等缺点[6]。

本文基于计算能力调度算法实现了一种基于优先级的计算能力加权调度算法,能够有效地解决目前Hadoop的作业调度算法中存在的一些问题,并在Hadoop平台的实验中表现良好。

2 MapReduce编程思想

MapReduce是Google公司的核心计算模型,它将复杂的运行于大规模集群上的并行计算过程高度地抽象到了两个函数:Map(映射)和Reduce(归约)。简单的MapReduce 的过程如图1 所示,MapReduce 首先将用 户输入的数据通过Split 方法将其分成若干Block(每个Block的默认大小为64 MB,每一个Block由一个Mapper管理,在……

登录APP查看全文

猜你喜欢
计算能力作业
浅谈如何提高小学生的计算能力
厘清算理,提高学生计算能力
让人羡慕嫉妒恨的“作业人”
小学生计算能力的提高策略
甘肃教育(2021年10期)2021-11-02 06:14:02
小学低年级学生计算能力的培养策略
甘肃教育(2020年18期)2020-10-28 09:07:06
作业联盟
学生天地(2020年17期)2020-08-25 09:28:54
小学生计算能力的培养
甘肃教育(2020年21期)2020-04-13 08:08:42
浅谈小学生计算能力的培养
数学大世界(2018年1期)2018-04-12 05:39:02
作业
故事大王(2016年7期)2016-09-22 17:30:08
我想要自由