MapReduce能耗建模及优化分析

廖　彬　张　陶　于　炯　尹路通　郭　刚　国冰磊

1(新疆财经大学统计与信息学院　乌鲁木齐　830012)2(新疆大学信息科学与工程学院　乌鲁木齐　830046)3(新疆医科大学医学工程技术学院　乌鲁木齐　830011)4　　　(新疆大学软件学院　乌鲁木齐　830008)



MapReduce能耗建模及优化分析

廖彬1,4张陶2,3于炯2,4尹路通4郭刚4国冰磊2,4

1(新疆财经大学统计与信息学院乌鲁木齐830012)2(新疆大学信息科学与工程学院乌鲁木齐830046)3(新疆医科大学医学工程技术学院乌鲁木齐830011)4(新疆大学软件学院乌鲁木齐830008)

(liaobin665@163.com)

云计算中心规模的不断扩大以及设计时对能耗因素的忽略,使其日益暴露出高能耗低效率的问题.为提高MapReduce框架能耗利用率,首先对MapReduce任务进行了能耗建模,提出基于CPU利用率估算、主要部件能耗累加及平均功耗估算的任务能耗模型,并在此基础上建立了MapReduce作业能耗模型.其次,基于能耗模型对能耗优化进行了分析,提出从优化MapReduce作业执行能耗、减少MapReduce任务等待能耗与提高MapReduce集群能源利用效率3个方向对MapReduce进行能耗优化.再次,提出异构环境下的数据放置策略减小MapReduce任务等待能耗,提出截止时间约束下的最小资源分配方法提高MapReduce作业能耗利用效率.通过大量的实验及能耗数据分析,验证了能耗模型及能耗优化方法的有效性.

绿色计算;任务调度;能耗建模;节能分析;数据布局

数据的产生过程在经历被动和主动2种产生过程后,发展到了自动产生阶段,预示着大数据时代的来临.数据从简单的处理对象开始转变为一种基础性资源……