Storm 平台下的线程重分配与数据迁移节能策略∗

蒲勇霖 ,于 炯 ,鲁 亮 ,李梓杨 ,卞 琛 ,廖 彬

1(新疆大学 信息科学与工程学院,新疆 乌鲁木齐 830046)

2(中国民航大学 计算机科学与技术学院,天津 300300)

3(广东金融学院 互联网金融与信息工程学院,广东 广州 510521)

4(新疆财经大学 统计与数据科学学院,新疆 乌鲁木齐 830012)

目前,随着互联网的高速发展与平民化,智能医疗、智能汽车、智能家居以及智能工业等物联网场景[1]下产生的数据量日益增多,并与互联网共同成为了各行各业大数据的主要来源.但是随着大数据的飞速发展,大规模的数据中心在全球范围内广泛的部署,使其高能耗、高污染的问题日渐突出[2].据2014 年数据中心能耗现状白皮书指出:全球数据中心2013 年的耗电量为8 102.5 亿kWh,其中IT 设备与软件的能耗占数据中心总能耗的45.5%[3].而到2015 年,Gartner 统计全球大型数据中心的电费支出超过1 262 亿美元[4].我国数据中心电力的消耗同样惊人,截止到2011 年底,我国数据中心的总量达到43 万个,其中数据中心的耗电量,占据全国电力总消耗的1.5%,并且所占比例仍在逐年上升[5].综上所述,解决大数据处理的高能耗问题已经刻不容缓.

希捷(Seagate)公司与IDC 联合发布的《数据时代2025》白皮书中预测:2025 年,全球数据量将达到163ZB,比2016 年创造出的数据量增加10 倍.其中,超过25%的数据将成为实时数据,而物联网实时数据占比将达到实时数据的95%[6].针对大数据处理的高性能集群一般分为批量计算框架与流计算框架两类,其中,批量计算框架由于存在先存储后计算的特性,无法满足……