基于Storm平台的数据恢复节能策略

蒲勇霖 于 炯 鲁 亮 李梓杨 国冰磊 廖 彬

1(新疆大学信息科学与工程学院 乌鲁木齐 830046) 2(中国民航大学计算机科学与技术学院 天津 300300) 3(新疆财经大学统计与数据科学学院 乌鲁木齐 830012)

(puyonglin1991@foxmail.com)

近年来，随着各种功能强大的高速互联技术的出现，物联网场景下产生的数据量日益增多，对计算能力的需求日益增长，高性能集群由于其高性价比、高可用性以及可扩展性等特点[1]已成为商业应用与学术研究的基础架构.但是各种高性能集群在处理数据时产生的高能耗问题同样不容忽视.高德纳(Gartner)公司指出预计到2015年，全球数据中心占比71%的大型数据中心其电费支出超过1 262亿美元[2]，而预计2020年，全球数据中心的能耗产值为20 000亿kW·h[3].我国数据中心的总耗电量同样惊人，截至2018年中国数据中心的总耗电量为1 608.89亿kW·h，占全国总用电量的2.35%[4].高额的能耗成本已对社会与环境造成巨大影响，因此解决IT行业的高能耗问题已经刻不容缓.

希捷(Seagate)公司与IDC联合发布的《数据时代2025》白皮书中预测，2025年全球数据量将达到163ZB.其中，超过25%的数据将成为实时数据，而物联网实时数据占比将达到实时数据的95%[5].针对大数据处理的高性能集群一般分为批量计算框架与流计算框架2类.其中批量计算框架由于存在先存储后计算的特性无法满足实时数据的处理需求；而流计算框架由于其强大的实时性，为实时大数据分析提供了良好的平台层解决方案[6].但是流式计算在高速处理实时数据的过程中同……