智能电网下数据中心能耗费用优化综述

黄 焱, 王 鹏, 谢高辉, 安俊秀

(1. 中国科学院成都计算机应用研究所, 四川 成都 610041; 2. 中国科学院大学, 北京 100049;3. 西南民族大学, 四川 成都 610225; 4. 广州五舟科技股份有限公司技术研究院, 广东 广州 510000;5. 成都信息工程大学, 四川 成都 610225)



智能电网下数据中心能耗费用优化综述

黄 焱1,2, 王 鹏3, 谢高辉4, 安俊秀5

(1. 中国科学院成都计算机应用研究所, 四川 成都 610041; 2. 中国科学院大学, 北京 100049;3. 西南民族大学, 四川 成都 610225; 4. 广州五舟科技股份有限公司技术研究院, 广东 广州 510000;5. 成都信息工程大学, 四川 成都 610225)

在电价随时间和地理位置波动的智能电网环境下,分布式数据中心运营商在满足各种内外部约束条件下,根据外部负载类型和负载量的变化,通过负载分配、节点状态控制、使用能量存储设备等方法对能耗费用优化目标以及碳排放量、网络带宽费用、响应时间、电网稳定性等协同优化目标进行优化.介绍数据中心的能耗构成和能耗费用优化问题的基本模型,从调整运行节点数、动态电压频率调整(DVFS)、负载分配、部分执行、使用不间断电源(UPS)、使用可再生能源、与电网交互、虚拟化8个方面对数据中心能耗费用优化方法和研究进展进行分类、总结、对比；未来的研究热点包括多目标优化、数据中心需求响应、节点级UPS、可再生能源发电设施、在线优化算法、能源互联网等.

能耗费用优化；智能电网；负载分配；地理分布式数据中心；能源互联网

过去的30年间,数据中心经历了从无到有的高速发展过程.早期的数据中心计算资源稀少、价格昂贵、集群规模小,相关研究主要围绕如何将昂贵的计算资源充分地利用起来,对能耗问题的关注较少.在那个时期高性能计算、分布式计算、集群计算等技术得到了快速发展.随着网络技术的发展,尤其是云计算、大数据、移动互联网的盛行,网络计算和网络存储成为日常需求,数据中心的数量和规模持续、快速增长.预计2017年全球各类数据中心的数量将达到860万个,2020年数据中心能耗将占全球能耗的8%,能耗费用将占运营成本的41.6%[1-2],成为数据中心运营的最大支出,因此,能耗优化成为绿色数据中心的研究热点[3].

数据中心是由服务器、存储设备、网络设备、制冷设备和电源设备等构成的综合系统,其能耗优化主要包含硬件级和算法级2个方面,是传统电网环境下数据中心能耗优化研究的重点.硬件级能耗优化是指使用低功耗多核处理器芯片、直流电源、高效制冷设备等[4]高能效的硬件设备从源头上控制数据中心能耗的基础水平,是新建数据中心首选的能耗优化方法.由于涉及硬件设备的更换,在已建成数据中心使用该方法的成本较高.算法级能耗优化是指对已投入运营的数据中心采用负载分配、服务器状态控制、制冷系统动态调节等算法级能耗优化方法在现有硬件设备的基础上，通过优化控制算法降低系统运行能耗,是数据中心能耗优化的主要研究内容,也是本文关注的重点.

能耗优化和能耗费用优化是2个密切相关但不完全相同的问题.运营商最关心的能耗费用由能耗和电价共同决定,可以把能耗优化看成是能耗费用优化的子问题,智能电网的发展给数据中心能耗费用优化带来新的机遇与挑战.

本文详细分析智能电网环境下数据中心能耗费用优化面临的挑战、数据中心的能耗构成、能耗费用优化问题的基本模型,从调整运行节点数、动态电压频率调整(dynamic voltage and frequency scaling, DVFS)、负载分配、部分执行、使用不间断电源(uninterruptible power supply,UPS)、使用可再生能源、与电网交互和虚拟化8个方面对近几年的代表性研究方法进行分类综述,并对未来的研究发展方向进行展望.

1 智能电网与数据中心能耗费用

2003年的“美加大停电”事件造成了300亿美元的损失,提高电网的安全性和稳定性迫在眉睫.现代通信、计算机、电力电子等技术被迅速引入电网应用中,此后智能电网的概念被提出并得到广泛关注.2005年，意大利EnelS. p. A建成了世界上首个部分采用智能电网技术的商用智能电网.2008年，美国科罗拉多州波尔建成了美国首个智能电网.我国的智能电网目前虽还处于初级阶段,但已成为国家的重要能源战略[5].

智能电网的根本目的是改善电力输送效率、整合可再生能源、提高电网的安全性和可靠性.最本质的特点是实现电力和信息的双向传输,以此建立起一个覆盖电力系统整个生产过程、高度自动化和广泛分布的能量交换网络,可以对发电、输电、变电、配电、用电及调度进行实时响应[6].智能电网的支撑技术包含智能传感技术、分布式数据传输、计算和控制技术以及多个供电单元之间的数据和控制命令的有效传输技术等.

为了保障电网的运行安全,电力运营商制定了灵活的电价策略：随着时间和地区不断波动的零售电价可以引导用户的用电行为.数据中心的用电量巨大,对于电网的运行稳定有较大影响,可以采取谈判、竞标等方式参与到电价制定中来.数据中心与智能电网构成了一个高度耦合的系统.该系统涉及多个互相制约的优化目标和复杂的约束条件,对优化目标进行数学建模以及模型的求解均面临新的挑战,成为近几年新的研究领域.

云计算模式近年来被广泛应用于数据中心,网络接入和可弹性扩展的核心特征促使用户将应用部署在分布式数据中心以应对用户需求,大量计算需求从本地转移到了网络[7].大数据处理平台Hadoop支持跨数据中心的大数据分析,数据中心间的数据同步、数据备份等技术的不断成熟以及跨数据中心计算在阿里巴巴的商业化应用,使得分布式环境下的数据中心能耗费用优化具有理论和现实意义.

对于数据中心能耗费用优化问题,传统电网环境与智能电网环境的区别主要体现在电价波动和与电网的交互2个方面.在传统电网中电力和信息是单向传输的,发电方和供电方之间没有信息的交互机制,电价规则比较单一,供电方无法根据用户的负载实时调节电价,因此供电方无法对用户的用电行为进行引导、调节,会出现电力供需不平衡的现象,影响电网运行的稳定性.在智能电网环境下,电力和信息是双向传输的,发电方和用电方根据双向信息自治达成协议的调节模式,分布式能源和分布式用户会根据需求和价格的双向约束实现电力与负载的平衡.因此,在传统电网环境下,相关研究大多不考虑价格因素,将研究的重点放在数据中心能耗优化方面.在智能电网环境下,供电方和用电方的信息双向传输,用电方可以参与到电网运行中来,电价可以随着用户负载实时变化.

智能电网环境下的电价随着地理位置和时间发生波动.如图1所示为2014年12月17日Google数据中心所处的3个区域的电价波动曲线.可以看出,同一时刻3个区域的电价各不相同,同一区域的电价也随着时间发生波动.智能电网环境下电价的波动给数据中心能耗费用优化带来巨大的优化空间,在同一时刻将负载尽量多地分配到低电价区域执行,在同一区域将负载尽量多地在低电价时段执行将有效地降低能耗负载费用.2009年,Qureshi等[8]将智能电网时间和地理位置的动态电价用于数据中心的能耗费用优化,使智能电网条件下的数据中心能耗费用优化成为一个新兴的研究方向.

图1 智能电网环境下随着时间和地理位置波动的电价Fig.1 Electricity price fluctuating according to time and location in smart grid

智能电网环境下的数据中心能耗费用优化面临如下的挑战.1)电价在地理位置和时间上不断波动.如何将负载分配到适合的数据中心并在适合的时间段运行是能耗费用优化问题需解决的核心问题.2)电费的计费方式多样化,既包含数据中心消耗电量的费用,即用量费用(energy charge, EC),又包含用户为其峰值功率支付的费用,即需量费用(demand charge, DC).如何对多样化的目标进行优化也是能耗费用优化需要解决的问题.3)数据中心运行的负载多样化,包含对响应时间有严格要求的交互式负载、对时间响应要求较低的批处理负载以及混合型负载等,复杂的负载类型给能耗费用优化问题增加了复杂的约束条件.4)数据中心的负载、电价以及可再生能源的发电量都具有随机性,无法提前知晓.如何在这些外部条件未知的前提下在合理的响应时间内给出最优化方案存在数学方法上的挑战.5)数据中心的能耗巨大,会对智能电网的运行产生影响,智能电网电价制定的博弈、竞拍,是能耗费用优化问题面临的挑战.

这些挑战给智能电网环境下的数据中心的能耗费用优化带来了一系列全新的研究课题,引起了学者的高度关注.近年来,INFOCOM、ACM e-Energy、SIGCOMM、ICDCS、SIGMETRICS等国际会议和Proceedings of the IEEE、TPDS、TSG、FGCS等国际期刊发表了很多相关论文.美国斯坦福大学[9]、加拿大麦吉尔大学[10]、日本会津大学[11]、华中科技大学[12]、东南大学[13]、西安交通大学[14]、东北大学[15]、香港中文大学[16-17]等院校开展了相关研究. Rahman等[18]按照数据中心能耗管理的优化目标将相关研究分为费用优化、碳排放优化、对电网的影响和数据中心选址4个类别进行综述.Kong等[19]按照负载调度、虚拟机管理、容量规划、跨学科研究对数据中心绿色能源管理进行综述.Dayarathna等[20]从硬件和软件2个层面对数据中心的能耗模型进行综述：在硬件层面对单核CPU、多核CPU、GPU等处理器的能耗模型,对内存、机械硬盘、固态硬盘等存储设备的能耗模型,对服务器、网络设备、制冷设备等相关研究进行总结归纳；在软件层面对操作系统、虚拟机、计算密集型应用、通信密集型应用等相关研究进行总结归纳.目前，国内没有数据中心能耗费用优化研究方面的综述文章,仅笔者对近年来智能电网环境下数据中心能耗费用优化代表性研究的数据中心类型、节点类型、负载类型、电力来源、辅助优化目标、优化层级和优化方法等进行过初步归纳[21].

2 数据中心能耗费用优化问题

2.1 数据中心的能耗构成

图2 数据中心的能耗构成和能量转换过程Fig.2 Energy consumption structure and energy conversion process for data center

数据中心由IT设备、能量传输系统和制冷系统3个部分构成,如图2所示.其中,IT设备包含服务器、存储、网络设备等,能量传输系统包含UPS、稳压器、AC/DC、DC/AC转换器等,制冷系统包含空调、水冷、热能存储等,数据中心的能耗优化主要围绕这3个方面展开.数据中心的总能耗与IT设备能耗的比值(power usage effectiveness,PUE)体现了数据中心的能效,PUE值越小意味着用于计算、存储等核心设备的能耗比例越大,数据中心的能效越高.PUE值通常为1.1～2.0.

外部能源到达配电柜后先由交流电转换为直流电对UPS充电,然后由UPS输出交流电到电源分配单元(power distribution unit, PDU)为IT设备供电,到达服务器等终端设备时还需要再次将交流电转化为直流电进行供电.中间经历了2次交/直流转换,至少有10%的能量损耗,能效水平较低.直流供电技术的出现较好地解决了这一问题[22],是数据中心能量传输系统未来的发展趋势.

空调、水冷和热能存储[23]等制冷系统能耗约占数据中心总能耗的50%,是数据中心能耗优化、PUE值控制的关键因素[24].空调系统的智能控制是目前的研究热点,研究方向包含智能制冷和高温数据中心：将数据中心划分为多个区域分别制冷的动态制冷技术和以机柜为单位进行制冷的精确制冷方式可以有效地降低数据中心的热点温度,提高制冷效率[25-26]；通过提升数据中心的运行温度可显著降低制冷系统的能耗比例(数据中心的运行温度由18℃上升至23℃可降低8%的能耗),是数据中心制冷优化的未来趋势.

制冷系统的能耗控制使数据中心的PUE值较为稳定,可视为常数,因此可将数据中心的能耗优化简化为IT设备的能耗优化,仅需要对IT设备的能耗优化方法进行研究.

2.2 数据中心能耗费用优化问题的基本模型

根据研究目标构建系统模型、提出数学问题并对数学问题进行求解是数据中心能耗费用优化的关键步骤.相关研究的核心创新体现在根据优化目标和优化方法构建能耗费用优化问题的系统模型,并建立数学模型,以求解决定变量.此类问题大多可转化为线性规划和非线性规划问题,可以采用多项式时间算法、广义Benders分解、启发式算法、Lyapunov优化、混合整数规划、自适应优化、标准次梯度法、分支定界法、内点法、量子谐振子算法[27]等成熟的方法进行求解,各类问题的数学求解可参见文献[18]的总结.

图3 数据中心能耗费用优化问题的基本模型Fig.3 Fundamental model for energy cost optimization of data center

从系统模型的角度看，智能电网环境下数据中心能耗费用优化问题是在电价随时间和地理位置波动的供电环境中,分布式数据中心运营商在满足各种内外部约束的条件下根据外部负载类型和负载量的变化,通过负载分配、节点状态控制、使用能量存储设备等方法对能耗费用优化目标以及碳排放量、网络带宽费用、响应时间、电网稳定性等协同优化目标进行优化的问题,基本模型如图3所示.模型中电力供应、外部负载、约束条件、与电网交互是数据中心能耗费用优化问题的外部条件,需要根据优化目标求解负载分配、节点控制和能源使用的最优方式.

数据中心的电力供应由智能电网、不间断电源UPS以及备用柴油发电机等共同完成.智能电网环境下电价随地理位置和时间的变化,以及能量存储设备对电价峰值和功率峰值的调节能力,给能耗费用优化提供了空间和方法.数据中心的电能按能源类型可分为太阳能、风能等低碳能源和煤电、油电等高碳能源,提高低碳能源的使用率有助于实现数据中心的碳排放目标,但会对能耗费用和电网稳定性产生影响.从这个角度来看,低碳能源和高碳能源是一对互相制约的矛盾体,各种类型能源的协调使用构成了新的能耗费用优化问题.

外部负载包含对响应时间有严格要求的交互式负载、对响应时间要求较低的批处理负载和由多种类型负载构成的混合型负载[8].多样化的负载类型给数据中心的负载分配、节点运行状态控制提出了多样化的约束条件,从而产生运行不同负载类型的数据中心能耗费用优化研究方向.数据中心的能耗巨大会对电网的稳定性产生影响.智能电网的双向信息传输特性使得数据中心可以通过参与电价制定、电网运行与电网进行交互,使得电价成为可进行博弈的变量,给能耗费用优化问题增加了一个新的维度,从而产生了很多新的研究课题.

能耗费用优化目标包含用户为其消耗电量(kWh)支付的用量费用和为其峰值功率(kW)支付的需量费用[15].为了应对短暂的峰值功率,电力运营商需要投入更多的电力基础设施,数据中心需要投入更多的资金在供电系统和制冷系统上.目前大多数研究是对用量费用进行优化,需量费用相关的研究相对较少.需量费用与智能电网的稳定性是数据中心和智能电网共同的优化目标,成为新的研究热点；能耗费用优化问题的辅助优化目标,包含响应时间、碳排放量、应用服务质量、可再生能源使用率、制冷能耗、网络费用、负载溢出率[28]等.

负载分配方法决定了数据中心的运行节点数和运行节点的负载,从而决定了数据中心的能耗费用,因此负载分配方法是能耗费用优化模型中的决定变量.负载分配包含数据中心间的负载分配和各执行时间段的负载分配,分别适用于对交互式负载和批处理负载的能耗费用进行优化.节点控制是能耗费用优化模型中的决定变量,控制方法包含节点运行/关闭的状态控制和对运行电压/频率的控制等,直接决定了数据中心的能耗费用.

(1)

(2)

3 数据中心能耗费用优化方法与研究进展

数据中心的能耗费用优化方法的分类如图4所示,包含硬件级和算法级2种类型.本节主要对算法级优化方法进行综述,包含调整运行节点数、DVFS、负载分配、部分执行、使用UPS、使用可再生能源、与电网交互、虚拟化8种类型.从数据中心的角度来看,这些研究方法可以分为节点级、数据中心级和跨数据中心3个层级.这些算法级能耗费用优化方法的优化层级、优缺点及相关研究如表1所示,本节对这8种优化方法的相关研究分别综述.

3.1 调整运行节点数

节点是数据中心的基本运行单元,运行节点数是能耗费用优化模型中的决定变量,根据负载动态调整运行节点数是数据中心级能耗优化的主要方法.

2001年,Chase等[31-32]对数据中心的算法级能耗优化进行研究,发现数据中心的负载常处于动态变化中,低负载时很多节点处于空闲状态却依然消耗着大量电能；提出将新到负载向负载较高的节点分配,使其余节点执行完现有负载后进入休眠或关闭状态,从而动态调节运行节点数,降低数据中心的

优化方法优化层级优点缺点文献调整运行节点数2减少空闲状态节点的能耗不能实时调节运行节点数[31,32]DVFS1可实时调节CPU运行电压和频率对节点性能有影响[4,10,15,30,33,34,67]负载分配不同位置数据中心之间3保障负载的实时响应易使电网负载不均衡,影响其稳定性[15,29,35-38]运行时间段之间1无需数据迁移,适合批处理负载负载响应的实时性差[9]同时考虑时间和地理位置1、3可解决复杂负载的能耗费用优化模型构建和数学问题的求解难度大[4,28,37-44]数据中心内的负载迁移2减少空闲状态节点的能耗迁移时间较长,影响应用的可靠性[45]部分执行1、2直接减少运行负载量对负载类型有严格的要求[16,46]使用UPS2、3不影响负载的执行影响数据中心的供电可靠性[16,23,47-55]使用可再生能源1、2、3碳排放量和电价较低电力供给不稳定,电网负载不均衡[14,56-62]与电网交互1、2数据中心与智能电网可以双赢竞价、博弈等操作增加了模型复杂度[12,63-66]虚拟化技术2、3提高集群利用率,降低总能耗单节点能耗增加、吞吐量降低[69-73]

注：“优化层级”一栏中的数字1、2、3分别表示跨数据中心级优化、数据中心级优化和节点级优化.

能耗.当前负载执行完毕或者将负载迁移到其他节点后才能调节运行节点数,需要一段等待时间,并且需要考虑负载运行状态的同步问题,因此该方法无法实时使用,仅适用于对运行响应时间要求较低的批处理负载的数据中心的能耗费用优化.实时能耗调节一般采用下面介绍的DVFS方法.

3.2 动态电压频率调整(DVFS)

CPU是服务器中功率最大的器件[30],通过对其能耗进行控制可以对数据中心的能耗进行节点级控制.CPU的运行功率P取决于能耗费用优化模型中的决定变量工作电压U和频率f[67]：

式中：C、A为常数.使用DVFS技术可通过调节电压和频率对CPU的运行功率进行实时控制.

2006年，Intel推出首款支持DVFS的服务器系列CPU后,Fan等[30]率先使用DVFS技术对同负载类型的数据中心的能耗与性能进行研究.Etinski等[33]使用DVFS对HPC系统的能耗管理进行研究.宋杰等[15]提出了一种云计算环境下的基于DVFS的能效模型和度量方法.DVFS方法成为目前数据中心节点级能耗优化的主要方法,常与跨数据中心的负载分配方法、数据中心级的运行节点数控制等方法同时使用.

使用DVFS方法降低CPU的电压和频率,在降低节点运行功率的同时会降低节点的计算性能,导致运行在节点上的负载的响应速度变慢.如果节点的负载压力较大,使用DVFS方法将进一步提高节点的负载压力,影响节点运行稳定性.因此DVFS技术适合在数据中心的低负载时段使用,提高节点的使用率,对数据中心能耗费用进行优化.

3.3 负载分配方法

负载分配方法是数据中心能耗费用优化模型中的决定变量.在电价随地理位置和时间波动的智能电网环境下,负载在何时、何地运行决定了数据中心的能耗费用,负载分配方法是最基本的能耗费用优化方式,包含数据中心之间的负载分配和执行时间段之间的负载分配2种类型.

3.3.1 不同位置数据中心之间的负载分配 面对在地理位置上动态变化的电价,负载分配的核心思想是将负载尽量分配到电价较低区域的数据中心运行,将问题转化为满足负载响应时间约束的最小费用流问题,确定分配到各数据中心的负载量,完成数据中心间的负载分配.这种方法由Rao等[29]在2010年提出,构建了分布式数据中心能耗费用优化的基本模型,适用于对响应时间有严格要求的交互式负载的分配,如运行搜索引擎业务的分布式数据中心的能耗费用优化[39],是跨数据中心能耗费用优化的基本方法.与调节运行节点数相比,该方法可以实时地完成分布式数据中心间的负载分配,适合对实时性要求较强的交互式负载进行分配.当大量用户同时使用这种方法进行负载分配时,可能造成电价较低区域的数据中心负载的过重,降低负载的响应时间并对电网的运行稳定性造成影响.

跨数据中心的负载分配需要与数据中心级和节点级能源优化结合才能将负载降至最低,即与通过动态调节运行节点数的数据中心级能耗优化方法[29]和通过DVFS的节点级能耗优化方法[10]结合.Gu等[36]综合使用调节运行节点数、DVFS和数据中心间的负载分配方法将分布式数据中心能耗费用优化问题转化为混合整数非线性规划问题进行求解.

对于对外提供服务的数据中心,降低其能耗费用是为了获得更好的盈利能力,需将服务定价、负载分配以及服务器状态调节等相关策略统一考虑[15].Wang等[34]提出了一种基于执行期限的定价策略,用户执行某项任务所需的费用与任务执行时间有关,如果用户缩短执行时间,则数据中心运营商需要启用更多的节点,用户则需要支付更高的费用.

在云计算数据中心,虚拟机是常用的组成元素,将虚拟机进行分配同样可以对数据中心的能耗费用进行优化.Abbasi等[35]将虚拟机作为负载进行动态分配,将虚拟机向数据中心分配时综合考虑了动态电价、能源使用率、虚拟机迁移所需的带宽费用,以及虚拟机迁移的延时对服务质量的影响等,将问题转化为混合整数规划问题进行求解.

3.3.2 运行时间段之间的负载分配 面对随时间动态变化的电价,负载分配的核心思想是使尽量多的负载运行于电价较低的时间段.分配过程受数据中心的性能以及负载响应时间的约束.与调节运行节点数相比,这种方法对运行在某一数据中心内部的负载进行调度,无需数据迁移,适用于对响应时间要求较低的批处理负载任务的分配,但对负载响应的实时性较差.Luo等[9]对单一集群上的批处理负载能耗费用问题进行研究,提出一种基于运行时间段之间负载分配的IDC能耗费用优化算法,将计算量较大的任务切分为较小的子任务,在集群上并行运行：首先对进入任务队列的负载重新排序,降低负载拒绝率；然后根据电价的时间变化和负载的响应时间调节负载的执行时间,在满足响应时间的前提下优化能耗费用.

3.3.3 同时考虑时间和地理位置的负载分配 现实中的数据中心可能同时运行着多种类型的负载.例如,运行搜索引擎类应用的数据中心同时运行着对时间响应有严格要求的交互式查询任务以及对页面数据的MapReduce操作这类对响应时间要求较低的操作.这类问题的解决重点在于问题模型的建立和数学求解,可以用于解决复杂负载的能耗费用优化问题.一般将数据中心的运行节点分为2类,分别运行2种类型的负载：对于交互式类型的负载,需要满足负载的响应时间要求；对于批处理负载,需要满足其在无穷大的时间内等待执行负载队列的稳定性,建立满足这2种类型负载特性和约束的能耗费用优化模型.

Yao等[4]在负载分配中同时考虑了时间和地理位置,提出了一种双时间尺度能耗费用优化算法.首先根据电价在地理位置上的变化在数据中心间进行负载分配,在大时间尺度上调节运行服务器的数量,然后根据电价在时间上的变化在小时间尺度上调节服务器的服务率和负载分配方式.Xu等[28]将节点负载超出节点最大处理能力的概率定义为负载溢出率,将其作为优化约束条件,在优化模型中对负载溢出率设置阈值,使用类似的双时间尺度优化算法进行能耗费用优化.Guo等[39]对同时运行交互式负载和批处理负载的云计算数据中心的能耗费用进行建模,用Lyapunov优化方法求解.Luo等[40]在分布式集群环境中考虑了地理位置上的电价变化,提出了一种基于时间-空间调度方法的能耗费用优化算法.Zheng等[38]利用动态变化的电价和碳排放量,在满足碳排放量和负载响应要求的前提下对IDC数据中心的能耗费用和网络费用的总和进行优化.Chiaraviglio等[37]同时考虑了数据中心运营商和网络设施运营商的能耗费用,将问题转化为混合整数规划问题用分布式算法求解.Buchbinder等[41]将网络带宽费用引入负载分配模型中,在电网和多种可再生能源混合的电力环境下对费用进行在线优化.与同构数据中心相比,异构数据中心的能耗费用优化空间更大,其优化难度也更高[42-44].

3.3.4 数据中心内的负载迁移方法 数据中心内的负载迁移方法最早由Chase等[31]于2001年提出,采用与负载均衡相反的思路,将新到负载的分配逐步集中到部分节点,并将其他节点的负载向这些节点迁移,使其他节点的负载逐步变为0,将空闲节点改为休眠或关闭状态,通过动态调节运行节点数对能耗费用进行优化.

虚拟机是IDC数据中心最常见的一种应用类型,1台服务器上一般同时运行多个虚拟机;虚拟机在数据中心内的迁移技术已经非常成熟,通过虚拟机迁移对节点资源进行整合聚集是IDC数据中心能耗优化的主要方法.Xiao等[45]使用虚拟化技术来动态分配数据中心的资源,将节点的状态标识为H(Hot)、W(Warm)、G(Green)、C(Cold).当集群整体负载低于G时,将低于C的物理节点上的虚拟机向低于W的节点迁移;当该节点上的虚拟机迁移完成后关闭该物理节点,减少集群的峰值功率.

这种方法常用于对运行在数据中心的虚拟机进行管理,从而对数据中心的能耗费用进行优化.由于负载迁移和节点状态切换需要一定的时间,并需要保持用户数据和运行状态的一致性,切换时集群的性能和服务的稳定性会受到影响,不建议频繁地切换节点状态.

3.3.5 讨论 以上研究均使用智能电网的实时电价.假定数据中心的运行不对实时电价产生影响,并以数据中心的用量费用作为优化目标.实际上,数据中心是长期、高负载的用电单位,与电力运营商签订长期用电合同,不使用零售电价.实际的电费合同从用电总量、峰值功率2个方面与用户进行约定.将负载分配到电价较低的区域会导致该区域的负载升高.一方面数据中心需要投入昂贵的硬件设施来应对负载峰值;另一方面数据中心需要为其负载峰值支付很高的用量费用,从而降低能耗费用优化的效果.由于数据中心的负载分配受电价波动的影响,数据中心的负载很难提前预测,无法与电力供应商签订准确的电费合同,因此控制数据中心的峰值功率并与电网进行交互对于能耗费用优化的影响很大.

3.4 部分执行方法

部分执行(partial execution, PE)是一种通过降低服务质量减少负载执行数量的方法,可达到降低峰值功率的效果,常用于搜索引擎、金融计算、仿真模拟等可接受近似计算结果的领域[16],这些类型业务的计算结果精度取决于计算任务量,计算时间越长,计算越充分,其计算结果越精确.以雅虎搜索为例,执行50%的负载即可获得80%的服务质量[46],但随着负载执行比率的增加,服务质量的提高越来越缓慢,因此降低少许服务性能即可大幅降低数据中心的能耗.

Xu等[16]将PE方法用于降低运行搜索引擎类负载的分布式数据中心的峰值功率,将数据中心运行模式分为高质量服务和低质量服务两种模式,在满足服务质量的约束下,依次将负载最高的时间段运行模式设为低质量服务模式,降低峰值功率.PE方法可以在满足服务质量的前提下直接降低运行负载量,配合DVFS方法、运行节点控制方法可以更大程度降低数据中心的能耗费用.由于PE方法对于负载的类型有明确的限定,其使用范围较为固定,专用于对运行搜索引擎、金融计算等交互式负载的数据中心能耗费用进行优化.

3.5 使用UPS能量存储设备

在负载高峰时段,使用能量存储设备对数据中心供电可以降低电网的峰值用电功率,从而降低需量费用；此时可采用数据中心的电力保障设备UPS.UPS的加入给数据中心能耗费用优化模型增加了1个电能存储调节装置,即增加了1个变量,使得优化问题增加了1个维度,形成1个新的优化研究方向.

数据中心的UPS即不间断电源用于保障电力的稳定供应,常在主供电源中断后、备用电源启动前的10～20 s使用,而UPS的设计容量可供数据中心运行5～30 min,因此在确保数据中心供电安全性的前提下,可以利用电价随时间的波动和数据中心负载的波动对UPS进行充放电操作,减少数据中心在电价峰值和负载峰值时段的电网用电,从而对数据中心的能耗费用进行优化.2008年,Bar-Noy等[49]最早使用UPS对已知负载情况下的电网峰值控制进行研究,并于第2年对随机负载情况下的电网峰值优化问题构建了在线优化算法,将该研究用于数据中心的峰值功率控制.目前的相关研究分为以下2个类别.

3.5.1 利用外部负载的波动 高负载时间使用UPS对数据中心供电,在低负载时间对UPS进行充电,降低数据中心的峰值功率,对用量费用进行优化.Xu等[16]将UPS用于运行交互式负载的分布式数据中心,在满足用户服务质量的前提下同时使用UPS充放电操作和PE方法对需量费用进行优化.Palasamudram等[50]使用类似的方法对分布式内容分发网络(content delivery network,CDN)的需量费用和用量费用进行优化.Aksanli等[51]提出主供电源与UPS共同使用且UPS放电电流可调节的模型,使UPS的使用非常灵活.Govindan等[48]对充放电折旧费用固定、未考虑UPS的生命周期和数据中心可用性等问题的UPS模型进行改造并设计了eBuff模型,将充放电深度、充放电次数、充放电功率、充放电时间、充放电过程中的能耗损失以及数据中心可用性等因素考虑在内,对能耗费用进行优化.

3.5.2 利用电价的时间波动 在电价较低的时间段对UPS进行充电,在电价较高的时间段使用UPS对数据中心进行供电,从而降低数据中心的需量费用.在已知外部电价和负载的条件下对UPS充放电控制是一种离线算法,只需要对负载数据中心的外部电价和负载进行排序.当外部电价和负载为无法提前知晓的随机数时,该优化问题的求解面临新的挑战.Urgaonkar等[52]使用Lyapunov优化对单一数据中心的能耗费用优化进行研究,将UPS电量的限制转化为队列稳定问题进行求解.Guo等[53]对分布式数据中心的该优化问题进行研究,同时考虑电价在时间和地理位置上的变化.

3.5.3 讨论 将UPS用于数据中心的能耗费用优化不会对当前运行的负载产生直接影响,但会对数据中心的供电可靠性产生两方面的影响：1)利用外部负载的波动和电价的时间波动对UPS进行充放电操作会缩短UPS的电池使用寿命,降低数据中心的供电可靠性；2)当UPS处于充放电过程中时,其电量达不到设计值,应急供电时间会相应减少,从而降低数据中心的供电可靠性,因此使用UPS对数据中心能耗费用进行优化需要将UPS的使用寿命和供电可靠性考虑在内.

以上研究中的UPS均是向整个数据中心供电,电能需要经过2次交/直流转换才能最终被服务器等IT设备使用,这个过程至少有10%的能量损耗.Google为其每台服务器内置了12 V的大容量电池以保障供电,当主供电源中断时大容量电池直接对服务器供电,解决了传统数据中心能量传输系统的损耗问题,因此内置节点级UPS的服务器是未来服务器发展的新趋势.

节点级UPS使得节点能耗控制更加灵活,其充放电控制是未来新的研究方向[54].Yao等[55]借鉴Google数据中心的模式,为每台服务器配备独立的UPS,通过MPC模型预估控制器对每个UPS的充放电行为进行控制,从而优化数据中心的能耗费用.

UPS容量和UPS单次充放电的费用对能耗费用优化的效果有直接影响.在对用量费用进行优化时,较大容量的UPS可以在低电价时段储存更多的电能,在高电价时段释放出来；在对需量费用优化时,较大容量的UPS可以将高负载时段功率降得更低,但其自身成本的增加也不可忽略.当单次充放电费用较低时,使用UPS能很好地降低能耗费用；当单次充放电费用提高时,UPS对降低能耗费用的作用逐渐减弱,文献[53]对此进行了详细的实验验证.

与UPS相比,热能存储设备的价格优势十分明显,是数据中心能耗费用优化的新方法.Google于2011年在其数据中心首次使用热能存储设备.热能存储设备的储热能力强,可以通过在电价较低的时间段进行冷却,在电价较高的时间段使用热能存储设备通过对数据中心制冷来降低制冷系统的能耗费用.Guo等[23]利用电价在时间上的波动对使用热能存储设备的数据中心能耗费用进行研究.

3.6 使用可再生能源的方法

风能、水能、太阳能等可再生能源在数据中心的使用越来越广泛.与石油、煤炭、天然气等高碳能源相比.可再生能源的电价虽然较低,但其初期建设成本高,发电量随天气变化的波动性大,对电网的稳定性影响较大.合理地使用可再生能源可以在降低能耗费用的同时有效地降低辅助优化目标——碳排放量.可再生能源的接入使得数据中心能耗费用优化模型的电力供应增加了一个随机变量,增加了问题求解的复杂性.可再生能源在降低能耗费用和降低碳排放量方面的显著优势,成为近年来数据中心能耗费用优化的研究热点.

3.6.1 研究进展 可再生能源的发电量和价格受天气影响始终处于变化状态.使用可再生能源对能耗费用进行优化时,需要按照风能、水能、太阳能等能源的特征对其发电行为进行建模,还需要考虑外部负载类型、发电费用、能量存储、服务等级协议等因素.为了方便科研人员对再生能源的使用进行评估,Brown等[56]对数据中心可再生能源的发电和使用全过程进行仿真建模,并对不同负载类型数据中心的可再生能源使用进行优化,设计了数据中心可再生能源使用模拟器ReRack.窦晖等[14]对自建可再生能源发电厂的数据中心建立能耗费用模型,形式化为一个随机优化问题,提出一种在线式负载调度算法,并使用Lyapunov优化方法求解.Berral等[60]对自建可再生能源发电厂的数据中心选址问题进行研究.通过虚拟机迁移方法在保证可再生能源使用比例的前提下对数据中心能耗费用进行优化,并用OpenNebula实现了一个数据中心能耗费用管理平台,对虚拟机进行管理.

高能耗的数据中心拥有年度碳排放量指标.当碳排放量超标时需要购买昂贵的碳排放量指标或被征收高额的电费,在碳排放量的约束下对能耗费用进行优化是一种直接的优化思路.Le等[57]提出了碳排放总量受限的数据中心能源使用、能耗费用和碳排量管理的框架.Zhou等[58]将该问题的碳排放总量约束转化为当前时间片虚拟队列的稳定问题,通过Lyapunov优化方法求解负载分配方式、运行节点数和节点服务率.碳排放量和能耗费用是互相制约的2个优化目标,将负载由低电价数据中心向低碳区域的数据中心迁移可以降低碳排放量,但由于低碳区域的电价一般高于高碳区域的电价,能耗费用将提高.Abbasi等[62]在此基础上增加了碳排放总量的约束条件进行研究.

在有限的能耗费用预算下提高可再生能源的使用比例是另一种优化思路.Zhang等[59]对固定能耗费用预算下的分布式数据中心如何最大限度地使用可再生能源进行研究；Kiani等[61]假设分布式数据中心自带可再生能源发电设施,同时考虑可再生能源的使用和不同地理位置数据中心之间的电价波动,根据外部负载使用的电力来源将负载定义为绿色负载和棕色负载,在保障绿色能源使用率最高的前提下,对电网能耗费用进行优化.

3.6.2 讨论 可再生能源具有绿色、低碳的社会属性和投产之后低发电成本的经济属性,近年来发展迅速,得到广泛应用.预计2030年,可再生能源的产能将占能源消耗总量的20%.可再生能源发电量不可提前预知、产能受天气因素的影响较大,大量接入可再生能源可能对电网的运行稳定性产生较大影响.使用大容量电池解决电网峰值问题的成本过高,因此,电力运营商推出需求响应项目来保障电网的运行稳定[68].数据中心能耗巨大且负载可以动态调节,参与需求响应项目并根据电网运行状态调节数据中心的运行功率,可以大幅降低能耗费用,但同时也会给数据中心的运行稳定性带来不利影响,这给数据中心的可再生能源使用提出了新的挑战,成为2014—2015年INFOCOM、SIGCOMM、ICDCS、SIGMETRICS、HPDC等国际会议的最新研究热点.

3.7 与电网交互的方法

在能耗费用优化的过程中,电网运营商的目标是使电网负载达到均衡状态以降低电网的运行风险,而数据中心运营商的目标是最小化能耗费用,两者目标不一致.使用户积极参与到电网的运营中是智能电网的核心目标之一.数据中心参与智能电网的运行和价格制定,可以在对其能耗费用进行优化的同时提高电网运行的稳定性.

由于智能电网中不同区域的电价存在差异,数据中心运营商在任务调度时会将负载分配到价格较低的区域,这在降低数据中心能耗费用的同时会加重数据中心所在区域的电力负载,对电网的负载稳定性产生较大影响[63].智能电网会为大规模数据中心设定能耗阈值,通过节点边际价格等价格机制对数据中心的负载分配进行引导.

Wang等[17]在保证电网均衡的前提下对能耗费用进行优化,将优化过程分为2个阶段,首先通过分支界定法为每个数据中心设置能耗阈值,降低电网运行风险,根据阈值和定价策略生成对应的电价,对智能电网的负载进行均衡；然后通过次梯度算法求解数据中心间的负载分配方式、每个数据中心的运行节点数.Zhang等[64]假设数据中心对电网的运行负载稳定性具有影响,电价采用节点边际定价法,当消耗的电量超过阈值时,电价将不断提高.数据中心根据历史运行数据设定每月和每日的能耗费用预算,当超过预算时通过保证高等级用户的服务响应,降低低等级用户的服务响应,对能耗费用进行优化.Yao等[65]将能耗费用优化问题转化为负载和功耗之间的动态控制问题,设计了基于反馈的预估控制模型,使用递归最小二乘法对负载进行在线预测,通过动态调节数据中心的运行节点数和节点负载来控制系统负载,通过调节功耗预算来降低峰值功率.Zhou等[12]提出了分布式数据中心需求侧响应的交易机制,并对由多种可再生能源同时供电的数据中心使用多领导者单跟随者博弈模型,提出了一种新的定价策略,既保障数据中心的性能、稳定性和健壮性,又保障智能电网的均衡定价[66].

3.8 虚拟化技术

核心思想是使用虚拟化软件(如：KVM、XEN等)将物理机切分为若干个互相独立的虚拟机,使每台虚拟机运行自己的应用软件.虚拟化技术使得数据中心具有服务器整合、在线迁移、隔离性、高可用性、灵活部署、管理方便等优点,降低了数据中心的建设、运营成本,增加了应用部署的灵活性,在数据中心得到广泛应用.虚拟化技术与数据中心能耗管理方法的结合给数据中心的能耗费用优化提供了新的思路.

叶可江等[69]从能耗测量、能耗建模、能耗管理实现机制和能耗管理优化算法4个方面对虚拟化云计算平台能耗管理的相关研究进行综述.作为集群资源管理技术,虚拟化技术可以与前面所述的多种方法综合使用,对数据中心能耗进行优化.Gallego等[70]综合使用了虚拟化、DVFS和调整运行节点数方法对虚拟化的数据中心能耗进行优化,将问题转化为混合整数规划问题进行求解.

使用虚拟化技术可以将多台服务器上运行的应用程序整合到一台服务器,通过关闭空闲的服务器来降低数据中心的能耗.Kusic等[71]最早对虚拟化的数据中心能耗优化进行研究,在保障QoS的前提下,通过调整服务器中处于运行状态的虚拟机数量,将应用程序进行整合,关闭空闲的物理节点,提高运行服务器的使用效率.

在虚拟化的服务器中,虚拟机的硬件资源是虚拟化得来的,虚拟资源与物理资源相分离,无法对虚拟机使用硬件层和操作系统层的能耗管理技术,这成为虚拟化平台能耗管理的新挑战.由于虚拟化环境中虚拟机的能耗无法直接测量,Kansal等[72]提出了一个间接的虚拟机能耗测量机制Joulemeter,为虚拟机建立能耗模型,根据虚拟机运行时的资源使用率测量值来估算虚拟机的能耗.将服务器虚拟化并部署应用之后,其服务器的单节点能耗比虚拟化之前有所增加,服务器的单节点吞吐量有所降低,从而会影响数据中心的性能.Jin等[73]对运行计算密集型和网络密集型负载的虚拟化数据中心的能耗进行研究,通过实验分析了数据中心虚拟化带来的能耗优化和性能降低之间的平衡关系.

4 结 语

智能电网与数据中心的结合使能耗优化问题增加了电价这一新的维度,从而产生了一系列亟待解决的新问题,引起大量专家和学者的关注,成为绿色数据中心研究的热点.不同的电力来源、电价规则、优化目标、负载类型、约束条件、应用领域形成种类繁多的能耗费用优化问题,解决问题的核心在于建立合理、完备、可解的问题模型,并使用相应的数学方法进行求解.目前智能电网本身的研究还处于起步阶段,基于智能电网的数据中心能耗费用优化研究远远没有成熟,很多问题和难点都需要进一步研究,总结如下.

1)多目标优化：为数据中心进行负载分配时往往需考虑多个优化目标,如负载响应时间、服务质量、碳排放量、服务稳定性等,这些优化目标之间的制约关系以及如何在多个优化目标之间找到平衡需要进行深入研究.

2)数据中心需求响应：数据中心的能耗巨大,负载可以动态调节,适合于参与需求响应项目.数据中心需求响应可以在调节电网负载的同时降低数据中心的能耗费用,从而得到双赢的结果.数据中心既可以使用电力运营商的时间段定价、峰值定价、一致性峰值定价、实时定价等定价方式被动地参与需求响应,也可以通过投标、谈判等方式主动地参与需求响应.数据中心如何参与需求响应,如何设计适合数据中心的需求响应项目有待进行深入研究.

3)节点级UPS：使用内置UPS服务器的数据中心能耗效率高,可以精确地调节电网的功率负载,是数据中心未来的发展趋势；同时,节点级UPS仅对单个节点供电,无须对整个数据中心供电,提高了UPS的平均使用寿命,降低了UPS单次充放电的成本.如何控制节点级CPU的充放电行为、UPS的容量与优化性能的关系以及使用节点级UPS的经济效益分析是能耗费用优化的关键.

4)可再生能源发电设施：为数据中心配备可再生能源发电设施是现代数据中心实现碳排放量目标的有效方法.新建发电设施如何选址,如何对包含动态电价、UPS、可再生能源的数据中心进行能耗优化有很多需要解决的问题.

5)在线优化算法：数据中心的电价、负载、可再生能源的发电量等都处于动态变化中,无法提前知晓,与离线优化算法相比,在线优化算法的设计与实现难度更大.

6)能源互联网：能源互联网是信息技术与可再生能源相结合的产物,用于解决可再生能源的利用效率问题.能源互联网中的能量以电能、化学能、热能等形式存在,多样化能源的分布式发电、传输、存储、消耗为数据中心的能耗费用优化开启了一个全新的研究领域.

综合数据中心能耗费用优化所面临的挑战、研究热点以及研究展望,结合本文总结的能费用优化方法,本课题组将在下一阶段对数据中心能耗费用优化相关应用的多目标优化、数据中心需求响应、节点级UPS、可再生能源发电设施选址、在线优化算法等问题展开研究.

[1] GAO P X, CURTIS A R, WONG B, et al. It’s not easy being green [J]. ACM SIGCOMM Computer Communication Review, 2012, 42(4): 211-222.

[2] BILAL K, MALIK S U R, KHALID O, et al. A taxonomy and survey on green data center networks [J]. Future Generation Computer Systems, 2014, 36(7): 189-208.

[3] WANG L, KHAN S U. Review of performance metrics for green data centers: a taxonomy study [J]. The Journal of Supercomputing, 2013, 63(3): 639-656.

[4] YAO Y, HUANG L, SHARMA A, et al. Power cost reduction in distributed data centers: a two-time-scale approach for delay tolerant workloads [J]. IEEE Transactions on Parallel and Distributed Systems, 2014, 25(1): 200-211.

[5] 余贻鑫,秦超.智能电网基本理念阐释[J].中国科学:信息科学,2014,44(6): 694-701. YU Yi-xin, QIN Chao. Expatiation on the basic ideas of smart grid [J]. SCIENTIA SINCA Informations, 2014, 44(6): 694-701.

[6] 张东霞,苗新,刘丽平,等.智能电网大数据技术发展研究[J].中国电机工程学报,2015, 35(1): 2-11. ZHANG Dong-xia, MIAO Xin, LIU Li-pin, et al. Research on development strategy for smart grid big data [J]. Proceedings of the CSEE, 2015, 35(1): 2-11.

[7] WU G, GU H, WANG K, et al. A scalable AWG-based data center network for cloud computing [J]. Optical Switching and Networking, 2015, 16: 46-51.

[8] QURESHI A, WEBER R, BALAKRISHNAN H, et al. Cutting the electric bill for internet-scale systems [J]. ACM SIGCOMM Computer Communication Review, 2009, 39(4): 123-134.

[9] LUO J, RAO L, LIU X. Temporal load balancing with service delay guarantees for data center energy cost optimization [J]. IEEE Transactions on Parallel and Distributed Systems, 2014, 25(3): 775-784.

[10] RAO L, LIU X, ILIC M D, et al. Distributed coordination of internet data centers under multiregional electricity markets [J]. Proceedings of the IEEE, 2012, 100(1): 269-282.

[11] GU L, ZENG D, LI P, et al. Cost minimization for big data processing in geo-distributed data centers [J]. IEEE Transactions on Emerging Topics in Computing, 2014, 2(3): 314-323.

[12] ZHOU Z, LIU F, LI Z, et al. When smart grid meets geo-distributed cloud: an auction approach to datacenter demand response [C]∥ Proceedings of the 34rd IEEE International Conference on Computer Communications. Hong Kong: IEEE, 2015: 2650-2658.

[13] 王巍,罗军舟,宋爱波.基于动态定价策略的数据中心能耗成本优化[J].计算机学报,2013, 36(3): 599-612. WANG Wei, LUO Jun-zhou, SONG Ai-bo. Dynamic pricing based energy cost optimization in data center enviroments [J]. Chinese Journal of Computers, 2013, 36(3): 599-612.

[14] 窦晖,齐勇,王培健,等.一种最小化绿色数据中心电费的负载调度算法[J].软件学报,2014,25(7):1448-1458. DOU Hui, QI Yong, WANG Pei-jian, et al. Workload scheduling algorithm for minimizing electricity bills of green data centers [J]. Journal of Software, 2014,25(7): 1448-1458.

[15] 宋杰,李甜甜,闫振兴,等.一种云计算环境下的能效模型和度量方法[J].软件学报,2012,23(2): 200-214. SONG Jie, LI Tian-tian, YAN Zhen-xing, et al. Energy-efficiency model and measuring approach for cloud computing [J]. Journal of Software, 2012, 23(2):200-214.

[16] XU H, LI B. Reducing electricity demand charge for data centers with partial execution [C]∥ Proceedings of the 5th International Conference on Future Energy Systems. Bangkok: ACM, 2014: 51-61.

[17] WANG H, HUANG J, LIN X J, et al. Exploring smart grid and data center interactions for electric power load balancing [J]. ACM SIGMETRICS Performance Evaluation Review, 2014, 41(3): 89-94.

[18] RAHMAN A, LIU X, KONG F. A survey on geographic load balancing based data center power management in the smart grid environment [J]. IEEE Communications Surveys and Tutorials, 2014, 16(1): 214-233.

[19] KONG F, LIU X. A survey on green-energy-aware power management for datacenters [J]. ACM Computing Surveys, 2014, 47(2): 1-30.

[20] DAYARATHNA M, WEN Y, FAN R. Data center energy consumption modeling: a survey [J]. IEEE Communications Surveys and Tutorials, 2015, 17(9):1-65.

[21] HUANG Y, WANG P, XIE G H. A short list of researches in data center energy cost optimization in recent years[EB/OL]. [2015-06-12].http:∥www.qhoa.org/uploads/doc/DCCO.pdf.

[22] ZHANG W. Energy-efficient and power-dense DC-DC converters in data center and electric vehicle applications using wide bandgap devices [D]. Knoxville: The University of Tennessee, 2015.

[23] GUO Y, GONG Y, FANG Y, et al. Energy and network aware workload management for sustainable data centers with thermal storage [J]. IEEE Transactions on Parallel and Distributed Systems, 2014, 25(8):2030-2042.

[24] FULPAGARE Y, BHARGAV A. Advances in data center thermal management[J]. Renewable and Sustainable Energy Reviews, 2015, 43: 981-996.

[25] LI Z, KANDLIKAR S G. Current Status and Future Trends in data-center cooling technologies [J]. Heat Transfer Engineering, 2015, 36(6): 523-538.

[26] ARGHODE V K, SUNDARALINGAM V, JOSHI Y. Airflow management in a contained cold aisle using active fan tiles for energy efficient data-center operation [J]. Heat Transfer Engineering, 2015, 37(3/4):246-256.

[27] 王鹏,黄焱,任超,等.多尺度量子谐振子高维函数全局优化算法[J].电子学报,2013,41(12)：2468-2473. WANG Peng, HUANG Yan, REN Chao, et al. Multi-scale quantum harmonic oscillator for high-dimensional function global optimization algorithm [J]. Acta Electronica Sinica, 2013, 41(12): 2468-2473.

[28] XU D, LIU X, FAN B. Minimizing energy cost for Internet-scale datacenters with dynamic traffic [C]∥ Proceedings of the IEEE 19th International Workshop on Quality of Service. San Jose: IEEE, 2011: 1-2.

[29] RAO L, LIU X, XIE L, et al. Minimizing electricity cost: optimization of distributed internet data centers in a multi-electricity-market environment [C]∥ Proceedings of the 29rd IEEE International Conference on Computer Communications. San Diego: IEEE, 2010: 1-9.

[30] FAN X, WEBER W D, BARROSO L A. Power provisioning for a warehouse-sized computer [J]. ACM SIGARCH Computer Architecture News, 2007, 35(2): 13-23.

[31] CHASE J S, ANDERSON D C, THAKAR P N, et al. Managing energy and server resources in hosting centers [J]. ACM SIGOPS Operating Systems Review, 2001, 35(5): 103-116.

[32] PINHEIRO E, BIANCHINI R, CARRERA E V, et al. Load balancing and unbalancing for power and performance in cluster-based systems [C]∥ Proceedings of the Workshop on Compilers and Operating Systems for Low Power. Barcelona: Springer, 2001: 182-195.

[33] ETINSKI M. DVFS power management in HPC systems [D]. Barcelona: Technical University of Catalonia, 2012.

[34] WANG W, ZHANG P, LAN T, et al. Datacenter net profit optimization with deadline dependent pricing [C]∥ Proceedings of the 46th Annual Conference on Information Sciences and Systems. Princeton: IEEE, 2012: 1-6.

[35] ABBASI Z, MUKHERJEE T, VARSAMOPOULOS G, et al. Dynamic hosting management of web based applications over clouds [C]∥ Proceedings of the 18th International Conference on High Performance Computing. Bengaluru: IEEE, 2011: 1-10.

[36] GU L, ZENG D, BARNAWI A, et al. Optimal task placement with QoS constraints in geo-distributed data centers using DVFS [J]. IEEE Transactions on Computers, 2015, 64(7): 2049-2059.

[37] CHIARAVIGLIO L, MATTA I. An energy-aware distributed approach for content and network management [C]∥Proceedings of the 2011 IEEE Conference on Computer Communications Workshops. Shanghai: IEEE, 2011: 337-342.

[38] ZHENG X, CAI Y. Energy-aware load dispatching in geographically located internet data centers [J]. Sustainable Computing: Informatics and Systems, 2011,1(4): 275-285.

[39] GUO Y, FANG Y, KHARGONEKAR P P. Optimal workload and energy storage management for cloud data centers [C]∥ Proceedings of the 2013 IEEE Military Communications Conference. San Diego: IEEE, 2013:1850-1855.

[40] LUO J, RAO L, LIU X. Data center energy cost minimization: a spatio-temporal scheduling approach [C]∥ Proceedings of the 32rd IEEE International Conference on Computer Communications. Turin: IEEE, 2013: 340-344.

[41] BUCHBINDER N, JAIN N, MENACHE I. Online job-migration for reducing the electricity bill in the cloud [M] ∥Networking 2011. Berlin Heidelberg: Springer, 2011: 172-185.

[42] LI J, LI Z, REN K, et al. Towards optimal electric demand management for internet data centers [J]. IEEE Transactions on Smart Grid, 2012, 3(1): 183-192.

[43] KAYAASLAN E, CAMBAZOGLU B B, BLANCO R, et al. Energy-price-driven query processing in multi-center web search engines [C]∥ Proceedings of the 34th international ACM SIGIR conference on Research and development in Information Retrieval. Beijing: ACM, 2011: 983-992.

[44] SANKARANARAYANAN A N, SHARANGI S, FEDOROVA A. Global cost diversity aware dispatch algorithm for heterogeneous data centers [J]. ACM SIGSOFT Software Engineering Notes, 2011, 36(5): 289-294.

[45] XIAO Z, SONG W, CHEN Q. Dynamic resource allocation using virtual machines for cloud computing environment [J]. IEEE Transactions on Parallel and Distributed Systems, 2013, 24(6): 1107-1117.

[46] HE Y, ELNIKETY S, LARUS J, et al. Zeta: Scheduling interactive services with partial execution [C]∥ Proceedings of the Third ACM Symposium on Cloud Computing. San Jose: ACM, 2012: 12.

[47] AKSANLI B, PETTIS E, ROSING T. Architecting efficient peak power shaving using batteries in data centers [C]∥ Proceedings of the IEEE 21th International Symposium on Modeling, Analysis and Simulation of Computer and Telecommunication Systems. San Francisco: IEEE, 2013: 242-253.

[48] GOVINDAN S, SIVASUBRAMANIAM A, URGAONKAR B. Benefits and limitations of tapping into stored energy for datacenters [C]∥ Proceedings of the 38th Annual International Symposium on Computer Architecture. San Jose: IEEE, 2011: 341-351.

[49] BAR-NOY A, FENG Y, JOHNSON M P, et al. When to reap and when to sow-lowering peak usage with realistic batteries [M]∥ Experimental Algorithms. Berlin Heidelberg: Springer, 2008: 194-207.

[50] PALASAMUDRAM D S, SITARAMAN R K, URGAONKAR B, et al. Using batteries to reduce the power costs of internet-scale distributed networks [C]∥ Proceedings of the Third ACM Symposium on Cloud Computing. San Jose: ACM, 2012: 11.

[51] AKSANLI B, PETTIS E, ROSING T. Architecting efficient peak power shaving using batteries in data centers [C]∥ Proceedings of the IEEE 21st International Symposium on Modeling, Analysis and Simulation of Computer and Telecommunication Systems. San Francisco: IEEE, 2013: 242-253.

[52] URGAONKAR R, URGAONKAR B, NEELY M J, et al. Optimal power cost management using stored energy in data centers [C]∥ Proceedings of the ACMSIGMETRICS 2011. San Jose: ACM, 2011: 221-232.

[53] GUO Y, FANG Y. Electricity cost saving strategy in data centers by using energy storage [J]. IEEE Transactions on Parallel and Distributed Systems, 2013,24(6): 1149-1160.

[54] JIANG T, YU L, CAO Y. Joint workload and battery scheduling for data center energy cost minimization [M]∥ Energy Management of Internet Data Centers in Smart Grid. Berlin Heidelberg: Springer, 2015: 59-78.

[55] YAO J, LIU X, ZHANG C. Predictive electricity cost minimization through energy buffering in data centers [J]. IEEE Transactions on Smart Grid, 2014, 5(1): 230-238.

[56] BROWN M, RENAU J R. Power simulation for data centers with renewable energy generation [J]. ACM SIGMETRICS Performance Evaluation Review, 2011, 39(3): 77-81.

[57] LE K, BILGIR O, BIANCHINI R, et al. Managing the cost, energy consumption, and carbon footprint of internet services [J]. ACM SIGMETRICS Performance Evaluation Review, 2010, 38(1): 357-358.

[58] ZHOU Z, LIU F, XU Y, et al. Carbon-aware load balancing for geo-distributed cloud services [C]∥ Proceedings of the IEEE 21st International Symposium on Modeling, Analysis and Simulation of Computer and Telecommunication Systems. San Francisco: IEEE, 2013: 232-241.

[59] ZHANG Y, WANG Y, WANG X. Greenware: greening cloud-scale data centers to maximize the use of renewable energy [M]∥ Middleware 2011. Berlin Heidelberg: Springer, 2011: 143-164.

[60] BERRAL J L, GOIRI, NGUYEN T D, et al. Building green cloud services at low cost [C]∥ The 35th IEEE International Conference on Distributed Computing Systems. Columbus: IEEE, 2014: 449-460.

[61] KIANI A, ANSARI N. Toward low-cost workload distribution for integrated green data centers [J]. IEEE Communications Letters, 2015, 19(1): 26-29.

[62] ABBASI Z, PORE M, GUPTA S K S. Online server and workload management for joint optimization ofelectricity cost and carbon footprint across data centers [C]∥ The 28th IEEE International Parallel and Distributed Processing Symposium. Phoenix: IEEE, 2014: 317-326.

[63] MOHSENIAN-RAD A H, LEON-GARCIA A. Coordination of cloud computing and smart power grids [C]∥ Proceedings of the First IEEE International Conference on Smart Grid Communications. Gaitherburg: IEEE, 2010: 368-372.

[64] ZHANG Y, WANG Y, WANG X. Capping the electricity cost of cloud-scale data centers with impacts on power markets [C]∥ Proceedings of the 20th international symposium on High performance distributed computing. San Jose: ACM, 2011: 271-272.

[65] YAO J, LIU X, GU Z, et al. Online adaptive utilization control for real-time embedded multiprocessor systems [J]. Journal of Systems Architecture, 2010, 56(9): 463-473.

[66] ZHOU Z, LIU F, LI Z. Pricing bilateral electricity trade between smart grids and hybrid green datacenters [J]. ACM Sigmetrics Performance Evaluation Review, 2015, 43(1): 443-444.

[67] BOSE P, MARTONOSI M, BROOKS D. Modeling and analyzing CPU power and performance: metrics, methods, and abstractions [C]∥ Proceedings of the ACM SIGMETRICS 2001. Cambridge: ACM, 2001.

[68] WIERMAN A, LIU Z, LIU I, et al. Opportunities and challenges for data center demand response [C]∥ Proceedings of the 2014 International Green Computing Conference. Dallas: IEEE, 2014: 1-10.

[69] 叶可江,吴朝晖,姜晓红,等.虚拟化云计算平台的能耗管理[J].计算机学报,2012, 35(6): 1262-1285. YE Ke-jiang, WU Zhao-hui, JIANG Xiao-hong, et al. Power management of virtualized cloud computing platform [J]. Chinese Journal of Computers, 2012, 35(6): 1262-1285.

[70] GALLEGO ARRUBLA J A, KO Y M, POLANSKYR J, et al. Integrating virtualization, speed scaling, and powering on/off servers in data centers for energy efficiency [J]. IIE Transactions, 2013, 45(10): 1114-1136.

[71] KUSIC D, KEPHART J O, HANSON J E, et al. Power and performance management of virtualized computing environments via lookahead control [J]. Cluster Computing, 2009, 12(1): 1-15.

[72] KANSAL A, ZHAO F, LIU J, et al. Virtual machine power metering and provisioning [C]∥ Proceedings of the 1st ACM Symposium on Cloud Computing. Indianapolis: ACM, 2010: 39-50.

[73] JIN Y, WEN Y, CHEN Q, et al. An empirical investigation of the impact of server virtualization on energy efficiency for green data center [J]. The Computer Journal, 2013, 56(8): 977-990.

Data center energy cost optimization in smart grid: a review

HUANG Yan1,2, WANG Peng3, XIE Gao-hui4, AN Jun-xiu5

(1.ChengduInstituteofComputerApplication,ChineseAcademyofSciences,Chengdu610041,China;2.UniversityofChineseAcademyofSciences,Beijing100049,China; 3.SouthwestUniversityforNationalities,Chengdu610225,China; 4.AcademyofTechnology,GuangzhouWuzhouTechnologyCorporation,Guangzhou510000,China; 5.ChengduUniversityofInformationTechnology,Chengdu610225,China)

Electricity price varies with time and geographic position in smart grid. According to the chage of external load type and loading capacity, data center operators optimize data center energy cost, carbon emission, network cost, response time, grid stability through load distribution, node state controling and using energy storage to meet internal and external constraints. Energy structure of data center was analyzed; a basic model of data center energy cost optimization problem was proposed. Specially, a taxonomy, comparison and peroration of the latest researchs in data center energy cost optimization problem were provided from eight key perspectives: dynamic running node number adjustment, dynamic voltage and frequency scaling (DVFS), load distribution, partial execution, using uninterruptible power supply (UPS), using renewable energy, interaction with smart grid, virtualization. Further research hotspots include multi-objective optimization, data center demand response, distributed UPS, renewable energy generating plants, online algorithm, energy internet.

energy cost optimization; smart grid; load distribution; geographically distributed data centers; energy Internet

2015-11-25.

国家自然科学基金资助项目(60702075)；广东省科技厅高新技术产业化科技攻关资助项目(2011B010200007)；四川省青年科学基金资助项目(09ZQ026-068)；成都市创新发展战略研究资助项目(11RKYB016ZF)；四川省高校重点实验室开放基金资助项目(MSSB-2015-9).

黄焱(1982—),男,博士生,从事智能优化算法研究. ORCID: 0000-0003-3896-5636. E-mail: hep128@qq.com 通信联系人：王鹏,男,教授,博导. ORCID: 0000-0002-8551-921X. E-mail: yunzjs@163.com

10.3785/j.issn.1008-973X.2016.12.020

TP 393

A

1008-973X(2016)12-2386-14