数据中心绿色计算问题综述

胡旭 张冰

（1.清华大学，北京 100084；2.天津商业大学，天津 300010）

1 前言

随着云计算、物联网、元宇宙等技术的大规模应用，产生了海量的数据，作为核心底层基础设施的数据中心的数量正在迅速增长，这些数据的预处理、计算与存储都需要大量的能耗，据统计，我国数据中心年用电量已占全社会用电总量的2%左右，且仍在快速增长。因此，对现存的传统数据中心进行绿色转型已经成为当前急需解决的关键问题。2019 年 2 月，工信部等多个部门联合发布《关于加强绿色数据中心建设的指导意见》，要“大力推动绿色数据中心的创建、运维和改造，引导数据中心走高效、清洁、集约、循环的绿色发展道路，实现数据中心持续健康发展”[1]。2021 年4 月又提出《关于严格能效约束推动重点领域节能降碳的若干意见》，“鼓励重点行业利用绿色数据中心等新型基础设施实现节能降耗，到2025 年，数据中心电能利用效率普遍不超过1.5”[2]。

绿色计算的概念第一次被提出是在2005 年，主要用来定义安全数据的计算。在2010 年，国际绿色计算会议（International Green Computing Conference）在美国芝加哥举行，主要讨论传统架构以及云存储结构中的能耗问题。目前，绿色计算从狭义上来说指的是在底层硬件、虚拟层、中间件、上层软件以及网络传输的整合过程中进行资源分配和任务排序，实现能耗值极小化。

云基础设施层主要由服务器集群和资源负载监控器构成。以银行为例，在20 世纪90 年代中期，随着网络技术的发展，形成了一批省级分行的服务器机房，即银行数据中心的雏形。经过几次更新换代，至2010年前后，已经形成了数据集中，统一经营的超大规模数据中心，这些企业以维稳为主要目标，在架构上缝缝补补，累积起庞大的复杂性和惯性。这类企业在与新技术融合并向绿色计算体系转型的战略部署过程中，可以选择高密度的集约型云体系架构，以实现高计算性能、高资源利用率、低经济投入、低能耗和高存储密度为目标，同时减少服务器的物理部署需求和后期扩展需求。

虚拟资源层主要包括虚拟机群以及负责监控的负载监控器。虚拟机的出现主要是解决异构服务器的兼容问题，将虚拟机合理地映射到物理计算节点也是提高云资源使用效率的有效手段。在这一阶段一般会利用虚拟机的部署、迁移与整合相结合的方式，将任务集中在少量物理计算节点上，提高单个节点的利用率，同时关闭或降低闲置节点的计算功率，以达成降低能耗的目标。

中间件层是云体系中软件与硬件的“连接器”，也是云体系中最复杂、压力最大的层。面向服务（SOA）的架构模式已经成为目前云体系架构的主流方案，即在物理层采用基础设施即服务（IaaS）架构，软件应用层采用软件即服务（SaaS）架构，中间件层的主要作用包括对分散的计算节点进行整合，将应用层的任务合理高效地映射到虚拟机以及物理节点上，对虚拟机的时延、能耗、利用率等物理特性信息进行检测收集，根据虚拟机的指标进行自适应调节与调度。目前大部分能耗优化管理都集中在虚拟层以及基础设施层，而中间件层的能耗优化研究则主要集中在以下三个方面：准入控制、资源调度以及负载均衡。

目前硬件能耗优化主要集中在多核处理器的动态电压频率调节（DVFS）和动态电源管理（DPM）方面，一般会根据任务负载对处理器内核进行细粒度的调控。此外，在大型数据中心，往往需要大量不同类型的处理器内核共同作用，因此需要针对异构的多核处理器的动态功耗进行调控。目前已知对多核处理器进行动态调控的算法主要集中在数学规划算法、随机搜索算法、元启发式算法和智能仿生算法等领域[3-6]。

在软件方面，降低数据中心能耗主要有两种途径：一是通过优化虚拟增资源配置调度进行减耗，主要途径包括均衡负载和减少任务执行时间；二是将部分计算下沉到网络边缘侧，通过云端融合来发挥云计算与端计算的协同优势，减少数据中心能耗。第一种方法主要是中间件层通过对虚拟资源层作业调度的服务质量（QoS）进行优化来减少能耗，目前应用最多的算法是自适应启发式算法。然而，由于主要计算任务仍旧由数据中心承担，通过优化资源调度降低的能耗十分有限，一般适用于数据密集型的集约化结构，例如一些银行、政府等机构采用集约化服务器架构，既可以降低经济投入，又可以有效降低运行能耗；第二种方法则主要适用于资源分散的计算密集型结构，由于大量的计算数据传输会对骨干网造成极大负担，也会引起大量能耗，将部分计算移到网络边缘侧，可以提升包括时延、负载、能耗等QoS 性能。但是，由于网络边缘侧需承担一部分计算任务，对设备要求较高，需要对传统计算框架进行升级改造，对经济型造成一定影响。

2 多核处理器的动态能耗管理

目前数据中心的服务器多采用多核处理器系统，多核处理器的硬件能源消耗主要来源于DVFS 技术和DPM 技术。DVFS 技术主要指的是结合实时调度理论，根据系统的空闲时间，动态调节CPU 的计算速度，以降低能耗；DPM 技术指的是根据系统设备的空闲时间来决定是否将设备切换成空闲模式，以降低能耗[7]。目前，针对多核系统能耗优化的调度算法包含数学规划法、启发式方法和随机搜索方法[8]。

数学规划算法在传统的调度算法中应用较多。W.Jiang等针对实行DVFS技术的嵌入式系统节能设计，提出了一种基于动态规划算法的快速双搜索方法，该算法根据执行任务时间的概率分布来进行任务分配[9]。该算法通过在能耗的上下界内进行快速的双向搜索来获得能耗的受限范围，通过计算每个任务的期望能耗值，近似计算出最小能耗方案。周海航讨论了多处理器系统的共享高速缓存分配问题，针对有相互依赖关系的周期性任务在多处理器系统上竞争高速缓存的应用场景，通过整合DVFS 和DPM 技术，最终得到各个处理器总能耗的最小期望值[10]。但是由于线性规划自身的局限性，得到的最优解往往不能满足系统动态变化规律，在任务调度方面不及其他仿生算法应用多。

启发式算法应用较多的是任务复制算法、循环调度算法和任务组合算法。S.K.Biswas 等提出了一种多目标贝叶斯实时优化算法[11]，算法将任务队列构成的有向无环图根据贝叶斯算法进行循环迭代，找出最优任务分配组合，该算法可以在保证延时的条件下有效减少等待队列长度，算法如图1 所示。M.Nejat 等提出了一种协同控制的集成资源调度算法（RMA）[12]，该资源管理器可以同时进行DVFS 控制以及缓存调度。该算法是一种多层剪枝的启发式算法，它的优点在于不需要考虑系统的任何先验行为数据，只需要在指令的监控间隔内收集静态统计数据，就可以计算出每个指令需要消耗的动态能量，另外，该算法是独立应用在各个内核上的，因此，一个内核的优化降阶并不会对其他内核的效率造成影响。

图1 多目标贝叶斯实时优化算法流程图

元启发式算法是随机搜索算法类别中应用较多的算法。近年来，研究学者尝试将多种仿生算法，例如遗传算法、人工免疫算法和神经网络算法等，与元启发式算法相结合，形成新的调度算法。王静莲等讨论异构多核体系的动态能耗，将软硬件节能原理深度融合，进而提出一种新的绿色异构调度算法[13]，该算法基于元启发式人工免疫理论，将候选解看作是基因组合的进化个体，进而将基因组合编码为三维矩阵，依照粗粒度模型，设计CPU-GPU 相结合的多层次并发进化计算。S.Saroja 等提出了一种混合双目标的并行遗传算法[14]，该算法首先生成初始种群，再对初始种群进行并行遗传操作来确定全局最优解，该算法可以避免算法在局部最优解上的过早收敛，并减少算法的运行时间，从而得到全局最优解。

3 云体系虚拟资源调度算法

虚拟机的部署、迁移及资源调度管理是降低数据中心能耗的主要手段。虚拟机放置位置太分散或太密集都会对能耗造成很大影响。而由于数据量的逐渐增大，密集型虚拟机架构已经无法承担所有的数据计算需求，而分散型虚拟机架构大量的数据传输则对带宽利用、时延和能耗有较高的要求。目前对调度优化算法的研究主要集中在提高带宽利用率和减少时延方面，而追求最小时延和最低能耗往往是矛盾的，怎样在满足QoS 的情况下达到最小能耗是个关键问题。

一些研究认为应该将任务尽可能地分布在最少数量的虚拟机上以减少网络传输，进而降低能耗，例如，C.Delimitrou 等针对虚拟机之间的异质性和相互干扰问题设计了一种Pragon 调度算法[15]，该算法旨在将虚拟器整合在尽量少的服务器上以减少能耗，算法的核心思想与Netflix 的推荐算法类似，通过对比不同应用在异构资源和干扰方面的相似性，具体来说，即是通过单数值分解（SVD）方法来协同过滤并确认新负载与计划任务的相似度，以此来快速确定资源分配。H.Yuan等提出了一种基于分解的多目标进化算法（IMEAD）来研究数据中心能耗最小化与商业利益最大化之间的折中问题，如图2 所示[16]。文章假设当前数据中心不同服务器使用的供电能源分别来源于能源电网、风力发电和太阳能发电这三种方式，中心任务调度器根据当前的电价、风速和太阳辐照度等参数来为不同的服务器分配任务，以使供应商达到能耗最小化和收益最大化之间的平衡。

图2 IMEAD 算法框架图

还有一些研究认为应该提高数据传输的带宽利用率，以降低能耗，其主要采取的操作有以下几种：

1.优化网络拓扑结构，虚拟器在服务器上的放置位置是影响能耗的重要因素[17-19]，A.Ibrahim 等提出了离散粒子群优化算法来计算虚拟机的最佳部署，该算法首先采用加权和方法来合并活跃和过载的主机，再利用最小适应度函数来寻找虚拟机的最优位置，并根据CPU 的大小进行排序。王继彬提出了基于虚拟现实（VR）技术的数据中心虚拟化资源节能调度算法[20]。该研究构建了数据中心资源采样模型，结合VR 互动装置调度中心资源，采用嵌入式模糊聚类融合分析方法建立虚拟化的信息融合中心，结合差异化融合特征量实现对数据中心资源的实时节能调度。

2.调整设备的自适应状态，将设备的功耗与数据负载相关联。L.Hongyou 等提出了ELMWCT 调度算法来进行任务资源分配[21]。当任务到达时，算法首先引入节点利用率阈值向量，根据CPU、内存、网络利用率和阈值向量的关系，来确定负载虚拟机的移植位置，随后，将其他没有负载任务的虚拟机切换到休眠模式，以降低能耗。M.Safavi 等以均衡系统能耗和满足系统稳定性为目标，提出了一种基于Lyapunov 稳定性分析的能量感知负载平衡技术[22]，该技术将动态服务器调度（DSP）问题转化为凸优化问题，根据服务器队列的总能耗和空闲时间来进行动态分配负载，在计算复杂度与任务分配最优解之间取得平衡，并且可以根据资源的可用程度来进行DSP 调度。

4 云端融合的资源调度算法

云端融合即将云计算与端计算相结合。端计算即指边缘计算，在2013 年，美国太平洋西北国家实验室的一份报告中首次出现了边缘计算的概念，2020 年，国际标准化组织（ISO）正式将边缘计算定义为“一种将主要处理和数据存储放在网络的边缘节点的分布式计算形式”。目前，边缘计算的三种形式包括云边缘（指将数据计算转移到云层的边缘节点）、边缘云（指将数据计算转移到边缘层的节点中）和边缘网关，其中，边缘云中的移动边缘云（MEC）主要应用在5G 移动互联网、物联网等领域，且落地规模较大。其中，在5G和车联网领域中，由于数据的计算量激增，且对数据时延要求提高，将部分数据计算移到云的边缘侧可满足敏捷连接、实时传输，降低能耗和隐私保护等需求。在物联网领域，由于互联设备节点会产生海量初始数据，将数据全部传输到云端处理会占用大量网络资源和云资源，因此，在端侧进行数据初步计算可大幅减少资源占用并提升用户体验，从而降低能耗。

在5G 环境中，降低能耗除了考虑云体系中的能耗外，通常考虑最多的是移动节点能耗，MEC 经典结构如图3 所示。MEC 架构主要分为系统层、主机层和用户设备层。其中，系统层主要由边缘协调器、运营系统和第三方应用组成；主机层主要由边缘应用和虚拟化基础设施及管理组成。

图3 MEC 框架

在MEC 中基于能耗优化的计算卸载问题是当前研究较多的课题。C.You 等针对多用户MEC 系统MAC 层的信道资源分配问题展开研究[23]，首先，TDMA 系统被考虑为一个凸优化问题，根据用户的计算能耗和信道增益设计出一个计算卸载优先级函数并提出一个阈值结构，根据用户优先级与阈值的关系，为用户设定最大程度的卸载；其次，OFDMA 系统计算卸载被视为混合整数优化问题，根据平均子信道增益来设计优先级函数，再根据用户的优先级来分配传输子信道。也有一些研究应用人工智能算法来进行计算卸载的算法优化。T.Bai 等考虑无人机的计算卸载问题，由于计算信息需要通过无线传输链路上传到网络边缘进行计算卸载，可能会导致信息泄露[24]。文章针对无人机、AP、三种类型的窃听者同时存在的场景，提出了一个PLS 策略（physical-layer security），在节能的同时降低信息泄露风险，该策略将复杂的多重参数优化问题变形为单一参数的凸优化问题，以找到资源分配和降低能耗的最优解。E.Li 等研究5G 网络中的神经网络计算的高负载引起的时延长和能耗大等问题[25]，提出了Edgent 架构，通过对DNN 计算合理分区和精简，在计算高精度和低延迟之间达到平衡。Edgent 训练回归模型来预测分层推理延迟并推导出DNN 分区和精简的最优配置，在5G、车载网等动态网络中，减轻网络波动的影响。K.Wang 等提出一种移动边缘云的无线电接入网(ME-RAN)架构[26]，该架构由MEC 作为计算提供平台和RAN 作为通信组成接口。通过触发卸载动作来增加用户设备的计算能力，考虑有限的计算和通信资源来减少所有UE 的能耗，提出的能耗最小化问题被证明是一种非凸混合整数规划，通过分散式本地决策算法和集中决策资源分配算法进行ME-RAN 中的决策和资源分配。Q.Zeng 等针对边缘机器学习领域中的联合边缘学习框架（framework of federated edge learning，FEEL）在节能领域进行探索[27]，文章通过优化带宽调度分配使得应用带宽适用于设备的信道状态，从而达到节能目的，这种策略下得到的带宽配置与传统调度策略是完全相反的，有着高算力和稳定带宽的设备反而会被分配较少的带宽，以此来达到算力平衡，这也会有效降低能耗值。

5 结语

本文从硬件软件两个方面讨论了云体系数据处理中心的节能方法。硬件方面的能耗优化主要集中在多核异构处理器的动态任务管理，通过动态规划、启发式和元启发式算法进行任务调度，并借助DVFS 和DPM 技术提高多核处理器的利用率，以动态降低能耗。软件方面的能耗优化主要集中在两方面：一是对云体系的虚拟机资源调度和部署进行优化，通过均衡虚拟机的利用率以及提高虚拟机的数据密度来降低能耗；二是对云端融合的云体系架构进行算力卸载，通过优化云端资源分配和带宽利用率来达到节能的目的。目前，海量数据的存储和处理所产生的高能耗问题已经成为数据中心急需解决的关键问题。可以预见，未来随着国家政策的拟定，会有越来越多的研究投入到绿色计算领域中。