数据中心列间空调最佳控制模式探索

窦海波， 陈琼环， 杨宜楠， 刘 涛

(中国联合网络通信有限公司深圳市分公司，深圳 518000)

0 引言

随着大数据、云计算、5G等技术发展，数据中心的市场需求不断增加，2018年中国数据中心机架数总计约为271.06万个，预计到2022年将突破400万个。数据中心作为耗能大户，2018年中国数据中心总用电量为1 608.89亿kW·h，占全社会用电量的2.35%，预计2019～2023年数据中心总用电量将增长66%，年均增长率将达到10.64%，2023年中国数据中心总用电量将达到2 667.92亿kW·h。同时，国家新基建背景下对新建数据中心能耗指标(PUE)提出了更高的要求。2017年，国务院印发《“十三五”节能减排综合工作方案》要求新建大型云计算数据中心PUE值小于1.5，而北京要求新建数据中心PUE值小于1.4，上海要求新建数据中心PUE值小于1.3，深圳对于新建数据中心PUE值小于1.25的新增能源消费量可给予实际替代量40%以上的支持。对于已投入运行的数据中心，如何通过科学的运维技术和管理方法，最大限度保证系统在最佳工况运行，如何实现节能降耗、降低PUE值，尤为重要。

数据中心用电结构主要包括：IT设备用电，约占总用电量60%～80%；暖通系统设备用电，约占总用电量20%～35%；变压器、UPS、HVDC等电力电源设备内部损耗及办公照明的用电，约占总用电量3%～5%；IT设备用电主要与所选用的服务器设备功率和设备效率有关，变压器等电力电源设备损耗主要是与设备自身属性有关，对已投入运营的数据中心，更换或改善难度大，节能空间有限，而暖通系统在节能可行性上具有较大的空间。

数据中心暖通空调系统是以空调主机为核心，配备一系列动力设备、换热设备及控制辅助设备。以冷冻水型水冷空调系统为例，其主要耗电设备为冷水主机、冷却水泵、冷冻水泵、冷却塔、末端空调(精密空调、列间空调等)。各设备耗电占比分别为冷水主机62.94%、冷冻泵5.76%、冷却泵8.80%、冷却塔6.09%、行间空调15.48%、其他机房空调0.92%。

列间空调单体功率虽然不高，但其数量多、总功率大，在暖通系统中用电占比仅次于冷机。因此，在暖通系统全面节能的过程中，列间空调节能不可忽略。

1 列间空调控制模式及节能原理

1.1 列间空调温度控制原理

列间空调调节微模块冷通道温度依靠两种手段：水阀开度和风机转速。通过两个独立的参数设定值并结合PID控制方式调整水阀的开度，使得进入列间空调的冷冻水流量发生变化。同理，调整风机转速以达到改变冷通道风量的目的，其工作原理如图1所示。两者相互作用，最终将冷通道维持在目标温/湿度。

图1 列间空调工作原理简图

1.2 多种控制模式

列间空调设备为应对不同场景的使用环境，水阀和风机的控制设有多种模式，以某品牌列间空调的控制模式为例，其中水阀开度有4种控制模式(出风平均、出风热点、回风平均、回风热点)，风机转速有7种控制模式(回风平均、出风平均、回风热点、出风热点、温差平均、温差热点、压差控制)。微模块每台列间空调冷、热通道均设有上、中、下3个温度传感器，“出风平均”为所采集的3个微模块冷通道温度的平均值作为控制目标；“出风热点”为所采集的3个微模块冷通道温度的最大值作为控制目标。同理，“回风平均”和“回风热点”是以微模块热通道的3个温度的平均值和最大值作为控制目标；“温差平均”和“温差热点”中的温差是指微模块冷热通道温差，每台列间同样对应3个数值；“压差控制”为冷热通道环境的压力差值。

1.3 列间空调节能原理

列间空调主要的耗电设备是风机，因此若要降低列间空调能耗，需优先通过水阀开度来调节冷量，超出水阀开度调节范围后再调节风机转速，尽可能保持风机低转速运行。然而暖通系统在设计阶段出于安全考虑，系统冷量有一定冗余，且运行服务器的类型和功率情况不同，水阀开度一般达不到100%(容易出现低温)，风机转速也不能太小(容易出现局部热点)。因此，如何在保证冷通道目标温度情况下，尽可能增大水阀开度，降低风机转速，是列间空调节能的关键。然而，列间空调运行工况调整不仅是微模块环境的参数和自身功耗的改变，还有可能会引发暖通系统其他主设备如冷水主机、冷冻水泵等功率发生变化。因此，针对列间空调不同控制模式下，本文将以温度控制稳定性、耗电量及暖通系统整体用电变化作为评价指标，探索列间空调最佳控制模式。

2 列间空调多种控制模式试验

2.1 试验对象

深圳某数据中心微模块机房，房间微模块数量10个，设计机柜数量180架，单机柜功率7kW；单个模块设有5台列间空调(4用1备，自动轮巡)，每台列间空调配置14台95W(48V)离心式风机。机柜布置平面图和微模块结构平面详见图2～3。

图2 模块机房机柜布置平面图

图3 微模块结构平面示意图

2.2 试验目标及方法过程

2.2.1 边界条件

微模块冷通道温度平均温度维持在21℃；优先通过改变水阀设置参数来调整冷量，即每种模式在保持冷通道温度工况下，水阀开度最大、风机转速最低的工况；冷通道无高温或低温告警。

2.2.2 试验方法

在调节过程中，设置水阀控制温度以1℃的调整幅度为基准，调节过程中为保证设备运行安全，出风温度应该高于露点温度3℃，避免服务器表面结露，冷通道平均温度在21±0.5℃，模块无局部热点现象。最终比较各模式下列间空调的用电量。

每种模式切换调节后，至少观察12h，待模块内冷通道温度稳定，每种模式运行时间至少48h，选取IT功率、室外湿球温度相近的列间空调用电数据。

2.3 试验结果分析

2.3.1 控制模式说明

封闭冷通道的微模块主要关注的参数是冷通道的温度和相对湿度，即监控列间空调的送风温度。水阀开度作为优先调节微模块温度的方式，选择出风温度控制更为直观稳定，若选择回风温度控制容易出现温度过低或过高的现象。实际试验过程中采用回风温度模式控制水阀开度时，若想增大水阀开度，则需降低其回风温度设定值，导致热通道温度降低，冷热通道温差下降，这有悖于封闭冷通道理念。同时若风机为出风温度控制，为保证冷通道温度，其设定点不能过高，即风机转速偏高，否则容易出现局部热点，空调耗电量增加。若风机也采用回风温度控制，则风机、水阀开度均以热通道温度为目标，无法保证冷通道温度，对业务安全有很大隐患。对此，现场人员就该模式问题与列间空调厂家沟通，厂家答复和上述一致，也不建议采用回风温度控制水阀开度。因此，出于为业务的安全、稳定和列间空调节能原理考虑，水阀控制模式不采用回风控制。而风机的压差控制模式由于机房的列间空调未安装风压传感器，该项模式亦无法测试。

2.3.2 试验结果

本次试验共完成12种列间空调控制模式参数调节，其试验结果如表1所示。

列间空调12种控制模式实测数据 表1

由表1可知，(1)在列间空调风机控制模式相同的情况下，水阀控制模式为“出风平均”时空调耗电量高于“出风热点”。(2)在相同的水阀控制模式下，风机控制模式为“出风热点”时，列间空调风机转速最高，耗电量最大。(3)在水阀控制模式为“出风热点”、风机控制模式为“温差热点”和“温差平均”时，列间空调水阀开度合理，风机转速较低，列间空调耗电量最小。

分析造成上述结果主要原因：(1)相同的风机控制模式、同样的冷通道平均温度下，冷通道出风热点温度大于出风平均，即在相同工况下，水阀控制模式为“出风热点”时，相比于水阀“出风平均”模式，其水阀开度更早地增加其开度，保证冷通道温度，避免风机转速升高，因此水阀控制模式为“出风平均”时空调耗电量高于“出风热点”。(2)同理，当风机“出风热点”控制时，由于冷通道服务器负载率的变化，出风热点的敏感性高，只要某一测点温度达到设定值，风机转速就会增加，而且其变化较为频繁，所以在相同的水阀控制模式下，风机控制模式为“出风热点”时，列间空调风机转速最高，耗电量最大。(3)水阀为“出风热点”控制模式，提高水阀控制的敏感性，尽可能使水阀开度增加；同时风机转速采用冷热通道温差控制，避免了只有出风、回风热点或出风、回风平均参数单一容易引起波动的情况，微模块冷热通道温差相对稳定，风机转速减少突增工况，风机耗电量减少。

2.4 其他暖通主要设备用电变化情况

列间空调作为暖通系统的重要组成部分，其参数调整可能会引起暖通系统其他设备的运行工况。因此，测试期间同时记录暖通系统其他主要设备(冷水主机、冷冻水泵、冷却水泵、及冷却塔)的用电情况，详细数据如表2所示。

不同控制模式下用IT负载及暖通系统其他主要设备日用电量 表2

将主要制冷设备用电量(冷水主机、冷冻水泵、冷却水泵、及冷却塔用电量之和)与室外湿球温度及机房总IT用电量分析比较，其变化情况如图4～5所示。

图4 主要制冷设备用电量与室外湿球温度变化

图5 主要制冷设备用电量与总IT用电量变化

由表1及图4～5数据可知：(1)试验过程机房IT总功率和较为稳定，室外湿球温度变化较小。(2)暖通系统其他主要设备用电量变化范围小，其变化主要跟随室外湿球温度的变化及IT设备用量。

因此，本次试验只在某一模块机房进行，水阀开度的变化幅度有限，对暖通系统其他设备的用电影响基本可以忽略。其他主要暖通设备在列间空调调试过程中，其用电量变化较小，引起变化的因素主要是室外湿球温度及IT用电用电量的变化。

2.5 机房整体列间空调用电变化

上述试验因测试的列间空调数量和IT设备功率有限，“温差热点”和“温差平均”两种模式的列间空调用电基本相近。为更加准确的对两种模式用电情况进行对比，将试验对象拓展到机房现有61个微模块的所有列间空调。在水阀控制模式均为“出风热点”的情况下，对风机控制模式为“回风热点”“温差热点” “温差平均”3种用电情况进行比对，各运行7天，并取其平均值，详细数据如表3所示。

机房所有列间空调用电 表3

由表3可知，机房列间空调在水阀为“出风热点”下，在机房IT设备用电量接近情况下，风机控制为“温差平均”时耗电量最小，PUE因子也最低，其次为“温差热点”和“回风热点”。

3 结束语

通过在深圳某数据中心微模块机房对列间空调12种温度控制模式进行试验对比，对于封闭冷通道、侧送风、侧回风的微模块列间空调，以模块冷通道温湿度稳定性及列间空调用电量为评价指标，最终得出在水阀控制模式为“出风热点”、风机控制模式为“温差平均”时，微模块冷通道温度稳定可控，且列间空调耗电量最小。