高可靠数据中心节能技术分析

雷婷 李银松

1.中兴通讯股份有限公司；2.深圳市通信学会

0 引言

数据中心作为“新基建”的七大方向之一，将为5G网络、物联网、AI以及各垂直行业的发展提供强有力的基础设施保障。大数据应用、云计算、人工智能，智能终端等新兴产业的快速崛起，促使中国数据中心产业规模不断扩大，相关协同产业的命运共同体正在形成，整个生态圈正在向着绿色健康和可持续的方向发展。

当前，数据中心的能耗问题越来越受到重视，一线城市对数据中心的能耗指标PUE有硬性考核要求。国内大型互联网厂商数据中心具有需求规模大、定制化程度高、敢于创新、追求低成本等特点，在数据中心建设运维中敢于尝试应用各种创新节能技术。但以高可靠性为核心指标的数据中心，如银行、保险、证券、基金等行业数据中心，难以直接照搬复制互联网厂商节能创新方案。如何兼顾高可靠性与绿色节能要求并且能有实际应用成效？这是本文研究的问题。

1 数据中心高可靠要求

高可靠性数据中心通常采用高等级建设标准，如金融类总行/总部数据中心通常按照国标GB50174 A级标准建设，这类机房可用性要求在99.99%以上，配电系统要求双路冗余备份，空调系统N+1冗余备份并且提供连续制冷，水和电需要考虑物理隔离，避免出现物理安全故障造成业务中断。

高可靠性数据中心在不违背建设等级和系统可靠性的要求下，可以通过科学的机房布局、空调系统和配电系统优化，以及采用智能化管理等多种手段实现绿色节能。

2 机房布局节能技术

服务器、存储、刀片等IT设备功率密度的持续提高带来了机柜散热的问题。高密度的机柜既要考虑设备散热、维护、搬运与消防因素，又需要科学规划机柜的布局，以便气流组织更加合理，节省冷量耗散。

目前主流机柜采用“前进风、后出风”的方式，可以采用面对面或者背对背的摆放方式，即热冷通道隔离布局。对于高可靠性数据中心用户，可以将机房内每2列机柜的冷热通道布局作为一个封闭单元，进一步进行冷热通道封闭隔离，即将一定数量的机柜通过底座和顶板组合在一起，每个封闭单位内部组成一个空间，将IT机柜、配电系统、监控系统、安防系统、照明等封闭在一个独立空间内。高可靠性要求空调水不能进机房，因此冷风需由专门的空调房通过地板下送风或者水平送风给机房制冷。通过冷、热通道隔离，形成有效气流组织，满足IT设备运行要求，满足数据中心机房环境相关技术规范。冷热通道封闭高度设置为500-1000mm（根据实际情况可调整）。对于选择热通道还是冷通道封闭，建议如下：

对于高功率密度机房，热负荷大，封闭热通道更有利于热量集中回收以及共享大冷池，且维护环境更舒适。

热通道封闭采用水平送风，上部分吊顶封闭回风时需考虑水平送风位置的涡漩，经过创新性实验，可在进风截面位置设置网孔均流板，空调冷风经过均流板混风后均匀送入机房区域。

图1 机柜热通道封闭风道回风布局示意图

对于中低功率密度机房，初期上架热负荷低，为有效利用冷量可采用冷通道封闭方式。机柜背对背方式摆放时，考虑空调系统在断风断电意外故障的情况下，热通道温度急速上升风险较大，更推荐冷通道封闭的机柜摆放方式。

冷通道封闭下送风水平回风时，可将防静电地板下的空间作为送风静压箱，为减少风阻。在冷通道均匀设置专用的防静电地板出风口（出风口只能安装在冷通道），冷空气通过出风口去到机柜正面，由设备自带的风扇将冷风吸进机柜内，对机柜设备进行热交换后排至气流的热通道，热空气上升至空调回风口的负压区，回流至空调机组再进行处理，如此周而复始。

图2 机柜冷通道封闭单元气流组织示意图

对整个送风区域进行封闭处理（冷通道封闭），可以有效地使地板下送出的冷风全部用于设备散热，而大幅减少或避免风量和冷量的损耗，最终大幅提高制冷的效率。从整个机房的气流组织来看，有效地避免了传统机房中冷热空气混合，冷空气短路，以及远端机柜由于压降的问题而导致的机柜顶端设备无足够冷量用于散热，而最终产生局部热点等问题。

机柜冷通道封闭单元采用冷/热通道封闭技术时，机柜的气流组织应提供详细的计算数据进行验证。建议采用CFD工具进行提前仿真验证。数据中心级分析的仿真能够模拟设计机房或针对现有机房系统进行问题排除及系统升级，进行热流场预测，可整体规划IT设备及机房空间的建造及基础工程，减少可能出现的风险。气流组织验证时需要关注几个问题：

第一，封闭单元内机柜功率密度较高时，需提前计算通风地板和均流板的通孔率、冷热通道的截面积（影响到高度选择），以保障足够的风量可送入到机柜。单机柜散热量与所需冷风量的关系如下：

L为冷风量，单位m/s；Q为散热量，单位W；△T为机柜进出风温差，单位°C。

S为冷通道/热通道摊算到单机柜的截面积，P为通孔率，V为风速。

通常△T取7～10°C，V取2m/s。由此可计算出地板或者均流板的通孔率P。考虑到运行过程中机柜功率密度随着上架逐步提升，建议采用大的通孔率，在初期运行时为避免冷量浪费，可以增加通风调节装置。

第二，空调房内空调末端与封闭冷通道单元的布局摆放需考虑机房面积、送风距离、机柜功率密度等问题。常采用的是单侧送风和两侧送风方式。为避免第一个机柜因风速过快导致涡流现象，需保持第一个机柜与空调之间的有效距离，且可以在地板下加装调节风向或者风机，避免局部热点。为避免空调下方静压箱气流混乱，使冷风更有效地送入机房，建议在空调下方加装导风槽，即在三面加装围挡，只保留正面出风口，每个风机之间建议加装围挡间隔。

第三，气流组织仿真，一方面模拟冷热气流隔离是否达到预期的效果，另一方面可以通过仿真分析是否存在制冷系统存在过度配置的问题，从而进行优化调整，节省投资和运维成本。

第四，高可靠数据中心要求采用气体消防和自动消防预警系统，因此冷热通道封闭单元的天窗需要与消防进行联动控制，在发生火警时能联动跌落，便于气体渗入内部通道。

3 空调系统节能技术

数据中心空调系统的主要作用是通过调节温湿度、气流速度、洁净度，达到给机房降温散热、加湿除湿、通风排风、过滤净化的目的。数据机房超过40°C，服务器将处于危险的状态，空调系统故障只需短短的10-15分钟，设备就可达到临界温度。可见持续稳定的空调系统对数据机房至关重要。

根据统计，空调系统耗电在整个数据中心耗电的占比约为30%～50%，因此空调系统能耗成为优先改善的目标。对于空调系统节能，首先需要选择节能型空调方案。相比常规使用的空调节能方案，如风冷冷水机组搭配干冷器、水冷冷水机组搭配板换或者直接新风冷却方案，本文推荐采用创新性间接蒸发冷却空调方案。其中，间接蒸发冷冷却空调在室外气温较低时，可以采用空气与空气间接换热的方式实现自然冷。该方案可采用多台机组联合，供冷冗余系数高，无直接换热带来的空气污染风险，无复杂水路管网，安装维护简便，机房内热量通过风道传送，无水进机房风险。间接蒸发冷却空调在干冷地区可以大量使用，可利用自然冷进行换热，无需开启压缩机，同时可通过喷雾蒸发的方式进一步降低室外侧温度，进而为室内侧空气降温。

图3 间接蒸发冷却空调原理图

在选用节能型空调方案的同时，建议采用如下实用的空调节能措施：

第一，管路阀门系统。采用冷冻站内的冷冻水主管环状布置与机房干管的同程双管路结合方式，实现双同程支路到各个机房，各机房干管增加平衡阀调整干管流量与设计流量吻合，各管路水流明确更好地达到水力平衡，减少管道系统损耗性。

第二，应急蓄冷系统。取消独立的放冷泵，由循环泵代替，简化冲放冷系统，节省投资。在物理空间允许的情况下将蓄冷容量提高，项目初期投产负荷较低时，可以利用蓄冷系统错峰用电，节省电费，且应急蓄冷时间的增加可以提高可靠性。

第三，提高冷冻水进水温度。冷冻水出水温度提升，制冷量和用电功率都在增加，但制冷量的增幅更大。随着出水温度的提升，可以利用更少的电力消耗提供更多的制冷量，有效提升制冷系统能效。随着供水温度的提升，冷水主机的效率大大提高，相比传统7℃供水温度，12℃供水温度时，制冷主机效率提高15%以上。

第四，变频。建议选用变频冷水主机、变频水泵、变频冷却塔，从而更大程度地提高暖通主要耗电设备的平均能效。经过对选型设备的分析，变频设备比非变频设备平均全年可以提高20%以上的能效，尤其在IT机房低负荷率工作的时间段，变频设备的功耗与实际工况存在立方正比关系，因此节能效果非常明显。

第五，群控系统。通过群控对空调系统进行自动控制，每组冷却塔及相应冷却水泵随制冷机组起停联动，根据流量分析优化冷机系统组合。在冷却塔进水管路上设温度传感器，由温度控制器控制冷却塔泵流量和冷却塔风机转速，满足负荷需求。空调冷冻水为一次泵变流量系统，冷冻水泵根据系统压差变频调节，同时保证冷水主机的最低流量要求。通过实时分析室外平均湿球温度，对冷却塔出水温度分段调节，以最大化利用低温季节，实现冷机最优的工作效率。

空调系统节能是一个系统工程，单纯改善某个设备的能效无法达到最优控制，采用如上空调末端和冷源系统整体优化方案可达到较好的节能成效。

4 配电系统节能技术

数据中心电气系统相关设备存在多级转换，同时有大量的无谓冗余设计，电源设备在低负荷率下长期工作，导致效率降低。因此本项目通过高可靠的供配电方案，在保证不影响数据中心冗余可靠的前提下，提供优化电气回路损耗的技术方案。主要应用技术包括：

（1）2N配电设计。鉴于传统客户对高可靠性的要求，不推荐采用市电直供方案，可根据实际情况采用双路UPS，或者1路UPS、另加1路HVDC方案，在确保高可靠性的同时提高配电系统能效。

（2）高频UPS。高频模块化UPS因其体积小、器件少、整机效率高等优势，目前应用越来越成熟。高频模块化UPS效率高达96%，如采用ECO工作模式效率更可高达99%。采用两路UPS备电时，其中一路可采用ECO模式或者市电直供，以提升电源系统效率。

（3）高压直流。采用模块化设计，模块化技术将功率细分，更便于实现能效控制和休眠管理。与传统UPS相比，高压直流方案减少一次变换级数，同时电池相当于直接并入电气回路，不但能降低设备成本，还实现了更高可靠的双路冗余，模块化高压直流方案相比传统UPS设备实现了系统更节能。

（4）高压油机。 作为后备电源的油机，建议选用高压油机，有利于节省配电柜、母线投资。

5 智能化管理节能技术

数据中心“重建设、轻管理”是通病，要实现智能化管理首先需要实现数据的统一化。数据的统一化打破过去电、冷、业务分割的局面，通过统一化的管理，可以根据业务的变化动态弹性地调整电源、电力和制冷与之精细化匹配。机房智能化节能管理，可以通过机房自身的运维管理系统持续地进行信息收集及PUE检测，并通过运维手段进行关键耗能设备的调优。更进一步的，机房运维管理系统可以搭载AI平台实现节能调优，机房运维管理系统通过按时间周期方式采样数据中心多个时间点的室外气候、设备运行情况，以及系统运行工况和业务运行状态等海量数据，并筛选关键特征参数传递给AI平台作为输入信息，同时传递PUE（机房能效指标）作为输出信息，AI平台通过人工智能算法进行数据分析和深度学习，模拟出输入输出信息的数据模型，并实现多种运行模式的测算，最终选择最佳PUE运行模式下发指令，使数据中心进入节能调优模式。

6 结束语

数据中心建设节能是永恒的话题，在5G时代，高可靠、低时延、增强移动宽带、海量连接的特性，要求数据中心建设在追求更加节能的同时，与可靠性之间寻求一种平衡，更多地探索创新技术的应用以及总结实际运用经验。

综上所述，本文针对数据中心在确保高可靠性的基础上，如何提升能效、降低成本，从机柜摆放方式、空调系统、配电系统、管控系统等多方面提出了完整解决方案，并在实际项目中落地验证取得了较好成效，被同类型项目参考借鉴。