气流组织优化—数据中心节能的魔术手

引言

1946年数据中心诞生于美国，至今已经历4个阶段近70年的发展历程，数据中心从最初仅用于存储的巨型机，逐渐转向多功能、模块化、产品化、绿色化和智能化。在越来越注重节能和精细化的今天，数据中心的每一个细节设计都闪耀着工程师智慧的光芒。他们对于数据中心的规划设计，不再满足于仅停留在功能这一基本的要求上，现在的数据中心你会看到更多关于节能环保及工程之美、绿色之美等设计理念。

评价数据中心的优劣，与其提供的服务质量，成本控制及绿色程度密切相关。能够提供稳定及具备高可用性的服务是对云服务商和数据中心的基本要求。在此基础上具备良好的成本控制能力是数据中心综合能力的体现。此外，《穹顶之下》已为我们揭开的环境污染遮羞布，不容许作为占全球用电量1.5%的数据中心行业保持沉默。绿色程度，是数据中心勇于承担社会责任的诠释。

数据中心稳定运行的前提是必须保证各个设备部件的正常工作，目前保证各个设备部件正常工作的做法是由运维人员定期进行设备巡检，依靠运维人员的个人经验以及给设备设定的告警阀值进行判断。由于没有准确的判断标准，或因告警阀值设置不合理而出现资源浪费甚至因延迟事故告警时间影响数据中心稳定运行是目前让运维人员非常头痛的问题。基于此，本文引入计算流体力学仿真软件，将机房物理建模（CFD仿真），根据机房实际负荷计算并展示出机房目前的气流组织及机房空调冷量使用情况。发现机房过热或者过冷区域，通过模拟调节，寻找最佳气流组织设置方案，消除局部过热及过冷现象，以期达到消除安全隐患，发掘节能潜力的目的。

1、CFD实例说明

下面结合具体事例阐述气流组织合理设计配置的重要意义。

某机房，自2012年7月投入使用以来已运行了2个年头。为评估目前机房内散热性能是否与初始设计一致，需要对机房内的热物理参数进行分析。但是，气流具有不可视且流动性强的特点，若直接采集数据工作量极大，且分析工作难度很大。本文采用CFD仿真模拟，计算出机房内的温度场、压力场和速度场等数据，直观地展示关键热物理参数，大大降低分析气流与传热过程的难度，给气流组织优化设计配置工作带来极大便利。

1.1.机房基本信息及建模

某运营商合建机房位于中国南方热带地区（该地区普通数据中心PUE约1.7~2.0），由物流仓储改造而成，面积约数百平方米。部署了10列机柜数千台服务器。每个机柜设计电流20A。机柜采用冷暖通道布置，且冷通道封闭。制冷采用11台某品牌某型号空调，按照7用4备的运行方式为机房提供冷量。根据机房的建筑结构、IT设备、制冷设备、配电设备等实际布局建立物理模型如图1所示。

图1某机房布局仿真模型图

1.2.机房初始状态现象描述

以现场实际采集电、冷、风的相关数据作为输入条件，模拟出机房目前的运行状态。图2、3是通过计算得到的机房静压箱内压力温度分布和机房空间内压力温度分布情况。

从静压箱的压力分布情况（图2a）来看，静压箱下压力分布并不均匀。在房间中部出现了绿色区域，表明了机房中部存在低气压甚至负压现象，负压会使得气流倒流，影响冷热空气的正常循环，应尽量避免。

图2静压箱中热参数图

从（图2b）静压箱的温度分布情况可以看出，机房地板下的冷空气中出现了2个局部温度偏高的区域（绿色）。如果不及时处理，这部分“问题”的冷空气可能会进入机柜。由于这部分冷空气温度与设计值不一致，将无法按设计要求带走相应的热量，从而影响后续一系列换热过程。此外，该高温区域的气流还会对静压箱中其他部位的冷空气造成“污染”，消耗一部分由其他空调产生的冷量。

图3 机房中的热参数图

图3展示的是机房空间中的压力和温度分布情况，从图中可以看出，机房区域温度场分布不均匀，底部第一个冷通道内左右两侧存在温差。机房整体呈现中部较冷，上下部偏热的情况。

1.3.原因分析

根据静压箱中温度不均匀现象，结合调取空调运行参数（图4）综合分析发现，空调送风温度不均匀、水阀开度差别很大，风机基本都维持在高速运转的区域，能耗较大。

图4空调运行参数

如图4显示173号、180号两台空调水阀开度零，表明他们并未开启。也就是说，这两台空调没有起到制冷作用，仅仅是作为风扇，将热通道的回风未加任何冷处理直接送入地板下，这才出现了173号、180号两台空调送风温度偏高现象（图4）从而使与之相对应的冷通道出现温度偏高的情况（图3b）。173号空调输送的热风与其对面的177号空调输送的冷风进入同一个冷通道，导致给该通道机柜送风的冷通道出现了左热右冷的情况（图3b）。自动调节模式关闭了173号、180号两台空调水阀，客观上证明了机房空间开启的5台空调所产生的冷量已能够满足IT设备散热需求。如再增加新的空调设备，不但不会减轻其他空调的负担，反而使其负荷增加，既影响IT设备散热，又加大了数据中心运行成本，据此我们建议关停部分空调。

1.4.解决方案

根据图2b、图3b显示空调173号附近静压箱温度偏高，冷通道温度分布不均匀的情况，建议先关停173号空调。为保证机房的安全运营，我们先采用CFD模拟了关停173号空调后机房的运行状况，并与关停前的情况进行了对比如图5、图6所示。

图5关停20173号空调前后的静压箱下温度分布图

图6关停20173号空调前后的静压箱下压力分布图

1.5.结论分析

关停173号空调后，静压箱下的温度分布较为均匀，最高温度也从26.3度下降到25.1度。地板出风区域的压力更均匀，基本消除负压现象。机房空间内的温度场分布也更均匀（图7），IT设备最大进风温度17.5摄氏度，最大出风温度为25.3摄氏度，可以满足IT设备正常运行需要，属于安全状态。根据CFD的模拟结果应用于实践，机房关停了173号空调，经过48小时运行后进行数据采集（图8、图9）。与CFD仿真计算出来的结果进行对比。误差在±0.5摄氏度范围内，吻合度非常高。

图7关停20173号空调前后的机房空间温度分布图

图8现场数据采集

图9关停20173号空调后机房实测温度

关停第1台空调（173号空调）后，通过同样的分析方法，发现机房仍有优化空间，因此，根据温度分布情况，我们相继调整空调运行数量，先后关停了第2台空调(180号空调）和第3台空调（183号空调），效果如图10、12所示。

图10调整空调数量后机房温度分布效果对比图

图11调整空调数量后机柜最大进风温度分布效果对比图

通过对比发现，在关停第2台180号空调后，机柜进风温度比较均匀，没有出现单机高温情况，而关停位于机房拐角处的第3台空调183号空调后，机房明显出现个别机柜温度偏高、机房空间右上角局部过热现象，分析此处气流组织发现，热回风运行至此，受机房拐角处存在的气流死区影响而受阻停滞，从而出现局部过热现象，因此拐角处的空调不可轻易关闭，空调回风口与房间拐角处需保持合适的距离，否则死区范围就会扩大，从而增加局部过热机柜的数量。此外，结合关停2台空调时的气流组织及空调工作状态情况（图12）发现，开启的4台空调基本都已满负荷运行，第5台空调也负荷过半，因此不建议再关停第3台空调。

图12关停第2台空调后空调工作状态

随后为了使机房空间温度场分布更加均匀，我们进一步对机房当前的温度场、压力场分布及流线场分析后发现，在建筑立柱附近的气流也会受到一定影响（图13），因此，按照尽量将送回风口避开立柱为原则进行了空调布局合理性研究，调整了空调的安放位置如图14所示。结果显示，空调布局调整后，机房下半部分温度分布情况明显好转，但是机房上半部分由于左侧拐角严重影响了176（图1）号空调的回风。导致此处机柜附近热空气聚集而出现局部过热现象。因此建议沿用第一种空调布局调整方案。

图13立柱附近气流情况

图14调整空调布局后机柜最大进风温度分布效果对比图

此时机房内温度已基本分布均匀，但仍存在过冷的情况，造成空调资源浪费，因此考虑将空调回风控制温度逐次提高至24摄氏度，效果对比如图15所示。与ashrae2011建议的设备工作温度标准相比，机房目前设置回风温度为22摄氏度时，整个机房基本处于过冷状态。将回风控制温度调升至24摄氏度后，机房处于正常偏冷状态，机柜最大进风温度为19.8摄氏度，最大出风温度为27.6摄氏度。服务器在此温度范围内可安全稳定运行。

图15对照ashrae 2011标准，机房设备的运行温度范围

综上所述，对于该机房的气流组织校核、优化设置和节能潜力挖掘工作，共有7个优化改造预案：

1) 调整空调布局，关停第一台空调173号；

2) 调整空调布局，关停第二台空调180号；

3) 调整空调布局，开启173号空调，关停177号空调；

4) 调整空调布局，开启173号空调，关停181号空调；

5) 空调回风温度首次提升1摄氏度至23摄氏度；

6) 空调回风温度第二次提升0.5摄氏度至23.5摄氏度；

7) 空调回风温度第三次提升为24摄氏度；

2、优化收益

2.1.气流组织分布均匀合理

经一系列优化后，实现了机房气流分布均匀化，基本消除局部过热及过冷现象，优化前后对比图如下：

图16优化前后机房温度及压力分布对比图

2.2.节能降耗效果显著

1) 空调配置由之前的7用4备变更为目前的5用6备，等同于关闭两台风机。仅此于项每年可节电约40kW*2台*24h*365d=70.08万kWh；

2) 该项目对机房的初设计进行了很好的检验，发现初设计有冷量裕量过大的情况，造成初投资增加1到2台空调的单价；

2.3.PUE降低

该机房PUE从最初的1.523降低至1.468，降低了0.055。若推广至整个数据中心大楼，则每年可节电(4240+1510+7+38.53)kW*(1.523-1.468)*24h*365d=280万kWh。

机房制冷用电由于缺乏计量工具,采用比例法按照IT负载比例计算

经过节能优化，以深圳工业用电0.912元/kWh计算，每年可节约电费约(280+70.08)*0.912=319万元。并且可减少2台空调的初投资费用。

由此可见，合理设置和规划气流组织，不仅可以提前预知和消除安全隐患，保证数据中心安全稳定运行，还能带来可观的节能收益和环保效果，可谓一举多得。

版权声明：本文为腾讯数据中心原创，欢迎转载，转载需标明出处。版权均属“深圳市腾讯计算机系统有限公司”所有，未经官方授权，不得使用。

本文部分图片来自互联网，如果涉及到版权问题，请联系TIDC@tencent.com。