数据中心饥渴了，咋办？
濒临秃头运维组（13）
萌新小运维
小Q同学，我们数据中心发生了一起暖通系统故障，现场的现象是冷却水回水流量持续变小，冷机无法稳定运行，同时管道内呈现负压吸入了很多空气，但是从冷却塔怎么补水都没有效果，可把我们急坏了。这是怎么回事呢？
小Q同学
哦，出现这个现象，可能是冷却水管道内部缺水了。
萌新小运维
管道还会缺水啊？
小Q同学
当然了，数据中心作为用水大户，对水的需求可是相当大的。而管道漏水、补水装置故障、堵塞等原因，都有可能导致管道缺水哦。
萌新小运维
我还是一头雾水，你可以帮忙分析一下吗。
小Q同学
那就谈谈我的理解吧。我们先一起看看数据中心水冷暖通系统的结构。
╮(￣▽￣"")╭
↑ 可滑动 ↑
01
水冷暖通系统
数据中心水冷暖通系统一般包含冷水主机，冷冻水循环系统，冷却水循环系统三大部分。
其中，冷冻水负责把机房产生的热量，搬运到冷水主机。冷水主机负责把冷冻水带来的热量交换给冷却水。而冷却水负责将热量搬运到室外，最终散发到大气中。
数据中心水冷冷机系统示意图
对冷冻侧而言，管道系统几乎是全密闭的，除非出现爆管等极端情况，基本不会出现缺水。但是对冷却侧而言，冷却塔与大气直接接触，运行不当的情况下就可能出现缺水的情况。
萌新小运维
那你再具体讲讲冷却侧的情况吧，什么情况会导致缺水呢？
小Q同学
要解释这个问题，我们先以开式冷却塔为例，了解下冷却水系统的结构吧。
02
冷却水循环系统
组成：主要包括室外开式冷却塔、室内冷却水泵、冷却供\回水管道、手动\电动阀门，以及在管道中循环的冷却水，此外还有Y型过滤器、排气装置、补水装置、水处理加药装置等辅助设备。
作用：通过水的循环流动，带走冷机冷凝器中积聚的热量，并将热量带到冷却塔处，再由水的蒸发冷却将热量散发到空气中。所以从系统原理来说，冷却水在运行中就会有损失，需要通过补水系统来补充损失的水量。
冷却水循环系统示意图
如果出现以下这些情况，冷却水是否会缺水呢？
1） 管道漏水\爆管。就好比一个人受了外伤，大量流血后的缺血。
2） 补水系统故障。冷却水只有持续的损失，而没有得到补充，只出不进最终缺水。
3） 管道回水不畅。就好比心肌梗塞的患者，水从心脏（冷机）流出后却不能顺利流回心脏。
小Q划重点：
在这个过程中，水不仅作为热量搬运工，最后还承担了向大气散热的工作，可是相当重要的呢。如果因为各种原因导致冷却系统缺水，冷机的热量不能及时被带走，将会积累在冷凝器中，使得冷凝器内部的压力升高，冷机就可能会保护性停机。
萌新小运维
原来是这样，经你这么一说，那晚果然是缺水了！导致缺水的前两种情况我可以理解。第三种情况还是不大明白，你可以帮我详细说说吗。
小Q同学
要解释这个情况，我们先要搞清楚管道内的水流量跟什么有关系。
03
冷却水的三个状态
流量公式：Q=S*v（Q为流量；S为流体的有效截面面积；v为水流速度）
因此，由于各种原因导致管道回水不畅（S降低），在流速（v）不变时，流量（Q）将会降低，对数据中心来说，需要从三个场景来解释为什么回水不畅会最终导致缺水。
1、理想状态--管道内充满水。
对冷却塔来说：
冷却塔的出口流出多少水，在塔的进口就会流回多少水，过程中因为蒸发冷却损失的水量，由塔内的补水装置来补充。在塔盘内会有一定高度的蓄水量，并且塔盘内的液面高度会保持动态平衡。
对水泵来说：
冷机需要多少水来带走热量，水泵便运送多少冷却水，通过调节变频水泵的频率（影响v），来调整运送能力。
在管道内部：
因室外冷塔一般处于建筑顶楼最高处，水柱自身重量会使得回水管道内部呈现为正压。
2、回水不畅--不单只有冷却水。
当各种原因导致回水不畅时（如回水管Y型过滤器堵塞，或者冷塔出水阀门开度过小等），对冷却水来说相当于回水管的流体有效截面积S降低，回水阻力增大。
对水泵来说：
末端热量一定时，冷机对流量的需求不会有太大变化。当有效截面积小了（S降低），水泵需要增加运行频率，来加快水的流速（v增大），保持进入冷机的水流量满足需求（Q不变）。
对冷塔来说：
因出水不畅，冷却塔会出现轻微的供大于求（进水量>出水量）的状态，多的进水会在蒸发冷却过程中慢慢损失。但是，在冷却水损失的时候，由于塔盘内蓄水的水位没有明显降低，塔内部的补水装置并不会主动补水。在冷却水量流失后，冷却塔会建立新的平衡（进水量=出水量），但此时对系统而言，管道内总储存的水量相较理想状态已经减少。
在管道内部：
整体储水量降低，管道内部会有空气残留无法排出（如随着水带入的气泡），导致管道内压力降低。但此时管道供水能力仍能满足水泵吸水需求，尚未出现负压。
对泵前排气阀来说：
如果此时打开排气阀，会发现间歇性空气喷出，同时会带出少量冷却水。
现象：
水泵频率会高于正常水平；同时管道内部的压力低于正常值。此时冷却系统处于缺水预警状态，但是尚未影响冷机运行。
3、严重堵塞--水量下降，管道负压
如果出现严重的回水不畅，比如因为清洗冷塔等操作，残留的水垢进入Y型过滤器中，导致堵塞突然加剧，冷却水的流体有效截面积S进一步降低，将会出现什么呢？
对水泵来说：
因为有效截面积S降低致流量不足，水泵会认为自己不够努力，从而继续加频，甚至加到50HZ的满频率，试图通过提升流速v来满足流量Q的需求。
对冷却塔来说：
当冷塔出水严重堵塞，冷塔的进水量大于出水量，冷却水会持续蒸发损失，甚至塔盘出现溢水，但是塔盘的液位不会降低，补水动作不会发生。等到整个管道内的冷却水量流失殆尽，塔盘内蓄水液位出现降低后，补水装置会反应过来疯狂进行补水，但此时管道内总水量已经大幅降低，并且大部分的补水都无法通过冷塔的出水口进入管道内。
在管道内部：
因管道内缺水，而且水泵满频率运转，水泵的吸水能力将大于管道的供水能力，从堵塞位置到水泵前的管道内可能会出现负压。
此时的排气阀：
若此时打开水泵前的排气阀，会发现没有水或空气排出，反而会倒吸气。
对冷机而言：
由于管道内的水量持续减少，水泵满频情况下的流量可能也无法满足冷机的热量搬运需求，从而导致冷机无法运行。
现象：
水泵满频率空抽；冷却水流量小；冷凝器高压冷机保护停机；冷却塔补水困难。此时冷却系统处于严重缺水状态，已经影响冷机无法运行。
小Q划重点：
1、严重缺水后，由于管道内部缺水负压，常规的管道排气操作将无法进行。
如果这个时候操作排气阀，排气阀会变为吸气阀，从大气中吸入空气，吸入的空气会积累在管道内部，进一步加剧了冷塔补水进入管道的难度。
2、进行清洗冷塔操作后，水垢等渣滓会有一个释放的周期。
冷塔清洗完成后，冷却塔填料上可能会残留少量的水垢，在冷塔恢复运行后数日，被冷却水冲刷而掉落，掉落的水垢会积淤在Y型过滤器中，对管道来说是突然加剧了堵塞不畅的情况，因此，完成清洗操作后需要密切关注系统流量变化，及时清理残留。
萌新小运维
原来如此，我可算明白是如何发生的了！那万一下次遇到类似情况，我们该怎么处理呢？
小Q同学
如果出现系统缺水的情况，那第一时间应该想到为系统‘开闸补水’，可以分两种情况来应对。
04
缺水时的抢修措施
1、管道内空气不多，这个时候可以考虑直接补水。
首先，打开系统的‘咽喉’，即‘开闸’操作。如逐台进行Y型过滤器滤芯清洗，位置可能在冷却塔下，可能在水泵前（必要时直接拆除滤芯）；
在进行清洗的时候，同步检查整个管道上阀门的开度，如果有开度明显异常的阀门，需要进行合理调节，尤其是冷却塔的出水阀门；
然后，需要补齐管道内缺失的水量，即为‘补水’操作。第一步先将塔盘内蓄满水，蓄水完成后，调大冷塔出口阀门的开度向管道注水。
但是要注意，因为管道内缺水，阀门开度开大后，塔盘水量会快速的下降，为避免吸空塔盘后吸入空气，在塔盘即将吸空前要将阀门开度再次调小。根据缺水量的情况，阀门的开度需要来回多次动态调节。
2、管道内空气较多，补水较难进入管道，需要先排气再补水。
首先，关闭所有冷却侧的水泵，使得管道内不再呈现负压。在此期间，由冷冻侧的蓄冷罐放冷来保障末端供冷。
然后，打开排气阀，使得多余空气有地方可以排出，再按照1）的操作，进行‘开闸补水’操作，通过水的进入，将管道内的空气挤出。
萌新小运维
嗯嗯，后面再遇到我们也就有经验了，那这种故障能不能提前避免呢？
小Q同学
当然可以！海恩法则强调，任何一起事故都是有原因的，并且是有征兆的，抓住征兆，便可能提前避免。
在故障发生之前，有明显征兆。
首先是，冷却泵前压力异常。水量不足后直观的表现，就是水泵前的压力降低，当出现泵前压力低于正常水平，甚至出现负压时，需要判断是否为水量不足。
然后是，冷却水泵频率与回水流量不匹配。水量不足后水泵会加频运行，如果出现水泵理论流量与实际产生的流量偏差较大，不单要考虑水泵老化，还应该怀疑是否为缺水了。
同时，日常维护工作中也要多关注阀门状态，杜绝出现误操作；并且要加强周期性维护工作的质量，尤其在清洗等维护工作后，需要注意堵塞导致的二次故障风险，保证系统的稳定！
萌新小运维
哦，我知道了！这些都是现场常见的设备，以后我要多关注它们的变化拉～多谢小Q同学～
05
小Q再说两句
暖通系统的健康是数据中心运维安全的基石，整套系统由独立的设备构成，又通过互相的联动自成一体，其中一个环节的不慎，都可能导致整个系统的崩溃。缺水便是其中一种原因，对运维人来说，提前发现缺水的隐患比问题爆发时再抢救更高明，也可以避免不必要的损失。
