Google水冷服务器,制冷革命正当时

Google首次开放了其位于美国和欧洲地区的数据中心后，媒体公布了一批其数据中心的照片。照片里谷歌数据中心内成千上万台服务器严阵以待，线缆以及冷却管道色彩各异，阡陌交通。

我们应敏锐地察觉到，谷歌既然敢公开这些图片，就说明它的下一代技术，对现有的计算系统架构将会大刀阔斧地改革。谷歌也曾意味深长地说“我们的同事看了未来的架构，都很后悔现在的系统”，毫无疑问，谷歌的新一代数据中心架构即将粉墨登场。

针对这一猜测，笔者这里通过分析专利的水冷服务器技术，做最粗浅分析和最大胆猜测，权当盲人摸象，欢迎拍砖！

图1 水冷服务器示意

水冷服务器并非“新生儿”，图1 是IBM 联合瑞士苏黎世联邦理工学院共同研发的Aquasar 水冷超级计算机，它可以降低40%以上的能源消耗，减少85%的碳排放，同时收集热能满足建筑上诸如地热之类的需求。

不难看出，水冷服务器的好处有“就近带走热量且热量回收方便，提高了功率密度从而缩小服务器尺寸、减少风扇噪音、节能效果超群”等。因而，谷歌早在2006 年之前就钻研此技术，并于2009 年得到其水冷服务器的专利。

谷歌水冷服务器的主要技术特点：服务器主板两两成对安装在散热片的两个外侧，由散热片内流过的温度较低的冷冻水来带走热量。其中高发热的元件（如CPU 和南北桥芯片组等）靠近散热片内的冷冻水来安装，促使热量被就近带走；而一些发热量低的器件（如内存和硬盘等）则直接安装在离三明治散热片中心稍远的位置，部分案例中服务器风扇或电源风扇安装在某侧的服务器主板上，用于带走内存和硬盘等的热量。

图2 谷歌水冷服务器侧视图

谷歌水冷服务器中间的三明治结构部分为水冷散热片，散热片的上下表面安装了两个服务器主板以及CPU、内存等发热元件。由铝锭加工压叠压而成的散热片的内部有多个如这样的冷冻水通孔，用于带走散热片吸收的服务器热量。散热片的表面则根据服务器器件的发热程度刻蚀出不同深浅的平台，用于安装发热量不同的器件。

这种方式散热是革命性的，发热量大的器件可以高效快速就近地被散热片冷却，无需额外冷却机房级大空间环境内的空气，颠覆了“传统服务器发出的热量散发到机房级，依赖机房级大风扇、冷水机组、大功率水泵”的制冷方式。就近散热方式使得冷冻水不必7/12 度供水。若供水温度为21 ℃以上，基本无需冷水机组，节省了设备投资。另外，服务器释放出来的热量骤减，气流循环的风扇也可低速运转，节省服务器风扇的能耗。

图3 谷歌水冷服务器的俯视图

谷歌水冷服务器主板上有6 个CPU 及芯片组，中间横向虚线部分为多根内存阵列，以及冷通道侧的网络控制器和网络RJ45接口等。服务器从右侧进风，流经内存及周边器件，然后被服务器电源吸入，服务器电源的风扇既作了电源的散热风扇，也为服务器的气流循环风扇，进入服务器的风还可以被导风板导入到风扇内，防止冷气流短路直通。

图4（a）散热片俯视图

服务器散热片包括302 和304 这样的冷冻水通孔，内部流经的冷媒除了普通冷冻水外，还可以是氟化剂、食用油、乙二醇、液氮等等非导电物质。冷冻水从靠近大发热量CPU 侧进入，带走大部分热量后，再从小发热量的内存等附近流出。实际应用中，服务器机架内的水泵及阀门等为每套服务器提供冷冻水，机柜内的冷冻水配水竖管通过快速连接软管以及每个服务器接入水阀门接到每套服务器的散热片内。冷冻水竖管上级还有配水单元及供水阀门。

图4（b）散热片侧视图

散热片表面有三个不同的散热平台层，用于不同发热量的器件。散热片实际由三层铝锭压叠而成，中间层可以为导热好的金属材料也可以采用导热不好的塑料材料等，甚至可以不用中间层，直接由导热性好的两层铝锭压叠而成。

图5 谷歌水冷服务器机柜

两层导轨的两套服务器之间存在一定空隙用于机柜级气流流通。每个散热器表面的两个服务器上器件被精心设计，以至于服务器密集堆叠部署时，相邻两套服务器上的器件不会互相干涉。同时每套服务器顶部主板上的风扇可同时用于本服务器顶部主板以及上面一套服务器的底部主板上的器件散热。

此外，在谷歌的水冷服务器应用中，因为内存和硬盘等需要的散热功率不大，这些风扇很可能只是服务器电源内的散热风扇。这些电源风扇不仅将内存、硬盘等器件的热量带走，也兼做服务器电源散热。由于采用了双U 高的大电源风扇得到了更大的风量，在降低风扇转速和风扇能耗的同时，也大大降低机房的噪音，提供更好的现场工作环境，谷歌的机房也因为冷通道维护环境舒适和机房低噪声大空间等考虑和设计，于前几年通过了OHS 职业健康安全管理体系认证。

图6 水冷服务器机房截面图

如图6，整个机房环境是个大的冷通道，是工作人员操作空间，兼作服务器的进风侧（实际图6 右侧机柜的右边也有类似冷通道用于服务器的进风）两排机柜间的通道作为热通道，用于汇集两侧所有服务器发出的热量（当然主要发热部分由服务器内部散热片内的冷冻水带走），热通道顶部安装着置顶盘管，由风扇和盘管将热通道内的热量制冷后再释放到整个机房大环境冷通道内。虽然下图的风扇没有和盘管放在一起，专门做了个热吊顶，实际在谷歌的很多案例中风扇会直接安装在盘管顶部，减少工程的复杂度（当然盘管也可以不用直接安装在热通道的顶部，减少盘管漏水或者冷凝水等对服务器的运行风险）总之，可以灵活安装盘管和风扇的位置，满足不同的应用和风险需求。

和谷歌的微模块技术一样，谷歌的水冷服务器机房沿用了地板下供水的方案，由于需要保持水冷服务器的水质，因此主要通过板式换热器来隔离冷冻水内循环和冷却水外循环。（513a 和513b 是机房级主供回水管路，而515a 和515b 为机柜级配水供回水管路，524a 和524b 为到每个服务器的供回水支管，其中524a 和524b 为快接软管），考虑服务器故障检修和搬迁等经常性维护操作，用于和服务器散热片的快速插接。整个管路上还有很多的阀门用于防止漏水（如竖管上的球阀和支管自动截至阀）。而流到每个服务器的冷冻水流量则由流量计和温度传感器来控制（如当监测到服务器温度偏高的时候，可以加大水流量或者调低冷冻水供水温度）。

阀门和连接技术要远复杂于线缆和配电开关，谷歌想必已经充分考虑这一点，并应该已经有效解决了漏水和阀门及管路连接可靠性等问题。此外，谷歌认为水的比热容远大于空气，而且水和电一样，总体是可以控制在管路范围内，但气体四处游散较难控制，风扇的功耗还高于水泵的功耗，因此采用水冷技术更优。

图7 谷歌微模块hot huts 内部热通道照片

图7 就是谷歌采用水冷技术的典型案例，置顶空调盘管通过多个软管连通到地板下的主供水管获取冷冻水，然后将共享热通道内服务器排出的高温空气制冷，再循环到整个机房大冷通道环境，就近高效散热，非常节能，水冷服务器也是类似原理，但会更为节能。

总之，谷歌是一个在不断奔跑的巨人。我们可以看到它大规模数据中心建设方法论的影子——在保持整体长生命周期基础设施不太改变的基础上，通过短生命周期服务器技术等的不断优化升级，而这正是互联网提倡的快速迭代升级的模式。

版权声明：本文为腾讯数据中心原创，欢迎转载，转载需标明出处。版权均属“深圳市腾讯计算机系统有限公司”所有，未经官方授权，不得使用。

本文部分图片来自互联网，如果涉及到版权问题，请联系serenadeyan@tencent.com。