Google全球三大数据中心自然冷却方案剖析

近期，思想库搜集整理了谷歌数据中心的系列文章，此系列由腾讯数据中心架构师李典林编写，有极大的学习参考价值。思想库会逐一推送给粉丝朋友们。

3、谷歌三大数据中心自然冷却方案剖析

4、探秘谷歌数据中心微模块

5、谷歌数据中心供电系统剖析

6、谷歌服务器内置UPS技术赏析

7、谷歌创新的数据中心空调系统建设方法介绍

8、漂在海上的数据中心--解密谷歌海上数据中心

9、谷歌集装箱数据中心解密

10、节能标兵谷歌的绿色实践

11、谷歌对数据中心成本模型的分析

导语所谓“取法贵乎上”，在数据中心领域，谷歌是备受推崇的学习对象，不过谷歌对其数据中心实行极为严格保密制度，很少主动对外公开相关技术，只是有些零散的信息断断续续流传出来。好在数据中心资深专家李典林耗费近一年时间对这些零散资料进行整理，凭借“内行之眼”对谷歌数据中心进行了系统而专业的解读，助我们更全面更深入地了解谷歌数据中心的技术精华。

摘要：Google将其数据中心技术作为一个核心竞争力，很少对外公布其技术细节，因此搜索巨人的数据中心一直是个谜。近日，谷歌公布了其数据中心能耗发展的图表，在图表中显示近年来谷歌在能耗控制方面有了明显的进步。

在2010年第一季度，谷歌新建的数据中心综合电力使用效率为1.16(PUE)，其中一个数据中心的PUE值达到了1.09。从公布的这些图表中，在纵向上我们可以看到Google在全球各地的多个数据中心PUE控制都已经达到非常高的水平;在横向上看曲线整体倾斜向下，说明还是个逐步改进、不断优化的精细化运营调优过程。这些图表的另一个显著特点是各个数据中心的PUE值随着时间轴，不管是在不同的季节，还是在一天的不同时间点上都表现出较大的波动性，说明Google数据中心的自然冷水平非常高。结合室外自然环境温度，尽量利用外界冷源带走热量，能不开启机械制冷就不启动。在散热方面只给够用的冷量，绝不浪费。

左：Google多个数据中心的多年PUE曲线

右：Google某一数据中心的日PUE曲线

本文针对Google数据中心的这些特点，将介绍Google位于欧洲的三个不同实现自然冷却方式的机房，这些机房都实现了100%自然冷却，都是没有chiller(制冷机组)的典型应用案例，分别是比利时水侧自然冷数据中心、爱尔兰空气侧自然冷数据中心和芬兰海水直接冷却数据中心。

当然本文提到的这些数据中心技术和机房所在当地的气候、政策、资源等相关，且属于完全定制的数据中心，不好为国内直接移植和借用，但思路和创新精神非常值得国内同行学习借鉴。

比利时数据中心

Google比利时的数据中心位于Saint -Ghislain，该数据中心的第一阶段在2008年初投入，并于2011年Q1完成全部阶段设计。2011年Q1的PUE可以低达1.09，而全年平均PUE可达到1.11。该数据中心采用蒸发冷却系统，从附近的工业运河抽取用水。“我们设计并制作了一个站内的水处理厂，”Kava说道，“这样我们就不用使用供应城市的可饮用水”。该数据中心利用运河的冷水来带走热量，并自己修建水处理厂，再将处理后的运河水给数据中心提供冷量，只采用冷却塔来散热，无chiller，实现了100%水侧自然冷机房，是谷歌的第一个完全自然冷却的数据中心。

距离数据中心大约400米外的工业运河，Google建设了现场的水处理工厂，直接从运河中抽取河水。由于运河的水质比较糟糕，必须过滤处理并净化到工业用水标准，但Google也不会将河水过滤处理到非常干净的水平，只要可用于制冷散热即可。然后用水泵将净化后的冷水输送到模块化储冷大水罐，再供给到各个冷却塔，用于后续蒸发冷却。这个过程结果不仅冷却了服务器，还清洁了水源，当地的部长也称赞Google说这是一次双赢的合作。

整个水处理厂的污水处理过程如下图所示：

Google在比利时的数据中心中采用了模块化的无chiller自然冷却系统，通过下图中的热交换器热交换原理，将室内的热量通过存于水箱中温度较低的、处理过的运河水从冷却塔带走，实现无需机械制冷的目的。

比利时的气候几乎可以全年支持免费的冷却，平均每年只有7天气温不符合免费冷却系统的要求。Kava指出，机房温度不需要像以前那样低。在2008年的时候，美国加热冷冻及空调工程师协会(ASHRAE)建议数据中心的温度应保持在20到25摄氏度之间--但Google建议将其保持在27度以上。“构建一个高效的数据中心的第一步就是简单的提高它的温度，”Kava说，“机器、服务器、存储阵列、任何东西在比一般数据中心保持的温度高的多的地方都能很好的运行。对我而言，任何数据中心在18或20摄氏度以下运行都是相当可笑的。”

在比利时这里，有时候会热的连服务器都不能运行，这时 Google 就会将这里的工作移交给其他数据中心负责。Kava没有给出任何细节，但他表示这种数据中心之间的工作交接涉及到一个叫做Spanner的软件平台。这个Google设计的平台曾在 2009 年 10 月的一个谈论会上有所提及，但是这是Google第一次公开确认Spanner确实有在使用。

根据Google在2009年的讨论会上的陈述，Spanner是一个“存储及计算系统，遍及他们所有的数据中心，并基于限制及使用特点来自动转移和增加数据和计算的副本。”这包括涉及带宽、丢包率、能源、资源及”失败模式“--比如当数据中心内部出现错误的时候。

爱尔兰数据中心

Google爱尔兰的数据中心位于都柏林，由于是已有退役建筑--市长大厦翻新改造而成的，由于Google在欧洲没有足够的运维人员，所以希望将该数据中心设计成空气检测的自然冷却机房。该数据中心实现了100%的空气检测自然冷却，采用直接蒸发制冷技术，并且定制了个热回收单元，全部工程完成于2010年上半年，是Google在欧洲的第二个无chiller数据中心。

都柏林具有非常好的气候条件，一年绝大多数时间天气都非常不错，由于该数据中心受已有建筑结构和散热供水等的限制，没法安装大型的冷却塔，因此采用了模块化的AHU方案。

从室外取自然空气送入到混风室跟机房内回风混合，经过滤和加湿等环节，用AHU风扇送到直接蒸发盘管进行冷却，最后通过送风管道进入机房。进入机房的冷空气经IT设备加热后，采用热通道封闭方案隔离热气流，部分参与回风，部分则直接排放到室外。直接蒸发制冷技术在夏天用于调峰，比如在高温天气冷却室外热空气，也可以在干燥的冬天用于机房湿度调节。

芬兰海水制冷数据中心

在2009年的二月份，Google耗资5200万美元购买了一座位于芬兰Hamina(哈米纳)的废弃的造纸厂，他们认为这座拥有56年历史的建筑是建设其众多服务于大量网络服务的大规模计算设施之一的理想场所。Google和DLB公司一起将其进行改造设计成数据中心，目前已经完成第一阶段的测试和运行。

这个数据中心的独特之处在于采用了100%的海水散热。Google利用该造纸厂已有建筑，包括造纸厂原有水下通道，并采用模块化制冷单元和闭式的内循环冷冻水(淡水)对开式的外循环冷却水(海水)的热交换器传热，然后将升温后的海水送到室外的温度调节房，这个房间的主要作用是将送出的热水和进入的新鲜海水进行混合。在回到海中之前，Google会用更多的海水来冷却它。“当我们将水排出到海湾的时候，它的温度和湾内海水温度会很相似，”Kava说，“这就将对环境的影响降低到最小。”虽然这个数据中心供回水的Delta T和取得的PUE值Google暂时没有透露，但相信应该是非常低的水平。

根据Kava所说，公司的环境许可并没有要求控制水温。“这让我自己感觉很好，”他说，“我们不是只做我们被要求做的。我们去做那些我们认为对的事情。”这是一个关于Google很平常的消息。但是Kava指出那些ISO认证说明这家公司正在不断努力达到它的目标。“当局者迷，局外者清。这时第三方的加入就非常必要。”

当然采用海水来散热有很多技术上的挑战，需要做热仿真，包括各个季节海水的不同温度、水垢带来的影响，以及海水对管路的腐蚀性等。比如在Hamina数据中心中Google采用了玻璃纤维材料的水管(上图中乳白色管道)用于防止海水腐蚀，并在热交换器上采用了镀钛的板换叠片等技术。虽然这些技术在数据中心行业中也许还比较新，但海水散热在其他行业中也有较多应用，因此可以从相关行业学习这些经验和教训。

为了保障设计可行，在概念设计阶段Google做了很多热仿真工作。采用CFD技术，验证了风向和风强等对海水温度的影响，以及不同时间海水的潮汐效应。另外还需要考虑芬兰湾水位高低，海水温度变化和盐度大小以及海藻等对机房散热的影响。Google还根据该地区过去三十年海水温度的数据，来确定管道从哪里取水和哪里排水，以及进出水口安装水面下面多深的地方等。

采用海水来冷却还有一些需要考虑的地方，由于不好直接采用化学过滤等，因此海水换热器的设计就非常关键了。Google在Hamina的设计中采用了四重的海水过滤系统，分别是粗效过滤、沿途过滤、药剂过滤和高效过滤器环节，并为了长期维护方便现场建设了可更换的CIP(clean in place)过滤环节。

此外还有需要注意的地方是大型海水冷却泵的水击(water hammer)作用导致的损坏，该损坏主要来自阀门快速关闭时对管路带来的强烈冲击，产生的原因是关闭阀门后水被抽走导致的管内真空，从而管内外压力差很大。而用于防止海水腐蚀采用的玻璃纤维材料的水管强度不够高，在水击发生时的压力下容易造成管路爆裂，为此Google专门设计了个空气输入阀门，来控制压力差变化并缓冲其带来的冲击。

总之海水冷却并不适合于所有人，设计中需要专业的工程学知识和技术，需要考虑很多东西，并且前期投入较大，因此对于小规模的数据中心建设并不划算，但应用在大体量的数据中心会带来非常多的益处。“对于某些规模较小的数据中心运营商/用户来说，(新型海水冷却系统)可能不具有经济效益，但它却有社会效益。它可以提供一个可靠的热源--芬兰海湾每年都会结冻，”Kava说道。还有，海水由于常年温度变化小且可预计，是非常稳定可靠的冷源，且可以几乎没有传统空调水系统带来的水消耗问题，并可以得到非常低的PUE值。

综上所述，谷歌的三个数据中心采用了完全不一样的方式，但都实现了100%的自然冷却，达到了高效率的制冷方式，并实现了简单可靠的设计。因此自然冷却可以有很多种方式，且没有绝对的优劣。实现方式和当地的各种条件关系非常大，比如地理位置、气候等，因此不要局限于某一种固定的解决方案，而应该考虑长期的TCO。

-End-

作者介绍：

李典林，腾讯数据中心架构师，主要从事数据中心的规划设计、新技术研究等，致力于大规模高效节能绿色数据中心的设计实现。在微模块数据中心、高压直流、市电直供技术、整机柜服务器、绿色电池等方面有较多研究及实践经验，参与过多个大规模数据中心项目的规划设计及建设。