三大谷歌欧洲数据中心究竟如何做到100%自然冷却

分析谷歌公布的这些图表(a)、(b),纵向看,它在全球各地的多个数据中心 PUE 控制都已游刃有余;横向看,PUE曲线波浪向下,说明谷歌数据中心的运营仍在逐步改进、不断优化,这种运营是长期的精细化调优的过程。这些图表的另一个显著信息是,其各个数据中心的 PUE 有着一个规律的生物钟,不管是以季节,还是以天、小时为时间颗粒度单位,都表现出较大的波动性规律。这说明 Google 数据中心的自然冷水平高超。它基于室外自然环境温度,尽量利用外界冷源带走热量而不启动机械制冷,在散热方面只给够用的冷量,躬行节俭。

(a) Google多个数据中心的多年PUE曲线

(b) Google某一数据中心的日PUE曲线

本文即将介绍 的是比利时水侧自然冷数据中心、爱尔兰空气侧自然冷数据中心和芬兰海水直接冷却数据中心。

这些巧夺天工的数据中心技术和设计依附于所在当地的气候、政策、资源……完全定制的内容不易被直接移植和借用,然而这种大胆创新的精神值得我们共勉。

一、比利时数据中心

Google 比利时的数据中心位于 Saint – Ghislain,2008 年初启动该数据中心的第一阶段,2011 年 Q1 完成全部阶段设计。2011年Q1的PUE可以低达1.09,全年平均PUE为1.11。

图(c) Google比利时数据中心

该数据中心的蒸发冷却系统从附近的工业运河抽取用水。

“我们设计并制作了一个站内的水处理厂,这样我们就不用使用供应城市的可饮用水”。

Kava

该数据中心利用运河的冷水带走热量:在自己修建水处理厂处理好运河水后给数据中心提供冷量,只采用冷却塔而非制冷机组来散热,这个实现了 100%水侧自然冷的机房,是谷歌的第一个完全自然冷的数据中心。整个水处理厂的污水处理过程如图(d)所示:

图(d) 整个水处理厂的污水处理过程

Google 建设的现场水处理工厂直接从运河中抽取河水,过滤处理并净化到可用于制冷散热的工业用水标准。然后用水泵将净化后的冷水输送到模块化储冷大水罐,再供给到各个冷却塔,用于后续蒸发冷却。将400米开外的工业运河水变废为宝,其结果不仅冷却了服务器,还清洁了水源,当地的部长也对这场Google为主导的双赢合作赞不绝口。

图(e) 热交换器热交换设计

图(f) 热交换器热交换设计部分详解

图(e)、(f)是其热交换器热交换设计,它解释了谷歌是如何将室内的热量存于水箱中的低温运河水,再从冷却塔被带走以实现无需机械制冷的目的。比利时的气候几乎可以全年支持免费的冷却,平均每年只有 7 天的气温不符合免费冷却系统的要求。Kava 指出,机房温度不需要像以前那样低。2008 年,美国加热冷冻及空调工程师协会(ASHRAE)建议数据中心的温度应保持在 20 -25 ℃之间——但 Google建议将其保持在 27 ℃以上。

“构建一个高效的数据中心的第一步就是设法提高它的温度,我们的机器、服务器、存储阵列、以及其它任何东西,在比之一般数据中心称得上是‘火炉’的‘高温’地区都能很好地运行。对我而言,任何数据中心只能在 20甚至18 ℃以下的环境运行都颇为可笑。”

Kava

但是在比利时这里,也会有时热的连服务器都不能运行,这时 Google 就会将这里的工作移交给其他数据中心负责。Kava 没有给出任何细节,但他表示这种数据中心之间的工作交接涉及到一个叫做 Spanner 的软件平台。这个 Google 设计的平台曾在 2009 年 10 月的一个谈论会上有所提及,但是这是 Google 第一次公开确认 Spanner 确实有在使用。

图(g) spanner 设计目标

根据 Google 在 2009 年的讨论会上的陈述,Spanner 是一个“存储及计算系统,遍及他们所有的数据中心,可基于限制及使用特点来自动转移或增加数据和计算的副本。”这包括涉及带宽、丢包率、能源、资源及“失败模式”——比如当数据中心内部出现错误的时候。

二、爱尔兰数据中心

Google 爱尔兰数据中心位于都柏林,是已有退役建筑——市长大厦翻新改造而成的。因 为谷歌在欧洲没有足够的运维人员,所以希望将该数据中心设计成空气侧的自然冷却机房。该数据中心已于2010 年上半年完成了全部工程,他们实现了 100%的空气侧自然冷却,采用直接蒸发制冷技术并且定制了个热回收单元,这是Google 在欧洲的第二个无制冷机组的数据中心。

都柏林的气候条件得天独厚,但由于该数据中心受限于已有的建筑结构和散热供水,无法安装大型的冷却塔,因此采用了模块化的 AHU 方案。

图(h) 模块化AHU方案

图(i) 模块化AHU方案内部应用场景

从室外取自然空气送入到混风室与机房内回风混合,经过滤和加湿等环节,用 AHU 风扇送到直接蒸发盘管进行冷却,最后通过送风管道进入机房。由于采用了热通道封闭方案隔离热气流,进入机房的冷空气经 IT 设备加热后,部分参与回风,部分则直接排放到室外。直接蒸发制冷技术在夏天可用于调峰,比如在高温天气冷却室外进入机房的热空气,也可以在干燥的冬天用于机房湿度调节。

三、芬兰海水制冷数据中心

2009 年二月,Google 耗资 5200 万美元购买了一座位于芬兰 Hamina的废弃的造纸厂,他们认为这座拥有 56 年历史的建筑,是建设其提供大量网络服务的数据中心的理想场所之一。Google 和 DLB 公司一起将其进行改造设计成数据中心。

图(j) 海水制冷方案

图(k) 海水制冷原理

这个数据中心的独特之处在于采用了 100%的海水散热。Google 利用该造纸厂已有建筑,包括造纸厂原有水下通道,采用模块化制冷单元和闭式的内循环冷冻水(淡水),对开式外循环冷却水(海水)的热交换器传热,将升温后的海水送到室外的温度调节房,这个房间的主要作用是将送出的热水和进入的新鲜海水混合。

“当我们将水排出到海湾的时候,它的温度和湾内海水温度会很相似,这就将对环境的影响降低到最小。”

Kava

虽然这个数据中心供回水的ΔT和取得的PUE值暂时不公开,但相信应该是非常低的水平。

“公司的环境许可并没有要求控制水温。这让我感觉很好,我们不是只做我们被要求做的。我们去做那些我们认为对的事情。ISO认证说明谷歌正在获得它想要的。当局者迷,局外者清。第三方的加入让我们保持清醒。”

Kava

采用海水来散热有很多新的技术挑战,需要做热仿真,包括各个季节海水的不同温度、水垢带来的影响,以及海水对管路的腐蚀等。谷歌在 Hamina 数据中心中 采用了玻璃纤维材料的水管,并在热交换器上采用了镀钛的板换叠片等技术用于防止海水腐蚀。虽然这些技术在数据中心行业中也许还比较新,但海水散热在其他行业中已有较多应用,可以从相关行业学习到这些经验和教训。

图(l) 海水制冷数据中心应用内景

图(m) 支持海水制冷需求的特殊材料

为了保障设计可行,在概念设计阶段 Google 的热仿真工作精益求精。它采用 CFD 技术,验证了风向和风强等对海水温度的影响,研究了不同时间海水的潮汐效应。另外还考虑盗了芬兰湾水位高低、海水温度变化、盐度大小以及海藻等对机房散热的影响。Google 还根据该地区过去三十年海水温度的数据,来确定管道从哪里取水和排水、进出水口应安装在水面以下多深的地方等。采用海水冷却不好直接采用化学过滤等,因此海水换热器的设计至关重要。Google 在 Hamina 的设计中采用了四重的海水过滤系统,分别是粗效过滤、沿途过滤、药剂过滤和高效过滤器环节,并为了长期维护方便,现场建设了可更换的 CIP(clean in place)过滤环节。

此外大型海水冷却泵的水锤作用导致的损坏也引人瞩目,该损坏主要来自阀门快速关闭时对管路带来的强烈冲击,其产生的原因是关闭阀门后水被抽走导致管内真空,从而管内外压力差很大。而用于防止海水腐蚀采用的玻璃纤维材料的水管强度不够高,在水击发生时的压力下容易造成管路爆裂,为此 ,Google 专门设计了个空气输入阀门,来控制压力差变化并缓冲其冲击。总之海水冷却设计是个挑战,设计中需要专业的工程学知识和技术,需考虑参数很多,且前期投入较大,因此对于小规模的数据中心建设并不划算,但应用在大体量的数据中心会是个精巧之处。

“对于某些规模较小的数据中心运营商/用户来说,(新型海水冷却系统)可能不具有经济效益,但它却有社会效益。它可以提供一个可靠的热源——芬兰海湾每年都会结冻”

Kava

另外,海水由于常年温度变化小且可预计,是非常稳定可靠的冷源,且几乎没有传统空调水系统带来的水消耗问题,同时得到非常低的 PUE值。

图(n) 大型海水冷却泵的水锤设计

综上所述,谷歌的三个数据中心采用了完全不一样的制冷方式,但都实现了 100%的自然冷却,其设计高效、简单、可靠。因此自然冷却百家争鸣,且没有绝对的优劣。实现方式依赖于当地的地理位置、气候。因此数据中心的设计应考虑长期的 TCO大胆创新,而不要局限于某一种固定的解决方案。

版权声明:本文为腾讯数据中心原创,欢迎转载,转载需保持原文(包括标题、导语、正文、图片、数据以及文尾的二维码、版权声明等全部内容)完整。版权均属“深圳市腾讯计算机系统有限公司”所有,未经官方授权,不得使用。

原文发布于微信公众号 - 腾讯数据中心(Tencent_IDC)

原文发表时间:2015-09-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器人网

经验之谈!如何快速成为合格的电气工程师?

初入工控行业的年轻人,肯定梦想着早日成为一名合格的电气工程师。 个人觉得,首要任务,需要具备以下几个能力: 能用计算机进行PLC控制编程与调试。 能用计算机进行...

39512
来自专栏腾讯高校合作

打车的江山 马蹄声狂乱 ——帝都滴滴抢修记

锲子 和滴滴团队一起战斗的日子已经过去半年了,但那场没有硝烟的战争,至今仍记忆深刻。特作余作文以记之,权作回忆,也当是滴滴打车系统优化经历的一个见证。 那时“...

3754
来自专栏腾讯大讲堂的专栏

微信春晚摇一摇项目经验总结(产品篇)

编者按:关于微信红包的台前幕后,产品与技术,广大大讲堂er 们都比较关注。今天跟大家分享一篇来自产品之镜公众号的文章,方便大家学习。 [关键词一:用产品说话] ...

2428
来自专栏腾讯大讲堂的专栏

玩转H5微故事

形式多种多样,目的无非是推广某一个东西--产品、活动抑或是品牌。怎么去推广呢?我们一般喜欢给用户讲一个故事。下面的截图是几个比较火热的H5案例,我们可以看到“首...

26610
来自专栏AI科技评论

我们有了可重复使用的火箭,但为什么还没有会飞的汽车?「Rodney Brooks」法则为你解惑

AI 科技评论按:制造电动汽车和可重复使用的火箭可能很容易,而相比之下,建造核聚变反应堆、可以飞行的汽车、自动驾驶汽车或超回路列车系统就十分困难了。我们甚至看到...

1022
来自专栏机器人网

自动化工程师涨工资必备的11项技能

工控自动化总体来说属于应用型,也就是说,使用的每一个产品都是别人做好了的,我们要做的就是如何使用,以及二次开发,所以从技术难度来讲,它并不特别复杂,但是,于工业...

3829
来自专栏飞总聊IT

大数据已死,AI当立,世界崩溃

1 一觉醒来,发现InfoQ的大数据杂谈公众号改名叫AI前线了。相关的微信群也变成了AI前线群。大数据已死,AI当立,大概是这样一个节奏。 我依稀记得编辑拉我进...

48113
来自专栏程序员的知识天地

工作两年的普通二本程序员在天猫、蚂蚁金服、百度等大厂面试中被拒经历

16年毕业于普通二本院校网络相关专业,工作经验两年半,目前就职业于一家普通民营企业。> 由于非985、211学历硬伤,校招进大厂的门槛远高于同届985、211的...

4313
来自专栏AI科技大本营的专栏

一直不明白,程序员为何老加班!

今天说好的需求这样做,亲自找到他跟他确认,然后过几天,他又反悔了。说自己从没说过,要另外的实现方式。

1243
来自专栏VRPinea

AR科普 | 连苹果都看好的AR,到底有多牛逼?

36710

扫码关注云+社区

领取腾讯云代金券