探秘Google数据中心微模块

近期，思想库搜集整理了谷歌数据中心的系列文章，此系列由腾讯数据中心架构师李典林编写，有极大的学习参考价值。思想库会逐一推送给粉丝朋友们。

4、探秘谷歌数据中心微模块

5、谷歌数据中心供电系统剖析

6、谷歌服务器内置UPS技术赏析

7、谷歌创新的数据中心空调系统建设方法介绍

8、漂在海上的数据中心--解密谷歌海上数据中心

9、谷歌集装箱数据中心解密

10、节能标兵谷歌的绿色实践

11、谷歌对数据中心成本模型的分析

导语所谓“取法贵乎上”，在数据中心领域，谷歌是备受推崇的学习对象，不过谷歌对其数据中心实行极为严格保密制度，很少主动对外公开相关技术，只是有些零散的信息断断续续流传出来。好在数据中心资深专家李典林耗费近一年时间对这些零散资料进行整理，凭借“内行之眼”对谷歌数据中心进行了系统而专业的解读，助我们更全面更深入地了解谷歌数据中心的技术精华。

摘要

2005年后，Google不再采用大体量大颗粒度的室外型集装箱，而改用了室内型更小颗粒度更为灵活的微模块技术打造其庞大的基础设施。针对这种变化，本系列文章根据google的模块化数据中心冷却技术的一个专利(已于2012年公开)，以及在2012年google发布的一系列数据中心照片和北卡数据中心的街景视频，探索Google数据中心微模块。

《连线》杂志的记者Connie Zhou在2012年发布了一系列的google数据中心照片，这也是google第一次对外公布其数据中心的详细信息，从下图可以看到庞大的数据中心内密布着一排又一排的机柜，机房层高很高，周边是宽阔的运输通道，顶部是横竖交错的母线排和消防照明等管路，服务器状态灯蓝光闪烁，总体非常简洁清爽。

大家会发现这个机房和传统意义上的数据中心有明显的不同，既没有送风地板，也没有空调吊顶风管或者空调间等，那么数据中心内部非常核心的散热空调在哪里?又是如何散热的呢?一排排机柜顶部的多个“烟囱”以及“烟囱”底下的厚厚空调盘管，这才是google数据中心散热的秘密武器。

Google在发布这些图片的时候肯定卖了个关子，在偌大的机房内选择了这样的一个角度，如第一排机柜上方隐藏的空调，点但不破，还有第二排机柜列右侧的那些机柜空缺位置蓝色布帘及其背后隐藏的秘密――我们后面会发现其机柜的部署及建设方式和传统的机房也有很大的差异，那么google到底如何做的呢?让我们开启google数据中心微模块探秘之旅!

Google数据中心微模块原理介绍

这些谜底始于2012年公布的google模块化数据中心冷却的一个专利。下图是google数据中心微模块的一个模型，图中标签为200的整个微模块由标签为204和206的两组连体三联柜，以及机柜列间通道顶部的空调盘管212和风扇阵列202构成。从这个专利我们可以看到google的数据中心机柜是以连体三联柜为最小的建设颗粒度，或者以6个机柜和置顶空调构成的的微模块为最小颗粒度来建设的。前面提到的机柜空缺位置蓝色帘子，那里就是摆放连体三联柜的机柜位，只是暂时机柜还没就位，先用布帘子(或者白铁皮)先挡住防止热气流外泄。

连体三联柜朝外侧为冷通道，内侧即空调下方为热通道，这样背靠背的两侧服务器机柜散发出来的热空气在机柜间的密闭热通道内聚集并自然上升，被顶部的空调盘管制冷后，再经盘管顶部的6个高效率EC大风扇带走，飘散到整个机房大环境中，然后冷空气自然下沉重新回到机柜的冷通道侧被服务器吸入，重新开始整个循环。整个过程中气流组织非常短而高效，几乎没有多少冷量传递损失，且符合热空气上升冷空气下沉的自然对流法则。热通道完全封闭后，空调送回风温差deltaT非常高，因此需要的空调风量较小，风机的转速较低，损耗也可以很小，真正实现了高效散热的目的。

还有之前我们可以看到三联柜的每个机柜深度都很浅(应该不超过700mm)，但内部宽度很宽(柜内净宽度应该达到530mm)，这种宽而短的服务器散热效率也非常高，很容易实现高温服务器的设计，服务器自身风扇的能耗也可以很小。三联柜内密布着服务器，机柜顶部还用于安放TOR交换机。这些机柜、服务器和网络设备从工厂完成全部布线、建设和测试，以整机柜的方式通过机柜底部滚轮搬运到空缺的三联柜泊位，并和列间顶部空调锁固，再插上电和光纤就可以快速投入生产，真正实现快速建设部署，低能耗高效率投产的目的。

解密Google数据中心制冷模块

上文我们介绍了Google数据中心微模块原理 ，下图是整个微模块空调部分的示意图，其中左边是挪走三联柜后(或者前面图中蓝色帘子)空调盘管的正视图，右边是从机柜尾端部看整排机柜的侧视图。这些图更有助于大家看到其气流组织，如下图箭头所示。当然这里采用了迎风面积更大、制冷能力更强的V型盘管，和前面图中所示的顶部一字型水平盘管原理一样，都是将机柜尾部散发出来的热量通过盘管内流动的冷冻水带走热量，然后通过顶部的大风扇将制冷后的冷空气重新循环回到机柜服务器的入口。

这些图清晰地展示了google置顶空调盘管及其支撑支架等细节，整个制冷模块宽度大约是6英尺或者72英寸的长度，刚好相当于3个外宽为24英寸标准600mm宽的机柜宽度。每个模块最下面有标签为104的叉车预留槽位，用于叉车搬运和定位，以及底部标签为110的支撑，不但可以提供盘管的固定(盘管检修时候只需从支撑上将盘管拆卸下来更换即可)，还预留出底部的气流通道用于盘管两侧之间气流的流通。这个抬高设计既可作为两边热通道的通道共享或者冗余，在两边三联柜的热负荷不一样的情况下还可以重新分配气流。地板底下的冷冻水供水管314，可以从带毛刷的112出口分出多路支管连接到116的盘管接口(采用快接头)，给上方的空调盘管提供冷量。当然如果不想做架空地板的话，也是可以把供水水管放在V型盘管下方的左右两个通道内，减少架空地板的建设费用。google相关人士表示架空地板建设投资只占不到5%的机房建设成本，但可以规避带来的漏水风险，并带来检修便捷性等，这些考虑最终让google还是选择了架空地板的方案。

微模块顶部标签为120的是空调风扇阵列，由6个独立的标签为122风扇构成，其中124是风扇驱动控制器。这些风扇采用高效率的EC风机，加上V型盘管较大的迎风面，以及deltaT很高，因此风扇的转速很低压差很小，运行起来就非常节能。此外顶部风扇阵列周边的四根标签为128的支撑柱上面，可以安装网线布线等托架，用于机柜顶部的弱电信号等布线使用，充分利用了顶部空间还减少了专门架设布线桥架的投资。还有空调顶部突出标签为118的L型导轨横条用于机柜和空调之间的紧固，既固定了机柜，又密封了热通道。

前面的微模块单元图只是其中一个微模块的示意，当建设整个机房的时候，会有多个这样的模块不断复制和不断延伸，这个时候每个微模块单元就会不断延展成了一整排微模块阵列。此时，微模块间的热通道114和冷通道113就联通共享在一起了，这种情况下每个微模块还可以从附近的模块借冷量或者分散热量到周边的模块内，达到了微模块间的冗余。当其中的任何一个微模块内的盘管或风扇故障，甚至负荷过高，或者干脆负荷过低顶部没有放置盘管时，都可以从周边模块获取冷量，这样进一步提高了制冷模块间的冗余和系统可靠性。

○上图是实际热通道内的照片，由加固框架支撑的制冷模块逐个排开，冷冻水供水软管从地板下穿过毛刷孔再连接到顶部的一字型水平盘管内，两侧全布满服务器(看图片似乎此定制服务器的厚度也是1.5U)，蓝绿色LED发出的照明光显得很梦幻。

前面我们介绍了谷歌数据中心制冷模块 ，下图是机房内多排机柜单元和制冷单元的布置示意图，我们可以更为清楚地看到制冷单元和整机柜是如何搭配的。机柜每三个一组，顶部的TOR放在三联柜中间，每三个柜子依次排开。两排机柜间根据实际机柜的功耗和设备类型，搭配不同数量的制冷模块，比如高负荷的计算类机柜列比存储型的机柜列制冷模块要多。如果出现部分区域的设备功耗密度较低，则可以多个三联柜共享稍微少量的制冷模块，这样制冷模块间的顶部空隙可以通过薄铁皮来封闭热通道，如下图标签418所示。如果某个三联柜需要搬迁或者维修，则可以通过底部滚轮灵活由一个运营人员就可容易推走，如下图标签424，但推走后的机柜位需要制冷模块正面的铁皮封板封堵住热通道，以免整个封闭热通道的热气流泄露到机房冷环境中，如下图标签为416的封板所示。

下图是包含了数据中心制冷基础设施的更为详细的剖面图，从这个图我们可以清楚看到冷站604提供的冷冻水通过地板下维护空间内(考虑地板下管路检修维护需要，实际goolge某个项目的地板下高度高达122cm)的冷冻水管614和612，送到机柜上方的制冷模块来带走设备产生的热量。冷站604包括了冷却塔622、板式换热器626、冷机620和水泵624/616等，采用三通阀等设计，可以选择直接冷却或间接冷却。实际建设的时候，冷站也可以是模块化的工厂预制单元，运送到机房现场和对应的多排机柜列对接即可投入使用，真正达到了模块化快速建设的目的。冷站模块间的冗余，也可以通过将这些不同的冷站模块互联到公共接头的主环网中，通过互联互通的环网结构来实现冷站间的冗余，即便某个冷站故障也不会影响整个系统。

实际Google的数据中心为了节能运行，会将机房的温度设置得较高，整个机房作为冷通道，整体温度场较为均匀，且较为适合运维人员操作。服务器的进风温度往往高达27摄氏度甚至更高。热通道内的温度则高得多，甚至不适合于运维人员呆在里边，因此服务器全部设计成冷通道前维护。比如热通道内的温度会高达43度以上，经过顶部空调盘管降温后的温度约为25摄氏度，deltaT高达18度，这样顶部空调的风量可大大减少，风扇也可低速运行功耗很低。同时整个机房采用高温27摄氏度运行，冷冻水供水的温度也可以设置在20摄氏度的高位温度，回水温度则约为40摄氏度，这样高温差运行也可大大节省水泵的功耗。如果冷冻水的供水温度可以达到20摄氏度，这样每年制冷主机真正需要开启的时间就非常少，甚至在欧洲的几个数据中心都实现了无冷机运行，而冷机能耗是机房内最大一块，所以这些设计可以大大节约能耗。

为了支撑其百万量级的服务器需求，Google的数据中心通常建设面积都非常庞大，服务器数量更是数以好几万计的规模。比如北卡数据中心光架空地板面积就接近2万平方米，据google数据中心主管holtz介绍，当时已投入运行服务器多达五万台。由于选址多为远离城市的郊外地区，地广人稀，所以其机房通常不像国内城市数据中心的多层建筑设计，而往往采用单层的大开间框架式结构，更为节能环保，功能单元布局和人流、物流也更为合理。

如下图的某个google数据中心为例，中间两个巨大的机房模块，南北两侧分别是数据中心空调和电力基础支撑，水电分离。左侧是物流运输的卸货平台及拆包测试等功能间，右侧是运维人员办公区等支撑区域。不管是供电还是供冷的能量路径最短，以及人流物流的通道也非常合理，非常清晰，一目了然。

下图是整个数据中心机房内的全景图，整个机房空间非常开阔(由于面积很大，采用的是更为经济安全的水消防)，顶部是照明和消防管网，以及一排排的供电母线排(google之前采用了服务器内置电池的市电直供方案，因此不再配置集中的UPS等，供电效率接近99.9%)，通过支路配线盒直接给机柜服务器供电。再往下就是直接架设在制冷模块顶部的走线桥架，以及三联柜微模块了。从下图放置黑色移动维修台的机柜空缺位，我们可以非常清晰地看到google的数据中心是先建设好置顶空调及配电接口泊位，采用三联柜的方式滚轮移动即插即用快速交付。如果该机柜位尚未被占用，则采用三联柜白铁皮或者蓝色布帘临时封堵热通道，防止热气流跑到整个机房外部空间的冷环境。机房还配备了梯子、叉车和移动工作台、简易维修工作台、工具箱等，方便现场运维。还有个“暴风战士”守护北卡的数据中心。

结语

通过前面的介绍，以及和之前集装箱数据中心方案的比较，我们可以看到采用微模块的方式建设数据中心，颗粒度更小更为灵活，而且不再受到集装箱内狭小空间的限制，运维和搬迁等更为灵活和方便。通过整个机房的整个冷池作为缓冲，且考虑到了制冷模块、外部冷机等的冗余，可靠性更高，运营体验也更好。还可以根据不同设备类型和设备的不断升级更新等，灵活配置制冷模块来快速满足业务不断变化的需要。

虽然google透露出来的设计通常是其上一代的技术，但还是非常值得国内同行学习和借鉴，让我们在继续期待google能有更多更伟大设计的同时，也能站在巨人的肩膀上走出一条中国特色的数据中心之路来。

-End-

作者介绍：

李典林，腾讯数据中心架构师，主要从事数据中心的规划设计、新技术研究等，致力于大规模高效节能绿色数据中心的设计实现。在微模块数据中心、高压直流、市电直供技术、整机柜服务器、绿色电池等方面有较多研究及实践经验，参与过多个大规模数据中心项目的规划设计及建设。