专栏首页腾讯数据中心鹅厂的“数据中心微模块颗粒度”观

鹅厂的“数据中心微模块颗粒度”观

导语:上期我们了解到,微模块的显著特点之一是“工厂预制现场组装,可根据IT及业务类型柔性配置功能单元”。而部件解耦、功能清晰的潜在需求是接口标准化,部件规格简单化以实现少工具快速安装。本文为您讲述鹅厂的数据中心微模块颗粒度观,精彩不能不看!

数据中心的设计是多方平衡的结果,其本质是数学和逻辑的问题,前者是颗粒度,后者是秩序。所以,在“搭积木”的过程,还需思量最佳模型的颗粒度来实现标准化和版本化。

IT 机柜的功率大小及数量决定了微模块的供电、制冷、外形尺寸、重量规模等。越多的机柜数量、越高的单机柜功率密度会带来越大颗粒度的微模块,然而,供电、制冷、外形尺寸以及重量等因素也会反作用于IT机柜数量及机柜功率。

微模块没有明确定义机柜功率及数量,但仍有边界条件,下文针对不间断电源、空调制冷能力、建筑柱网距离、配电柜及CDU 物理空间、电池后备时间及楼板承重能力等多方面,分析较为适合当前阶段微模块的模型及其颗粒度。

1、不间断电源系统容量选择

电源系统是否该内置到微模块?如果初期按终局容量需求建设一套集中式的大型UPS 系统,其输出再拉到每个微模块内,则前期一次性建设投资成本高,后期低负载运行运营成本高。而技术革新果实——无需大型开关和传输粗线缆等低前期投资科技也将无用武之地。所以,较为合适的做法是:在微模块内安装分布式一体化的高压直流或模块化UPS系统。

模块化设计使得其可以根据负载情况灵活配置电源模块数量,且可自动实现轻载下的节能休眠,这对分布投资和能效提升大有裨益。目前主流UPS厂家的一体化电源系统单机柜容量大多不超过160KW,加上N+1 或N+2 电源模块冗余,以及10-15分钟左右的电池后备时间需要的额外充电功率,再考虑约90%的电源负载率,真正能给到IT 负载的可用容量基本小于125KW,由此可得第一个容量边界条件——微模块内的IT 总功率需求宜控制在125KW 以内。(如果采用市电直供技术,电源只作充电器等深度定制设计则另当别论,本文不赘述)

图1 一体化分布式电源系统和分体式集中大电源系统

2、精密空调制冷能力选择

数据中心末端散热解决方案中,采用DX 直膨式空调或者水冷精密空调比较主流,但前者能效不高,且很多外机的铜管需要外接,大型数据中心内部不宜使用。水冷精密空调又分为集中式地板下送风和分布式行间就近送风等,考虑分布投资及更高能效,宜选择成熟的行间空调解决方案。相关资料表明,600mm 宽的行间空调和300mm 宽空调相比,制冷能力并未成比例增加,而其单位千瓦散热成本偏高,占用微模块空间较大,颗粒度较大,冗余成本较高。典型的300mm 宽行间空调在10-12℃的冷冻水供水温度下,其制冷能力约为25KW。微模块内两排机柜对吹,因此合适配置偶数数量的行间空调,且需考虑N+1 冗余。采用N+N 的2N 冗余空调成本过高,而7+1 以上的冗余配置裕量太小。综合考虑,选择5+1 的300mm 宽空调用于高功率微模块(制冷能力约为125KW),选择3+1 的300mm 宽空调用于中低功率微模块(制冷能力约为75KW)较为合适。

图2 典型行间空调的制冷能力

当然,采用定制AHU 或者定制更高散热能力的行间/置顶空调也可行,只是深度定制的产品不够通用。为了充分利用行间空调的散热能力,推荐选择75KW或125KW附近的IT 总功率。

3、建筑柱网对微模块尺寸的限制

目前国内数据中心多为非钢结构的多层砖混结构建筑,在机房内安装时碰到柱子的问题时有发生。为避免碰到柱网带来的现场改造以及非标定制,需考虑柱网对微模块尺寸的影响。

国内多数非钢结构设计的砖混类型数据中心建筑,典型的柱间距为7-11m。国标GB50174 对数据中心的封闭冷通道长度的要求:6m以内允许单边开门,6m以上则需两侧开门,因此需预留微模块两头的开门空间。再考虑运货斜坡及转弯半径,建议单边门前的通道宽度至少有1.5m。如果微模块布置在两柱子间,且要求双边开门,这样总的柱网间距应至少是9m。

因此对于标准尺寸为600mm 的机柜,考虑其供配电、空调、电池等支撑机柜的空间,如果单模块的IT 机柜数量超过12 个,则对柱网的要求严苛,微模块的适应性也弱。如果微模块尺寸小于6 米,虽允许单边开门,对柱网的挑战小,但可摆放的机柜数量受限,因支撑的电源、空调部分的高成本显得不够经济。

如何解决这些问题?执端取中,在机房模块内无柱子之处多摆机柜,或摆放长模块,而在有柱子的地方摆放短模块,甚至允许在没有柱子的地方,将两个微模块拼装对接,合理提高机房空间及支撑动力部分的综合利用率。

图3 建筑柱网对微模块布局的影响

4、 综合配电柜及CDU 的物理空间限制

一个机柜内能摆放的支路数量受机柜空间限制。运维操作空间也会影响到可以支撑的总机柜数量。考虑有限的配电柜空间和水分配CDU 空间、维护操作和散热需求空间,再预留适量备用支路,单个配电柜只能支撑36 路以内的机柜输出,而CDU 只能支撑6-8 台左右的行间空调。如果每个机柜需要2 路输入,则最多支撑18 个机柜;如果每个机柜需要3 路输入,则最多支撑12 个机柜。(如果采用母线排技术去掉配电柜,或者无需CDU的方案,也可不受此条限制,但不通用)

图4 水分配CDU 单元及综合配电柜内部物理空间限制

5、 电池后备时间及重量对电池柜及楼板承重的限制

若电池集中于电力电池室,则电池备电时间更长,物理尺寸也无需牵挂,但若如此,每部署一套微模块都需到电池室建设一组电池。电池室的承重加固改造、较长电池线缆的投资、已投产的电池线缆槽内增设电池线都会横生枝节,所以我们还是建议将电池放到微模块内部。

分摊电池重量到微模块底座以及整个机房内,可减少建筑改造,提升机房利用率。利用微模块空调给电池提供合适的温度,铅酸电池极的排氢等也可通过行间空调带到机房大环境中被稀释。然而,电池容量选择主要取决于电池后备时长及微模块功率颗粒度——IT总功率需求。

图5 过大的电池单体电池柜安装空间受限

如此,我们希望600mm宽的电池柜可以容纳电池,且微模块内应实现1主1备电池以供运维冗余。两组电池至少占用两个电池柜。此外单体电池容量大小也会影响电池柜安装空间。以240V 高压直流应用为例,单体电池容量适中,才能保证20节12V铅酸电池放置在600mm 宽机柜内,每层能摆下4-5 节电池,整个机柜装4-5 层。(采用两个电池柜各装一半数量的单组铅酸电池则牺牲了运维冗余以及微模块机柜空间)

图6 电池重量对数据中心建筑承重带来的挑战

根据120KW 的IT 功率需求及GB50174建议的15 分钟备电时间,计算得每节铅酸电池的重量高达约65kg,加上电池柜柜体重量,20 节电池的电池柜总重量高达1.5 吨。虽部分重量可通过整个微模块底座散力,但仍给建筑楼板的承重带来挑战。假如单个微模块的总功率继续加大,且电力充足,则对机房建筑的承重构成要求会更加苛刻,楼宇加固建设成本、额外时间成本不容忽视。不建议单微模块负担超过120KW的IT 总功率需求,否则单个电池柜装不下一组铅酸电池,安装电池也需花费更多微模块空间。(采用能量密度更大的电池等其他解决方案有技术成熟度风险,投资成本有所增加,本文不赘述)

综上所述,虽然未官方定义微模块的机柜数量以及总功率等概念,但简单梳理微模块的各支撑部分组件后,不难发现就当前中国国情与现有的成熟标准产品下,微模块还是存有一定的边界条件和合适颗粒度的。

比如1.电源决定了总IT 功率不宜超过125KW;2.空调5+1 时总IT 功耗不宜超过125KW,3+1 时不宜超过75KW;3.建筑柱网之间的IT 机柜数量不宜超过12 个(非柱子之间不受此限制);4.CDU 建议主供水进出回路约6-8 个,配电柜不宜超过18 个;5.10-15 分钟铅酸电池后备时间下,IT总功率不宜超过120KW等。再考虑不同业务不同类型服务器的功率不同,IT 机柜有高密度和中低密度之别,对应的微模块也有高密度高功率微模块、中密度高功率微模块、中密度中功率微模块和低密度中功率微模块4种类型,如下:

1、高密度高功率微模块:IT总功耗120KW左右,IT机柜数量为12个,行间空调六台;

2、中密度高功率微模块:IT总功耗120KW左右,IT机柜数量为18个,行间空调六台;

3、中密度中功率微模块:IT总功耗75KW左右,IT机柜数量为12个,行间空调四台;

4、低密度中功率微模块:IT总功耗75KW左右,IT机柜数量为18个,行间空调四台;

最后,对于低密度IT机柜如果也采用低功率微模块方式来建设,由于不能充分发掘微模块的供电、制冷、监控及结构件等潜力,单位千瓦造价偏高不推荐采用,这里不再讨论。

本文分析的非深度定制的产品,只采用标准商用IT 设备及成熟机电设备直接集成方案,能更为广泛地被行业所借鉴。如果只对其中的局部部件作深度定制,也会得出不同的模型(如没有建筑柱间距限制或者采用定制的散热量更大的行间/置顶空调,其模型也会有所调整)。当然如果能从IT设备层面深度定制,或者将行间空调等剥离出并采用AHU 等方式,微模块会更为精简和标准化。

IT及基础设施深度定制的经典案例有

1、google的6 个IT 机柜和置顶空调构成的hot-hut 微模块,采用的是定制的带电池服务器就没装额外UPS。

图7(a)google 微模块

2、一个OCC带6个IT机柜的yahoo微模块,采用了定制的OCC置顶空调及集中UPS供电等。

图7(b)yahoo 微模块

3、一个48V 电池柜带六个IT 机柜的facebook 微模块,采用的是集中风扇墙蒸发散热及市电直供48V 电池后备定制服务器。

图8(a)facebook 微模块

4、下一代open rack安装市电直供的电源插框及内置锂电池BBU 更为灵活。

图8(b)openrack 的V2 示意图

以上案例颗粒度多以6、12、18、24 等为基本单元,模型的梳理类似本文。

我们当前应立足商用标准产品,不断创新以完善现有版本,展望未来深度定制,腾讯数据中心愿与诸位一同走在有中国特色的微模块数据中心发展之路上!

版权声明:本文为腾讯数据中心原创,欢迎转载,转载需标明出处。版权均属“深圳市腾讯计算机系统有限公司”所有,未经官方授权,不得使用。

本文部分图片来自互联网,如果涉及到版权问题,请联系TIDC@tencent.com。

本文分享自微信公众号 - 腾讯数据中心(Tencent_IDC),作者:腾讯数据中心

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2015-04-10

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 腾讯重庆数据中心即将动工,用云技术推进互联网+战略落地

    本文转自:腾讯云 4月10日,2015年中国(重庆)国际云博会正式开幕。在高峰论坛上,腾讯公司副总裁、腾讯云负责人邱跃鹏在演讲中透露,经过前期筹备,腾讯重庆数据...

    腾讯数据中心
  • Why TMDC?(上)

    【定义与缩略语】 TMDC:Tencent Modular Data Center(腾讯模块化数据中心),指完全按照模块化设计思路搭建的可快速部署的数据中心模型...

    腾讯数据中心
  • 腾讯数据中心基础设备质量检测之电流传感器、智能电表篇

    背景 2015年8月9日,我们发表了腾讯数据中心基础设备质量检测之温湿度传感器篇,详细阐述了腾讯数据中心近年来严把基础设备质量的前因后果。据后台结果显示,此文送...

    腾讯数据中心
  • 把腾讯游戏的测试能力开放到云端——腾讯WeTest在“云+未来”峰会现场

    北京时间7月5日消息,在腾讯“云+未来”峰会上,腾讯公司董事会主席兼CEO马化腾发表了题为《云上生态的新探索》的演讲。他指出,互联网+的基础设施的第一要素就是云...

    WeTest质量开放平台团队
  • 打造S级手游,腾讯WeTest品质把控2016ChinaJoy

    想要像腾讯一样打造S级手游吗?参加2016年的ChinaJoy或许就可以帮你实现这个心愿,前往2016ChinaJoy BTB展区W2-C126——腾讯游戏官方...

    WeTest质量开放平台团队
  • 锻造高品质手游 腾讯WeTest参展GADC全球游戏开发者峰会

    ? 5月27日,腾讯GADC全球游戏开发者峰会在北京国际饭店会议中心举行,作为游戏行业开发者的又一重磅活动,以“链接·生态”为主题,本次开发者峰会是聚焦游戏开...

    WeTest质量开放平台团队
  • 腾讯WeTest参展北京GADC——为游戏而生,让品质发声

    腾讯GAD全球游戏开发者峰会将于2016年5月27日在北京国际饭店举办,以“链接·生态”为主题,汇聚行业最有实力的企业代表。腾讯WeTest作为本次大会的唯一...

    WeTest质量开放平台团队
  • 【重磅福利】腾讯WeTest百万扶持计划等你来!

    腾讯WeTest平台:自2015年正式开放以来,通过分享腾讯游戏10年测试经验,让众多游戏开发者接触到腾讯级的产品测试体验,在短时间内获得大量用户认可。

    WeTest质量开放平台团队
  • 「你的」游戏我来「测试」,腾讯WeTest携手应用宝游戏品鉴会,助力新游迅速成长

    测试开发者的共同关注! ? ? 腾讯应用宝将于 12.13 在广州开展《识君》游戏品鉴会,届时会选取多款高质量新游作为扶持对象,提供精心准备的“成长助力包”...

    WeTest质量开放平台团队
  • Python3 如何使用NLTK处理语言数据

    文本已成为最常见的表达形式之一。我们每天都要发送电子邮件、短信、推文、更新状态。因此,非结构化文本数据变得非常普遍,分析大量文本数据现在是了解人们的想法的关键方...

    SQL GM

扫码关注云+社区

领取腾讯云代金券