鹅厂的“数据中心微模块颗粒度”观

导语：上期我们了解到，微模块的显著特点之一是“工厂预制现场组装，可根据IT及业务类型柔性配置功能单元”。而部件解耦、功能清晰的潜在需求是接口标准化，部件规格简单化以实现少工具快速安装。本文为您讲述鹅厂的数据中心微模块颗粒度观，精彩不能不看！

数据中心的设计是多方平衡的结果，其本质是数学和逻辑的问题，前者是颗粒度，后者是秩序。所以，在“搭积木”的过程，还需思量最佳模型的颗粒度来实现标准化和版本化。

IT 机柜的功率大小及数量决定了微模块的供电、制冷、外形尺寸、重量规模等。越多的机柜数量、越高的单机柜功率密度会带来越大颗粒度的微模块，然而，供电、制冷、外形尺寸以及重量等因素也会反作用于IT机柜数量及机柜功率。

微模块没有明确定义机柜功率及数量，但仍有边界条件，下文针对不间断电源、空调制冷能力、建筑柱网距离、配电柜及CDU 物理空间、电池后备时间及楼板承重能力等多方面，分析较为适合当前阶段微模块的模型及其颗粒度。

1、不间断电源系统容量选择

电源系统是否该内置到微模块？如果初期按终局容量需求建设一套集中式的大型UPS 系统，其输出再拉到每个微模块内，则前期一次性建设投资成本高，后期低负载运行运营成本高。而技术革新果实——无需大型开关和传输粗线缆等低前期投资科技也将无用武之地。所以，较为合适的做法是：在微模块内安装分布式一体化的高压直流或模块化UPS系统。

模块化设计使得其可以根据负载情况灵活配置电源模块数量，且可自动实现轻载下的节能休眠，这对分布投资和能效提升大有裨益。目前主流UPS厂家的一体化电源系统单机柜容量大多不超过160KW，加上N+1 或N+2 电源模块冗余，以及10-15分钟左右的电池后备时间需要的额外充电功率，再考虑约90%的电源负载率，真正能给到IT 负载的可用容量基本小于125KW，由此可得第一个容量边界条件——微模块内的IT 总功率需求宜控制在125KW 以内。（如果采用市电直供技术，电源只作充电器等深度定制设计则另当别论，本文不赘述）

图1 一体化分布式电源系统和分体式集中大电源系统

2、精密空调制冷能力选择

数据中心末端散热解决方案中，采用DX 直膨式空调或者水冷精密空调比较主流，但前者能效不高，且很多外机的铜管需要外接，大型数据中心内部不宜使用。水冷精密空调又分为集中式地板下送风和分布式行间就近送风等，考虑分布投资及更高能效，宜选择成熟的行间空调解决方案。相关资料表明，600mm 宽的行间空调和300mm 宽空调相比，制冷能力并未成比例增加，而其单位千瓦散热成本偏高，占用微模块空间较大，颗粒度较大，冗余成本较高。典型的300mm 宽行间空调在10-12℃的冷冻水供水温度下，其制冷能力约为25KW。微模块内两排机柜对吹，因此合适配置偶数数量的行间空调，且需考虑N+1 冗余。采用N+N 的2N 冗余空调成本过高，而7+1 以上的冗余配置裕量太小。综合考虑，选择5+1 的300mm 宽空调用于高功率微模块（制冷能力约为125KW），选择3+1 的300mm 宽空调用于中低功率微模块（制冷能力约为75KW）较为合适。

图2 典型行间空调的制冷能力

当然，采用定制AHU 或者定制更高散热能力的行间/置顶空调也可行，只是深度定制的产品不够通用。为了充分利用行间空调的散热能力，推荐选择75KW或125KW附近的IT 总功率。

3、建筑柱网对微模块尺寸的限制

目前国内数据中心多为非钢结构的多层砖混结构建筑，在机房内安装时碰到柱子的问题时有发生。为避免碰到柱网带来的现场改造以及非标定制，需考虑柱网对微模块尺寸的影响。

国内多数非钢结构设计的砖混类型数据中心建筑，典型的柱间距为7-11m。国标GB50174 对数据中心的封闭冷通道长度的要求：6m以内允许单边开门，6m以上则需两侧开门，因此需预留微模块两头的开门空间。再考虑运货斜坡及转弯半径，建议单边门前的通道宽度至少有1.5m。如果微模块布置在两柱子间，且要求双边开门，这样总的柱网间距应至少是9m。

因此对于标准尺寸为600mm 的机柜，考虑其供配电、空调、电池等支撑机柜的空间，如果单模块的IT 机柜数量超过12 个，则对柱网的要求严苛，微模块的适应性也弱。如果微模块尺寸小于6 米，虽允许单边开门，对柱网的挑战小，但可摆放的机柜数量受限，因支撑的电源、空调部分的高成本显得不够经济。

如何解决这些问题？执端取中，在机房模块内无柱子之处多摆机柜，或摆放长模块，而在有柱子的地方摆放短模块，甚至允许在没有柱子的地方，将两个微模块拼装对接，合理提高机房空间及支撑动力部分的综合利用率。

图3 建筑柱网对微模块布局的影响

4、 综合配电柜及CDU 的物理空间限制

一个机柜内能摆放的支路数量受机柜空间限制。运维操作空间也会影响到可以支撑的总机柜数量。考虑有限的配电柜空间和水分配CDU 空间、维护操作和散热需求空间，再预留适量备用支路，单个配电柜只能支撑36 路以内的机柜输出，而CDU 只能支撑6-8 台左右的行间空调。如果每个机柜需要2 路输入，则最多支撑18 个机柜；如果每个机柜需要3 路输入，则最多支撑12 个机柜。（如果采用母线排技术去掉配电柜，或者无需CDU的方案，也可不受此条限制，但不通用）

图4 水分配CDU 单元及综合配电柜内部物理空间限制

5、 电池后备时间及重量对电池柜及楼板承重的限制

若电池集中于电力电池室，则电池备电时间更长，物理尺寸也无需牵挂，但若如此，每部署一套微模块都需到电池室建设一组电池。电池室的承重加固改造、较长电池线缆的投资、已投产的电池线缆槽内增设电池线都会横生枝节，所以我们还是建议将电池放到微模块内部。

分摊电池重量到微模块底座以及整个机房内，可减少建筑改造，提升机房利用率。利用微模块空调给电池提供合适的温度，铅酸电池极的排氢等也可通过行间空调带到机房大环境中被稀释。然而，电池容量选择主要取决于电池后备时长及微模块功率颗粒度——IT总功率需求。

图5 过大的电池单体电池柜安装空间受限

如此，我们希望600mm宽的电池柜可以容纳电池，且微模块内应实现1主1备电池以供运维冗余。两组电池至少占用两个电池柜。此外单体电池容量大小也会影响电池柜安装空间。以240V 高压直流应用为例，单体电池容量适中，才能保证20节12V铅酸电池放置在600mm 宽机柜内，每层能摆下4-5 节电池，整个机柜装4-5 层。（采用两个电池柜各装一半数量的单组铅酸电池则牺牲了运维冗余以及微模块机柜空间）

图6 电池重量对数据中心建筑承重带来的挑战

根据120KW 的IT 功率需求及GB50174建议的15 分钟备电时间，计算得每节铅酸电池的重量高达约65kg，加上电池柜柜体重量，20 节电池的电池柜总重量高达1.5 吨。虽部分重量可通过整个微模块底座散力，但仍给建筑楼板的承重带来挑战。假如单个微模块的总功率继续加大，且电力充足，则对机房建筑的承重构成要求会更加苛刻，楼宇加固建设成本、额外时间成本不容忽视。不建议单微模块负担超过120KW的IT 总功率需求，否则单个电池柜装不下一组铅酸电池，安装电池也需花费更多微模块空间。（采用能量密度更大的电池等其他解决方案有技术成熟度风险，投资成本有所增加，本文不赘述）

综上所述，虽然未官方定义微模块的机柜数量以及总功率等概念，但简单梳理微模块的各支撑部分组件后，不难发现就当前中国国情与现有的成熟标准产品下，微模块还是存有一定的边界条件和合适颗粒度的。

比如1.电源决定了总IT 功率不宜超过125KW；2.空调5+1 时总IT 功耗不宜超过125KW，3+1 时不宜超过75KW；3.建筑柱网之间的IT 机柜数量不宜超过12 个（非柱子之间不受此限制）；4.CDU 建议主供水进出回路约6-8 个，配电柜不宜超过18 个；5.10-15 分钟铅酸电池后备时间下，IT总功率不宜超过120KW等。再考虑不同业务不同类型服务器的功率不同，IT 机柜有高密度和中低密度之别，对应的微模块也有高密度高功率微模块、中密度高功率微模块、中密度中功率微模块和低密度中功率微模块4种类型，如下：

1、高密度高功率微模块：IT总功耗120KW左右，IT机柜数量为12个，行间空调六台；

2、中密度高功率微模块：IT总功耗120KW左右，IT机柜数量为18个，行间空调六台；

3、中密度中功率微模块：IT总功耗75KW左右，IT机柜数量为12个，行间空调四台；

4、低密度中功率微模块：IT总功耗75KW左右，IT机柜数量为18个，行间空调四台；

最后，对于低密度IT机柜如果也采用低功率微模块方式来建设，由于不能充分发掘微模块的供电、制冷、监控及结构件等潜力，单位千瓦造价偏高不推荐采用，这里不再讨论。

本文分析的非深度定制的产品，只采用标准商用IT 设备及成熟机电设备直接集成方案，能更为广泛地被行业所借鉴。如果只对其中的局部部件作深度定制，也会得出不同的模型（如没有建筑柱间距限制或者采用定制的散热量更大的行间/置顶空调，其模型也会有所调整）。当然如果能从IT设备层面深度定制，或者将行间空调等剥离出并采用AHU 等方式，微模块会更为精简和标准化。

IT及基础设施深度定制的经典案例有：

1、google的6 个IT 机柜和置顶空调构成的hot-hut 微模块，采用的是定制的带电池服务器就没装额外UPS。

图7（a）google 微模块

2、一个OCC带6个IT机柜的yahoo微模块，采用了定制的OCC置顶空调及集中UPS供电等。

图7（b）yahoo 微模块

3、一个48V 电池柜带六个IT 机柜的facebook 微模块，采用的是集中风扇墙蒸发散热及市电直供48V 电池后备定制服务器。

图8（a）facebook 微模块

4、下一代open rack安装市电直供的电源插框及内置锂电池BBU 更为灵活。

图8（b）openrack 的V2 示意图

以上案例颗粒度多以6、12、18、24 等为基本单元，模型的梳理类似本文。

我们当前应立足商用标准产品，不断创新以完善现有版本，展望未来深度定制，腾讯数据中心愿与诸位一同走在有中国特色的微模块数据中心发展之路上！

版权声明：本文为腾讯数据中心原创，欢迎转载，转载需标明出处。版权均属“深圳市腾讯计算机系统有限公司”所有，未经官方授权，不得使用。

本文部分图片来自互联网，如果涉及到版权问题，请联系TIDC@tencent.com。