助力天蝎，重磅干货！——Open rack V2 整机柜架构供电介绍

随着IT业务的快速发展，数据中心的用电成为企业的沉重负担。国内某运营商仅2009年的耗电量就高达98亿度，为能源消耗支付近100亿元。采用市电直供，同时做好停电保护，可大幅降低数据中心电力系统能耗。图1是facebook市电直供数据中心和传统数据中心在供电方面的能效比较。

在传统数据中心供电架构（采用了集中式UPS）下，从电网到服务器主板浪费了21%~27%的能源，而在facebook数据中心采用分布式市电直供技术的架构下，只有7.5%的能源损耗（含服务器电源损耗），初期设备投资也得以减少。

图1 facebook第一代数据中心供电和传统UPS供电效率对比

图2 facebook第一代数据中心实际落地实际照片

图2是facebook第一代数据中心供电架构的实拍照片

数据中心内部不再有传统UPS，而是每6个IT机柜配一套48V电池。所有服务器都是市电直供到机柜，只有市电异常情况下，这些48V电池才作短时备份至柴油发电机起来继续带载。针对不同类型和不同功率的服务器，备份电池容量有56KW和85KW两种规格，5组48V电池并联，电池备份时间为90秒。电池柜内有3个2KW白金版48V电源模块给电池充电，兼给TOR交换机供电。在服务器内，facebook还定制了450W的277Vac和48Vdc双输入电源，市电停电后10ms内切换到48V DC/DC电源供电。每个服务器机柜内有30台1.5U高的服务器、30个电源模块，机柜内空间得到充分利用。但采用机架式服务器，每个服务器自带电源和风扇等成本高效率低，且部署密度和建设交付速度不尽人意。

因此OCP快马加鞭，发布了其整机柜的open rack架构

图3 Open rack的V1版整机柜和V2版整机柜

如图3中open rack 的V1版示意图

每个机柜内有3个4.2KW输出的电源插框，每个插框内有6个750W的双输入电源模块（部分功率给交换机供电），服务器电源总数量从30个减少至18个，但3套电源插框共占用了9U的高度，使得IT设备的可用高度从45U减少到30U，为保证服务器上架数量只能横向增加服务器密度，因此出现了V1图上的纵向三母排2U 3子机的高密度架构。这种布局架构白璧微瑕：1、三个电源插框共占用了9U的宝贵机柜内空间，减少了IT设备可部署空间；2、总计高达18个双输入电源模块的总成本和效率仍有待提高；3、为增加服务器密度而采用的横向三母线架构，使母排成本和机构复杂度增加；4、六个机柜带一个电池柜的架构不够灵活，六个机柜同时部署颗粒度较粗，需要专门匹配的机房布局，存在电池柜占用了机房内的宝贵空间等不足。

基于V1版本，OCP继续于2015年推出了open rack V2 BBU供电架构的V2版本。

对比V2版和V1版，V2版以整机柜级的锂电池BBU代替了微模块级的48V铅酸电池柜。这样，数据中心市电直供到服务器机柜，配电层级更少，转换效率更高，部署更为灵活，建设速度更快等，更为契合互联网公司灵活、快速、低成本的需求。采用这种自带电池BBU的整机柜服务器之后，整个V2整机柜就像一台超高性能笔记本电脑一样，内部自带有掉电备份电池，可直接由市电来供电，不用担心市电异常下的数据丢失和安全，只要接上光纤网络和电源就可以快速上岗。

图4 Open rack V2版整机柜的详细空间布局图

图4是open rack V2的详细布局图

整个机柜2210mm高，外宽600mm但21英寸内宽可用，深度为1067mm，兼容V1版场地和IT设备部署等，可安装设备重量从950kg增加到1400kg。

从机柜内的空间布局上看

openrack V2有两个3U高的6.6KW PWR电源及BBU电池插框，分别覆盖上下两个供电区间，每个插框内有3个3300W的电源模块及3600W电池，BBU实现2+1冗余，服务器电源数量从V1的18个减少到了6个，电源及电池插框从V1的9U的空间减少到6U，使得IT设备的可用高度从30U增加到32U，还额外增加一个原电池柜可部署空间。机柜顶部3U高为交换机的空间，每8U的IT设备区内为4个2U高的托盘区，可以部署2U1的低密度机器，也可以部署2U3的高密度设备，均从单根母线排来供电，整机柜功率达到了12.6KW。

当然这个架构也有优化空间。针对一些超低或者超高功耗的机型，现有两个电源插框成本和空间浪费、可用容量不足；电源和电池模块的颗粒度较大，冗余备份成本较高；还有12V电源模块和电池BBU模块的内部设计过于复杂，成本高控制复杂。

图5 Open rack V2版交直流PDU及接线图

在PDU方面

open rack V2也从原来V1版左右两侧的交流PDU和48V直流PDU竖向部署方式改到了V2的机柜顶板下安装配电盒子部署方式，单路市电输入后经AC PDU分配成两个支路给到两个电源插框，经整流模块整流并对备份电池BBU充电后输出12.5V到输出母线排上。两个电源插框内同时输出两路300W的54V电源，经机柜顶部的DC PDU配电输出两路48V给TOR交换机供电，整体而言配电结构清晰，空间利用率很高，如图5的交直流PDU图所示。

图6 Open rack V2版PWR和BBU模块的电源插框图

在电池BBU方面

Open rack V2采用了业界成熟很高的18650锂电池，这种电池自动化生产，大规模一致性好、标准化高、供应商多、价格相对较低，在汽车、笔记本电脑和电动工具等行业有成熟广泛应用。这里选择了某品牌2000mAh，30A最大放电能力的大倍率功率型锂电池，电芯资料如图7。电池BBU模块和PWR电源模块的外形尺寸一致，不到1.5U高420mm深。每个BBU模块内部采用了13串4并的两组电池，双层两排叠放。浮充电压为52.5V，电池放电截至电压为 34V，每个BBU模块最大输出能力达到3.6KW，重量达到约10斤重。每个BBU内部做了BMS，以及可选的散热风扇，提高了运行的可靠性，如图8所介绍。最后，BBU模块也类似PWR电源模块，做了插框级的2+1冗余配置，可支持热插拔维护和更换。

图7 电芯资料介绍

图8 BBU模块介绍

电池的安全性至关重要，除了选择可靠性和成熟度较高的18650锂电池外，Open rack V2在BBU内部还做了各种充分的软硬件保护控制。如图9中，除了绿色部分正常工作情况下电池的充放电控制和充放电熔丝保护，还做了黄色部分的过欠压初级软保护，以及橙色部分的二级硬保护，确保不会出现热失控和着火等危险。在软件方面，分析各种可能的运行和切换模式，通过BBU内部的BMS控制系统和PWR的MCU管理系统联动，实现主从控制，如图10所示。

图9 电池的软硬件保护介绍

图10 电池在不同运行模式下的切换逻辑介绍

PWR整流模块方面设计非常复杂

如图11所示，每个PWR模块包括了3.3KW的12.6V主输出PSU整流模块、3.5KW电池对PFC母线放电的48V DC/DC升压模块、300W的54V DC/DC交换机供电降压模块、以及270W的48V电池BBU充电模块，在一个小PWR模块内部集成了四个电源，空间紧张，成本高，控制复杂，故障率高，无成熟产品可选，需深度定制。而且单个PWR整流模块和电池BBU模块的功率颗粒度较大，冗余成本较高，且扩容能力有限。

图11 Open rack V2版PWR电源模块的内部电源系统图

Open rack V2在PWR上做了很多努力，把PWR模块的设计得错综复杂。值得一提的是，270W的电池充电模块和3.5KW的电池放电模块没有放到电池BBU模块内部，除了BBU模块的散热和安全等方面的考虑外，Open rack V2很可能是给未来的48V供电埋下伏笔。业界成熟高效的48V整流模块，以及V2版的48V电池BBU，既可以实现48V母排上电池BBU的充放电管理，还可实现48V交换机直接从母排供电，将V2版本PWR模块内的四个电源模块精简成一个标准48V模块即可，而现有的V2版电池BBU可以沿用。这种架构下只需在服务器主板上做些简单修改，主板支持48V输入即可，Openrack V2版的现有布局可以沿用，可选更小的48V母排，未来直接升级到采用48V母线的Openrack 3.0版本。

图12 不同版本供电架构的对比

综上，本文对facebook数据中心供电架构做了简单分析，并针对Open rack V2 整机柜架构供电方案做了重点介绍，大胆猜测了其未来可能的发展方向，图12中做了简单汇总和对比。腾讯数据中心在学习先进之余整理出本文，希望能抛砖引玉，引发更多行业探讨，为中国的下一代天蝎整机柜供电架构献计献策。

版权声明：本文为腾讯数据中心原创，欢迎转载，转载需保持原文（包括标题、导语、正文、图片、数据以及文尾的二维码、版权声明等全部内容）完整。版权均属“深圳市腾讯计算机系统有限公司”所有，未经官方授权，不得使用。