首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >助力天蝎,重磅干货!——Open rack V2 整机柜架构供电介绍

助力天蝎,重磅干货!——Open rack V2 整机柜架构供电介绍

作者头像
腾讯数据中心
发布2018-03-16 15:21:53
2.3K0
发布2018-03-16 15:21:53
举报
文章被收录于专栏:腾讯数据中心腾讯数据中心

随着IT业务的快速发展,数据中心的用电成为企业的沉重负担。国内某运营商仅2009年的耗电量就高达98亿度,为能源消耗支付近100亿元。采用市电直供,同时做好停电保护,可大幅降低数据中心电力系统能耗。图1是facebook市电直供数据中心和传统数据中心在供电方面的能效比较。

在传统数据中心供电架构(采用了集中式UPS)下,从电网到服务器主板浪费了21%~27%的能源,而在facebook数据中心采用分布式市电直供技术的架构下,只有7.5%的能源损耗(含服务器电源损耗),初期设备投资也得以减少。

图1 facebook第一代数据中心供电和传统UPS供电效率对比

图2 facebook第一代数据中心实际落地实际照片

图2是facebook第一代数据中心供电架构的实拍照片

数据中心内部不再有传统UPS,而是每6个IT机柜配一套48V电池。所有服务器都是市电直供到机柜,只有市电异常情况下,这些48V电池才作短时备份至柴油发电机起来继续带载。针对不同类型和不同功率的服务器,备份电池容量有56KW和85KW两种规格,5组48V电池并联,电池备份时间为90秒。电池柜内有3个2KW白金版48V电源模块给电池充电,兼给TOR交换机供电。在服务器内,facebook还定制了450W的277Vac和48Vdc双输入电源,市电停电后10ms内切换到48V DC/DC电源供电。每个服务器机柜内有30台1.5U高的服务器、30个电源模块,机柜内空间得到充分利用。但采用机架式服务器,每个服务器自带电源和风扇等成本高效率低,且部署密度和建设交付速度不尽人意。

因此OCP快马加鞭,发布了其整机柜的open rack架构

图3 Open rack的V1版整机柜和V2版整机柜

如图3中open rack 的V1版示意图

每个机柜内有3个4.2KW输出的电源插框,每个插框内有6个750W的双输入电源模块(部分功率给交换机供电),服务器电源总数量从30个减少至18个,但3套电源插框共占用了9U的高度,使得IT设备的可用高度从45U减少到30U,为保证服务器上架数量只能横向增加服务器密度,因此出现了V1图上的纵向三母排2U 3子机的高密度架构。这种布局架构白璧微瑕:1、三个电源插框共占用了9U的宝贵机柜内空间,减少了IT设备可部署空间;2、总计高达18个双输入电源模块的总成本和效率仍有待提高;3、为增加服务器密度而采用的横向三母线架构,使母排成本和机构复杂度增加;4、六个机柜带一个电池柜的架构不够灵活,六个机柜同时部署颗粒度较粗,需要专门匹配的机房布局,存在电池柜占用了机房内的宝贵空间等不足。

基于V1版本,OCP继续于2015年推出了open rack V2 BBU供电架构的V2版本。

对比V2版和V1版,V2版以整机柜级的锂电池BBU代替了微模块级的48V铅酸电池柜。这样,数据中心市电直供到服务器机柜,配电层级更少,转换效率更高,部署更为灵活,建设速度更快等,更为契合互联网公司灵活、快速、低成本的需求。采用这种自带电池BBU的整机柜服务器之后,整个V2整机柜就像一台超高性能笔记本电脑一样,内部自带有掉电备份电池,可直接由市电来供电,不用担心市电异常下的数据丢失和安全,只要接上光纤网络和电源就可以快速上岗。

图4 Open rack V2版整机柜的详细空间布局图

图4是open rack V2的详细布局图

整个机柜2210mm高,外宽600mm但21英寸内宽可用,深度为1067mm,兼容V1版场地和IT设备部署等,可安装设备重量从950kg增加到1400kg。

从机柜内的空间布局上看

openrack V2有两个3U高的6.6KW PWR电源及BBU电池插框,分别覆盖上下两个供电区间,每个插框内有3个3300W的电源模块及3600W电池,BBU实现2+1冗余,服务器电源数量从V1的18个减少到了6个,电源及电池插框从V1的9U的空间减少到6U,使得IT设备的可用高度从30U增加到32U,还额外增加一个原电池柜可部署空间。机柜顶部3U高为交换机的空间,每8U的IT设备区内为4个2U高的托盘区,可以部署2U1的低密度机器,也可以部署2U3的高密度设备,均从单根母线排来供电,整机柜功率达到了12.6KW。

当然这个架构也有优化空间。针对一些超低或者超高功耗的机型,现有两个电源插框成本和空间浪费、可用容量不足;电源和电池模块的颗粒度较大,冗余备份成本较高;还有12V电源模块和电池BBU模块的内部设计过于复杂,成本高控制复杂。

图5 Open rack V2版交直流PDU及接线图

在PDU方面

open rack V2也从原来V1版左右两侧的交流PDU和48V直流PDU竖向部署方式改到了V2的机柜顶板下安装配电盒子部署方式,单路市电输入后经AC PDU分配成两个支路给到两个电源插框,经整流模块整流并对备份电池BBU充电后输出12.5V到输出母线排上。两个电源插框内同时输出两路300W的54V电源,经机柜顶部的DC PDU配电输出两路48V给TOR交换机供电,整体而言配电结构清晰,空间利用率很高,如图5的交直流PDU图所示。

图6 Open rack V2版PWR和BBU模块的电源插框图

在电池BBU方面

Open rack V2采用了业界成熟很高的18650锂电池,这种电池自动化生产,大规模一致性好、标准化高、供应商多、价格相对较低,在汽车、笔记本电脑和电动工具等行业有成熟广泛应用。这里选择了某品牌2000mAh,30A最大放电能力的大倍率功率型锂电池,电芯资料如图7。电池BBU模块和PWR电源模块的外形尺寸一致,不到1.5U高420mm深。每个BBU模块内部采用了13串4并的两组电池,双层两排叠放。浮充电压为52.5V,电池放电截至电压为 34V,每个BBU模块最大输出能力达到3.6KW,重量达到约10斤重。每个BBU内部做了BMS,以及可选的散热风扇,提高了运行的可靠性,如图8所介绍。最后,BBU模块也类似PWR电源模块,做了插框级的2+1冗余配置,可支持热插拔维护和更换。

图7 电芯资料介绍

图8 BBU模块介绍

电池的安全性至关重要,除了选择可靠性和成熟度较高的18650锂电池外,Open rack V2在BBU内部还做了各种充分的软硬件保护控制。如图9中,除了绿色部分正常工作情况下电池的充放电控制和充放电熔丝保护,还做了黄色部分的过欠压初级软保护,以及橙色部分的二级硬保护,确保不会出现热失控和着火等危险。在软件方面,分析各种可能的运行和切换模式,通过BBU内部的BMS控制系统和PWR的MCU管理系统联动,实现主从控制,如图10所示。

图9 电池的软硬件保护介绍

图10 电池在不同运行模式下的切换逻辑介绍

PWR整流模块方面设计非常复杂

如图11所示,每个PWR模块包括了3.3KW的12.6V主输出PSU整流模块、3.5KW电池对PFC母线放电的48V DC/DC升压模块、300W的54V DC/DC交换机供电降压模块、以及270W的48V电池BBU充电模块,在一个小PWR模块内部集成了四个电源,空间紧张,成本高,控制复杂,故障率高,无成熟产品可选,需深度定制。而且单个PWR整流模块和电池BBU模块的功率颗粒度较大,冗余成本较高,且扩容能力有限。

图11 Open rack V2版PWR电源模块的内部电源系统图

Open rack V2在PWR上做了很多努力,把PWR模块的设计得错综复杂。值得一提的是,270W的电池充电模块和3.5KW的电池放电模块没有放到电池BBU模块内部,除了BBU模块的散热和安全等方面的考虑外,Open rack V2很可能是给未来的48V供电埋下伏笔。业界成熟高效的48V整流模块,以及V2版的48V电池BBU,既可以实现48V母排上电池BBU的充放电管理,还可实现48V交换机直接从母排供电,将V2版本PWR模块内的四个电源模块精简成一个标准48V模块即可,而现有的V2版电池BBU可以沿用。这种架构下只需在服务器主板上做些简单修改,主板支持48V输入即可,Openrack V2版的现有布局可以沿用,可选更小的48V母排,未来直接升级到采用48V母线的Openrack 3.0版本。

机房支撑

电源数量

电源功率

交换机供电

供电空间

IT可用空间

总TCO

版本

48V电池

30个

450W

48V铅电池

需电池柜

12V V1

48V电池

18个

750W

48V铅电池

9U

需电池柜

12V V2

(4+2)个

3300W

PWR模块

6U

32U可用

48V V3(?)

(5+1)个

3000W

通信电源模块

4U

34U+可用

图12 不同版本供电架构的对比

综上,本文对facebook数据中心供电架构做了简单分析,并针对Open rack V2 整机柜架构供电方案做了重点介绍,大胆猜测了其未来可能的发展方向,图12中做了简单汇总和对比。腾讯数据中心在学习先进之余整理出本文,希望能抛砖引玉,引发更多行业探讨,为中国的下一代天蝎整机柜供电架构献计献策。

版权声明:本文为腾讯数据中心原创,欢迎转载,转载需保持原文(包括标题、导语、正文、图片、数据以及文尾的二维码、版权声明等全部内容)完整。版权均属“深圳市腾讯计算机系统有限公司”所有,未经官方授权,不得使用。

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2015-09-18,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 腾讯数据中心 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档