腾讯数据中心供电系统节能最佳实践

背景

随着互联网的快速发展，数据中心的规模及能耗也越来越大，目前全球数据中心的能耗已经超过了能源使用量的1.3%，我国数据中心的能耗预计2015年将相当于三峡电站一年的发电量。

为此，腾讯数据中心也越来越关注Ecology(生态)、Conservation(节能)和Optimization(优化)。

数据中心常用的UPS系统供电效率较低，其自身损耗就占到数据中心PUE的10%左右，而天津数据中心二期采用腾讯的第三代供电系统，即“市电直供+高压直流（HVDC）”双路供电架构，市电直供的供电效率接近100%，高压直流系统相比传统UPS减少了逆变器的损耗，供电效率较后者也明显提高，高压直流的ECO模式则将供电效率更上一层楼，综合这些特点的腾讯数据中心供电效率如何？

1、节能休眠分析

图 1 腾讯市电直供+高压直流双路供电架构

数据中心高压直流系统的ECO模式，是根据系统实际负载大小决定启用的整流模块数量，其余整流模块进入休眠模式，以达到节能的效果。当系统负载率达到当前ECO模式上限时，全部或部分整流模块退出休眠状态，和后备电池一起对负载供电，然后再根据负载率的大小逐渐休眠不需要开启的整流模块，直至负载率高于ECO模式下限，通过节能休眠自动实现全负载范围的高效率。

如下是四种不同型号高压直流系统的ECO模式效率图：

图 2 高压直流系统开启节能休眠（ECO模式）前后的效率对比

图2中，红色表示高压直流系统普通模式的供电效率，蓝色表示该系统ECO模式的供电效率。从上图不难看出，ECO模式开启前，高压直流系统的供电效率在95%左右，ECO模式开启后，供电效率进一步提高，尤其是负载率在30%左右及以下时，这种趋势更加明显。其中A系统在各负载率下的效率已经非常接近，D系统在10%负载率时的高压直流系统供电效率已经达到95%！

前面提到，腾讯数据中心已经发展到第三代供电架构，即“市电直供+高压直流”双路供电系统。该系统的高压直流部分采用图1中的四种型号设备并开启ECO模式后，对比传统UPS供电效率和双路高压直流ECO模式供电效率如下：

图3 市电直供+高压直流、双路高压直流及UPS供电效率对比

为方便对比，图3中同时列出了传统UPS系统的供电效率（红色曲线），从图中容易看出，腾讯第三代数据中心供电系统效率比传统UPS系统、开启ECO模式的高压直流系统供电效率显著提高，各个负载率下供电效率均在97%以上，且在不同的负载率时，供电效率波动较小。其中部分系统的负载率在20%以上时，供电效率已经稳定在98%以上！

备注：这里做对比的UPS选用了行业主流在用的国际一线品牌工频UPS实测效率数据，在典型的20%到40%负载率段内，平均效率不高于90%，虽然其峰值效率号称94%以上。

2、节能效果对比分析

通过前面的介绍，已经了解到腾讯第三代数据中心（“市电直供+高压直流”双路供电架构）的供电效率是非常高的，特别是在轻载情况下更为节能。相对高压直流系统、传统UPS在不同负载率下的节能效果百分比如下：

图4 采用市电直供+高压直流架构、HVDC系统及传统UPS节能对比

按照一栋数据中心10兆瓦功率计算，则实际可节约功率预计为：

图5 采用市电直供+高压直流架构、HVDC系统及传统UPS节能功率

按照数据中心典型的60%负载率，可以节约240KW，则每年可节约的电费近200万元，这里还没考虑UPS散热需要额外空调能耗，如果算上的话可以每年节约电费近300万元，因此总节能效果是非常可观的。

这里补充说明一点，目前240V高压直流系统的每瓦价格已经比传统UPS系统更低，随着高压直流技术应用规模不断加大生态日渐成熟起来，未来高压直流每瓦价格还有较大的下降空间，而相比之下UPS行业的价格下降空间已经不大了。因此从TCO层面上讲，不管是设备投资成本（CAPEX），以及运营成本（OPEX）方面，高压直流技术都很有优势。

3、故障率分析

采用高压直流技术实现这么好的节能效果，那么是否会给IT设备带来故障率提升呢？我们再以某个大型数据中心为例，采用UPS供电区域的服务器故障率如图6蓝色曲线所示（包含了所有故障事件，如服务器重启、硬盘、主板故障等等），而240V高压直流供电区域内的同样服务器故障率如红色曲线所示，两者的对比结果表明，采用240V高压直流供电的机房服务器的故障率不但没有增加，实际反而还会更低些，这个结果在腾讯全国多个数据中心内都有类似验证。

图6 UPS供电和240VHVDC供电服务器侧故障率对比

因此，从腾讯数据中心的应用实践经验上看，采用240V高压直流给普通服务器供电，不但不会导致服务器故障率提升，甚至故障率还略低些，且截至目前没有任何服务器因为采用了高压直流供电后出现批量故障，因此240V直流不会给IT设备带来故障率提升。

4、机房侧事故分析

我们统计腾讯数据中心过去两三年的基础设施事故，会发现UPS故障发生的次数较多，总发生次数占比达9%，基本上每年都会发生四五起UPS故障导致的服务器掉电恶性事故发生。但采用高压直流供电的数据中心，虽然偶尔会有整流模块故障发生，但从来没有过因高压直流电源系统故障而导致的服务器掉电事故发生过（腾讯从2010年开始采用高压直流技术，目前存量在用的高压直流系统数量很多），所以从基础设施侧故障次数上看，采用高压直流供电的数据中心可靠性要高于采用UPS供电的数据中心。

图7 腾讯数据中心基础设施故障原因次数比例

我们继续从基础设施故障导致服务器掉电总数量的层面来分析，高达41%的服务器掉电原因是UPS故障，虽然UPS故障发生次数占比仅仅9%，但其中某次UPS故障就影响到了上千台服务器掉电，故障波及面非常大；

同样的，因为高压直流供电机房没有出现过因为高压直流电源系统问题导致的服务器掉电事故发生，所以从这个层面上看，受高压直流系统故障受影响的服务器数量为零，采用高压直流的数据中心供电可靠性方面有了非常大的提升。

图8 腾讯数据中心基础设施故障导致服务器掉电数量的比例

总结

腾讯第三代数据中心供电系统，采用“市电直供+240V高压直流”系统架构，该架构开启ECO模式后的供电效率高达近98%，比双路高压直流系统节能2%以上（图1）、比传统UPS节能6%以上（图3）。且节能效果在轻载下尤为明显，开启ECO模式后的高压直流系统在负载为30%及以下时，总系统节能高达10%以上，这还没算电源系统散热能耗带来的额外节能收益。

从IT设备侧统计，采用240V高压直流供电的机房服务器的故障率不但没有增加，反而还会更低些；从数据中心基础设施侧统计，虽然UPS故障发生次数占比仅仅9%，但高达41%的服务器掉电原因是UPS故障导致，相比之下，采用高压直流供电的数据中心，虽然偶尔有整流模块故障发生，但从来没有过因高压直流电源系统故障导致的服务器掉电事故发生过，从基础设施侧看，采用高压直流供电的数据中心可靠性要高于采用UPS供电的数据中心。

从设备投资成本及运营维护等其他方面，市电+240V高压直流系统较传统的数据中心供电架构也有很大优势，值得更多用户借鉴采用。

版权声明：本文为腾讯数据中心原创，欢迎转载，转载需标明出处。版权均属“深圳市腾讯计算机系统有限公司”所有，未经官方授权，不得使用。

本文部分图片来自互联网，如果涉及到版权问题，请联系TIDC@tencent.com。