云时代企业如何建设绿色数据中心(第一篇)

建设绿色数据中心的必要性

中国目前是是全球最大的温室气体排放国,节能减排是“十二五”的重要工作内容。发改委在2013年就明确了首批10个行业的企业温室气体排放核算方法。根据对数据中心测算结果表明,2015年我国数据中心能耗达到1000*100000000kWh左右,相当于三峡电站一年的发电量,而到2020年,这个数据将会是2015年数字的2.5倍。数据中心的高能耗,不仅给企业带来巨大的负担,也造成了全社会能源的巨大浪费。根据国家既定战略,“十三五”期间节能环保方面的投入将是“十二五”期间的两倍以上,且国家在未来十三五期间将针对水资源和大气资源的环保领域投入更多的资金。

根据IDC 2006年的数据,如果全球服务器降低服务器30%的耗电量,将会降低100万公吨的二氧化碳排放量。

作者

伯克利大学的论文

美国伯克利大学2008年的研究论文(A Case For AdaptiveDatacenters To Conserve Energy and Improve Reliability ),虚拟化技术的应用,不仅提高了硬件的稳定性,并且节约了大量的电力消耗。

下面是伯克利大学论文的封面,有兴趣的同学可以自行详细阅读。

该论文结论的部分指出,通过使用服务器虚拟化技术,减少数据中心的服务器耗电量,最终可以减少大量二氧化碳气体的排放。

建立绿色数据中心的步骤

总体而言,建设绿色数据中心分两大步骤:

  • 建设绿色数据中心的第一步----使用虚拟化软件和提升服务器整合比,减少服务器数量。
  • 建设绿色数据中心的第二步----通过使用虚拟化技术中的分布式电源管理,进一步节电。

第一步

谈到虚拟化,就不得不谈到整合比。所谓整合比,也就是一台物理机上运行虚拟机的个数。

目前在国内的金融行业,一般虚拟机整合比在1:10以内。而国际上一些行业用户,整合比有的高达1:20。即使我们用1:7这个保守的比率进行统计。在没有虚拟化软件的时候,运行70和OSI所需要的物理机是70台,使用了虚拟化以后,所需要的物理服务器的数量减少了6/7。那么服务器的总耗电量必然大幅下降;同时,由于服务器数量大幅减少,数据中心机房的冷却系统的耗电量也会随之下降。

第二步

通过使用虚拟化技术中的“分布式电源管理”,进一步降低电量。

在生产环境中,使用DPM进一步节电比率正常应在20%左右。

如果在开发环境,DPM节约的电量更多:

分布式电源管理的作用

分布式电源管理vSphere Distributed PowerManagement (DPM) 可持续优化数据中心的能耗。当 DRS 集群中的虚拟机所需资源较少时(例如在夜间和周末),DPM 会将工作负载整合到较少的服务器上,并关闭其余服务器以减少能耗。当虚拟机资源需求增加时,DPM 会让关闭的主机恢复联机,以确保达到服务级别要求。

其优势如下:

  • DPM是统一管理平台, 可以对所有主流的X86服务器进行管理;
  • DPM可以做到全自动化/半自动化/手动的程度设置;
  • 在利用率较低的时段,最多可使数据中心日常的电力和散热成本降低 20%(具体节电数值与虚拟机的负载和所承载的应用类型有关,一般节约电量在5%-20%之间,相同条件下,X86机架服务器之间由于独立供电,节电效果要略好于X86刀片服务器);
  • 自动管理数据中心的能效;
  • 当整个群集需要资源减少时,整合所有负载到少数几台服务器上;
  • 将不需要的服务器置于备用模式;
  • 当负载增加时,DPM自动将处于备用状态的服务器唤醒;
  • 在确保服务级别的同时,最大限度降低了数据中心服务器的耗电量;
  • 虚拟机没有中断或停机;

分布式电源管理的原理

分布式电源管理的功能,主流X86虚拟化技术均包含,如vSphere,RHEV等。其工作原理也类似。IBM Power服务器中节电的功能是AEM(Active Energy Manager),但此技术与X86虚拟化技术有所不同,通过是通过调整CPU频率实现。

vSphere中DPM实现如下:

启用 DPM 后,系统会将集群级和主机级的容量与集群中运行的虚拟机的需求做比较。如果正在运行的虚拟机的资源需求可由集群中的一部分主机满足,DPM 会将虚拟机迁移到这部分主机上,然后关闭不需要的主机。资源需求增加时,DPM 会重新启动这些已关闭的主机并将虚拟机迁移到这些主机上。DPM 执行的这一合理的动态集群规模调整操作不但降低了集群的能耗,而且不会影响虚拟机性能或可用性,集群能耗的降低也节约了成本。

DPM的计划任务

对于关键业务服务器, 为了保证 DPM 不对生产产生任何影响, DPM还可以与 vCenter 计划任务相结合:

在业务非高峰期(如第一天下午10:00), 通过 vCenter 的计划任务启动 DPM 功能. DPM 会根据物理服务器的使用情况,触发 vMotion 迁移一些虚拟机到几台集中的物理服务器上, 然后关闭已经没有运行虚拟机的服务器.

在业务高峰期来临之前(如第二天上午7:00),通过 vCenter 计划任务关闭 DPM 功能. 这样前一天被关闭的物理服务器会被加电启动. 虚拟机会根据负载情况进行 vMotion 迁移.

vSphere DPM配置步骤

由于篇幅有限,本文只介绍vSphere上DPM的配置步骤。

DPM的实现,是通过vCenter对物理服务器管理端口的调用实现的。

如果测试环境有 HP 的机器, 那么使用 ilo 方式管理是最简单的, 需要 vCenter能够 ping 通 ilo 的 IP 地址, 然后在 vCenter 中添加即可. 如果是 IBM 的服务器,可以使用 IPMI (IMM IP)或者 wake on lan 的方式。

1. 首先登陆 vCenter client, 将 HP 服务器的 ilo IP 地址,用户名,密码等. 需要对所有的esxi host 都进行这个操作.

2. 在 vCenter 中设置集群. 在vCenter的Cluster中配置DRS和DPM,DRS和DPM都设置为自动,验证DPM功能没有问题:

3. 设置完毕以后,让服务器运行1天, DPM功能开启后,DPM根据群集资源的需求,开启或者待机ESXi主机。如果它起到了作用,那么表示配置生效。

DPM计划任务的配置步骤

当群集资源需求迅速增加时,DPM必须开启额外的ESXi主机来增加需求,在这段时间,环境可能经历延迟或者性能调优,例如在早上6:00到11:00期间被认为是一天中负载高峰期.

那么,通过每天早上6:00的一个DPM禁用的计划任务,管理确保了所有的ESXi主机在早上负载高峰时是开启状态。当负载高峰过后,也就是11:00运行一个DPM取消禁用的计划任务,这样达到节省开支的作用,最大限度的发挥DPM的作用,下面我们来配置DPM计划任务。

1. 进入vCenter清单的计划任务:

2.选择“关闭电源管理”

3.设置频率和开始时间及时间间隔,这里选择负载高峰开始之前的早上6:00.

4.选择管理员的接收电子邮箱地址,这样当DPM功能关闭的时候,会给IT管理员发送电子邮件。

5.查看关闭DPM配置信息。

6.设置开启DPM的计划任务

7.设置频率和开始时间及时间间隔,这里选择负载高峰过后的早上11:00.

8.选择管理员的接收电子邮箱地址,这样当DPM功能启动的时候,会给IT管理员发送电子邮件。

9.查看配置信息

10. 这样,DPM任务计划就配置完成了,您可以根据公司的实际情况调整时间区间。

使用DPM的注意事项

1. 适用环境

节假日、夜间,资源利用率显著降低的环境(开发、VDI)。如果是负载持续很高的业务系统,不适于使用DPM。

2. 建议DRS设置为「全自动化」模式

如果不能自动执行vMotion,主机将无法执行自动关闭电源操作,虚拟机开机时也将不能根据服务器的负载进行迁移。

3. 在已知的高负载(突然)时段,如营业时间内,可通过调度功能提前启动主机电源

由于负载的突然升高,将导致主机的电源被开启,届时会有一定的启动延迟时间(至少5 分钟)

4. 集群内的主机最好拥有相等的配置资源(CPU 类型、内存)

5. DRS 的阈值不能设置为「保守」模式

电源关闭时,如果DPM 不发出优先级1 推荐,DRS将无法自动执行vMotion操作,导致主机电源无法自动关闭。

原文发布于微信公众号 - 大魏分享(david-share)

原文发表时间:2016-04-27

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

终于!大家心心念念的PyTorch Windows官方支持来了

机器之心整理 参与:机器之心编辑部 五个小时前,PyTorch 官方 GitHub 发布 0.4.0 版本,大家心心念念的 Windows 支持终于来了。 Gi...

31380
来自专栏数据小魔方

shiny动态仪表盘应用——中国世界自然文化遗产可视化案例

这一篇很早就想写了,一直拖到现在都没写完。 虽然最近的社交网络上娱乐新闻热点特别多,想用来做可视化分析的素材简直多到不可想象,但是我个人一向不追星,对明星热文和...

66170
来自专栏编程

机器学习之环境搭建

读书的时候,很喜欢数学,然则,发现生活中很少用到稍微深点的数学知识,毕业后发现工作里真心也很少用到数学,因为算法都基本用不上。再也没有接触到数学。但是我知道数学...

32660
来自专栏挖数

这5款可视化利器,让数据在屏幕上跳舞

用好可视化工具,往往对枯燥的数据有点石成金的效果,今天挖数给大家推荐5款数据可视化的利器,一起让数据灵动起来! PowerBI 微软出品,与Excel无缝连接...

34270
来自专栏大数据挖掘DT机器学习

机器学习数据采集入门经验分享

在新的一年里,很多人都在思考如何利用机器学习(ML)算法来提高产品或服务的质量。 PredictionIO公司与许多公司合作,部署他们的第一个ML系统和大数据基...

43480
来自专栏AI科技评论

开发 | 如何在Kaggle中高效搜索数据集?快吃下这枚安利

AI科技评论按:对于关注数据科学的同学来说,Kaggle上庞大的数据集是一个极好的资源池,但是这么多的数据,如何进行更精准的搜索?近日,Kaggle官方博客就刊...

40090
来自专栏企鹅号快讯

PowerStager:一款拥有独特混淆技术的恶意工具正在崛起

“用指尖改变世界” ? Palo Alto Networks公司警告说,自2017年4月以来,一种恶意工具已经成为人们关注的焦点之一。这主要原因是由于它采用了相...

22870
来自专栏人工智能头条

机器学习数据采集入门经验分享

14140
来自专栏专知

【观点】漫谈推荐系统及数据库技术

点击上方“专知”关注获取更多AI知识! 【导读】推荐系统和数据库技术,一个是偏机器学习数据挖掘相关的应用,一个是偏系统存储相关的技术,这两者在实际中有很大的应用...

46490
来自专栏AI研习社

如何在 Kaggle 中高效搜索数据集?快吃下这枚安利

对于关注数据科学的同学来说,Kaggle 上庞大的数据集是一个极好的资源池,但是这么多的数据,如何进行更精准的搜索?近日,Kaggle 官方博客就刊登了 Rac...

29640

扫码关注云+社区

领取腾讯云代金券