大数据文摘出品
编译:罗然、quedy、Zhifu、笪洁琼、Aileen
将你最新的假期照片上传到Facebook,它们最终会被存放在俄勒冈州一个名叫Prineville的小镇上,这里有Facebook已经建立的三个巨型数据中心,它们还计划再建两个。
这些巨大的数据中心有多大呢?
内部空间面积超过航空母舰,成千上万的电路板一排排整齐的排列着,一直延伸到没有窗户的大厅,这里面的走廊太长,工作人员需要用滑板穿梭其中。
这些巨大的建筑物是信息交易商的宝库。
按今年市值排名,全球前五大公司分别是苹果,亚马逊,Alphabet,微软和Facebook,取代曾经的壳牌和埃克森美孚等巨头。尽管信息工厂可能不会喷出黑烟或研磨油腻的齿轮,它们不会对环境造成影响,但随着对互联网和移动电话流量需求的猛增,信息产业可能导致能源使用量激增。
数据中心每年使用的电量估计为200太瓦时(TWh)。
这个用电量是什么概念呢?它大概相当于伊朗国家的能源总消耗、全球用于运输电力的一半、同时也是全球电力需求的1%。
数据中心对总体碳排放贡献约0.3%,而信息和通信技术(ICT)生态系统整体,在包含个人数字设备,移动电话网络和电视的全面定义中,占全球的2%以上排放。这使得ICT的碳排量与航空业的燃料排放量相当。
有人预测,当今天出生的孩子长到青少年时,ICT的用电量可能会超过全球总用量的20%,数据中心的使用量超过三分之一。如果计算密集的加密货币比特币继续增长,这还会导致能源需求的急剧增加。
BITCOIN的侵蚀
自从比特币2008年诞生以来,人们越来越关注“挖矿”能源需求迅速增加。虚拟硬币是由矿工“铸造”的,他们购买专门的服务器来处理日益增长的区块链中的时间密集型计算,这证明了新的加密币的有效性。
来自PwC的数据顾问Alex de Vries说,估计,到目前为止,比特币正在吞噬全球至少0.33%的电力。包括其他加密货币,如以太坊,高达0.5%。 他说:“我觉得这很令人震惊”。
但其他人,包括加利福尼亚州圣地亚哥的加密货币研究员Marc Bevand表示,这些数字是基于总体假设的夸大其词。Bevand估计,到2019年1月,能源使用量可能会低至De Vries所说数字的一半。正在收集加密货币数据用电量的加州IT顾问Jonathan Koomey表示:“有增长,但人们正在大肆炒作”。
目前,Bevand表示,比特币采矿仅在电力便宜的地方(约为全球平均水平的一半)有利可图,其中包括中国,冰岛和北美哥伦比亚河沿岸水力发电丰富的地区。
随着比特币矿工进入一个地区并对电网施加压力,能源公司通过提高费用做出回应。这可能会促使矿场关闭或采取措施大幅提高其硬件或系统冷却的能效。
Bevand说到,比特币可能会迁移到能源密集度较低的区块链系统(正如以太坊计划的那样)。或者,Koomey指出,“假设比特币因某种原因而崩溃;所有这些设施都将消失。”
目前,尽管数据需求不断增长,但ICT的用电量几乎持平,因为增加的互联网流量和数据负载可以通过提高效率来抵消 - 包括关闭旧设施以支持Prineville等超高效中心。但这样的好景可能会在十年内消失。在加利福尼亚州伯克利,负责美国能源部Lawrence Berkeley国家实验室数据中心能效专家中心的 Dale Sartor说:“现在的趋势是好的,但是5到10年后它是什么样子就是个问题了。”
随着未来渴望大量能源的需求日益临近,世界上一些顶尖公司的学术实验室和工程师正在探索如何控制这一行业带来的环境影响。
他们正在简化计算流程,转向可再生能源,并研究更好的方法来冷却数据中心并回收废热。来自伊利诺伊州埃文斯顿市,西北大学的工程师Eric Masanet表示,我们必须对信息通信技术的能源使用“保持警惕”,他是国际能源署(IEA)关于数字化和能源去年报告的共同撰写人-他表示,如果我们想保持领先地位的话,我们应该控制未来的能源需求。
能源消耗挂高档
在瑞典的华为从事可持续ICT工作的Anders Andrae预测,到2030年数据中心的用电量可能会增加15倍,达到预计全球需求量的8%,但是这个可怕的数字是有争议的。
Masanet说:“多年来,人们对ICT能源使用的增长做出了许多危言耸听的预测,而且所有这些都被证明是无意义的。” 去年的IEA报告估计,尽管数据中心的工作量将会增加,到2020年将增加两倍,但效率提升意味着他们的电力需求只会下降3%。研究人员建议,随着智能手机接管大型设备,信息通信技术的碳排放总量甚至可能在2020年呈下降态势。
在过去的五年中,数据中心的电力需求大致保持不变,部分原因是“超大规模的转变”。随着超高效数据中心的兴起,这些工厂采用有组织的,统一的计算架构,可轻松扩展到数十万台服务器。Bill Carter,Open Compute Project的首席技术官说到,大规模的数据中心大约在十年前出现,当时像亚马逊和谷歌这样的公司需要25万台或更多服务器区组成其数据中心。
2011年起,Facebook发起了Open Compute Project,这个开放计算计划旨在分享硬件和软件解决方案,使计算更加节能。在当时,大多数公司通常不会使用计算公司提供的现成硬件,因为这么做并没有什么意义。
Carter说,在大规模的数据中心你有机会将不需要的东西全部剥离,只剩下你需要的核心功能,并且你还可以对应用进行特定的优化。新的超大规模设备制造商为了这个目的设计了裸机服务器。
我们去除了视频连接器,因为不需要显示器。没有闪烁的灯光,因为没有人在机架周围走动。 也没有螺丝钉。平均而言,超大规模计算中心的一台服务器据说可以替代传统中心的3.75台服务器。
信息和通信技术制造的二氧化碳排放占全球碳排放量的2%以上。
超大规模计算中心所节省的成本可以从他们的电力使用效率(PUE)中看出。PUE定义为数据中心所需的总能量,包括灯光和冷却,除以用于计算的能量(PUE为1.0是完美的分数)。 传统数据中心的PUE通常约为2.0;对于超大规模计算中心,PUE已经削减到大约1.2。谷歌的所有计算中心平均PUE为1.12。
硬件较旧或技术栈较为陈旧的数据中心可能包含难以优化的设备组合,有些设备甚至完全没有用处。2017年,来自California的顾问和领先的国际IT专家Jonathan Koomey与一位同事一起调查了藏在公司壁橱和地下室中的16,000多台服务器,他们发现其中四分之一都是“僵尸服务器”。
这些服务器没有处理任何有用的工作却在白白消耗电力,这也许是因为有人忘了把它们关掉。Koomey说:“这些服务器除了使用电力之外什么用都没有,这太过分了!”
在2016年的一份报告中, Lawrence Berkeley国家实验室估计,如果美国小型数据中心中80%的服务器转移到超大规模的数据中心的话,这一举措可以降低25%的能耗,而这项行动已经在展开中。
今天,全世界有大约400个超大规模数据中心,其中许多数据中心为小型企业或大学提供服务,而这些企业在过去曾拥有自己的服务器。现在这些企业的用电消耗已经占据全球数据中心用电量的20%。 IEA表示,到2020年,超大规模中心将占其中的近一半(参见下图“超大规模的转变”)。
发热和散热
一旦超大规模的数据中心尽可能多地承担了负载,进一步提高效率会变得更加艰难,但企业还在努力。一种新兴的管理技术可以确保服务器尽可能多地全速运行,而其它服务器则可以关闭而不是处于闲置状态。
Facebook发明了一个名为Autoscale的系统,这一系统可以减少在低流量时间内需要打开的服务器数量。Facebook在2014年的报告中指出,在试验中这套系统可以节约用电达到10-15%。
超大规模数据中心削减PUE的一个重要方法是解决冷却问题。在传统的数据中心,空调制冷所产生的花销占总共能源账单的40%。
使用蒸发水来冷却空气的冷却塔造成了另一个环境问题:2014年美国的数据中心总共使用了大约1000亿升水。摆脱压缩冷却空调和冷却塔有助于节省能源和水。
现在,比较普遍的一种非常简单的解决方案:将数据中心建造在凉爽的地点,利用空气吹入其中来降温。
这些中心不必坐落在冷到能结冰的区域:俄勒冈州 的Prineville足够凉爽,可以利用所谓的“空气冷却”,许多其它数据中心的位置也是如此,在瑞士苏黎世的IBM研究中心物理学家Ingmar Meijer如此解释。
在这个位于俄勒冈州的谷歌数据中心,蓝色管道供应冷水,红色管道返回需要被冷却的温水。
相比空气来说,自来水是更好的热导体。通过允许使用温水冷却数据中心,冷却系统中生产和再循环的能量消耗会更少。
即使在温带气候下,温水冷却已经成为管理产生大量热量的高性能计算机的事实上的解决方案。美国能源部实验室和位于德国Garching的巴伐利亚科学院拥有的SuperMUC超级计算机都在采用这一方案。温暖气候的数据中心有时也投资于温水冷却系统,例如eBay位于亚利桑那州凤凰城的Project Mercury数据中心。
对于高密度,高功率的数据中心,最有效的方法是将服务器浸入不导电的植物油或矿物油中。 Facebook在2012年尝试将其运用在服务器上,作为一种让服务器运行更快却不会过热的散热方式。 Meijer说,目前浸入式冷却的维护还十分复杂,是一个非常棘手的专业领域。
2016年,谷歌调整旗下的DeepMind人工智能(AI)研究团队接手一项任务,调整其数据中心冷却系统使其能更好得适应天气和其他因素的影响。
谷歌表示,在测试中,该团队将其冷却能源费用降低了40%,并且“产生了该网站有史以来最低的PUE分数”。今年8月,谷歌宣布已将一些数据中心的冷却系统转由AI算法调整。
卡特表示,探索创新式的冷却方案并使已有冷却方案成本更低的办法将在未来几年变得尤为重要。 他表示,“当我们与世界相联时,有一些地区(非洲和南亚)却无法享受免费的空气冷却”,并且其他开发项目将以新的方式对IT基础架构负担。
如果自动驾驶汽车涌入道路,例如,在移动电话塔底部的小型服务器,用于帮助汽车进行通信和处理数据,将需要更高功率的设备来实时处理AI工作负荷和达到一个更好的冷却效果。
今年,开放计算项目(the Open Compute Project)启动了一个先进冷却项目,旨在使得高效的冷却系统更易于获取。 “超级公司(例如谷歌、亚马逊、微软等)已经解决了这些问题,它们已经非常高效”,卡特表示, “我们正尝试帮助其他机构,也能享受AI带来的红利。”
还有一种很好的冷却办法是服务器散热法,它能通过节省其他地方的电力需求达到冷却效果。 “它就像一个免费资源,”一位苏黎世的IBM研究员Patrick Ruch说。
举几个例子:巴黎的Condorcet数据中心将其余热直接送到邻近的气候变化植物园,在那里科学家可以研究高温对植被的影响。 一家瑞士的IBM数据中心利用余热为附近的游泳池供暖。
但是热量传播并不方便,因此废热利用往往局限于数据中心附近的消费群体,或者是城市里已经使用管道热水供暖的家庭。
零零散散有参与者致力于废热的推广使用,包括将其变为电力的初步努力。 还有其他办法是利用废热来运行冷却设备——例如,IBM的THRIVE-(200万美元项目)正在开发新材料,可以更好地吸收水蒸气并在受热时释放水蒸气,从而制造出更高效的吸附式热泵以维持数据中心的恒温。
未来
从核心上讲,数据中心的水平也就是其构成的处理器的水平——且存在有改进的余地。自20世纪40年代以来,计算机每千瓦时(KWh)能量的运行次数在峰值性能方面大约每隔1.6年翻一番,在平均性能方面大约每2.6年翻一番。这是50年来产生的100亿倍的改进。根据Koomey的计算,从某种程度上说,自2000年以来,改进速度已经放缓,而当代计算机将在不久的几十年内遇到晶体管功能限制的物理障碍。
“我们正面临着收缩量的极限,”Koomey说。 他说,在此之后实现可比较的效率提升将需要在硬件构建和计算能力方面进行革命:可能需要转向量子计算。 “这基本上不可能预测,”他说。
虽然核心重点是减少ICT的能源使用,但值得注意的是,信息产业也可以使我们在其他地方的电力使用变得更加智能和高效。 国际能源署(IEA)指出,如果所有车辆都变得自动化,举个例子,一种乌托邦式的可能,即更平稳的交通流量和更容易的拼车将使运输业的总能源需求减少60%。
在过去25年中,占全球电力需求增长60%的建筑物在提高能效方面具有巨大的发展空间:智能供暖和制冷,连接建筑的传感器和天气预报,可以节省10%的未来能源需求。
总部位于Brussels的行业协会,全球电子可持续发展倡议组织的主任Chiara Venturini估计,IT行业目前的碳足迹减少了1.5倍,到2030年可能会增加近10倍。
信息通信技术(ICT)还可以通过让可再生能源比化石燃料更具优势来帮助减少全球排放。 2010年,环保组织绿色和平组织发布了第一份ClickClean报告,该报告对主要公司进行了排名,并对IT行业的环境负担进行了重点关注。
2011年,Facebook承诺100%使用可再生能源。 谷歌和苹果紧随其后于2012年做出相应承诺。截至2017年,近20家互联网公司也做了同样的事情。(然而,百度,腾讯和阿里巴巴等中国互联网巨头并没有跟随。)在2010年前,IT公司对能源公司的可再生能源购买协议的贡献微小;到2015年,他们占这些协议的数量达到了一半以上。谷歌是全球最大的可再生能源企业采购商。
减少对数据的渴望可能是防止能源使用进入超级驱动的最终方式。 但很难看到有人同意,比如说,限制他们使用的Netflix,占美国互联网流量的三分之一以上。 UK Cheltenham的咨询工程师、数据中心专家Ian Bitterlin说,仅在手机上禁用高清彩色摄像头可以将欧洲的数据流量减少40%。
但是,他补充说,似乎没有人敢制定这样的规则。“我们不能把潘多拉盒子关上,”他说。 “但我们可以减少数据中心的能源消耗。”
相关报道:
【今日机器学习概念】
Have a Great Definition