走进腾讯数据中心

导语：互联网企业是数据中心建设和应用的大户，所以他们在数据中心的探索上一定程度代表了这个产业的发展方向。通过此次走访腾讯天津数据中心可以看出，以微模块数据中心（TMDC）、整机柜服务器和高压直流为核心的技术正在掀起一场数据中心新的变革。

腾讯天津数据中心外观

云计算、大数据及社交等新的技术趋势和业务需求，推动着中国迎来数据中心建设的又一轮高潮。据相关统计，2013年我国兴建了数据中心3500多个，其中超过1万平米以上的数据中心就有21个。目前，中国已经拥有大大小小的数据中心超过50万个。

而在应对这些变化的过程中，传统的数据中心开始显出捉襟见肘的局促性。原因在于早期的数据中心都是作为一个工程项目进行，从选址、地勘、规划、建筑设计、机房设计，到招投标、基础建设、机房建设、设备测试、系统测试、验收并交付运营，整个过程中参与单位众多，基础建设与IT建设耦合度高，配合界面复杂，同时还带来投资巨大、周期冗长这两个最大的问题。因此它是“固态的”，缺乏灵活性和扩展性。而且随着业务的发展和应用的增加，无法满足云计算弹性、廉价、标准化、可管控的技术要求。

在这样的背景下，整个IDC行业都在反思和探索数据中心建设的新模式。“微模块数据中心的出现，是数据中心发展的一种新趋势。”腾讯公司副总裁别洪涛在腾讯“数据中心分享日和开放日”上说。

数据中心是所有互联网业务的发动机，源源不断地为各类业务提供奔跑的动力。微模块的技术，最先是由腾讯借鉴国外模块化数据中心经验，根据中国国情和腾讯自身的业务特点，自主创新研发出来的、谷歌等国内外大型互联网公司基于自身业务总结提出的，具有易复制、部署快、高效灵活、标准化、节能和可靠性高等特点。因此最近几年国内华为、中兴通讯、浪潮和云立方等公司也纷纷推出各自微模块数据中心解决方案，以抓住这个日益增长的市场所带来的巨大潜力。

2013年，在深圳坪山新区，腾讯、深圳联通和中兴通讯共同打造了亚洲最大的微模块数据中心。在15000平米、12000kVA的容量下，历时4个多月，建成可用性达到Tier3+、30%负载率PUE1.5，可容纳25000台服务器和交换机单板的数据中心。

9月11日，腾讯首次公开发布自己的第三代数据中心技术，并邀请工信部、运营商、厂商、媒体等众多合作伙伴实地参观了腾讯天津数据中心。这也是腾讯迄今为止最大的自主规划、设计和运营的数据中心，采用了典型的微模块设计。

微模虽小 但五脏俱全

从2001年开始，腾讯就开始在全国乃至世界各地布局自己的数据中心，截至现在已经在全国13个城市拥有超过58个数据中心，承载了数十万台服务器。天津数据中心共4栋楼，总建筑面积8万平方米，可承载超过20万台服务。从刚进入大厅的第一步开始，就进入了腾讯模式。参观者会通过微信获得参观二维码授权，再到保安室进行身份核实，核实后会收到身份确认，接着会收到数据中心指引。工作人员介绍说：“腾讯数据中心正在不断地利用微信平台来做日常的运维管理。”

据了解，在过去几年里，腾讯已经推出了几个版本的微模块数据中心，经过不断测试验证目前已经标准化定型。腾讯对微模块数据中心的标准定义是，以若干机架为基本单位，包含制冷模块、供配电模块以及网络、布线、监控在内的独立的运行单元。

通过验证后参观团队统一进入3号楼，这栋楼承载了10万台服务器，用电负荷差不多相当于8万个城市家庭的总用电量。在一楼基础设施层，记者看到规模庞大的水冷系统，巨大的管道用不同的黄、蓝等颜色来区分，分别代表供水和回水管道。在这些管道上还可以看到有各种大大小小的阀门。腾讯天津数据高级经理闫昆介绍说，“整个天津数据中心有上千个这样的阀门，这是因为冷水系统的管道设计成环形，当管道上任何一个位置出现破裂或其他故障时，就可以通过关闭附近的阀门来隔离故障点，不致于影响整个水系统的运行。”另外，水冷机组在运营过程中会消耗掉大部分的电力，当春秋冬季来临时，天津运营团队就会关闭水冷机组，通过板式换热器和楼顶的冷却塔，利用室外冷空气对水降温，达到节能的目的。而所有这些转换和控制都是通过自动控制系统来实现。天津运营团队的主要任务则是通过反复的实践设置出最优的变频调节参数，以及设备轮巡和故障切换的控制逻辑，以达到最优的能效，节约运营成本。

三层是供电系统，在这里已经看不见传统的UPS，而是转而采用“高压直流(50%)+市电(50%)”的供电模式。“采用这种供电方案后，市电侧无中间转换损耗，效率高达100%;高压直流侧可采用节能休眠模式，全负载范围内94%以上高效率。因此，综合供电效率高达97%。”负责数据中心电气设计的高级工程师李典林介绍说：“未来还可以无缝升级成市电主供+高压直流后备的供电模式，达到99%以上供电效率。”

到达数据中心的核心区域——服务器机房，终于看到重点展示对象：微模块。每个微模块都包含自身的配电系统、空调系统、消防系统和监控系统等，可以简单认为微模块就是一个微型数据中心。据现场工作人员讲解，微模块的所有组件都在工厂预制和测试完成，到数据中心现场拼装好即可投入使用，这个时间最短只需要两个星期。因此，微模块和整机柜解决了传统数据中心建设的周期冗长、配合复杂的问题，可快速、灵活地部署，这个特点使微模块更容易安排分期建设，保护投资。当数据中心退役时，这些微模块还可以很方便地被拆卸下来，搬运到其他数据中心使用。此外，微模块内部的电源模块、行间空调数量等可以根据IT机柜功率灵活配置数量，满足不同功率密度的需求，目前微模块内可支持的最大机柜功率可高达15KW，而整个数据中心的PUE可保持在1.2到1.4之间。

这也是微模块数据中心之所以获得大型互联网企业的青睐的原因之一。物理上，微模块数据中心将配电、制冷、机柜、冷/热通道、桥架等设备集成到一起，舍弃架空地板、电力电池室、空调室等在传统机房似乎必不可少的依赖条件，实现与机房环境的解耦，成为一个相对独立的部署单元，结合微模块整体方案和组件的标准化设计，可以实现数据中心的快速部署、弹性扩展。“如果把服务器看成标准砖头，机柜看成厨房、阳台、洗手间，微模块就是小户型套房。通过微模块，我们可以不断复制堆叠，形成机房楼，乃至整个园区。”闫昆说道。

更为重要的是，在基础设施集成化的基础上，微模块内的IT设备有了自己专享的配电和制冷单元，就可以实现二者间的智能协同工作。例如，空调可以根据IT设备的负载、温度等参数制定更为精细化的调控策略，既可以避免局部热点，又可使阀门开度和风机转速始终运行在更为节能、高效的状态下，未来甚至可以舍弃IT设备内部的风扇，只利用更节能的大风机独立驱动整个微模块的气流组织，进一步降低能耗。物理上的集成仅仅是将各设备的布局更加优化，只有通过集中的智能管理平台将微模块内的IT、配电、制冷、监控等所有设备有机的整合起来，使其智能的协同工作，才能发挥微模块这种部署形式的真正价值。

实践高效运维建设开放生态

随着互联网业务的快速发展，其数据中心除了自身数量、规模体量在快速增长外，其承载的业务也是海量增长。腾讯拥有即时通信活跃账户超过10亿个，最高同时在线用户超过2个亿；微信/WeChat合并月活跃帐户数达到4.38亿；QQ空间月活跃帐户数达到6.25亿个；每日发送通信消息超过180亿条；每日上传图片3.60亿张。

面对如此海量的设备和需求，如何才能安全、高效、稳定的保障数据中心的运营也是重中之重。因此，必须要建立完善的运营管理体系。在数据中心的自动化系统方面，腾讯这两年投入重兵，开始研发基于SDI（softwaredefined infrastructure）的控制系统，并将逐步向业界推出数据中心监管控系统的南向和北向标准。腾讯IDC平台部数据中心高级经理郁智华在分享日上围绕海量运营体系、安全应急保障体系、运营节能、成本控制和自动化运营平台等方面，分享了腾讯的运营优化实践案例及发展计划。他将海量运营的关键之道归纳为：做好计划性运营、做好自动化运营、做好外包管理和人员培养、做好预防性维护和应急演练、做好精细化运营。

在此次参观过程中，记者还注意到一些细节。维护这个高达20万台服务器的超大规模数据中心，腾讯自己的运营团队只有15人，其他管理是外包给专业人员来维护，在现场记者看到数据中心的值班巡检已经引入了手持PAD的电子化巡检。而数据中心自动化运维方面，可以看到参观通道的一根根绿色柱子上面都标注有字母或数字，是用来快速定位，并区分不同功能区域；在节能方面也可以看到无人进入的时候自动关闭白色照明灯，只保留少量蓝色LED灯，保证最低照度满足视频录像要求，在小处体现节约。

高效、自动化的运维，一直是腾讯数据中心的目标，但目前还只是做到半人工半自动化的运维状态。别洪涛介绍说：“这跟整个大环境有关系，中国在这方面整体起步就比较晚，而且投入研发的数量有限，但现在随着‘软件定义数据中心’概念的普及，相信真正实现自动化运维的日子不远了，但那一天估计团队维护人员在家通过微信就可以掌握数据中心的一切。”

从2011年开始腾讯坚持以“开放共赢”的心态建立自己的生态系统，此次开放数据中心也是秉持这一理念。“腾讯分享自己在过去8年在数据中心领域积累的技术和经验，一方面可以让后来者少走一些弯路；另一方面也希望能联合运营商、厂商一起来推动中国数据中心生态圈的健康发展，完善产业链布局，已降低成本，提升整体竞争力。”别洪涛说。

确实，在工信部发布的我国数据中心规划建设情况报告中指出，目前我国数据中心产业虽然已经开始呈现出向规模化、集中化、绿色化、布局合理化发展的趋势。但总体来看仍存在一些问题。众多数据中心建设的水平参差不齐，尤其是能源消耗问题，诸如散热、供电、成本等限制了数据中心的有效利用，利用率仅有20%~30%。数据中心标准体系仍不够完善。“面对这些问题，工信部电信研究院，包括云计算与政策发展论坛、开放数据中心联盟等组织正在积极推进相关政策和标准的制定，同时确实需要行业各大公司能参与其中，以开放的心态来引领行业，引领标准，为推动行业发展做贡献。”工信部电信研究院标准所副所长何宝宏在接受本报采访时说道。

名词解释：

模块化数据中心：指完全按照模块化设计思路搭建的可快速部署的数据中心模型，数据中心内部由N个完全相同的微模块组成。

微模块：指以若干机架为基本单位，包含制冷模块、供配电模块以及网络、布线、监控在内的独立的运行单元。该模块全部组件可在工厂预制，并可灵活拆卸，快速组装。