如何保障柴发长时间带载?

前言

近年来新建的数据中心,其配电系统通常采用T3或T4级别架构设计(这已是非常高的安全等级)。然而,哪怕有尽善尽美的架构设计,万无一失的运维保障,也难逃风火水电等自然灾害、供电局检修等其它因素带来的市电中断威胁。若无柴发死守这最后一道防线,数据中心的运营则如履薄冰,业务的稳定运行只是镜花水月,随时会土崩瓦解。

柴油发电机组(简称柴发)是保障数据中心连续运营的最后一张王牌。随着电网质量的不断提升,外市电的稳定性不断提高,柴发大显神通的机会就越来越少了。这当然是一件可喜之事,然而,从另一方面考虑,IDC运维人员缺乏柴发带载运行,尤其是长时间带载运行的经验,则更容易忽视柴发这重保障。在此,笔者不得不敲响安全意识的警钟:加固柴发这最后一道城墙,不要在意外来临时才追悔莫及!那么,如何保障柴发长时间带载?本文即将为您介绍一些专业的方法。

一、柴发系统例行保养工作

关于柴发系统的例行维护和保养工作,此前“腾讯数据中心”已经发布了专题文章《柴油发电机维护手册》,这里我们将重点介绍油箱、油罐的日常保养工作。

虽然柴油可以长期存储,然而在存储过程中会出现氧化变质、产生沉淀物、挥发等现象,因而柴油品质的保障需要重点关注。同时日用油箱、油罐的维护,也是容易被忽视的环节。

此前,行业某数据中心因供油品质差、油水分离器堵塞导致供油不足,发动机转速不稳定,柴发输出频率不达标,进而导致UPS自动转电池工作,最终酿成大祸,造成一起设备宕机事故。在故障复盘过程中发现,供油品质问题系“运维团队忽视油箱维护,在补油时将油罐底部油渣冲起,从而堵塞油水分离器”导致。

笔者所负责的某个数据中心每两年开展一次油箱清洗工作,请注意油箱清洗不能用水,而应该使用少量柴油。同时,油渣不能直接排入下水道以免污染环境,而应交由具有资质的单位予以回收处理。

图1 油箱清洗过程

在油箱清洗前放油时,我们对柴油进行取样,从右到左分别是:前期-中期-后期,三个时间点。我们可以看到,越靠后面,油的颜色越深,甚至可以看到很多沉淀物。这些沉淀物积累到一定程度(超过出油口位置),就会对柴发运行产生安全威胁。据此,腾讯数据中心建议,至少每3年进行一次油箱或油罐的全面清理工作。

图2 油箱清洗柴油采样

二、柴发系统日常演练及应急技能培养

全面的日常维护可以显著提升柴发系统应急启机带载的成功率,但更重要的是提升一线运维人员应急响应的能力。两者结合,方能做到成竹在胸。

1

开展日常演习演练工作

柴发系统一旦启动,就意味着数据中心配电系统发生了紧急突发事件,整个数据中心的其它各系统的安全稳定运行也受到了威胁。而一线运维人员能否根据应急响应流程准确应对,将是决定危机是否顺利解除的关键。

应急演练可谓是“台上一分钟,台下十年功”。因为只有通过实操演练,才可验证并优化应急流程与方案;同时,也只有通过实操演练,一线运维人员才能做到熟能生巧,临危不乱。

2

加强运维人员应急技能培养

从一线运维的角度出发,我们要求任何一位运维人员都必须具备单兵作战的能力。尤其是当夜间值班人员相对较少的情况下,一旦发生市电异常等突发事件,一线值班人员面临的考验将更加严峻。如果没有提前做好一线人员的技能扫盲工作,事态将变得岌岌可危。

图3 一线运维人员专项培训与考核

三、柴发系统长时间带载经验分享

当我们做好了柴发系统的例行维护保养,同时保证一线运维人员具备了良好的应急响应技能,是否就意味着我们可以凭借柴发这最后一道防线坚守到胜利的到来呢?实际上,当市电中断、柴发起动那一刻起,我们就应该做好打持久战的准备,而下文中三个长时间市电中断的案例也印证了这一点。那么关于柴发系统长时间带载运行,我们需要关注什么呢?

图4 柴发长时间安全运维经验

1

提供良好的工作环境

保障进出风顺畅,确保柴发机组散热良好,如检查进排风阀是否全部正常开启、风扇是否正常运转、是否有异物堵塞等;防止异物进入柴发机组,通常需要关闭柴发房大门,以防吸入异物;严格管控人员进出,避免人员误操作触发停机等。

2

提供持续优质的燃料

安排专人负责柴油供应,并确保供油持续性;在高液位时(建议不低于60%)对日用油箱进行补油,避免补油过程中将底部油渣冲入燃油系统;定时对日用油箱进行排渣,观察是否有油渣或者水分等杂质。

3

开展实时健康监控

严密监控油箱液位,并及时补充;重点关注柴发运行及输出参数,对于异常信息要快速反馈和应对;定时(建议每30分钟)记录一次柴发机组运行及输出参数,以便分析柴发运行指标是否正常。

4

实施标准化运行流程

柴发长时间带载过程中,可能出现运维人员交接班的情况。然而由于个人习惯或者对于操作的理解不一致,就可能造成严重的影响。例如,补油的时间点不一致、对高温判断标准的不一致(有可能错过最佳处理时间)等等。

那么如何消除“差之毫厘谬以千里”的隐忧呢?实施标准化的运行历程就可以有效的规避这类问题。例如,采用固定格式的表格记录柴发运行参数,将各种有待处理的信息标准化;明确应急响应人员职责与分工,确保其工作内容清晰明了,规避运维盲点;建立统一指挥调度机制,通常由监控岗位人员按既定流程指挥各岗位人员开展应急工作,确保各岗位人员应对有序。

四、柴发长时间带载运行案例

笔者从事数据中心运维工作八年以来,曾遇到多次市电异常柴发持续长时间带载的情况,其中最长记录为“柴发持续带载运行48小时,保障业务零影响”。

日期

停电时长

停电原因

2008年6月

13小时

城市遭遇50年一遇暴雨,变电站被淹,双路市电停电

2014年3月

48小时

由于暴雨,外围道路排水不畅,导致外围线路环网柜被水淹

2016年4月

12小时

环网柜故障导致停电

图5 腾讯某数据中心柴油发电机长期带载运行案例

更详细的案例,请移步《真的那么巧吗?——加油站停业改造就遇上停电》

结语

柴发作为数据中心命悬一线,妙手回春的神器,承载了IDC运维人员最后的希望。然而,单纯将起死回生的重任交给柴发机组自身是远远不够的。一列飞速前行的火车,还需要训练有素的司机驾驭,才能安全而长远地行驶。

版权声明:本文为腾讯数据中心原创,欢迎转载,转载需注明出处并保持原文(包括标题、导语、正文、图片、数据以及文尾的二维码等全部内容)完整。版权均属“深圳市腾讯计算机系统有限公司”所有,未经官方授权,不得使用。

原文发布于微信公众号 - 腾讯数据中心(Tencent_IDC)

原文发表时间:2016-07-15

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏知晓程序

小程序将引起 O2O 行业剧变?请看这 3 个案例

1534
来自专栏安恒信息

全球手机都存在这一漏洞:2G/3G全中枪

德国研究人员称,全球手机运营商所使用的一种系统中的安全漏洞让黑客大规模监视用户手机流量成为可能。 这个安全问题涉及到通讯标准系统Signaling System...

3659
来自专栏罗超频道

报刊亭二维码,这才是接地气的O2O

有城市的地方一定有城管,也一定有报刊亭。今日路过楼下的报刊亭,发现了一张有意思的广告牌:“二维码开启手机购物新时代”,除了醒目的二维码外,还展示了闹钟、...

3984
来自专栏ThoughtWorks

请停止结对编程 | 洞见

根据真实事件改编,情节有所夸张,请勿对号入座。 这是一个风和日丽的星期五下午,Ben和Martin本应该在Costa咖啡馆喝一杯下午茶,一起聊聊周末的计划,然...

4225
来自专栏罗超频道

搞个锤子的国产ROMEN!

罗超为虎嗅网、雷锋网撰稿,发表于2013年3月28日首页 是的,你没看错。今天吐槽的对象包括但不限于锤子 ROM,而是,锤子ROM们-ROMEN。虎嗅有...

3634
来自专栏镁客网

拉酷科技龚华超:用智能键盘Nums改变笔记本触控板,用触觉感知改变世界 | 镁客请讲

1910
来自专栏知晓程序

微信朋友圈屏蔽今日头条 / 小程序「功能直达」新能力上线 / 腾讯传播「儿童邪典视频」被严处

最近,有网友发现转到朋友圈「今日头条」内容有时仅自己可见,而好友无法看到自己的分享。

1691
来自专栏FreeBuf

破解iPhone竟然是为了公众安全?

一直以来,iOS系统以安全著称,引来各路高手正向破解挑战。前段时间,以色列的一家公司高调宣布能够解锁任意iPhone设备,包括最新的iPhone X。近期该公司...

3828
来自专栏云计算D1net

如何说服你的用户云端更安全

很遗憾,今天我们依然在讨论云计算是否安全的问题。虽然包括Gartner、SAP等机构或者企业都在告诉我们已经有70%多的企业或个人用户已经信赖云计算,但对于这个...

2932
来自专栏新智元

【为中国芯生态万字投书马化腾】从Intel和ARM争霸战,看看做芯片有多难

3016

扫码关注云+社区

领取腾讯云代金券