如何保障柴发长时间带载？

前言

近年来新建的数据中心，其配电系统通常采用T3或T4级别架构设计（这已是非常高的安全等级）。然而，哪怕有尽善尽美的架构设计，万无一失的运维保障，也难逃风火水电等自然灾害、供电局检修等其它因素带来的市电中断威胁。若无柴发死守这最后一道防线，数据中心的运营则如履薄冰，业务的稳定运行只是镜花水月，随时会土崩瓦解。

柴油发电机组（简称柴发）是保障数据中心连续运营的最后一张王牌。随着电网质量的不断提升，外市电的稳定性不断提高，柴发大显神通的机会就越来越少了。这当然是一件可喜之事，然而，从另一方面考虑，IDC运维人员缺乏柴发带载运行，尤其是长时间带载运行的经验，则更容易忽视柴发这重保障。在此，笔者不得不敲响安全意识的警钟：加固柴发这最后一道城墙，不要在意外来临时才追悔莫及！那么，如何保障柴发长时间带载？本文即将为您介绍一些专业的方法。

一、柴发系统例行保养工作

关于柴发系统的例行维护和保养工作，此前“腾讯数据中心”已经发布了专题文章《柴油发电机维护手册》，这里我们将重点介绍油箱、油罐的日常保养工作。

虽然柴油可以长期存储，然而在存储过程中会出现氧化变质、产生沉淀物、挥发等现象，因而柴油品质的保障需要重点关注。同时日用油箱、油罐的维护，也是容易被忽视的环节。

此前，行业某数据中心因供油品质差、油水分离器堵塞导致供油不足，发动机转速不稳定，柴发输出频率不达标，进而导致UPS自动转电池工作，最终酿成大祸，造成一起设备宕机事故。在故障复盘过程中发现，供油品质问题系“运维团队忽视油箱维护，在补油时将油罐底部油渣冲起，从而堵塞油水分离器”导致。

笔者所负责的某个数据中心每两年开展一次油箱清洗工作，请注意油箱清洗不能用水，而应该使用少量柴油。同时，油渣不能直接排入下水道以免污染环境，而应交由具有资质的单位予以回收处理。

图1 油箱清洗过程

在油箱清洗前放油时，我们对柴油进行取样，从右到左分别是：前期-中期-后期，三个时间点。我们可以看到，越靠后面，油的颜色越深，甚至可以看到很多沉淀物。这些沉淀物积累到一定程度（超过出油口位置），就会对柴发运行产生安全威胁。据此，腾讯数据中心建议，至少每3年进行一次油箱或油罐的全面清理工作。

图2 油箱清洗柴油采样

二、柴发系统日常演练及应急技能培养

全面的日常维护可以显著提升柴发系统应急启机带载的成功率，但更重要的是提升一线运维人员应急响应的能力。两者结合，方能做到成竹在胸。

1

开展日常演习演练工作

柴发系统一旦启动，就意味着数据中心配电系统发生了紧急突发事件，整个数据中心的其它各系统的安全稳定运行也受到了威胁。而一线运维人员能否根据应急响应流程准确应对，将是决定危机是否顺利解除的关键。

应急演练可谓是“台上一分钟，台下十年功”。因为只有通过实操演练，才可验证并优化应急流程与方案；同时，也只有通过实操演练，一线运维人员才能做到熟能生巧，临危不乱。

2

加强运维人员应急技能培养

从一线运维的角度出发，我们要求任何一位运维人员都必须具备单兵作战的能力。尤其是当夜间值班人员相对较少的情况下，一旦发生市电异常等突发事件，一线值班人员面临的考验将更加严峻。如果没有提前做好一线人员的技能扫盲工作，事态将变得岌岌可危。

图3 一线运维人员专项培训与考核

三、柴发系统长时间带载经验分享

当我们做好了柴发系统的例行维护保养，同时保证一线运维人员具备了良好的应急响应技能，是否就意味着我们可以凭借柴发这最后一道防线坚守到胜利的到来呢？实际上，当市电中断、柴发起动那一刻起，我们就应该做好打持久战的准备，而下文中三个长时间市电中断的案例也印证了这一点。那么关于柴发系统长时间带载运行，我们需要关注什么呢？

图4 柴发长时间安全运维经验

1

提供良好的工作环境

保障进出风顺畅，确保柴发机组散热良好，如检查进排风阀是否全部正常开启、风扇是否正常运转、是否有异物堵塞等；防止异物进入柴发机组，通常需要关闭柴发房大门，以防吸入异物；严格管控人员进出，避免人员误操作触发停机等。

2

提供持续优质的燃料

安排专人负责柴油供应，并确保供油持续性；在高液位时（建议不低于60%）对日用油箱进行补油，避免补油过程中将底部油渣冲入燃油系统；定时对日用油箱进行排渣，观察是否有油渣或者水分等杂质。

3

开展实时健康监控

严密监控油箱液位，并及时补充；重点关注柴发运行及输出参数，对于异常信息要快速反馈和应对；定时（建议每30分钟）记录一次柴发机组运行及输出参数，以便分析柴发运行指标是否正常。

4

实施标准化运行流程

柴发长时间带载过程中，可能出现运维人员交接班的情况。然而由于个人习惯或者对于操作的理解不一致，就可能造成严重的影响。例如，补油的时间点不一致、对高温判断标准的不一致（有可能错过最佳处理时间）等等。

那么如何消除“差之毫厘谬以千里”的隐忧呢？实施标准化的运行历程就可以有效的规避这类问题。例如，采用固定格式的表格记录柴发运行参数，将各种有待处理的信息标准化；明确应急响应人员职责与分工，确保其工作内容清晰明了，规避运维盲点；建立统一指挥调度机制，通常由监控岗位人员按既定流程指挥各岗位人员开展应急工作，确保各岗位人员应对有序。

四、柴发长时间带载运行案例

笔者从事数据中心运维工作八年以来，曾遇到多次市电异常柴发持续长时间带载的情况，其中最长记录为“柴发持续带载运行48小时，保障业务零影响”。

图5 腾讯某数据中心柴油发电机长期带载运行案例

更详细的案例，请移步《真的那么巧吗？——加油站停业改造就遇上停电》。

结语

柴发作为数据中心命悬一线，妙手回春的神器，承载了IDC运维人员最后的希望。然而，单纯将起死回生的重任交给柴发机组自身是远远不够的。一列飞速前行的火车，还需要训练有素的司机驾驭，才能安全而长远地行驶。

版权声明：本文为腾讯数据中心原创，欢迎转载，转载需注明出处并保持原文（包括标题、导语、正文、图片、数据以及文尾的二维码等全部内容）完整。版权均属“深圳市腾讯计算机系统有限公司”所有，未经官方授权，不得使用。