行话说“年头出事白干一年,年尾出事一年白干”。临近年关,数据中心“安全”也变得热门了起来。数据中心的人身、物理及信息安全有千头万绪。今天,我们来讲讲安全演练。此外,腾讯数据中心微信公众号将推出一系列以“数据中心安全”为主题的文章,敬请关注。
演练是保障数据中心安全运营举足轻重的一部分。通过演练,可提高运维人员的应急响应能力,也可对应急预案本身进行检验,发现其不足之处以便进一步完善。通过演练,可以1.暴露预案和流程的缺陷;2.发现应急资源的不足(包括人力和备品备件等);3.改善各应急部门、中心及人员之间的协调;4.进一步明确应急人员各自的岗位与职责;5.提高各级预案之间的协调性;6.提高整体应急反应能力等。
1
基础设施安全演练
目的:针对数据中心可能发生的基础设施故障,以及可能对数据中心运营造成灾难性影响的各种异常情况,检验现场值班同事快速响应、处理故障的能力。使机房现场运营人员能对各种紧急事件进行快速反应和正确操作。
按照数据中心系统应急场景分类口简介:
分类 | 场景 | 演练目的简介 |
---|---|---|
市电 | 市电停电应急演练 | 模拟市电停电,检验值班人员应急处理能力及检验配电系统的应急逻辑等。 |
UPS故障应急演练 | 检验值班人员应急处理能力及检验UPS系统冗余备份能力等。 | |
列头柜、PDU故障抢修演练 | 模拟列头柜或PDU故障,检验值班人员检验值班人员应急处理能力及应急备件、工具是否齐全等。 | |
空调 | 空调故障应急演练 | 模拟空调某系统故障导致机房出现高温,检验值班人员应急处理能力及检验空调系统冗余备份能力等。 |
机房漏水应急处理演练 | 模拟机房出现严重漏水事故(阀门损坏或爆管),由值班人员应急处理及查找原因。检验值班人员应急处理能力及应急工具是否齐全等。 | |
消防 | 消防演练 | 模拟机房发生火灾,检验值班人员消防应急组织、应急对应火灾的能力;提高员工灭火、疏散自救能力和管理火场组织、协调指挥能力等。 |
其他 | 如柴发故障、变压器故障、冷机自控故障等等 | 模拟故障,检验值班人员应急处理能力;系统冗余备份能力;系统控制逻辑验证等 |
图1 应急场景分类及简介
以下是腾讯某数据中心演练实践分享:
经典案例1:市电停电应急演练
图2 市电停电演练
经典案例2:空调故障应急演练
图3 空调故障演练
经典案例3:消防演练
图4 消防演练
2
人员安全应急演练
1
制定应急预案
腾讯数据中心输出针对腾讯数据中心安全应急预案十余个,做到“没事不惹事,来事不怕事”。
图5 部分应急预案
2
安全类培训计划
定期组织针对外包安全员、运维同事的理论(安全基本知识、PPE工具正确使用等)和实操培训(触电急救心肺复苏、灭火器操作和防毒面具使用等)。加强安全员、运维同事安全意识,在应急时如何安全规范操作提供了具有指导性意义,即使遭遇突发情况也能沉着应对,知晓如何自救与急救。
图6 理论知识培训
图7 防毒面具及灭火器使用培训
图8 灭火器实操
图9 心肺复苏术培训及实操
图10 偷盗演练
定期组织各安全场景演练还包括触电解救、现场急救、火灾自救、电梯事故施救、突发治安事件、设备搬运事故及硬盘消磁安全等场景。
分类 | 场景 | 场景演练内容 |
---|---|---|
人身安全 | 1、触电解救 | 1、施工触电2、维护操作触电 |
2、现场急救 | 1、心肺复苏2、伤口包扎 | |
3、火灾自救 | 1、防毒面具使用2、逃生技能3、灭火器使用 | |
4、电梯事故施救 | 1、乘梯注意事项2、电梯困人 | |
物理安全 | 5、突发治安事件 | 1、物品偷盗2、暴行防范 |
6、安全维护(流程类) | 1、配电柜安全维护2、空调安全维护(包括冷机)3、服务器安全操作 | |
7、设备搬运事故 | 1、设备上架事故2、设备运输事故 | |
信息安全 | 8、硬盘消磁安全 | 1、信息泄露 |
图11 全场景演练不完全汇总
3
应急安全事件
处理和汇报
机房建立腾讯数据中心运营安全员架构,发生安全事件由运维人员、安全员负责按照应急事件流程处理,重要事件需要第一时间升级上报腾讯区域安全员及数经。
图12 腾讯安全员马甲及安全帽
安全员职责
为更好保障数据中心运营,由安全员牵头落实安全运营保证体系、安全防护保证体系;纠正一切违章指挥、违章作业的行为和不安全状态;肩负管理和检查监督两个职能,宣传和执行有关安全生产、劳动保护的法规和规定,协助数经做好安全生产管理工作;定期组织安全检查工作,并定期输出总结报告等。
图13 安全员职责
4
小结
安全是一个永不过时的话题,“安全第一,预防为主,演练结合,常抓不懈”的这根弦时刻不能放松。确保数据中心现场运营过程中的人身、物理、信息安全,必将是一场持久战和攻坚战,需要全体安全管理人员及现场运维人员继续努力,将安全意识贯穿到日常运营中的每个细节。