没有观众的裸奔

2015年8月12日深夜,原本应该是一个平平常常、稍显闷热的仲夏夜晚。

23点35分,刚刚冲完凉的老韩,对着电脑屏幕打了一个懒洋洋的假呵欠,然后关机,准备上床编织美梦了;这时候,他听见了自己这辈子双耳所闻的最摄人心魄的两个声音。

两声爆炸,改变了无数家庭的命运,也把腾讯天津数据中心推到了风口浪尖上。宿舍离数据中心就隔着一条街,爆炸声一起,老韩这只惊弓之鸟居然还下意识地朝数据中心方向看了几眼,只见一片红光,漫天烟雾,我了个去,似乎爆炸就在数据中心啊。老韩心想:坏了。

腾讯天津数据中心离爆炸核心确实很近,不到1.5公里!

强烈的冲击波无孔不入,门窗、墙壁,凡是与外部直接接触的部位无一幸免,几百公斤的大铁门像是被人用如来神掌隔空打牛,硬生生凹了进去。

图1 受损的铁门

8分钟后,老韩和天津运营团队15人出现在数据中心现场;17分钟后,初步排查数据中心各系统运行正常;45分钟后,分专业的深度排查完毕,发现8处故障点,其中,冷水机组停机、爆管、地下室水浸这样的事件让不安的空气变得更加紧张;80分钟后,故障全部处理完毕,各系统运行平稳,关键时刻,应急预案和平时的演习发挥了重要作用;105分钟后,前方确认为危化品仓库爆炸,启动地震应急预案;126分钟后,园区所有受损高危区域全部标识完成,现场秩序恢复受控状态……

图2 现场同事凌晨的朋友圈

然而,事后才知道,第一天,还远不是最困难的时候。

外部环境的复杂多变,诸般信息的不对称,给驻守现场的运营团队带来莫大的困扰。先是担心次生灾害引发再次爆炸,现场有毒气体是否扩散,两天后氰化钠浮出水面增加各种变数,而更多的危险品也逐步澄清在爆炸核心的集装箱清单里……撤与守,成为横亘在每个人心中的首要问题。

图3 口罩及其他

“现场同事们的人身安全永远是第一前提”,这是从事发第一分钟开始总办领导就定下的基调。第二天傍晚,夕阳在天,经过一天的深度排查,各系统运行更加稳健,数据中心园区又恢复了往日的宁静。然而就在此时,在指挥部下达三公里疏散通知前两个小时,数据中心现场接到了总办的撤离指令。

二十分钟后,全部人员撤至离爆炸现场二十多公里外的协作中心。天津数据中心无一人值守,开始了史无前例的“裸奔”。

这场“裸奔”,却并不是措手不及的慌乱之举。在此之前的八个小时里:应急预案再次修订了,细化到每个岗位;柴油加至30吨;远程监控手段验证有效;厂商工程师对关键设备进行了健康检查;车里配备了防毒面具,可供紧急返场用;千里之外的运营中轴团队,也连夜做好了业务切换的准备……任性,也得有九成的把握才行啊。

这是一场没有观众的寂寞的“裸奔”,只有20公里外的十多双眼睛,以及2140公里之外的几十双眼睛在远远地看着。偌大的天津泰达外包园里,街道上清理之后依然随处可见的碎玻璃,带出了一种反差的寂静;灯火通明,没有一个人影。

图4 临时作战中心内

第一次“裸奔”,持续了15个小时,直到运营团队在第二天早上警戒解除后再次回到现场。同样的情形,在第二天傍晚再度发生,第二次“裸奔”,持续了14个小时。

两次“裸奔”累计29个小时,运营团队在临时作战中心,通过星云、阿凡达等远程监控平台共录得669条告警,处理26起异常告警,包括传感器温度异常、修改储冷罐运行参数等。关键时刻,平日里对各设施和系统斤斤计较到苛刻的预防性维护,增强了运营团队的信心;而远程监控手段,则给了我们另一双眼睛。

这是孤独的裸奔,也是执着的坚守;是任性的撤离,也是信心的验证。天津数据中心,扛住了!

图5 现场工作人员的不完全合影

版权声明:本文为腾讯数据中心原创,欢迎转载,转载需标明出处。版权均属“深圳市腾讯计算机系统有限公司”所有,未经官方授权,不得使用。

本文部分图片来自互联网,如果涉及到版权问题,请联系TIDC@tencent.com。

原文发布于微信公众号 - 腾讯数据中心(Tencent_IDC)

原文发表时间:2015-08-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AhDung

码农录歌心得

最近喜欢上录歌,不是自己写歌编曲演奏演唱那么高段,也不是自弹自唱(这个后面可以有),也不是去录音棚交钱只管唱那么悠然。就是在自己的电脑上,翻唱一些自己喜欢的歌,...

1543
来自专栏鹅厂优文

创造101的小姐姐,了解一下?

在女票的影响下开始看咱们厂自制的综艺节目《创造101》,被里面充满才华和颜值的小姐姐们所吸引。在大饱眼福的同时,不仅萌生了深入了解小姐姐的想法。

90310
来自专栏程序人生

2018年3月过去了,我收获到什么?

最大的收获自然是我和 Joe 老爷子访谈,它是无价的。我前些日子已经放了篇文章:Joe Armstrong 面对面。没看过的同学可以点进去看看。我希望我六十岁时...

1260
来自专栏阮一峰的网络日志

每周分享第 16 期

影视作品经常出现,病人的心脏停止跳动,医生使用两块电极板对心脏电击。它叫除颤器(defibrillator),通过放电刺激心脏恢复跳动。

1112
来自专栏更流畅、简洁的软件开发方式

个人理财小助手 —— 设计思路、功能说明

详细功能(初步) 经过了几天断续的思考,终于有了一个比较完整的思路,先记录下来以免忘记。同时也请大家多多帮忙,看看思路是否可行。 一、收入 1.   工资...

2009
来自专栏ThoughtWorks

今天,你写自动化测试了吗?

一艘货轮满载着货物从港口启航,向浩瀚的大海深处破水而去。海面平静,微微皱起波浪,从容而显得宽容。然而,货轮的步履却有些蹒跚,发动机“轰轰轰”地嘶吼着,不堪重负,...

3207
来自专栏FreeBuf

永不消逝的电波(一):无线电入门篇

0x00 无线电发展简史 · 1837年,摩斯发明了电报,创造了摩斯密码(Morse code),开始了通信的新纪元。 · 1865年,英国的麦克斯韦总结了前人...

3119
来自专栏镁客网

罗永浩:我不跟骂TNT的人一般见识

还记得上一场“重新定义下一个十年的个人电脑”的那场发布会吗?这一场,锤子重新定义了7:30。

952
来自专栏java一日一条

码农版孔乙己

也许有一天你能改变这个世界,但是请在改变世界之前,先让自己存活下来,看到一篇文章分享一下不知道你们能从中看出什么呢

995
来自专栏Golang语言社区

IT界不为人知的14个狗血故事

随着计算机变得功能越来越强大,我们人类要搞清楚自己在哪些方面仍然更胜一筹。这里倒有个建议:虽然互联网上充斥着无穷无尽的海量数据,但还是需要人的头脑,才能查找筛选...

3625

扫码关注云+社区

领取腾讯云代金券