全面复盘台风“山竹”应急保障
龙潜海角腾巨浪，万马齐喑震河山；
待到风雨齐聚会，携手同心定乾坤。
——题记
2018年9月16日，今年第22号超强台风“山竹”经过整整13天的酝酿之后，形成了中心风力高达18级以上的巨无霸，携带着狂暴的超能量由西太平洋北上，正面侵袭粤港澳大湾区，给腾讯数据中心运营保障带来前所未有的挑战。
台风“山竹”实时路径
一场跨越昼夜的较量，一场正与邪的短兵相接，将演绎出怎样的惊心动魄？
一、厉马秣兵，整军备战
多年以来，粤港澳湾区饱受台风的影响。以广东省为例，1945年至今，累计台风登陆多达200+次。2013年以来台风尤特（14级）、天兔（14级）、威马逊（17级+）、海鸥（14级）、莲花（14级）、彩虹（16级）、妮妲（10级）、海马（14级）、天鸽（15级），先后给数经中心运营保障带来考验。在与台风的多年过招中，我们积累并形成了一套行之有效的应急保障机制。
台风“山竹”来势汹汹，以18级强度震慑四方，各数据中心面临断水、断电、断油的极端挑战。9月10日，腾讯数据中心深圳、广州、汕尾、中国香港四地同时启动台风“山竹”应急保障专项行动。
（1）园区防风抗洪排查
各园区按照“强台风+强降雨”极端情况，针对性梳理园区物理环境风险和隐患。诸如天面防水检查、应急及防汛物资储备（应急水泵、防洪沙袋、救生衣、冲锋舟、安全帽、雨衣、雨鞋、天面防水雨布、防洪铁锹、强光手电等）、树木加固、室外设施设备加固、排水系统清理、综合楼油机及柴油准备等。
某IDC园区防风抗洪排查
（2）园区应急生活物资储备
为保障台风期间园区值守人员的正常生活，各园区提前做好粮食、饮用水、生活用水储备工作，解决值守人员的后顾之忧。同时，准备好灾后防疫消毒以及应急药品储备，确保园区在顺利过渡台风期。
某IDC园区应急物资储备
（3）数据中心基础设施设备检查
各IDC有序开展基础设施联合巡检，针对配电、制冷、消防、监控、防雷等各系统开展系统检查，对发现的隐患和风险点予以紧急修复。确保IDC基础设施运行状态正常，尤其对柴油发电机系统开展空载测试、对HVDC以及UPS电池进行放电测试检查，确保应急备份系统状态正常。
各IDC开展基础设施检查
面对台风带来的断电、断水、断油风险，各数据中心加强后备物质储备。提前储备柴油，对于个别园区申请油车驻点支持；增加园区和IDC储水，并考虑台风过后市政供水短期无法恢复极端情况下应急供水方案。同时，提前准备基础设施备品备件，应对各类突发故障。
（4）数据中心IT设备及网络检查
各数据中心全面排查服务器和网络设备运行状态，尤其针对电源模块状态异常设备进行梳理和快速替换，确保在出现单路电力异常情况下，设备仍可正常运行。
网络层面，加强园区内网络管井和路由排查，确保网络管井畅通，网络路由冗余。
各IDC开展IT及网络运维排查
此外，针对服务器部件、网络设备部件、线材增加备件库存，以防台风期间以及台风后期备件资源短缺影响。
（5）梳理应急升级联系矩阵
梳理和更新事件应急机制。除了维护IDC运营商、设备厂商、市政资源、IT运维团队应急联系方式矩阵。各区域数经发起属地应急支撑微信群，实时同步各地台风影响情况。
与此同时，我们在市区设立了“数据中心台风应急作战指挥室”，横向统筹，把控全局。同时作为对外统一接口，并给一线提供实时讯息、资源协调、技术支持等保障。
二、夜幕降临，危机四伏
台风登陆前一天某IDC园区
9月15日，深圳依然晴空万里，苍茫之下晚霞异常的炫丽，耀眼的红色占据了苍穹。然而此刻，除了比以往略感闷热，丝毫感受不到台风的任何气息。就在当天，台风“山竹”肆虐菲律宾的新闻袭面而来，菲律宾惨烈的遭遇和台风后的一片狼藉，给一线重保的数经和工程师们增加一份凝重和压抑。
“山竹”肆虐下的菲律宾（源自网络）
随着夜幕降临，台风的影响越来越明显，呼啸的狂风夹杂着小雨拍打这片土地。此刻的城市，千家万户关门闭户，静待这场台风的到来。
然而深圳市区某酒店一场突如其来的大火，再次引起了数经团队的关注。我们立即扩充应急响应措施，预防台风期间室外带电设备倾倒产生火情。同时，最后确认各数据中心值守安排，直至凌晨3：00相关准备工作就绪。是夜无眠，一线运维的斗士们枕戈待旦，心绪久久无法平息。
台风“山竹”登陆前夜深圳某酒店大火（源自网络）
三、短兵相接，全军出击
晨光熹微，风雨大作。各数据中心园区重保人员坚守岗位，为应对台风登陆的强大破坏力做最后的准备。科技园某大厦10F——数据中心台风应急作战指挥室，不断汇总深圳、广州、汕尾、中国香港四地数据中心实时战况。
16日上午9：00，粤港澳大湾区逐步从7级风圈升级至10级风圈。深南大道上积水益深，多辆汽车停摆；狂风之下，道旁林逆风狂舞；空中杂物纷飞，脱落的窗户、外墙似疯牛奔袭——天气不断恶化，形势不断升级。
随着台风强度增加，室外巡检作业风险非常高，各IDC重点通过园区自动化监控平台加强园及数据中心外围情况监测，大幅度减少了室外巡检频次。特殊情况下，一线重保人员需要外出作业，也必须严格做好个人安全防护（安全帽、绝缘鞋、雨衣等），并尽量缩短室外停留时间。
某IDC台风“山竹”期间室外巡查
某IDC台风“山竹”期间巡查冷却塔
飓风之下，各地区市电先后出现电压异常，IDC作战指挥室内不断收到来自各IDC的市电异常告警。虽然个别数据中心因市电中断，导致冷机系统重启，但是现场按照应急预案，迅速采用应急放冷模式，为市电恢复和冷机开机赢得了宝贵的时间差，从而切实保障了业务安全稳定运营。
某IDC市电质量异常记录
此外，随着台风抵近，室外气流强度和紊乱度都不断增加，室外冷却塔面临挑战，可能出现风扇堵转的情况，一旦处置不当可能引起上联开关跳闸；而如果上联开关未跳闸则可能导致电机烧毁。台风应急作战指挥室立即通报各IDC予以关注，同时建议尽量增加所有冷却塔阀门开度，加大补水，并减小风机转速，将水温控制在安全范围内；如果水温控制正常，则所有备机保持停机状态；对于极端情况，随时做好应急放冷模式准备。
台风“山竹”气旋&某IDC室外冷却塔
下午16：00左右，台风“山竹”抵近粤港澳大湾区，整个区域进入12级台风圈范围。各区域数经中心市电异常告警频次显著提升，广州、深圳、汕尾、中国香港，均出现集中的大规模市电闪断和电压波动异常。各IDC运营商团队时刻监控系统平台，按照提前制定的应急预案有序应对。直至17：00，台风“山竹”登陆广东江门沿海地区。风力逐步减弱，雨势下降——这也预示着这场艰难的阵地战接近尾声，此次台风应急保障初步取得重大胜利。
四、山竹远去，否极泰来
随着台风“山竹”的影响减弱，各数据中心迅速投入到园区及大楼的应急抢修工作。
①紧急疏通园区排水渠，保障园区排水畅通。
②巡查园区室外设施设备，汇总受损设备情况，并安排报障抢修。
③清理园区杂物，对受损的物体（如数目、标志牌等），采取必要的隔离、固定措施，避免产生次生伤害事件。
某IDC园区灾后应急抢修
正当各区域有序开展灾后应急抢修工作时，已经登陆的台风“山竹”路径突变，由陆地往西部沿海位移，以回马枪姿势直奔东北湾，似有卷土重来的可能。直至18：00，台风改变方向，沿着西北角直奔阳江，大家方才如释重负。
台风“山竹”登陆后企图折返至海面路径图
经过汇总盘点，截止晚上19：00，全部数据中心运营正常，无运营业务告警。因台风“山竹”对社会基础环境（道路、交通、供水、供电）的影响暂时无法评估，为避免台风后的各类次生灾害事件的影响，当晚全体值班人员仍保持高度戒备，继续保持通宵值守。各数据中心集中汇报频次由30min/次调整为2小时/次。
9月17日早上09：00，各地区数据中心反馈，机房运行正常，所在区域天气明显好转。台风“山竹”应急保障正式结束，各数据中心按计划有序开展灾后抢修工作。
五、跌宕起伏，历历在目
9月4日，台风“山竹”萌芽；
9月11日17：00，台风“山竹”形成18级超强台风；
9月15日14：00，台风“山竹”以18级超强台风登陆菲律宾，留下满目疮痍，造成81人死亡。
9月16日17：00，台风“山竹”以14级强台风向粤港澳大湾区袭来，登陆江门。
风起于青萍之末，上九天而至万里。
毁良田而留疮痍，斩苍茫兮劈荆棘。
台风“山竹”过后的科技园
台风“山竹”期间，深圳电网10KV线路累计停电达500+条次，影响客户大13.8+万。而深圳、广州、汕尾、中国香港四地数据中心累计发生市电异常事件达139次，其中8个IDC因市电中断，引起冷机停机重启。各IDC一线运营团队，严格按照事件应急流程操作，确保了IDC基础环境运营平稳和安全，取得了此次台风应急保障的全面胜利。
台风天气数据中心运营保障团队合影
总结
防微杜渐日日提，有备无患且知彼。
临战不惧英雄志，风过留痕埋心底。
台风“山竹”作为近30年来影响深圳最大的强台风，坐实了“风王”的称号。腾讯数据中心在多年的联合运营基础上，与各方一起建立了行之有效的事件应急响应机制，圆满的完成了此次台风应急保障任务。在此，向参与此次台风应急支持的各家运营商、IDC合作方、设备厂商、运维外包服务商，致以诚挚的感谢——笑看风雨齐聚会，携手同心定乾坤。