前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Facebook全球6小时宕机原因已查明:一条指令所致,内部工程师所为

Facebook全球6小时宕机原因已查明:一条指令所致,内部工程师所为

作者头像
量子位
发布2023-03-01 14:52:57
4670
发布2023-03-01 14:52:57
举报
文章被收录于专栏:量子位
博雯 发自 凹非寺 量子位 报道 | 公众号 QbitAI

Facebook全球宕机6小时的原因,是公司内部工程师的一条错误指令。

最近,Facebook官方针对这次大规模宕机的原因做了回应。

这一新闻已经出现在了微博热榜。

而在回复中,官方也(针对各种神奇的假说)强调:

没有黑客恶意攻击行为,用户的数据也没有受到损害。

在第二天,Facebook又发了另一则声明,详细地说明了这次宕机的技术细节。

那么这场Facebook有史以来持续时间最长,规模最大,造成公司股价蒸发百亿的宕机到底是因为什么?

一起来看看。

日常维护切断网络

一切都开始于日常维护中的一条错误指令。

也就是Facebook engineering平台上的声明中所提到的“配置变化”:

协调数据中心之间网络流量的主干路由器的配置变化导致了通信中断,进而影响了数据中心的的通信方式,最后导致了服务中断。

在日常维护网络基础设施时,工程师经常需要离线维护部分主干网,比如修理一条光纤线路,增加更多容量,或者更新路由器本身的软件。

而上面提到的“配置变化”,就是日常维护工作中主要用于检测Facebook主干网络的可用性的一条命令。

当然肯定有应对这种命令的保护措施,但不巧审计工具(audit tool)中出了个bug……

于是,这个“配置变化”就撒着欢儿,啪一下把Facebook主干网络的所有连接都给切断了。

这一断,应用程序对数据的刷新搜索,上传下载等请求就无法从用户设备传到最近的数据中心了。

而这些数据中心不仅有容纳了数百万台存储数据机器,用于支撑平台运行的大型建筑,还有将主干网络连接到更广泛的互联网和具体应用平台的较小设施。

嗯,差不多就是这样的严重性……

这还没完。

上述数据中心里的小型设施还有一个工作,那就是响应DNS查询。

DNS是互联网的地址簿,能够将浏览器中键入的简单网络名称转换为特定的服务器IP地址。

而这些地址又通过边界网关协议(BGP)向互联网其他地址进行广播,类似一个地图,提供通往各种目的地的线路。

当DNS服务器发现主干网络失去了与互联网的连接时,BGP的“广播”也随之停止。

相当于Facebook短暂地被从互联网这块地图上抹除了存在

只有Facebook受伤的世界完成了

当然,在派遣工程师进入现场数据中心进行修复之后,网络服务也在10月4日下午4点左右逐渐恢复。

在官方回复的最后,他们也提到会通过这次的“演习”加强系统故障的测试、训练和整体恢复能力。

而纵观这次全球大宕机,不仅国外热度爆表,就连国内也上了热搜。

国内外的网友们弔图一堆,苦中作乐。

同为社交媒体的Twitter则高傲尽数显现。

甚至连Netflix都过来蹭了把热度,顺带了夹杂了新剧宣传私货:

而Facebook在这次事件中股价暴跌6%,扎克伯格个人财富一日蒸发逾60亿美元。

现在看来,只有小扎受伤的世界完成了(狗头表情包)。

官方回应: [1]https://engineering.fb.com/2021/10/04/networking-traffic/outage/ [2]https://engineering.fb.com/2021/10/05/networking-traffic/outage-details/

本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容,未经账号授权,禁止随意转载。

榜单征集!6大奖项锁定AI TOP企业

「2021中国人工智能年度评选」报名中!本次评选将从公司、人物、产品三大维度寻找优秀的AI企业,欢迎大家扫码报名参与。评选将于12月揭晓,期待与百万从业者们,共同见证这些优秀企业的荣誉!

点击链接查看评选详情:2021中国人工智能年度评选开启:让更多人看到AI的真正价值

点这里👇关注我,记得标星哦~

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见~

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2021-10-07,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 量子位 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 日常维护切断网络
  • 只有Facebook受伤的世界完成了
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档