Facebook從網路世界中消失了。六小時。
Facebook將自己的位址從網際網路中刪除,當其工程師趕來恢復時,門禁讀卡機也失效了,因為它們是運行在Facebook上的。
Facebook將自己的位址從網際網路中刪除,當其工程師趕來恢復時,門禁讀卡機也失效了,因為它們是運行在Facebook上的。2021年10月4日,15:40 UTC:一個例行的骨幹網路維護指令導致Facebook所有數據中心之間的鏈接中斷;用於阻止此類指令的審計工具存在錯誤;Facebook的名稱伺服器由於無法連線到數據中心,按設計撤回了它們自己的BGP路由——因此facebook.com、Instagram、WhatsApp和Messenger從DNS中消失了將近六小時。內部工具、頻外存取和辦公室門禁卡都運行在同一個網路上,因此修復需要現場人員操作機架。
本影片重點
- Facebook移除了自己的位址
- 參考資料:Meta工程團隊、Cloudflare、Hacker News
- 這是《The Daily Diff》的事件檢討
- 時間軸:15:39指令 → 15:40撤銷 → 21:20恢復
- 機制:將你刪除的健康檢查、30倍DNS風暴、門禁
問題與解答
是什麼原因導致2021年10月Facebook、Instagram和WhatsApp服務中斷?
例行的骨幹網路維護指令切斷了Facebook資料中心之間的所有連結,而用於阻擋此類指令的稽核工具存在錯誤。根據Meta的工程報告,這導致資料中心彼此斷開連接。世界標準時間15:40,Cloudflare發現指向Facebook名稱伺服器的路由已撤回,facebook.com返回SERVFAIL,直到21:20才恢復解析。
為什麼Facebook的DNS伺服器會將自己從網際網路中移除?
名稱伺服器被設計為當它們無法連接到資料中心時,會撤回自己的BGP路由。當單一站點故障時,這條規則是合理的。但當整個骨幹網路故障時,所有名稱伺服器都同時宣告自己不健康,並停止廣播其位址。伺服器仍在執行,但沒有人能找到它們。
為什麼Facebook工程師無法遠端修復服務中斷?
內部工具、頻外存取以及辦公室門禁卡讀卡機都執行在已故障的相同網路上。工程師必須前往資料中心,而機架已針對任何實體存取進行了強化。紐約時報報導稱,世界標準時間18:51,員工因門禁卡失效而被鎖在建築物外。
Facebook服務中斷對網際網路的其餘部分有何影響?
應用程式不斷重試,使用者也不斷重新載入,因此Cloudflare的解析器看到了一個無法連線的網站的正常負載的三十倍。這次事件將影響範圍擴大到三十五億使用者,持續了近六個小時。據報導,Telegram聲稱當天新增了七千萬個註冊。
Facebook的事後檢討是否解決了服務中斷背後的根本問題?
The Daily Diff的結論是NEEDS REVIEW。Facebook在當晚發表了聲明,並在一天內發表了一篇具名作者的事後檢討,用通俗易懂的語言承認了稽核工具的錯誤。其修復清單著重於更強大的測試和演練,但沒有提及將生產網路的門拆除。這次事件建議將頻外存取放在您不營運的網路上。
翻譯文字稿
譯自英文原版旁白。可用的音訊和字幕由 YouTube 控制。
Facebook移除了自己的位址
0:00 Facebook將自己的位址從網際網路中刪除,當其工程師 趕來恢復時,門禁讀卡機也失效了, 因為它們是運行在Facebook上的。 Meta自己的事件檢討,第二天發布:一個例行維護指令導致每個 骨幹網路鏈接中斷,而用於阻止此類指令的工具存在錯誤。
參考資料:Meta工程團隊、Cloudflare、Hacker News
0:16 Cloudflare,從外部觀察:在UTC 15:40,通往Facebook名稱伺服器的路由 消失了,全球各地的dig facebook.com都返回SERVFAIL。 事件如何發生,為什麼安全功能讓情況更糟,以及誰該負責。 這是《The Daily Diff》的事件檢討。 下午早些時候,UTC。
這是《The Daily Diff》的事件檢討
0:34 一個旨在檢查骨幹網路空閒容量的指令卻導致Facebook所有 數據中心之間的每個鏈接中斷,而專為捕獲這種情況而設計的審計工具
時間軸:15:39指令 → 15:40撤銷 → 21:20恢復
0:41 卻放行了。 15:40。Cloudflare的BGP流量充斥著路由撤銷;Facebook的DNS 前綴從路由表中消失。 一分鐘內,Cloudflare的工程師們齊聚一室,懷疑他們是否 弄壞了1.1.1.1。15:45,Hacker News,兩千六百個 點讚。16:07,Facebook的發言人,竟然在Twitter上說:有些人 無法存取我們的應用程式。 「有些人」是指三十五億人。
1:06 18:51,《紐約時報》:員工被鎖在辦公大樓外, 門禁卡失效。19:52,技術長致歉。 21:00,五小時後,路由恢復;21:20,facebook.com 可解析。為什麼骨幹網路故障會讓Facebook從網際網路中消失?
機制:將你刪除的健康檢查、30倍DNS風暴、門禁
1:20 其名稱伺服器有一條規則:無法連線到數據中心, 宣告自己不健康,停止廣播你的位址。 當一個站點出現問題時,這是合理的。 當整個骨幹網路都出問題時,每個名稱伺服器都會同時執行此操作。 伺服器正在運行。 但沒人能找到它們。 一個安全功能將網路故障變成了存在性故障。 然後網際網路蜂擁而至:應用程式重試,使用者重新載入,
1:39 Cloudflare的解析器承受著正常負荷三十倍的流量, 對一個不存在的網站來說。 還有門禁。 工具、頻外存取、門禁卡:都在同一個網路上。 工程師開車到數據中心,進不去,然後面對加固的機架, 防止任何實體存取。 旨在減慢攻擊者,也減慢了擁有者。 骨幹網路恢復;他們刻意緩慢增加流量。
1:59 每個數據中心都停用了數十兆瓦的電力,一步到位地恢復會導致 第二次停機。
git blame — 責任劃分
2:05 git blame。Facebook,百分之五十五:指令經過審計, 審計工具有錯誤,一個指令影響了所有路由器。 DNS設計,百分之二十五:一個沒有比例感的健康檢查。 單一網路,百分之十五:工具、頻外、門禁。 機架,百分之五,因為它們盡責。 影響範圍:三十五億使用者,近六小時。 股價下跌百分之五,祖克柏紙面財富減少六十億,
影響範圍
2:27 美元。Telegram聲稱當天新增七千萬註冊。 結論,事件檢討:NEEDS REVIEW。 當晚聲明,一天內具名作者的事件檢討, 審計工具錯誤以白話文承認。
結論 + 星期一的建議
2:38 修復清單:加強測試和演習。 沒有提及將門禁從生產網路中移除。 星期一:將你的頻外存取和門禁放在一個你沒有 營運的網路上。 在評論中,或在thedailydiff.dev,發送你仍然不被允許談論的事件。 在評論中,或在thedailydiff.dev,發送你仍然不被允許談論的事件。 這就是今天的差異報告。 我是Axrisi的Niko。
2:58 負責地合併。
來源
- Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
- Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
- Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
- Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
- Andy Stone (Facebook), 16:07 UTCtwitter.com
- Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
- Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
- Hacker News (2,589 points)news.ycombinator.com
- The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
- Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
- Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
- Krebs on Securitykrebsonsecurity.com



