+− THE DAILY DIFFdev & AI news
SHIP IT

一個正規表達式讓 Cloudflare 停擺。27 分鐘。

2019 年 7 月 2 日,UTC 13:42:Cloudflare 網站應用程式防火牆的一條新規則在約兩秒內在全球 180 多個城市上線。

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

2019 年 7 月 2 日,UTC 13:42:Cloudflare 網站應用程式防火牆的一條新規則在約兩秒內在全球 180 多個城市上線。這是一條模擬模式的 XSS 規則,因此它不會阻擋任何東西,但它仍然會在每個請求上執行,並且以 .*(?:.*=.*) 結尾。PCRE 進行回溯,服務 HTTP 請求的每個 CPU 核心都達到 100 %,每個透過 Cloudflare 代理的網站都返回 502 錯誤長達 27 分鐘;流量下降 82 %。終止開關位於 Cloudflare Access 後面,而 Cloudflare Access 又位於 Cloudflare 後面。根據 Cloudflare 自己的事後分析報告:幾週前為節省 CPU 而移除的 CPU 防護措施,允許任何規則跳過暫存的程序,沒有複雜度保證的引擎,11 個原因和 7 個解決方案。對解決方案的裁決是:SHIP IT。

閱讀書面版(英文) ↗

本影片重點

  • UTC 13:31–13:42:PR 合併,CI 綠色(無 CPU 測試),Quicksilver 將規則推送到 180 多個城市;WAF 規則跳過了 DOG → PIG → Canary 階段
  • 13:45–14:07:第一個頁面;全球 CPU 100 %,流量 −82 %,各地均出現 502 錯誤;內部控制面板位於 Cloudflare Access 後面,而 Cloudflare Access 已停擺;部分憑證已過期;一個鮮少演練的繞行方式
  • 14:07–14:09:全球 WAF 終止;27 分鐘後流量和 CPU 恢復正常;14:52 WAF 恢復運作,但移除了該規則
  • 7 月 2 日 (UTC 15:50) 和 7 月 12 日:Cloudflare 發布當日通知和完整事後分析;重新添加 CPU 防護,重新閱讀 3,868 條規則,分階段推出,轉向線性時間正規表達式引擎

問題與解答

單一正規表達式如何能使全球網路停擺?

具有無界回溯的正規表達式會使評估它的每個 CPU 核心都陷入停滯。根據 Cloudflare 的事後分析報告,一條新的防火牆規則以 .*(?:.*=.*) 結尾,PCRE 回溯了所有其他分割,導致服務 HTTP 的每個核心的 CPU 都達到 100 %。Cloudflare 後方的網站返回 502 錯誤長達 27 分鐘,流量下降 82 %。

blog.cloudflare.com · blog.cloudflare.com

為什麼模擬模式的防火牆規則仍然導致了中斷?

模擬模式會阻止規則阻擋流量,但該規則仍然會在每個請求上進行評估。2019 年 7 月 2 日 UTC 13:31 合併的跨站點腳本規則處於模擬模式,因此它沒有阻擋任何東西,但它仍在每個請求上執行。Cloudflare 的事後分析報告指出,評估該規則的成本耗盡了 CPU。

blog.cloudflare.com

一條規則如何在兩秒內到達每個 Cloudflare 資料中心?

防火牆規則跳過了其他發布會經歷的分階段推出。根據事後分析報告,該程序允許任何規則立即全球上線,因為規則的存在是為了阻止實時攻擊。這條規則並非緊急情況,但 Quicksilver 仍在約兩秒內將其推送到 180 多個城市,而且 CI 中沒有 CPU 測試來發現它。

blog.cloudflare.com · blog.cloudflare.com

Cloudflare 為何花了 27 分鐘才關閉有問題的防火牆組件?

內部控制面板位於 Cloudflare Access 後面,而 Cloudflare Access 又位於 Cloudflare 後面,因此中斷阻擋了通往終止開關的途徑。一些憑證因閒置而過期,一個鮮少演練的繞行方式大約花了五分鐘。全球 WAF 終止於 UTC 14:07 應用,流量在 14:09 再次恢復正常。

blog.cloudflare.com · x.com

Cloudflare 停機後,團隊是否應在請求路徑代碼中保留具有回溯功能的正規表達式引擎?

The Daily Diff 對 Cloudflare 解決方案的裁決是 SHIP IT。CPU 防護已恢復,3,868 條規則已重新審閱,規則通過分階段推出,並且引擎轉向具有線性時間保證的引擎。本集的實用建議是避免在每個請求執行的任何內容中出現像點星號、點星號這樣的模式,並將終止開關與其控制的系統分開。

blog.cloudflare.com

翻譯文字稿

譯自英文原版旁白。可用的音訊和字幕由 YouTube 控制。

0:00 一個正規表達式同時在每個 Cloudflare 伺服器上線, 接下來的二十七分鐘,其後方的網站都變成 502 頁面, 對於防火牆來說,這是最嚴格的設定。 2019 年 7 月 2 日,UTC 13:42。 Cloudflare 在兩小時內發文:不是攻擊,是錯誤的部署, 流量下降 82 %。 十天後,技術長 John Graham-Cumming 發布了完整的事後分析報告, 包含正規表達式,Hacker News 給予 698 點讚,

0:26 對於停機事故來說,這是一個起立鼓掌的成就。 它是如何發生的,為什麼會發生,以及誰應該為此負責。 這是 The Daily Diff,事後分析。 13:31。一個拉取請求合併:一條針對跨站點 腳本的新防火牆規則,處於模擬模式,所以它不會阻擋任何東西。 13:37,測試通過;沒有一個測量 CPU。 13:42,該規則在兩秒內傳送至 180 個城市, 因為 WAF 規則跳過了其他發布會經歷的 dog、pig 和 canary 階段。

0:54 13:45,第一個頁面。 13:49,Hacker News 上有一篇關於狀態頁面的討論串, 該頁面仍然顯示所有系統正常運作。 該規則以點星號、點星號、等號、點星號結尾:任何東西, 然後是任何東西,然後是一個等號。 PCRE 貪婪猜測,失敗,並回溯所有其他分割。 x 等於 x 需要 23 步。 等號後有二十個 x:555 步。

1:15 二十個 x,沒有等號:4,067 步來找不到任何東西。 在每個請求上執行,每個核心都會達到百分之百, 徹底地什麼也沒做。 兩個防護措施應該會發現它。 規則的 CPU 限制在幾週前被錯誤地移除, 在旨在讓 WAF 使用更少 CPU 的重構中。 而且該程序允許任何規則跳過暫存,因為規則的存在是為了阻止實時 攻擊;這不是緊急情況,但它仍然全球上線了。

1:37 14:00,WAF 被識別;沒有攻擊。 14:02,有人提議全球終止:一個組件, 關閉,全球範圍。該開關位於 Cloudflare Access 後面。 Cloudflare Access 位於 Cloudflare 後面。 由於閒置,一些憑證已過期,因此網際網路上最快的網路花費了五分鐘來執行一個從未演練過的繞行。 在網路花費了五分鐘進行無人演練的繞道。 14:07,終止。14:09,流量恢復正常。 git blame:一次性全球發布;CPU 防護意外地被重構移除;

2:04 一個沒有上限的正規表達式引擎。 不是編寫規則的工程師:事後分析列出了十一項原因,但 沒有指名道姓。影響範圍:27 分鐘,82 % 的流量, 每個城市每個核心 100 % 的 CPU。 儀表板和 API 位於相同的邊緣後面,因此客戶甚至無法將其關閉。 Hacker News,在事後分析之下:他們有一個問題, 使用了正規表達式,現在他們有兩個。 老笑話。仍然適用。

2:28 裁決,事後分析:SHIP IT。 CPU 防護已恢復,所有 3,868 條規則都經過人工審閱, 規則通過分階段推出,引擎轉向具有線性時間 保證的引擎,由 Ken Thompson 於 1968 年發布。 星期一:在每個請求執行的任何東西中避免點星號、點星號, 並將終止開關與其控制的系統分開。 將你仍不被允許談論的事件寄給我, 在評論中,或寄到 the daily diff dot dev。

2:53 這就是今天的差異。 我是 Axrisi 的 Niko。 謹慎合併。

來源

  1. John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
  2. Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
  3. Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
  4. Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
  5. Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
  6. Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
  7. Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
  8. TechCrunch, Jul 2, 2019techcrunch.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

相關影片

postmortem · zh-TW · 2026年9月19日

Google Cloud 在空白欄位上崩潰。三小時。

一個帶有幾個空白欄位的政策列導致空指標,Google Cloud 在所有區域同時崩潰 — 然後 Cloudflare 也隨之崩潰。2025 年 6 月 12 日,世界標準時間 17:49:Service Control 是核准每個 Google Cloud API 請求的二進位檔案,它讀取了一個帶有「非預期空白欄位」的配額政策變更,觸發了兩週前部署且沒有空值檢查和功能旗標的程式碼路徑,並在每個區域

2:57 ↗
postmortem · zh-TW · 2026年9月16日

Facebook從網路世界中消失了。六小時。

Facebook將自己的位址從網際網路中刪除,當其工程師趕來恢復時,門禁讀卡機也失效了,因為它們是運行在Facebook上的。2021年10月4日,15:40 UTC:一個例行的骨幹網路維護指令導致Facebook所有數據中心之間的鏈接中斷;用於阻止此類指令的審計工具存在錯誤;Facebook的名稱伺服器由於無法連線到數據中心,按設計撤回了它們自己的BGP路由——因此facebook.com、In

3:01 ↗
postmortem · zh-TW · 2026年9月22日

重新開機讓 Telstra 回到 2006 年。九百萬支手機受影響。

墨爾本的一名工程師在凌晨 2:50 重新啟動計時機箱,到早餐時間,澳洲最大的行動網路一致同意時間是 2006 年 11 月 8 日。2026 年 7 月 8 日:Telstra 的 NTP 機箱中一個 GPS 卡在電源維修期間重新啟動,其韌體從未進行過 GPS 週數翻轉更新,因此它選擇了舊的紀元,回到 1,024 週前。由於 2025 年 10 月的權宜之計,該卡成為網路唯一的 stratum-1

3:15 ↗