一個正規表達式讓 Cloudflare 停擺。27 分鐘。
2019 年 7 月 2 日,UTC 13:42:Cloudflare 網站應用程式防火牆的一條新規則在約兩秒內在全球 180 多個城市上線。
2019 年 7 月 2 日,UTC 13:42:Cloudflare 網站應用程式防火牆的一條新規則在約兩秒內在全球 180 多個城市上線。這是一條模擬模式的 XSS 規則,因此它不會阻擋任何東西,但它仍然會在每個請求上執行,並且以 .*(?:.*=.*) 結尾。PCRE 進行回溯,服務 HTTP 請求的每個 CPU 核心都達到 100 %,每個透過 Cloudflare 代理的網站都返回 502 錯誤長達 27 分鐘;流量下降 82 %。終止開關位於 Cloudflare Access 後面,而 Cloudflare Access 又位於 Cloudflare 後面。根據 Cloudflare 自己的事後分析報告:幾週前為節省 CPU 而移除的 CPU 防護措施,允許任何規則跳過暫存的程序,沒有複雜度保證的引擎,11 個原因和 7 個解決方案。對解決方案的裁決是:SHIP IT。
本影片重點
- UTC 13:31–13:42:PR 合併,CI 綠色(無 CPU 測試),Quicksilver 將規則推送到 180 多個城市;WAF 規則跳過了 DOG → PIG → Canary 階段
- 13:45–14:07:第一個頁面;全球 CPU 100 %,流量 −82 %,各地均出現 502 錯誤;內部控制面板位於 Cloudflare Access 後面,而 Cloudflare Access 已停擺;部分憑證已過期;一個鮮少演練的繞行方式
- 14:07–14:09:全球 WAF 終止;27 分鐘後流量和 CPU 恢復正常;14:52 WAF 恢復運作,但移除了該規則
- 7 月 2 日 (UTC 15:50) 和 7 月 12 日:Cloudflare 發布當日通知和完整事後分析;重新添加 CPU 防護,重新閱讀 3,868 條規則,分階段推出,轉向線性時間正規表達式引擎
問題與解答
單一正規表達式如何能使全球網路停擺?
具有無界回溯的正規表達式會使評估它的每個 CPU 核心都陷入停滯。根據 Cloudflare 的事後分析報告,一條新的防火牆規則以 .*(?:.*=.*) 結尾,PCRE 回溯了所有其他分割,導致服務 HTTP 的每個核心的 CPU 都達到 100 %。Cloudflare 後方的網站返回 502 錯誤長達 27 分鐘,流量下降 82 %。
為什麼模擬模式的防火牆規則仍然導致了中斷?
模擬模式會阻止規則阻擋流量,但該規則仍然會在每個請求上進行評估。2019 年 7 月 2 日 UTC 13:31 合併的跨站點腳本規則處於模擬模式,因此它沒有阻擋任何東西,但它仍在每個請求上執行。Cloudflare 的事後分析報告指出,評估該規則的成本耗盡了 CPU。
一條規則如何在兩秒內到達每個 Cloudflare 資料中心?
防火牆規則跳過了其他發布會經歷的分階段推出。根據事後分析報告,該程序允許任何規則立即全球上線,因為規則的存在是為了阻止實時攻擊。這條規則並非緊急情況,但 Quicksilver 仍在約兩秒內將其推送到 180 多個城市,而且 CI 中沒有 CPU 測試來發現它。
Cloudflare 為何花了 27 分鐘才關閉有問題的防火牆組件?
內部控制面板位於 Cloudflare Access 後面,而 Cloudflare Access 又位於 Cloudflare 後面,因此中斷阻擋了通往終止開關的途徑。一些憑證因閒置而過期,一個鮮少演練的繞行方式大約花了五分鐘。全球 WAF 終止於 UTC 14:07 應用,流量在 14:09 再次恢復正常。
Cloudflare 停機後,團隊是否應在請求路徑代碼中保留具有回溯功能的正規表達式引擎?
The Daily Diff 對 Cloudflare 解決方案的裁決是 SHIP IT。CPU 防護已恢復,3,868 條規則已重新審閱,規則通過分階段推出,並且引擎轉向具有線性時間保證的引擎。本集的實用建議是避免在每個請求執行的任何內容中出現像點星號、點星號這樣的模式,並將終止開關與其控制的系統分開。
翻譯文字稿
譯自英文原版旁白。可用的音訊和字幕由 YouTube 控制。
0:00 一個正規表達式同時在每個 Cloudflare 伺服器上線, 接下來的二十七分鐘,其後方的網站都變成 502 頁面, 對於防火牆來說,這是最嚴格的設定。 2019 年 7 月 2 日,UTC 13:42。 Cloudflare 在兩小時內發文:不是攻擊,是錯誤的部署, 流量下降 82 %。 十天後,技術長 John Graham-Cumming 發布了完整的事後分析報告, 包含正規表達式,Hacker News 給予 698 點讚,
0:26 對於停機事故來說,這是一個起立鼓掌的成就。 它是如何發生的,為什麼會發生,以及誰應該為此負責。 這是 The Daily Diff,事後分析。 13:31。一個拉取請求合併:一條針對跨站點 腳本的新防火牆規則,處於模擬模式,所以它不會阻擋任何東西。 13:37,測試通過;沒有一個測量 CPU。 13:42,該規則在兩秒內傳送至 180 個城市, 因為 WAF 規則跳過了其他發布會經歷的 dog、pig 和 canary 階段。
0:54 13:45,第一個頁面。 13:49,Hacker News 上有一篇關於狀態頁面的討論串, 該頁面仍然顯示所有系統正常運作。 該規則以點星號、點星號、等號、點星號結尾:任何東西, 然後是任何東西,然後是一個等號。 PCRE 貪婪猜測,失敗,並回溯所有其他分割。 x 等於 x 需要 23 步。 等號後有二十個 x:555 步。
1:15 二十個 x,沒有等號:4,067 步來找不到任何東西。 在每個請求上執行,每個核心都會達到百分之百, 徹底地什麼也沒做。 兩個防護措施應該會發現它。 規則的 CPU 限制在幾週前被錯誤地移除, 在旨在讓 WAF 使用更少 CPU 的重構中。 而且該程序允許任何規則跳過暫存,因為規則的存在是為了阻止實時 攻擊;這不是緊急情況,但它仍然全球上線了。
1:37 14:00,WAF 被識別;沒有攻擊。 14:02,有人提議全球終止:一個組件, 關閉,全球範圍。該開關位於 Cloudflare Access 後面。 Cloudflare Access 位於 Cloudflare 後面。 由於閒置,一些憑證已過期,因此網際網路上最快的網路花費了五分鐘來執行一個從未演練過的繞行。 在網路花費了五分鐘進行無人演練的繞道。 14:07,終止。14:09,流量恢復正常。 git blame:一次性全球發布;CPU 防護意外地被重構移除;
2:04 一個沒有上限的正規表達式引擎。 不是編寫規則的工程師:事後分析列出了十一項原因,但 沒有指名道姓。影響範圍:27 分鐘,82 % 的流量, 每個城市每個核心 100 % 的 CPU。 儀表板和 API 位於相同的邊緣後面,因此客戶甚至無法將其關閉。 Hacker News,在事後分析之下:他們有一個問題, 使用了正規表達式,現在他們有兩個。 老笑話。仍然適用。
2:28 裁決,事後分析:SHIP IT。 CPU 防護已恢復,所有 3,868 條規則都經過人工審閱, 規則通過分階段推出,引擎轉向具有線性時間 保證的引擎,由 Ken Thompson 於 1968 年發布。 星期一:在每個請求執行的任何東西中避免點星號、點星號, 並將終止開關與其控制的系統分開。 將你仍不被允許談論的事件寄給我, 在評論中,或寄到 the daily diff dot dev。
2:53 這就是今天的差異。 我是 Axrisi 的 Niko。 謹慎合併。
來源
- John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
- Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
- Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
- Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
- Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
- Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
- Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
- TechCrunch, Jul 2, 2019techcrunch.com



