一個正則表達式讓Cloudflare停擺27分鐘。
2019年7月2日,世界標準時間13:42:一條新的Cloudflare網絡應用程式防火牆規則在大約兩秒鐘內在180多個城市上線。
2019年7月2日,世界標準時間13:42:一條新的Cloudflare網絡應用程式防火牆規則在大約兩秒鐘內在180多個城市上線。這是一個模擬模式下的XSS規則,因此它不會阻擋任何東西,但它仍然在每個請求上運行,並且以.*(?:.*=.*)結尾。PCRE回溯,每個處理HTTP請求的CPU核心都達到100%,所有通過Cloudflare代理的網站都在27分鐘內返回502錯誤;流量下降82%。終止開關位於Cloudflare Access之後,而Cloudflare Access又位於Cloudflare之後。根據Cloudflare自己的事後報告:數週前為了節省CPU而移除的CPU防護,允許任何規則跳過暫存的程序,沒有複雜性保證的引擎,11個原因和7個修復方案。關於修復方案的結論:SHIP IT。
本影片涵蓋的內容
- 世界標準時間13:31–13:42:PR合併,CI綠燈(無CPU測試),Quicksilver將規則推送到180多個城市;WAF規則跳過DOG → PIG → Canary階段
- 13:45–14:07:第一個頁面;全球CPU 100%,流量減少82%,各地都是502錯誤;內部控制面板位於Cloudflare Access之後,而Cloudflare Access已關閉;一些憑證已過期;一個很少演練的旁路
- 14:07–14:09:全球WAF終止;27分鐘後流量和CPU恢復正常;14:52 WAF恢復運作,但移除了該規則
- 7月2日(世界標準時間15:50)和7月12日:Cloudflare發布了當日備註和完整的事後報告;重新添加了CPU防護,重新讀取了3,868條規則,分階段推出,轉向線性時間正則表達式引擎
問題與解答
單個正則表達式如何導致全球網絡停擺?
一個具有無限回溯的正則表達式可以佔用評估它的每個CPU核心。根據Cloudflare的事後報告,一條新的防火牆規則以.*(?:.*=.*)結尾,PCRE回溯所有其他分割,導致每個處理HTTP的核心CPU達到100%。Cloudflare背後的網站返回502錯誤長達27分鐘,流量下降了82%。
為什麼模擬模式下的防火牆規則仍然會導致中斷?
模擬模式會阻止規則阻擋流量,但該規則仍然會在每個請求上進行評估。2019年7月2日世界標準時間13:31合併的規則是模擬模式下的跨站腳本規則,因此它沒有阻擋任何東西,但它仍在每個請求上運行。Cloudflare的事後報告稱,評估它的成本耗盡了CPU。
一條規則如何在兩秒鐘內到達每個Cloudflare數據中心?
防火牆規則跳過了其他版本所經歷的分階段發布。根據事後報告,該程序允許任何規則立即全球發布,因為規則的存在是為了阻止即時攻擊。這條規則並非緊急情況,但Quicksilver仍然在大約兩秒鐘內將其推送到180多個城市,而且CI中沒有CPU測試來捕捉它。
為什麼Cloudflare花了27分鐘才關閉有問題的防火牆組件?
內部控制面板位於Cloudflare Access之後,而Cloudflare Access又位於Cloudflare之後,因此中斷阻擋了通往終止開關的途徑。一些憑證因不常用而過期,而一個很少演練的旁路操作花了大約五分鐘。全球WAF終止操作於世界標準時間14:07執行,流量在14:09恢復正常。
在Cloudflare中斷之後,團隊是否應該在請求路徑代碼中保留帶有回溯的正則表達式引擎?
The Daily Diff對Cloudflare修復方案的結論是SHIP IT。CPU防護已恢復,3,868條規則已重新讀取,規則會經過分階段發布,並且引擎已轉為具有線性時間保證的引擎。該事件的實用建議是避免在任何每個請求運行的東西中使用點星點星等模式,並將終止開關與其所控制的系統分開。
翻譯的文字記錄
從英文原文旁白翻譯。可用的音頻和字幕由 YouTube 控制。
0:00 一個正則表達式同時在所有Cloudflare伺服器上線, 在接下來的二十七分鐘裡,其後面的網站都顯示502頁面, 對於防火牆來說,這是最嚴格的設定。 2019年7月2日,世界標準時間13:42。 Cloudflare在兩小時內發布:不是攻擊,而是錯誤的部署, 流量下降82%。 十天後,CTO John Graham-Cumming發布了完整的事後報告, 包括正則表達式,Hacker News給予了698個讚,
0:26 對於一次中斷來說,這簡直是起立鼓掌。 它是如何發生的,為什麼會發生,以及誰應該為此負責。 這是The Daily Diff,事後報告。 13:31。一個拉取請求合併:一條新的防火牆規則,用於防禦跨站 腳本攻擊,在模擬模式下,所以它沒有阻擋任何東西。 13:37,測試通過;沒有一個測試測量CPU。 13:42,該規則在兩秒鐘內發布到180個城市, 因為WAF規則跳過了其他版本所經歷的dog、pig和canary階段。
0:54 13:45,第一個頁面。 13:49,Hacker News上關於狀態頁面有討論, 該頁面仍然顯示所有系統正常運行。 該規則以點星、點星、等於、點星結尾:任何東西, 然後是任何東西,然後是等號。 PCRE貪婪地猜測,失敗,然後回溯所有其他分割。 x 等於 x 需要23步。 等號後20個x:555。
1:15 20個x,沒有等號:4,067步都找不到任何東西。 在每個請求和每個核心上運行它,每個核心都達到百分之百, 徹底地什麼也沒做。 兩個防護措施本應能捕捉到它。 數週前,規則上的CPU限制被錯誤移除, 在一次旨在讓WAF使用更少CPU的重構中。 而該程序允許任何規則跳過暫存,因為規則的存在是為了阻止即時 攻擊;這一次並非緊急情況,但它仍然全球發布了。
1:37 14:00,WAF被識別;沒有攻擊。 14:02,有人提議全球終止:一個組件, 關閉,全球。開關位於Cloudflare Access之後。 Cloudflare Access位於Cloudflare之後。 一些憑證因不常用而過期,所以互聯網上最快的網絡花了五分鐘 進行一次沒人演練過的旁路操作。 14:07,終止。14:09,流量恢復正常。 git blame:一次只有一種速度的全球發布;一個CPU防護被意外
2:04 重構移除;一個沒有上限的正則表達式引擎。 不是編寫規則的工程師:事後報告列出了11個原因,但沒有指名道姓。 影響範圍:27分鐘,82%的流量, 每個城市,每個核心CPU都達到100%。 儀表板和API位於相同的邊緣,所以客戶甚至無法關閉它。 Hacker News上,在事後報告下方:他們有一個問題, 使用了正則表達式,現在他們有兩個了。 老笑話。仍然適用。
2:28 裁決,事後報告:SHIP IT。 CPU防護已恢復,所有3,868條規則都已人工檢查, 規則會經過暫存階段,並且引擎已轉為具有線性時間 保證的引擎,由Ken Thompson於1968年發布。 星期一:任何每個請求運行的東西中都沒有點星點星, 並將終止開關與其所控制的東西分開。 將你仍然不被允許談論的事件發送給我, 在評論中,或發送到thedailydiff.dev。
2:53 這就是今天的diff。 我是Axrisi的Niko。 負責任地合併。
來源
- John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
- Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
- Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
- Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
- Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
- Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
- Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
- TechCrunch, Jul 2, 2019techcrunch.com



