+− THE DAILY DIFFdev & AI news
SHIP IT

Ett regex tog ner Cloudflare. 27 minuter.

2 juli 2019, 13:42 UTC: en ny regel för Cloudflares Web Application Firewall går live i över 180 städer på cirka två sekunder.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

2 juli 2019, 13:42 UTC: en ny regel för Cloudflares Web Application Firewall går live i över 180 städer på cirka två sekunder. Det är en XSS-regel i simuleringsläge, så den blockerar inget, men den körs fortfarande på varje begäran, och den slutar med .*(?:.*=.*). PCRE backar, varje CPU-kärna som hanterar HTTP når 100 %, och varje Cloudflare-proxied webbplats returnerar 502 i 27 minuter; trafiken sjunker 82 %. Nödstoppet sitter bakom Cloudflare Access, som sitter bakom Cloudflare. Postmortem, från Cloudflares egen genomgång: CPU-skyddet som togs bort veckor tidigare i en refaktorering som syftade till att spara CPU, proceduren som lät alla regler hoppa över staging, motorn utan komplexitetsgaranti, de 11 orsakerna och de 7 lösningarna. Dom över lösningen: SHIP IT.

Läs den skrivna upplagan (engelska) ↗

Vad den här videon täcker

  • 13:31–13:42 UTC: PR mergead, CI grön (inget CPU-test), Quicksilver skickar regeln till över 180 städer; WAF-regler hoppar över DOG → PIG → Canary-stadierna
  • 13:45–14:07: första sidan; CPU 100 % världsomspännande, trafik -82 %, 502 överallt; den interna kontrollpanelen ligger bakom Cloudflare Access, som är nere; vissa uppgifter har gått ut; en sällan övad bypass
  • 14:07–14:09: global WAF-terminering; trafik och CPU normal efter 27 minuter; 14:52 WAF tillbaka minus regeln
  • 2 juli (15:50 UTC) och 12 juli: Cloudflare publicerar anteckningen samma dag och den fullständiga postmortem; CPU-skydd återinsatt, 3 868 regler omprövade, stegvisa utrullningar, övergång till en linjär regex-motor

Frågor och svar

Hur kan ett enda reguljärt uttryck ta ner ett globalt nätverk?

En regex med obegränsad backtracking kan belasta varje CPU-kärna som utvärderar den. Enligt Cloudflares postmortem slutade en ny brandväggsregel med .*(?:.*=.*), PCRE backade genom varje annan delning, och CPU:n nådde 100 % på varje kärna som hanterade HTTP. Webbplatser bakom Cloudflare returnerade 502-fel i 27 minuter och trafiken sjönk 82 %.

blog.cloudflare.com · blog.cloudflare.com

Varför orsakade en brandväggsregel i simuleringsläge ändå ett avbrott?

Simuleringsläget hindrar en regel från att blockera trafik, men regeln utvärderas fortfarande vid varje begäran. Regeln som slogs samman kl. 13:31 UTC den 2 juli 2019 var en cross-site scripting-regel i simuleringsläge, så den blockerade inget, men den kördes vid varje begäran. Cloudflares postmortem säger att kostnaden för att utvärdera den tömde CPU:n.

blog.cloudflare.com

Hur nådde en regel alla Cloudflares datacenter på två sekunder?

Brandväggsregler hoppade över den stegvisa utrullningen som andra releaser gick igenom. Enligt postmortem tillät proceduren att alla regler blev globala på en gång eftersom regler finns för att stoppa live-attacker. Denna regel var inte en nödsituation, och Quicksilver skickade den ändå till över 180 städer på cirka två sekunder, utan CPU-test i CI för att fånga det.

blog.cloudflare.com · blog.cloudflare.com

Varför tog det Cloudflare 27 minuter att stänga av den felaktiga brandväggskomponenten?

Den interna kontrollpanelen låg bakom Cloudflare Access, som låg bakom Cloudflare, så avbrottet blockerade vägen till nödstoppet. Vissa uppgifter hade gått ut på grund av att de inte hade använts, och en bypass som sällan övades tog cirka fem minuter. Den globala WAF-termineringen tillämpades kl. 14:07 UTC, och trafiken var normal igen kl. 14:09.

blog.cloudflare.com · x.com

Bör team behålla regex-motorer med backtracking i begäran-path-kod efter Cloudflare-avbrottet?

The Daily Diffs dom var SHIP IT, för Cloudflares lösning. CPU-skyddet återställdes, 3 868 regler lästes om, regler går igenom stegvisa utrullningar, och motorn flyttas till en med linjär-tidsgarantier. Episodens praktiska råd är att undvika mönster som punkt-stjärna punkt-stjärna i allt som körs vid varje begäran och att hålla nödstoppet borta från systemet det kontrollerar.

blog.cloudflare.com

Översatt transkription

Översatt från den ursprungliga engelska berättelsen. Tillgängligt ljud och undertexter styrs av YouTube.

0:00 Ett enda reguljärt uttryck blir aktivt på varje Cloudflare-server samtidigt, och under de kommande tjugosju minuterna är webbplatserna bakom den en 502-sida, vilket, för en brandvägg, är den strängaste möjliga inställningen. 2 juli 2019, 13:42 UTC. Cloudflare publicerar inom två timmar: ingen attack, en dålig distribution, trafiken ner 82 procent. Tio dagar senare publicerar CTO John Graham-Cumming den fullständiga postmortem, regex inkluderat, och Hacker News ger det 698 poäng,

0:26 vilket för ett avbrott är en stående ovation. Hur det händer, varför det är möjligt och vem som faktiskt får skulden. Detta är The Daily Diff, postmortem. 13:31. En pull request slås samman: en ny brandväggsregel mot cross-site scripting, i simuleringsläge, så den blockerar inget. 13:37, tester godkänns; ingen mäter CPU. 13:42, regeln skickas till 180 städer på två sekunder, eftersom WAF-regler hoppar över hund-, gris- och kanariestadierna som andra releaser får.

0:54 13:45, den första sidan. 13:49, Hacker News har en tråd om statussidan, som fortfarande säger att alla system är operativa. Regeln slutar med punkt-stjärna, punkt-stjärna, likamed, punkt-stjärna: vad som helst, sedan vad som helst, sedan ett likhetstecken. PCRE gissar girigt, misslyckas och backar genom alla andra delningar. x likamed x tar 23 steg. Tjugo x efter likamed: 555.

1:15 Tjugo x, inget likhetstecken: 4 067 steg för att inte hitta något. Kör det på varje begäran och varje kärna är till hundra procent, gör ingenting, grundligt. Två vakter borde ha fångat det. CPU-gränsen på regler togs bort av misstag veckor tidigare, i en refaktorering som syftade till att WAF skulle använda mindre CPU. Och proceduren låter alla regler hoppa över staging, eftersom regler finns för att stoppa live- attacker; denna var ingen nödsituation, och den gick ändå globalt.

1:37 14:00, WAF identifieras; ingen attack. 14:02, någon föreslår global terminering: en komponent, avstängd, världsomspännande. Omkopplaren är bakom Cloudflare Access. Cloudflare Access är bakom Cloudflare. Vissa uppgifter har gått ut från att inte ha använts, så det snabbaste nätverket på internet spenderar fem minuter på en bypass som ingen övat. 14:07, döda. 14:09, trafiken normal. git blame: en utrullning med en hastighet, global; ett CPU-skydd refaktorerat bort av

2:04 misstag; en regex-motor utan övre gräns. Inte ingenjören som skrev regeln: postmortem listar elva orsaker och nämner ingen. Skadeomfång: 27 minuter, 82 procent av trafiken, 100 procent CPU på varje kärna, i varje stad. Instrumentpanelen och API:et sitter bakom samma edge, så kunder kan inte ens stänga av det. Hacker News, under postmortem: de hade ett problem, använde ett reguljärt uttryck, nu har de två. Gammalt skämt. Kompileras fortfarande.

2:28 Dom, postmortem: SHIP IT. CPU-skyddet är tillbaka, alla 3 868 regler läses igenom för hand, regler går igenom staging, och motorn flyttas till en med linjär tid- garantier, publicerade av Ken Thompson 1968. Måndag: inga punkt-stjärna punkt-stjärna i något som körs per begäran, och håll nödstoppet borta från det det dödar. Skicka mig händelsen du fortfarande inte får prata om, i kommentarerna, eller på the daily diff dot dev.

2:53 Och det är diffen för idag. Jag är Niko från Axrisi. Slå samman ansvarsfullt.

Källor

  1. John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
  2. Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
  3. Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
  4. Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
  5. Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
  6. Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
  7. Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
  8. TechCrunch, Jul 2, 2019techcrunch.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Relaterade videor