+− THE DAILY DIFFdev & AI news
SHIP IT

En regex lagde Cloudflare ned. 27 minutter.

2.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

2. juli 2019, 13:42 UTC: én ny regel for Cloudflares Web Application Firewall går live i mere end 180 byer på cirka to sekunder. Det er en XSS-regel i simuleringstilstand, så den blokerer intet, men den kører stadig på hver anmodning, og den ender med .*(?:.*=.*). PCRE backtrack'er, hver CPU-kerne, der betjener HTTP, rammer 100 %, og hvert Cloudflare-proxyet websted returnerer 502 i 27 minutter; trafikken falder 82 %. Nødstopkontakten sidder bag Cloudflare Access, som sidder bag Cloudflare. Postmortem, fra Cloudflares egen beretning: CPU-vagten fjernet uger tidligere i en refaktor, der skulle spare CPU, proceduren, der lod enhver regel springe staging over, motoren uden kompleksitetsgaranti, de 11 årsager og de 7 rettelser. Dommen over løsningen: SHIP IT.

Læs den skriftlige udgave (engelsk) ↗

Hvad denne video dækker

  • 13:31–13:42 UTC: PR flettet, CI grøn (ingen CPU-test), Quicksilver skubber reglen til 180+ byer; WAF-regler springer DOG → PIG → Canary-stadierne over
  • 13:45–14:07: første side; CPU 100 % verden over, trafik −82 %, 502'ere overalt; det interne kontrolpanel er bag Cloudflare Access, som er nede; nogle legitimationsoplysninger er udløbet; en sjældent øvet bypass
  • 14:07–14:09: global WAF-afslutning; trafik og CPU normal efter 27 minutter; 14:52 WAF tilbage minus reglen
  • 2. juli (15:50 UTC) og 12. juli: Cloudflare udgiver notatet fra samme dag og den fulde postmortem; CPU-vagt genindsat, 3.868 regler genlæst, trinvise udrulninger, skift til en lineær-tid regex-motor

Spørgsmål og svar

Hvordan kan et enkelt regulært udtryk lægge et globalt netværk ned?

Et regex med ubegrænset backtracking kan fastlåse hver CPU-kerne, der evaluerer det. Ifølge Cloudflares postmortem sluttede en ny firewall-regel med .*(?:.*=.*), PCRE backtrackede gennem hver anden opdeling, og CPU'en ramte 100 % på hver kerne, der betjener HTTP. Websteder bag Cloudflare returnerede 502-fejl i 27 minutter, og trafikken faldt 82 %.

blog.cloudflare.com · blog.cloudflare.com

Hvorfor forårsagede en firewall-regel i simuleringstilstand stadig et nedbrud?

Simuleringstilstand forhindrer en regel i at blokere trafik, men reglen evalueres stadig på hver anmodning. Reglen, der blev flettet den 2. juli 2019 kl. 13:31 UTC, var en cross-site scripting-regel i simuleringstilstand, så den blokerede intet, men den kørte alligevel på hver anmodning. Cloudflares postmortem siger, at omkostningerne ved at evaluere den udtømte CPU'en.

blog.cloudflare.com

Hvordan nåede én regel alle Cloudflare-datacentre på to sekunder?

Firewall-regler sprang den trinvise udrulning over, som andre udgivelser gennemgik. Ifølge postmortem lod proceduren enhver regel gå globalt på én gang, fordi regler eksisterer for at stoppe live-angreb. Denne regel var ikke en nødsituation, og Quicksilver skubbede den stadig til mere end 180 byer på cirka to sekunder, uden en CPU-test i CI til at fange den.

blog.cloudflare.com · blog.cloudflare.com

Hvorfor tog det Cloudflare 27 minutter at slukke for den defekte firewall-komponent?

Det interne kontrolpanel sad bag Cloudflare Access, som sad bag Cloudflare, så nedbruddet blokerede vejen til nødstopkontakten. Nogle legitimationsoplysninger var udløbet på grund af manglende brug, og en bypass, der sjældent blev øvet, tog omkring fem minutter. Den globale WAF-afslutning blev anvendt kl. 14:07 UTC, og trafikken var normal igen kl. 14:09.

blog.cloudflare.com · x.com

Bør teams beholde regex-motorer med backtracking i request-path-kode efter Cloudflare-nedbruddet?

The Daily Diffs dom var SHIP IT, for Cloudflares løsning. CPU-vagten blev genoprettet, 3.868 regler blev genlæst, regler går gennem trinvise udrulninger, og motoren skifter til en med lineær-tid garantier. Episodens praktiske råd er at undgå mønstre som dot-star dot-star i noget, der kører på hver anmodning, og at holde nødstopkontakten væk fra det system, den styrer.

blog.cloudflare.com

Oversat udskrift

Oversat fra den originale engelske fortælling. Tilgængelig lyd og undertekster styres af YouTube.

0:00 Én regulær udtryk går live på hver Cloudflare-server på én gang, og de næste syvogtyve minutter er webstederne bag den en 502-side, hvilket, for en firewall, er den strengeste mulige indstilling. 2. juli 2019, 13:42 UTC. Cloudflare poster inden for to timer: ikke et angreb, en dårlig udrulning, trafik ned 82 procent. Ti dage senere udgiver CTO John Graham-Cumming den fulde postmortem, regex inkluderet, og Hacker News giver den 698 point,

0:26 hvilket for et nedbrud er en stående ovation. Hvordan det sker, hvorfor det er muligt, og hvem der faktisk får skylden. Dette er The Daily Diff, postmortem. 13:31. En pull-anmodning flettes: en ny firewall-regel mod cross-site scripting, i simuleringstilstand, så den blokerer intet. 13:37, tests bestået; ingen måler CPU. 13:42, reglen sendes til 180 byer på to sekunder, fordi WAF-regler springer hund-, gris- og kanarie-stadierne over, som andre udgivelser får.

0:54 13:45, den første side. 13:49, Hacker News har en tråd om status-siden, som stadig siger, at alle systemer er operationelle. Reglen ender med "dot-star, dot-star, lig med, dot-star": hvad som helst, derefter hvad som helst, derefter et lighedstegn. PCRE gætter grådigt, fejler og backtrack'er gennem hver anden opdeling. x lig med x tager 23 trin. Tyve x'er efter lighedstegnet: 555.

1:15 Tyve x'er, ingen lighedstegn: 4.067 trin for at finde intet. Kør det på hver anmodning, og hver kerne er på hundrede procent, gør intet, grundigt. To vagter skulle have fanget det. CPU-grænsen for regler blev fjernet ved en fejl uger tidligere, i en refaktor, der skulle få WAF til at bruge mindre CPU. Og proceduren lader enhver regel springe staging over, fordi regler eksisterer for at stoppe live angreb; denne var ikke en nødsituation, og den gik global alligevel.

1:37 14:00, WAF er identificeret; intet angreb. 14:02, nogen foreslår den globale afslutning: én komponent, slukket, verden over. Kontakten er bag Cloudflare Access. Cloudflare Access er bag Cloudflare. Nogle legitimationsoplysninger er udløbet på grund af manglende brug, så det hurtigste netværk på internettet bruger fem minutter på en bypass, som ingen havde øvet. 14:07, nedlæggelse. 14:09, trafik normal. git blame: en udrulning med én hastighed, global; en CPU-vagt refaktoriseret væk ved en

2:04 ulykke; en regex-motor uden øvre grænse. Ikke ingeniøren, der skrev reglen: postmortem lister elleve årsager og navngiver ingen. Blast radius: 27 minutter, 82 procent af trafikken, 100 procent CPU på hver kerne, i hver by. Dashboardet og API'en sidder bag den samme edge, så kunder kan ikke engang slukke det. Hacker News, under postmortem: de havde ét problem, brugte en regulær udtryk, nu har de to. Gammel joke. Kompilerer stadig.

2:28 Dom, postmortem: ship it. CPU-vagten er tilbage, alle 3.868 regler læses manuelt, regler går gennem trinvise udrulninger, og motoren skifter til en med lineær-tid garantier, offentliggjort af Ken Thompson i 1968. Mandag: ingen dot-star dot-star i noget, der kører per anmodning, og hold nødstopkontakten væk fra det, den dræber. Send mig den hændelse, du stadig ikke må tale om, i kommentarerne, eller på the daily diff dot dev.

2:53 Og det er forskellen for i dag. Jeg er Niko fra Axrisi. Flet ansvarligt.

Kilder

  1. John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
  2. Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
  3. Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
  4. Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
  5. Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
  6. Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
  7. Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
  8. TechCrunch, Jul 2, 2019techcrunch.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Relaterede videoer