+− THE DAILY DIFFdev & AI news
SHIP IT

En regex tok ned Cloudflare. 27 minutter.

2.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

2. juli 2019, 13:42 UTC: en ny regel for Cloudflares Web Application Firewall går live i over 180 byer på omtrent to sekunder. Det er en XSS-regel i simulert modus, så den blokkerer ingenting, men den kjører fortsatt på hver forespørsel, og den ender i .*(?:.*=.*). PCRE backtrack, hver CPU-kjerne som betjener HTTP, når 100 %, og hvert Cloudflare-proxy-nettsted returnerer 502 i 27 minutter; trafikken faller 82 %. Nødstoppen sitter bak Cloudflare Access, som sitter bak Cloudflare. Postmortem, fra Cloudflares egen artikkel: CPU-beskyttelsen fjernet uker tidligere i en refaktor ment å spare CPU, prosedyren som lot enhver regel hoppe over staging, motoren uten kompleksitetsgaranti, de 11 årsakene og de 7 fikser. Dommen for løsningen: SHIP IT.

Les den skriftlige utgaven (engelsk) ↗

Hva denne videoen dekker

  • 13:31–13:42 UTC: PR slått sammen, CI grønn (ingen CPU-test), Quicksilver pusher regelen til over 180 byer; WAF-regler hopper over DOG → PIG → Canary-stadiene
  • 13:45–14:07: første side; CPU 100 % over hele verden, trafikk −82 %, 502 overalt; det interne kontrollpanelet er bak Cloudflare Access, som er nede; noen legitimasjoner er utløpt; en sjelden testet omgåelse
  • 14:07–14:09: global WAF-terminering; trafikk og CPU normal etter 27 minutter; 14:52 WAF tilbake minus regelen
  • 2. juli (15:50 UTC) og 12. juli: Cloudflare publiserer notatet samme dag og den fullstendige postmortemen; CPU-beskyttelse lagt til igjen, 3 868 regler lest på nytt, trinnvise utrullinger, overgang til en lineær-tids regex-motor

Spørsmål og svar

Hvordan kan et enkelt regulært uttrykk ta ned et globalt nettverk?

Et regex med ubegrenset backtracking kan låse hver CPU-kjerne som evaluerer det. Ifølge Cloudflares postmortem endte en ny brannmurregel med .*(?:.*=.*), PCRE backtrack gjennom hver annen splitt, og CPU nådde 100 % på hver kjerne som betjener HTTP. Nettsteder bak Cloudflare returnerte 502-feil i 27 minutter, og trafikken falt 82 %.

blog.cloudflare.com · blog.cloudflare.com

Hvorfor forårsaket en brannmurregel i simulert modus likevel et brudd?

Simulert modus hindrer en regel i å blokkere trafikk, men regelen evalueres fortsatt på hver forespørsel. Regelen som ble slått sammen kl. 13:31 UTC 2. juli 2019, var en cross-site scripting-regel i simulert modus, så den blokkerte ingenting, men den kjørte likevel på hver forespørsel. Cloudflares postmortem sier at kostnaden ved å evaluere den utmattet CPU-en.

blog.cloudflare.com

Hvordan nådde én regel alle Cloudflare-datasentre på to sekunder?

Brannmurregler hoppet over den trinnvise utrullingen som andre utgivelser gikk gjennom. Ifølge postmortemen lot prosedyren enhver regel gå globalt på en gang, fordi regler eksisterer for å stoppe live angrep. Denne regelen var ikke en nødsituasjon, og Quicksilver presset den likevel til over 180 byer på omtrent to sekunder, uten CPU-test i CI for å fange den opp.

blog.cloudflare.com · blog.cloudflare.com

Hvorfor tok det Cloudflare 27 minutter å slå av den defekte brannmurkomponenten?

Det interne kontrollpanelet satt bak Cloudflare Access, som satt bak Cloudflare, så bruddet blokkerte veien til nødstoppen. Noen legitimasjoner hadde utløpt fra ubruk, og en omgåelse som sjelden ble øvd på, tok omtrent fem minutter. Den globale WAF-termineringen ble brukt kl. 14:07 UTC, og trafikken var normal igjen kl. 14:09.

blog.cloudflare.com · x.com

Bør team beholde regex-motorer med backtracking i request-path-kode etter Cloudflare-bruddet?

The Daily Diffs dom var SHIP IT, for Cloudflares løsning. CPU-beskyttelsen ble gjenopprettet, 3 868 regler ble lest på nytt, regler går gjennom trinnvise utrullinger, og motoren går over til en med lineær-tidsgarantier. Episodens praktiske råd er å unngå mønstre som dot-stjerne dot-stjerne i noe som kjører på hver forespørsel, og å holde nødstoppen unna systemet den kontrollerer.

blog.cloudflare.com

Oversatt transkripsjon

Oversatt fra den originale engelske fortellingen. Tilgjengelig lyd og undertekster kontrolleres av YouTube.

0:00 Ett regulært uttrykk går live på hver Cloudflare-server samtidig, og de neste tjuesju minuttene er nettstedene bak den en 502-side, som, for en brannmur, er den strengest mulige innstillingen. 2. juli 2019, 13:42 UTC. Cloudflare poster innen to timer: ikke et angrep, en dårlig utrulling, trafikken ned 82 prosent. Ti dager senere publiserer CTO John Graham-Cumming den fullstendige postmortemen, regex inkludert, og Hacker News gir den 698 poeng,

0:26 som for et brudd er en stående applaus. Hvordan det skjer, hvorfor det er mulig, og hvem som faktisk får skylden. Dette er The Daily Diff, postmortem. 13:31. En pull request slås sammen: en ny brannmurregel mot tversgående skripting, i simulert modus, så den blokkerer ingenting. 13:37, tester passerer; ingen måler CPU. 13:42, regelen sendes til 180 byer på to sekunder, fordi WAF-regler hopper over hund-, gris- og kanarifase andre utgivelser får.

0:54 13:45, den første siden. 13:49, Hacker News har en tråd om statusen, som fortsatt sier alle systemer er operative. Regelen slutter med dot-stjerne, dot-stjerne, lik, dot-stjerne: hva som helst, deretter hva som helst, deretter et likhetstegn. PCRE gjetter grådig, mislykkes, og går tilbake gjennom alle andre delinger. x er lik x tar 23 trinn. Tjue x'er etter likhetstegnet: 555.

1:15 Tjue x'er, ingen likhetstegn: 4 067 trinn for å finne ingenting. Kjør det på hver forespørsel og hver kjerne er på hundre prosent, gjør ingenting, grundig. To vakter burde ha fanget det. CPU-grensen på regler ble fjernet ved en feil uker tidligere, i en refaktor ment å få WAF til å bruke mindre CPU. Og prosedyren lar enhver regel hoppe over staging, fordi regler finnes for å stoppe live angrep; denne var ikke en nødsituasjon, og den gikk globalt uansett.

1:37 14:00, WAF er identifisert; ingen angrep. 14:02, noen foreslår global terminering: en komponent, av, over hele verden. Bryteren er bak Cloudflare Access. Cloudflare Access er bak Cloudflare. Noen legitimasjoner har utløpt fra ubruk, så det raskeste nettverket på internett bruker fem minutter på en omgåelse ingen har øvd på. 14:07, drep. 14:09, trafikk normal. git blame: en utrulling med én hastighet, global; en CPU-vakt refaktorert bort ved

2:04 ulykke; en regex-motor uten øvre grense. Ikke ingeniøren som skrev regelen: postmortemen lister opp elleve årsaker og navngir ingen. Skadeområde: 27 minutter, 82 prosent av trafikken, 100 prosent CPU på hver kjerne, i hver by. Dashbordet og API-en sitter bak samme kant, så kunder kan ikke engang slå det av. Hacker News, under postmortemen: de hadde ett problem, brukte et regulært uttrykk, nå har de to. Gammel vits. Kompilerer fortsatt.

2:28 Dommen, postmortem: ship it. CPU-beskyttelsen er tilbake, alle 3 868 regler leses for hånd, regler går gjennom staging, og motoren går over til en med lineær tid garantier, publisert av Ken Thompson i 1968. Mandag: ingen dot-stjerne dot-stjerne i noe som kjører per forespørsel, og hold nødstoppen unna det den dreper. Send meg hendelsen du fortsatt ikke får snakke om, i kommentarene, eller på the daily diff dot dev.

2:53 Og det er forskjellen for i dag. Jeg er Niko fra Axrisi. Slå sammen ansvarlig.

Kilder

  1. John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
  2. Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
  3. Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
  4. Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
  5. Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
  6. Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
  7. Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
  8. TechCrunch, Jul 2, 2019techcrunch.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Relaterte videoer