+− THE DAILY DIFFdev & AI news
SHIP IT

Regex je srušio Cloudflare. 27 minuta.

2.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

2. jula 2019., 13:42 UTC: jedno novo pravilo za Cloudflare-ov Web Application Firewall postaje aktivno u više od 180 gradova za oko dvije sekunde. To je XSS pravilo u simulacionom načinu rada, tako da ništa ne blokira, ali se i dalje pokreće na svakom zahtjevu i završava se sa .*(?:.*=.*). PCRE se vraća unazad, svaka CPU jezgra koja opslužuje HTTP dostiže 100%, i svaka lokacija koju posreduje Cloudflare vraća 502 grešku tokom 27 minuta; promet opada za 82%. Prekidač za isključivanje nalazi se iza Cloudflare Accessa, koji se nalazi iza Cloudflare-a. Postmortem, iz Cloudflare-ovog vlastitog izvještaja: CPU zaštita uklonjena sedmicama ranije u refaktorisanju namijenjenom uštedi CPU-a, procedura koja je omogućavala svakom pravilu da preskoči fazu postavljanja, mehanizam bez garancije složenosti, 11 uzroka i 7 rješenja. Presuda o rješenju: SHIP IT.

Pročitajte pisano izdanje (engleski) ↗

Šta ovaj video pokriva

  • 13:31–13:42 UTC: PR spojen, CI zeleni (nema CPU testa), Quicksilver gura pravilo u 180+ gradova; WAF pravila preskaču DOG → PIG → Canary faze
  • 13:45–14:07: prva stranica; CPU 100% širom svijeta, promet −82%, 502 greške svuda; interna kontrolna tabla je iza Cloudflare Accessa, koji je isključen; neki akreditivi su istekli; rijetko korištena zaobilaznica
  • 14:07–14:09: globalno isključivanje WAF-a; promet i CPU normalni nakon 27 minuta; 14:52 WAF ponovo radi minus pravilo
  • 2. jula (15:50 UTC) i 12. jula: Cloudflare objavljuje bilješku istog dana i potpuni postmortem; CPU zaštita ponovo dodana, 3.868 pravila ponovo pročitana, fazne primjene, prelazak na regex motor sa linearnim vremenom

Pitanja i odgovori

Kako jedan regularni izraz može srušiti globalnu mrežu?

Regex s neograničenim vraćanjem unatrag može opteretiti svaku CPU jezgru koja ga procjenjuje. Prema Cloudflareovom postmortem izvještaju, novo pravilo firewall-a završavalo je s .*(?:.*=.*), PCRE se vraćao unatrag kroz svaki drugi razdvajač, a CPU je dostigao 100% na svakoj jezgri koja opslužuje HTTP. Stranice iza Cloudflarea vraćale su greške 502 tijekom 27 minuta, a promet je pao za 82%.

blog.cloudflare.com · blog.cloudflare.com

Zašto je pravilo zaštitnog zida u simulacionom režimu i dalje izazvalo prekid rada?

Simulacioni režim sprečava pravilo da blokira saobraćaj, ali se pravilo i dalje procenjuje na svaki zahtev. Pravilo spojeno 2. jula 2019. u 13:31 UTC bilo je pravilo za "cross-site scripting" u simulacionom režimu, tako da ništa nije blokiralo, ali se ipak pokretalo na svakom zahtevu. Cloudflare-ov postmortem navodi da je trošak njegovog procenjivanja iscrpio CPU.

blog.cloudflare.com

Kako je jedno pravilo dospjelo u svaki Cloudflare podatkovni centar za dvije sekunde?

Pravila zaštitnog zida preskočila su faznu primjenu kroz koju su prolazila druga izdanja. Prema postmortem izvještaju, procedura je dopuštala bilo kojem pravilu da odmah postane globalno jer pravila postoje da zaustave stvarne napade. Ovo pravilo nije bilo hitno, a Quicksilver ga je ipak poslao u više od 180 gradova za oko dvije sekunde, bez CPU testa u CI-u da ga uhvati.

blog.cloudflare.com · blog.cloudflare.com

Zašto je Cloudflare-u trebalo 27 minuta da isključi neispravnu komponentu zaštitnog zida?

Interni kontrolni panel nalazio se iza Cloudflare Accessa, koji se nalazio iza Cloudflare-a, tako da je prekid blokirao put do prekidača za isključivanje. Neki akreditivi su istekli zbog nekorištenja, a zaobilazni put koji se rijetko koristio trajao je oko pet minuta. Globalno isključivanje WAF-a primijenjeno je u 14:07 UTC, a promet je ponovo bio normalan u 14:09.

blog.cloudflare.com · x.com

Treba li timovi zadržati regex mašine s vraćanjem unatrag u kodu putanje zahtjeva nakon prekida rada Cloudflarea?

Presuda The Daily Diff-a bila je SHIP IT, za Cloudflareovo rješenje. CPU zaštita je vraćena, 3.868 pravila je ponovno pročitano, pravila prolaze kroz faznu implementaciju, a engine prelazi na onaj s linearno-vremenskim garancijama. Praktičan savjet iz ove epizode je izbjegavati obrasce poput tačka-zvijezda tačka-zvijezda u bilo čemu što se pokreće na svaki zahtjev i držati prekidač za ubijanje dalje od sistema koji kontrolira.

blog.cloudflare.com

Prevedeni transkript

Prevedeno iz originalne engleske naracije. Dostupan zvuk i titlovi kontroliše YouTube.

0:00 Jedan regularni izraz se pokreće na svakom Cloudflare serveru istovremeno, i sljedećih dvadeset sedam minuta lokacije iza njega su stranica sa greškom 502, što je, za firewall, najstroža moguća postavka. 2. jula 2019. godine, 13:42 UTC. Cloudflare objavljuje u roku od dva sata: nije napad, loša primjena, promet smanjen za 82 posto. Deset dana kasnije CTO John Graham-Cumming objavljuje potpuni postmortem, uključujući regex, a Hacker News mu daje 698 bodova,

0:26 što je za prekid rada stojeće ovacije. Kako se to dešava, zašto je moguće i ko je zapravo kriv. Ovo je The Daily Diff, postmortem. 13:31. Spaja se zahtjev za povlačenje: jedno novo pravilo firewall-a protiv cross-site skriptovanja, u simulacionom režimu, tako da ništa ne blokira. 13:37, testovi prolaze; nijedan ne mjeri CPU. 13:42, pravilo se šalje u 180 gradova za dvije sekunde, jer WAF pravila preskaču faze "pas", "svinja" i "kanarinac" koje dobijaju druga izdanja.

0:54 13:45, prva stranica. 13:49, Hacker News ima temu o stranici statusa, koja i dalje kaže da su svi sistemi operativni. Pravilo završava s tačka-zvjezdica, tačka-zvjezdica, jednako, tačka-zvjezdica: bilo šta, zatim bilo šta, zatim znak jednakosti. PCRE pogađa pohlepno, ne uspijeva i vraća se kroz svaki drugi podjeljak. x jednako x traje 23 koraka. Dvadeset x-eva nakon znaka jednakosti: 555.

1:15 Dvadeset x-eva, bez znaka jednakosti: 4.067 koraka da se ništa ne pronađe. Pokrenite to na svakom zahtjevu i svako jezgro je na sto posto, ne radeći ništa, temeljito. Dva čuvara su to trebala uhvatiti. CPU ograničenje na pravila je uklonjeno greškom nekoliko sedmica ranije, u refaktorisanju namijenjenom da WAF koristi manje CPU-a. A procedura dozvoljava svakom pravilu da preskoči fazu testiranja, jer pravila postoje da zaustave stvarne napade; ovo nije bila hitna situacija, a ipak je otišla globalno.

1:37 14:00, WAF je identificiran; nema napada. 14:02, neko predlaže globalno isključivanje: jedna komponenta, isključena, širom svijeta. Prekidač je iza Cloudflare Accessa. Cloudflare Access je iza Cloudflare-a. Neki akreditivi su istekli zbog nekorištenja, pa najbrža mreža na internetu provodi pet minuta na zaobilaznici koju niko nije vježbao. 14:07, ugasiti. 14:09, promet normalan. git blame: implementacija s jednom brzinom, globalna; CPU zaštita refaktorirana slučajno;

2:04 regex mašina bez gornje granice. Nije inženjer koji je napisao pravilo: postmortem navodi jedanaest uzroka i ne imenuje nikoga. Radijus eksplozije: 27 minuta, 82 posto prometa, 100 posto CPU-a na svakoj jezgri, u svakom gradu. Kontrolna ploča i API nalaze se iza istog "edge-a", tako da korisnici ne mogu čak ni isključiti To. Hacker News, ispod postmortema: imali su jedan problem, koristili su regularni izraz, sada ih imaju dva. Stara šala. I dalje se kompajlira.

2:28 Presuda, postmortem: SHIP IT. CPU zaštita je ponovo aktivna, svih 3.868 pravila se ručno provjeravaju, pravila prolaze kroz faznu implementaciju, a engine prelazi na onaj sa linearno-vremenskim garancijama, koje je objavio Ken Thompson 1968. godine. Ponedjeljak: bez tačka-zvijezda tačka-zvijezda u bilo čemu što se pokreće po zahtjevu, i držite prekidač za ubijanje dalje od stvari koju ubija. Pošaljite mi incident o kojem još uvijek ne smijete govoriti, u komentarima, ili na the daily diff dot dev.

2:53 I to je diff za danas. Ja sam Niko iz Axrisija. Spajajte odgovorno.

Izvori

  1. John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
  2. Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
  3. Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
  4. Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
  5. Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
  6. Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
  7. Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
  8. TechCrunch, Jul 2, 2019techcrunch.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Povezani videozapisi