+− THE DAILY DIFFdev & AI news
SHIP IT

Regex je oborio Cloudflare. 27 minuta.

2.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

2. jula 2019, 13:42 UTC: jedno novo pravilo za Cloudflare-ov Web Application Firewall postaje aktivno u više od 180 gradova za oko dve sekunde. To je XSS pravilo u simulacionom režimu, tako da ništa ne blokira, ali i dalje radi na svakom zahtevu i završava se sa .*(?:.*=.*). PCRE se vraća unazad, svako CPU jezgro koje opslužuje HTTP dostiže 100%, i svaki Cloudflare-proksirani sajt vraća 502 grešku tokom 27 minuta; promet pada za 82%. Prekidač za isključivanje se nalazi iza Cloudflare Access-a, koji se nalazi iza Cloudflare-a. Postmortem, iz Cloudflare-ovog sopstvenog izveštaja: CPU zaštita uklonjena nedeljama ranije u refaktorisanju koje je imalo za cilj uštedu CPU-a, procedura koja je dozvolila svakom pravilu da preskoči fazu testiranja, mehanizam bez garancije složenosti, 11 uzroka i 7 popravki. Presuda za popravku: SHIP IT.

Pročitajte pisano izdanje (engleski) ↗

Šta ovaj video pokriva

  • 13:31–13:42 UTC: PR spojen, CI zeleno (nema CPU testa), Quicksilver gura pravilo u više od 180 gradova; WAF pravila preskaču faze DOG → PIG → Canary
  • 13:45–14:07: prva stranica; CPU 100% širom sveta, promet -82%, 502 greške svuda; interna kontrolna tabla je iza Cloudflare Access-a, koji je u kvaru; neki akreditivi su istekli; retko uvežbana zaobilaznica
  • 14:07–14:09: globalno gašenje WAF-a; promet i CPU normalni nakon 27 minuta; 14:52 WAF ponovo radi minus pravilo
  • 2. jul (15:50 UTC) i 12. jul: Cloudflare objavljuje belešku istog dana i kompletan postmortem; CPU zaštita ponovo dodata, 3.868 pravila ponovo pročitano, postepeno uvođenje, prelazak na regex mehanizam linearnog vremena

Pitanja i odgovori

Kako jedan regularni izraz može oboriti globalnu mrežu?

RegEx sa neograničenim vraćanjem unazad može opteretiti svako CPU jezgro koje ga procenjuje. Prema Cloudflare-ovom postmortem izveštaju, novo firewall pravilo se završavalo sa .*(?:.*=.*), PCRE se vraćao unazad kroz svaki drugi split, a CPU je dostigao 100% na svakom jezgru koje opslužuje HTTP. Sajtovi iza Cloudflare-a su vraćali 502 greške tokom 27 minuta, a promet je opao za 82%.

blog.cloudflare.com · blog.cloudflare.com

Zašto je firewall pravilo u simulacionom režimu ipak izazvalo prekid rada?

Simulacioni režim sprečava pravilo da blokira promet, ali se pravilo i dalje procenjuje na svakom zahtevu. Pravilo spojeno 2. jula 2019. u 13:31 UTC bilo je pravilo za cross-site scripting u simulacionom režimu, tako da ništa nije blokiralo, ali je radilo na svakom zahtevu. Cloudflare-ov postmortem izveštaj navodi da je trošak procene iscrpeo CPU.

blog.cloudflare.com

Kako je jedno pravilo stiglo do svakog Cloudflare data centra za dve sekunde?

Firewall pravila su preskočila fazno uvođenje kroz koje su prolazila druga izdanja. Prema postmortem izveštaju, procedura je dozvolila da bilo koje pravilo odmah postane globalno jer pravila postoje da zaustave žive napade. Ovo pravilo nije bilo hitno, a Quicksilver ga je ipak gurnuo u više od 180 gradova za oko dve sekunde, bez CPU testa u CI da ga uhvati.

blog.cloudflare.com · blog.cloudflare.com

Zašto je Cloudflare-u trebalo 27 minuta da isključi neispravnu komponentu firewall-a?

Interna kontrolna tabla se nalazila iza Cloudflare Access-a, koji se nalazio iza Cloudflare-a, tako da je prekid rada blokirao put do prekidača za isključivanje. Neki akreditivi su istekli zbog nekorišćenja, a zaobilaznica koja se retko uvežbavala trajala je oko pet minuta. Globalno gašenje WAF-a primenjeno je u 14:07 UTC, a promet se vratio u normalu u 14:09.

blog.cloudflare.com · x.com

Da li timovi treba da zadrže regex mehanizme sa vraćanjem unazad u kodu putanje zahteva nakon Cloudflare prekida rada?

Presuda The Daily Diff-a je bila SHIP IT, za Cloudflare-ovu popravku. CPU zaštita je vraćena, 3.868 pravila je ponovo pročitano, pravila prolaze kroz fazno uvođenje, a mehanizam prelazi na onaj sa garancijama linearnog vremena. Praktičan savet iz ove epizode je da se izbegavaju obrasci kao što su dot-star dot-star u bilo čemu što se pokreće na svakom zahtevu i da se prekidač za isključivanje drži van sistema koji kontroliše.

blog.cloudflare.com

Preveden transkript

Prevedeno sa originalne engleske naracije. Dostupan audio i titlovi kontrolisani su od strane YouTube-a.

0:00 Jedan regularni izraz postaje aktivan na svakom Cloudflare serveru odjednom, i sledećih dvadeset sedam minuta sajtovi iza njega prikazuju stranicu 502, što je, za firewall, najstrože moguće podešavanje. 2. jul 2019, 13:42 UTC. Cloudflare objavljuje u roku od dva sata: nije napad, loše postavljanje, promet smanjen za 82 procenta. Deset dana kasnije CTO John Graham-Cumming objavljuje kompletan postmortem, uključujući regex, i Hacker News mu daje 698 poena,

0:26 što je za prekid rada stojeći aplauz. Kako se to dešava, zašto je to moguće, i ko je zapravo kriv. Ovo je The Daily Diff, postmortem. 13:31. Spaja se pull request: jedno novo firewall pravilo protiv cross-site scripting-a, u simulacionom režimu, tako da ništa ne blokira. 13:37, testovi prolaze; nijedan ne meri CPU. 13:42, pravilo se šalje u 180 gradova za dve sekunde, jer WAF pravila preskaču dog, pig i canary faze koje dobijaju druga izdanja.

0:54 13:45, prva stranica. 13:49, Hacker News ima temu o statusnoj stranici, koja i dalje kaže da su svi sistemi u funkciji. Pravilo se završava sa dot-star, dot-star, jednako, dot-star: bilo šta, onda bilo šta, onda znak jednakosti. PCRE pogađa pohlepno, ne uspeva, i vraća se kroz svaki drugi podelu. x jednako x traje 23 koraka. Dvadeset x-eva nakon znaka jednakosti: 555.

1:15 Dvadeset x-eva, bez znaka jednakosti: 4.067 koraka da se ništa ne nađe. Pokrenite to na svakom zahtevu i svako jezgro je na sto posto, radeći ništa, temeljno. Dva čuvara su to trebala uhvatiti. CPU limit na pravilima je uklonjen greškom nedeljama ranije, u refaktorisanju koje je imalo za cilj da WAF koristi manje CPU-a. A procedura omogućava svakom pravilu da preskoči fazu testiranja, jer pravila postoje da zaustave žive napade; ovo nije bila hitna situacija, a ipak je otišlo globalno.

1:37 14:00, WAF je identifikovan; nema napada. 14:02, neko predlaže globalno gašenje: jedna komponenta, isključena, širom sveta. Prekidač je iza Cloudflare Access-a. Cloudflare Access je iza Cloudflare-a. Neki akreditivi su istekli zbog nekorišćenja, tako da najbrža mreža na internetu provodi pet minuta na zaobilaznici koju niko nije uvežbavao. 14:07, gašenje. 14:09, promet normalan. git blame: uvođenje sa jednom brzinom, globalno; CPU zaštita refaktorisana slučajno;

2:04 regex mehanizam bez gornje granice. Nije inženjer koji je napisao pravilo: postmortem navodi jedanaest uzroka i ne imenuje nikoga. Radijus eksplozije: 27 minuta, 82 procenta prometa, 100 posto CPU-a na svakom jezgru, u svakom gradu. Kontrolna tabla i API se nalaze iza istog edge-a, tako da korisnici ne mogu čak ni da ga isključe. Hacker News, ispod postmortema: imali su jedan problem, koristili su regularni izraz, sada imaju dva. Stara šala. Još uvek se kompajlira.

2:28 Presuda, postmortem: SHIP IT. CPU zaštita je vraćena, svih 3.868 pravila se ručno pregledaju, pravila prolaze kroz faze testiranja, a mehanizam prelazi na onaj sa garancijama linearnog vremena, objavljen od strane Kena Thompsona 1968. godine. Ponedeljak: nema dot-star dot-star u bilo čemu što se pokreće po zahtevu, i držite prekidač za isključivanje van stvari koju isključuje. Pošaljite mi incident o kome vam još uvek nije dozvoljeno da pričate, u komentarima, ili na daily diff dot dev.

2:53 I to je diff za danas. Ja sam Niko iz Axrisi-ja. Spajajte odgovorno.

Izvori

  1. John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
  2. Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
  3. Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
  4. Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
  5. Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
  6. Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
  7. Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
  8. TechCrunch, Jul 2, 2019techcrunch.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Povezani video snimci