+− THE DAILY DIFFdev & AI news
SHIP IT

Regex je srušio Cloudflare. 27 minuta.

2.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

2. srpnja 2019., 13:42 UTC: jedno novo pravilo za Cloudflareov Web Application Firewall pokreće se u više od 180 gradova za otprilike dvije sekunde. To je XSS pravilo u simulacijskom načinu rada, tako da ništa ne blokira, ali se ipak izvodi pri svakom zahtjevu i završava s .*(?:.*=.*). PCRE vraća korake unazad, svaka CPU jezgra koja opslužuje HTTP doseže 100 %, a svaka stranica proxyana od strane Cloudflarea vraća 502 tijekom 27 minuta; promet pada 82 %. Prekidač za isključivanje nalazi se iza Cloudflare Accessa, koji se nalazi iza Cloudflarea. Postmortem, iz Cloudflareovog vlastitog izvješća: CPU zaštita uklonjena tjednima ranije u refaktoriranju namijenjenom uštedi CPU-a, procedura koja je omogućila bilo kojem pravilu da preskoči staging, pogon bez jamstva složenosti, 11 uzroka i 7 popravaka. Presuda o popravku: SHIP IT.

Pročitajte pisano izdanje (engleski) ↗

Što ovaj video pokriva

  • 13:31–13:42 UTC: PR spojen, CI zeleni (nema CPU testa), Quicksilver gura pravilo u 180+ gradova; WAF pravila preskaču DOG → PIG → Canary faze
  • 13:45–14:07: prva stranica; CPU 100 % diljem svijeta, promet −82 %, 502 posvuda; interna upravljačka ploča je iza Cloudflare Accessa, koji je isključen; neke vjerodajnice su istekle; rijetko vježbana zaobilaznica
  • 14:07–14:09: globalno isključivanje WAF-a; promet i CPU normalni nakon 27 minuta; 14:52 WAF se vraća bez pravila
  • 2. srpnja (15:50 UTC) i 12. srpnja: Cloudflare objavljuje bilješku istog dana i potpuni postmortem; CPU zaštita ponovno dodana, 3.868 pravila ponovno pročitano, postupno uvođenje, prelazak na regex pogon s linearnim vremenom

Pitanja i odgovori

Kako jedan regularni izraz može srušiti globalnu mrežu?

Regex s neograničenim vraćanjem koraka unazad može zauzeti svaku CPU jezgru koja ga procjenjuje. Prema Cloudflareovom postmortemu, novo pravilo vatrozida završavalo je s .*(?:.*=.*), PCRE se vraćao korake unazad kroz svaku drugu podjelu, a CPU je dosegnuo 100 % na svakoj jezgri koja je opsluživala HTTP. Stranice iza Cloudflarea vraćale su pogreške 502 tijekom 27 minuta, a promet je pao za 82 %.

blog.cloudflare.com · blog.cloudflare.com

Zašto je pravilo vatrozida u simulacijskom načinu rada ipak uzrokovalo prekid rada?

Simulacijski način rada sprječava pravilo da blokira promet, ali se pravilo i dalje procjenjuje pri svakom zahtjevu. Pravilo spojeno 2. srpnja 2019. u 13:31 UTC bilo je pravilo za cross-site scripting u simulacijskom načinu rada, tako da ništa nije blokiralo, a ipak se izvršavalo pri svakom zahtjevu. Cloudflareov postmortem navodi da je trošak njegove procjene iscrpio CPU.

blog.cloudflare.com

Kako je jedno pravilo stiglo do svakog Cloudflare podatkovnog centra za dvije sekunde?

Pravila vatrozida preskočila su postupno uvođenje kroz koje su prošla druga izdanja. Prema postmortemu, procedura je omogućila da bilo koje pravilo odmah postane globalno jer pravila postoje za zaustavljanje napada uživo. Ovo pravilo nije bilo hitno, a Quicksilver ga je ipak gurnuo u više od 180 gradova za otprilike dvije sekunde, bez CPU testa u CI-u da ga uhvati.

blog.cloudflare.com · blog.cloudflare.com

Zašto je Cloudflareu trebalo 27 minuta da isključi neispravnu komponentu vatrozida?

Interna upravljačka ploča nalazila se iza Cloudflare Accessa, koji se nalazio iza Cloudflarea, tako da je prekid rada blokirao put do prekidača za isključivanje. Neke vjerodajnice su istekle zbog nekorištenja, a zaobilaznica koja se rijetko vježbala trajala je oko pet minuta. Globalno isključivanje WAF-a primijenjeno je 2. srpnja u 14:07 UTC, a promet je ponovno bio normalan u 14:09.

blog.cloudflare.com · x.com

Treba li timovi zadržati regex pogone s vraćanjem koraka unazad u kodu putanje zahtjeva nakon prekida rada Cloudflarea?

Presuda The Daily Diffa bila je SHIP IT, za Cloudflareov popravak. CPU zaštita je vraćena, 3.868 pravila je ponovno pročitano, pravila prolaze kroz postupno uvođenje, a pogon prelazi na onaj s jamstvima linearnog vremena. Praktični savjet ove epizode je izbjegavanje uzoraka poput točka-zvijezda točka-zvijezda u bilo čemu što se pokreće pri svakom zahtjevu i držanje prekidača za isključivanje izvan sustava koji kontrolira.

blog.cloudflare.com

Prevedeni transkript

Prevedeno iz izvornog engleskog pripovijedanja. Dostupni zvuk i titlovi kontroliraju se putem YouTubea.

0:00 Jedan regularni izraz se pokreće istovremeno na svakom Cloudflare serveru, i sljedećih dvadeset sedam minuta stranice iza njega su stranice s greškom 502, što je za vatrozid najstroža moguća postavka. 2. srpnja 2019., 13:42 UTC. Cloudflare objavljuje unutar dva sata: nije napad, loša implementacija, promet smanjen za 82 posto. Deset dana kasnije CTO John Graham-Cumming objavljuje potpuni postmortem, uključujući regex, a Hacker News mu daje 698 bodova,

0:26 što je za prekid rada stojeće ovacije. Kako se to događa, zašto je to moguće i tko je zapravo kriv. Ovo je The Daily Diff, postmortem. 13:31. Spaja se pull request: jedno novo pravilo vatrozida protiv cross-site skriptiranja, u simulacijskom načinu rada, tako da ništa ne blokira. 13:37, testovi prolaze; nijedan ne mjeri CPU. 13:42, pravilo se šalje u 180 gradova za dvije sekunde, jer WAF pravila preskaču faze psa, svinje i kanarinca koje dobivaju druga izdanja.

0:54 13:45, prva stranica. 13:49, Hacker News ima temu o statusnoj stranici, koja i dalje kaže da su svi sustavi operativni. Pravilo završava s točka-zvijezda, točka-zvijezda, jednako, točka-zvijezda: bilo što, zatim bilo što, zatim znak jednakosti. PCRE pogađa pohlepno, ne uspijeva i vraća se kroz svaku drugu podjelu. x jednako x traje 23 koraka. Dvadeset x-ova nakon znaka jednakosti: 555.

1:15 Dvadeset x-ova, bez znaka jednakosti: 4.067 koraka za pronalaženje ničega. Pokrenite to na svakom zahtjevu i svaka jezgra je na sto posto, temeljito, ne radeći ništa. Dva čuvara su to trebala uhvatiti. Ograničenje CPU-a na pravilima uklonjeno je greškom tjednima ranije, u refaktoriranju namijenjenom smanjenju korištenja CPU-a od strane WAF-a. A procedura omogućuje bilo kojem pravilu da preskoči staging, jer pravila postoje za zaustavljanje napada uživo; ovo nije bila hitna situacija, a ipak je otišlo globalno.

1:37 14:00, WAF je identificiran; nema napada. 14:02, netko predlaže globalno isključivanje: jedna komponenta, isključena, diljem svijeta. Prekidač je iza Cloudflare Accessa. Cloudflare Access je iza Cloudflarea. Neke vjerodajnice su istekle zbog nekorištenja, pa najbrža mreža na internetu provodi pet minuta na zaobilaznici koju nitko nije vježbao. 14:07, isključivanje. 14:09, promet normalan. Git blame: uvođenje s jednom brzinom, globalno; CPU zaštita uklonjena refaktoriranjem

2:04 slučajno; regex pogon bez gornje granice. Nije inženjer koji je napisao pravilo: postmortem navodi jedanaest uzroka i ne spominje nikoga. Područje utjecaja: 27 minuta, 82 posto prometa, 100 posto CPU-a na svakoj jezgri, u svakom gradu. Nadzorna ploča i API nalaze se iza istog ruba, tako da korisnici ne mogu ni isključiti to. Hacker News, pod postmortemom: imali su jedan problem, koristili regularni izraz, sada imaju dva. Stara šala. Još uvijek se kompajlira.

2:28 Presuda, postmortem: SHIP IT. CPU zaštita je vraćena, svih 3.868 pravila se ručno čita, pravila prolaze kroz staging, a pogon prelazi na onaj s linearnim vremenom jamstvima, objavljen od Kena Thompsona 1968. godine. Ponedjeljak: bez točka-zvijezda točka-zvijezda u bilo čemu što se pokreće po zahtjevu, i neka prekidač za isključivanje bude izvan stvari koju ubija. Pošaljite mi incident o kojem još uvijek ne smijete govoriti, u komentarima, ili na the daily diff dot dev.

2:53 I to je diff za danas. Ja sam Niko iz Axrisija. Spajajte odgovorno.

Izvori

  1. John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
  2. Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
  3. Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
  4. Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
  5. Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
  6. Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
  7. Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
  8. TechCrunch, Jul 2, 2019techcrunch.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Povezani videozapisi