+− THE DAILY DIFFdev & AI news
SHIP IT

Regex vyřadil Cloudflare. 27 minut.

2.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

2. července 2019, 13:42 UTC: jedno nové pravidlo pro Web Application Firewall společnosti Cloudflare je spuštěno ve 180+ městech za zhruba dvě sekundy. Jedná se o pravidlo XSS v simulačním režimu, takže nic neblokuje, ale stále běží na každém požadavku a končí na .*(?:.*=.*). PCRE backtrackuje, každé CPU jádro obsluhující HTTP dosáhne 100 % a každá stránka proxyovaná Cloudflare vrací 502 po dobu 27 minut; provoz klesá o 82 %. Kill switch se nachází za Cloudflare Access, který se nachází za Cloudflare. Postmortem, z vlastního zápisu Cloudflare: CPU ochrana odstraněná týdny dříve při refaktoringu s cílem ušetřit CPU, postup, který umožnil jakémukoli pravidlu přeskočit staging, engine bez záruky složitosti, 11 příčin a 7 oprav. Verdikt k opravě: SHIP IT.

Přečtěte si psané vydání (anglicky) ↗

Co toto video pokrývá

  • 13:31–13:42 UTC: PR sloučen, CI zelený (žádný CPU test), Quicksilver tlačí pravidlo do 180+ měst; pravidla WAF přeskočí fáze DOG → PIG → Canary
  • 13:45–14:07: první stránka; CPU 100 % celosvětově, provoz −82 %, všude 502; interní kontrolní panel je za Cloudflare Access, který je mimo provoz; některé přihlašovací údaje vypršely; zřídka procvičený bypass
  • 14:07–14:09: globální ukončení WAF; provoz a CPU normální po 27 minutách; 14:52 WAF zpět minus pravidlo
  • 2. července (15:50 UTC) a 12. července: Cloudflare zveřejňuje poznámku z téhož dne a úplný postmortem; CPU ochrana znovu přidána, 3 868 pravidel znovu přečteno, postupné zavádění, přechod na regex engine s lineární časovou zárukou

Otázky a odpovědi

Jak může jediný regulární výraz vyřadit globální síť?

Regulární výraz s neomezeným zpětným sledováním může zatížit každé CPU jádro, které jej vyhodnocuje. Podle postmortem Cloudflare, nové pravidlo firewallu končilo na .*(?:.*=.*), PCRE zpětně sledoval každý další rozdělovač a CPU dosáhlo 100 % na každém jádře obsluhujícím HTTP. Stránky za Cloudflare vracely chyby 502 po dobu 27 minut a provoz klesl o 82 %.

blog.cloudflare.com · blog.cloudflare.com

Proč pravidlo firewallu v simulačním režimu přesto způsobilo výpadek?

Simulační režim brání pravidlu v blokování provozu, ale pravidlo je stále vyhodnocováno na každém požadavku. Pravidlo sloučené 2. července 2019 ve 13:31 UTC bylo pravidlo pro cross-site scripting v simulačním režimu, takže nic neblokovalo, přesto běželo na každém požadavku. Postmortem Cloudflare uvádí, že náklady na jeho vyhodnocení vyčerpaly CPU.

blog.cloudflare.com

Jak se jedno pravidlo dostalo do každého datového centra Cloudflare za dvě sekundy?

Pravidla firewallu přeskočila postupné zavádění, kterým procházela jiná vydání. Podle postmortem, procedura umožnila jakémukoli pravidlu jít globálně najednou, protože pravidla existují k zastavení živých útoků. Toto pravidlo nebylo nouzové a Quicksilver jej přesto poslal do 180+ měst za zhruba dvě sekundy, bez testu CPU v CI, který by ho zachytil.

blog.cloudflare.com · blog.cloudflare.com

Proč trvalo Cloudflare 27 minut vypnout vadnou komponentu firewallu?

Interní kontrolní panel se nacházel za Cloudflare Access, který se nacházel za Cloudflare, takže výpadek zablokoval cestu k kill switchi. Některé přihlašovací údaje vypršely kvůli nepoužívání a bypass, který se zřídka trénoval, trval asi pět minut. Globální ukončení WAF bylo aplikováno ve 14:07 UTC a provoz byl opět normální ve 14:09.

blog.cloudflare.com · x.com

Měly by týmy po výpadku Cloudflare ponechat regex enginy se zpětným sledováním v kódu cesty požadavku?

Verdikt The Daily Diff byl SHIP IT pro opravu Cloudflare. Ochrana CPU byla obnovena, 3 868 pravidel bylo znovu přečteno, pravidla procházejí postupným zaváděním a engine se přesouvá na ten s lineární časovou zárukou. Praktická rada z této epizody je vyhnout se vzorům jako tečka-hvězdička tečka-hvězdička v čemkoli, co běží na každý požadavek, a držet kill switch mimo systém, který ovládá.

blog.cloudflare.com

Přeložený přepis

Přeloženo z původního anglického vyprávění. Dostupné audio a titulky jsou řízeny YouTube.

0:00 Jeden regulární výraz se spustí na každém serveru Cloudflare najednou, a po dalších dvacet sedm minut jsou stránky za ním stránkou s chybou 502, což je u firewallu nejpřísnější možné nastavení. 2. července 2019, 13:42 UTC. Cloudflare zveřejní do dvou hodin: ne útok, špatné nasazení, provoz klesl o 82 procent. O deset dní později CTO John Graham-Cumming zveřejní úplný postmortem, včetně regexu, a Hacker News mu dá 698 bodů,

0:26 což je za výpadek standing ovation. Jak se to stane, proč je to možné a kdo je vlastně vinen. Toto je The Daily Diff, postmortem. 13:31. Žádost o sloučení je sloučena: jedno nové pravidlo firewallu proti cross-site skriptování, v simulačním režimu, takže nic neblokuje. 13:37, testy projdou; žádný neměří CPU. 13:42, pravidlo je odesláno do 180 měst za dvě sekundy, protože pravidla WAF přeskočí fáze pes, prase a kanár, které dostávají jiná vydání.

0:54 13:45, první stránka. 13:49, Hacker News má vlákno o stavové stránce, která stále uvádí, že všechny systémy jsou v provozu. Pravidlo končí tečka-hvězdička, tečka-hvězdička, rovná se, tečka-hvězdička: cokoli, pak cokoli, pak znaménko rovnosti. PCRE hádá chamtivě, selže a backtrackuje přes každý jiný rozdělovač. x rovná se x trvá 23 kroků. Dvacet x po rovnítku: 555.

1:15 Dvacet x, žádné rovnítko: 4 067 kroků k nalezení ničeho. Spusťte to na každém požadavku a každé jádro bude na sto procentech, důkladně nedělat nic. Dvě stráže by to měly zachytit. Limit CPU na pravidlech byl omylem odstraněn týdny dříve, při refaktoringu, jehož cílem bylo, aby WAF používal méně CPU. A procedura umožňuje jakémukoli pravidlu přeskočit staging, protože pravidla existují, aby zastavila živé útoky; toto nebyla nouzová situace a přesto šlo globálně.

1:37 14:00, WAF je identifikován; žádný útok. 14:02, někdo navrhne globální ukončení: jedna komponenta, vypnuto, celosvětově. Přepínač je za Cloudflare Access. Cloudflare Access je za Cloudflare. Některé přihlašovací údaje vypršely kvůli nepoužívání, takže nejrychlejší síť na internetu stráví pět minut na bypassu, který nikdo netrénoval. 14:07, vypnuto. 14:09, provoz normální. git blame: zavedení s jednou rychlostí, globální; CPU ochrana refaktorovaná omylem

2:04 pryč; regex engine bez horní hranice. Ne inženýr, který napsal pravidlo: postmortem uvádí jedenáct příčin a nikoho nejmenuje. Rádius dopadu: 27 minut, 82 procent provozu, 100 procent CPU na každém jádru, v každém městě. Dashboard a API sedí za stejným okrajem, takže zákazníci to nemohou ani vypnout. Hacker News, pod postmortem: měli jeden problém, použili regulární výraz, teď mají dva. Starý vtip. Stále kompiluje.

2:28 Verdikt, postmortem: ship it. CPU ochrana je zpět, všech 3 868 pravidel je přečteno ručně, pravidla procházejí stagingem a engine se přesouvá na ten s lineárně časovými zárukami, publikovaný Kenem Thompsonem v roce 1968. Pondělí: žádná tečka-hvězdička tečka-hvězdička v ničem, co běží na každý požadavek, a kill switch držte mimo věc, kterou zabíjí. Pošlete mi incident, o kterém stále nesmíte mluvit, v komentářích, nebo na daily diff dot dev.

2:53 A to je dnešní diff. Jsem Niko z Axrisi. Sloučit zodpovědně.

Zdroje

  1. John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
  2. Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
  3. Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
  4. Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
  5. Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
  6. Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
  7. Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
  8. TechCrunch, Jul 2, 2019techcrunch.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Související videa