+− THE DAILY DIFFdev & AI news
SHIP IT

Regex vyradil Cloudflare. 27 minút.

2.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

2. júla 2019, 13:42 UTC: jedno nové pravidlo pre bránu firewall webových aplikácií Cloudflare sa aktivuje vo viac ako 180 mestách približne za dve sekundy. Ide o pravidlo XSS v simulačnom režime, takže nič neblokuje, ale stále sa spúšťa pri každej požiadavke a končí sa na .*(?:.*=.*). PCRE sa vracia, každé jadro CPU obsluhujúce HTTP dosahuje 100 % a každá lokalita s proxy serverom Cloudflare vracia 502 po dobu 27 minút; prevádzka klesá o 82 %. Kill switch sa nachádza za Cloudflare Access, ktorý sa nachádza za Cloudflare. Postmortem, z vlastného zápisu Cloudflare: ochrana CPU odstránená týždne predtým pri refaktorovaní, ktoré malo ušetriť CPU, postup, ktorý umožnil akémukoľvek pravidlu preskočiť staging, engine bez záruky zložitosti, 11 príčin a 7 opráv. Verdikt o oprave: SHIP IT.

Prečítajte si písanú edíciu (anglicky) ↗

Čo toto video pokrýva

  • 13:31–13:42 UTC: PR zlúčené, CI zelené (žiadny test CPU), Quicksilver tlačí pravidlo do 180+ miest; pravidlá WAF preskakujú fázy DOG → PIG → Canary
  • 13:45–14:07: prvá stránka; CPU 100 % celosvetovo, prevádzka −82 %, všade 502s; interný ovládací panel je za Cloudflare Access, ktorý je nefunkčný; niektoré poverenia vypršali; zriedkavo precvičený obchvat
  • 14:07–14:09: globálne ukončenie WAF; prevádzka a CPU normálne po 27 minútach; 14:52 WAF späť mínus pravidlo
  • 2. júl (15:50 UTC) a 12. júl: Cloudflare zverejňuje poznámku z rovnakého dňa a celý postmortem; opätovne pridaná ochrana CPU, 3 868 pravidiel prečítaných, postupné zavádzanie, prechod na regex engine s lineárnym časom

Otázky a odpovede

Ako môže jediný regulárny výraz zhodiť globálnu sieť?

Regulárny výraz s neobmedzeným spätným sledovaním môže zablokovať každé jadro CPU, ktoré ho vyhodnocuje. Podľa postmortem Cloudflare, nové pravidlo firewallu končilo na .*(?:.*=.*), PCRE sa vracal späť cez každé ďalšie rozdelenie a CPU dosiahol 100 % na každom jadre obsluhujúcom HTTP. Stránky za Cloudflare vracali chyby 502 po dobu 27 minút a prevádzka klesla o 82 %.

blog.cloudflare.com · blog.cloudflare.com

Prečo pravidlo firewallu v simulačnom režime stále spôsobilo výpadok?

Simulačný režim zastaví pravidlo v blokovaní prevádzky, ale pravidlo sa stále vyhodnocuje pri každej požiadavke. Pravidlo zlúčené 2. júla 2019 o 13:31 UTC bolo pravidlom pre cross-site scripting v simulačnom režime, takže nič neblokovalo, napriek tomu sa spúšťalo pri každej požiadavke. Postmortem Cloudflare uvádza, že náklady na jeho vyhodnotenie vyčerpali CPU.

blog.cloudflare.com

Ako sa jedno pravidlo dostalo do každého dátového centra Cloudflare za dve sekundy?

Pravidlá firewallu preskočili postupné zavádzanie, ktorým prechádzali iné vydania. Podľa postmortem, postup umožnil akémukoľvek pravidlu stať sa globálnym naraz, pretože pravidlá existujú na zastavenie živých útokov. Toto pravidlo nebolo núdzové, a Quicksilver ho napriek tomu posunul do 180+ miest za približne dve sekundy, bez testu CPU v CI, ktorý by ho zachytil.

blog.cloudflare.com · blog.cloudflare.com

Prečo trvalo Cloudflare 27 minút vypnúť chybnú komponentu firewallu?

Interný ovládací panel sa nachádzal za Cloudflare Access, ktorý sa nachádzal za Cloudflare, takže výpadok zablokoval cestu k prepínaču. Niektoré poverenia vypršali z dôvodu nepoužívania a obchvat, ktorý sa zriedkavo precvičoval, trval asi päť minút. Globálne ukončenie WAF bolo aplikované o 14:07 UTC a prevádzka bola opäť normálna o 14:09.

blog.cloudflare.com · x.com

Mali by tímy po výpadku Cloudflare ponechať regex enginy so spätným sledovaním v kóde cesty požiadaviek?

Verdikt The Daily Diff bol SHIP IT, pre opravu Cloudflare. Ochrana CPU bola obnovená, 3 868 pravidiel bolo prečítaných, pravidlá prechádzajú postupným zavádzaním a engine prechádza na taký s lineárnym časom zárukami. Praktická rada z epizódy je vyhnúť sa vzorcom ako bodka-hviezdička bodka-hviezdička v čomkoľvek, čo sa spúšťa pri každej požiadavke, a držať prepínač mimo systému, ktorý ovláda.

blog.cloudflare.com

Preložený prepis

Preložené z pôvodného anglického rozprávania. Dostupný zvuk a titulky sú kontrolované službou YouTube.

0:00 Jeden regulárny výraz sa naraz aktivuje na každom serveri Cloudflare, a nasledujúcich dvadsaťsedem minút sú stránky za ním stránkou 502, čo je pre firewall najprísnejšie možné nastavenie. 2. júla 2019, 13:42 UTC. Cloudflare príspevky do dvoch hodín: nie útok, zlá implementácia, prevádzka klesla o 82 percent. O desať dní neskôr CTO John Graham-Cumming zverejňuje celý postmortem, vrátane regexu, a Hacker News mu dáva 698 bodov,

0:26 čo je pre výpadok standing ovation. Ako sa to stane, prečo je to možné a kto za to skutočne nesie vinu. Toto je The Daily Diff, postmortem. 13:31. Zlúči sa požiadavka na stiahnutie: jedno nové pravidlo firewallu proti cross-site skriptovaniu, v simulačnom režime, takže nič neblokuje. 13:37, testy prejdú; žiadny nemeria CPU. 13:42, pravidlo sa odošle do 180 miest za dve sekundy, pretože pravidlá WAF preskakujú fázy psa, prasaťa a kanárika, ktoré dostávajú iné vydania.

0:54 13:45, prvá stránka. 13:49, Hacker News má vlákno o stave stránky, ktoré stále hovorí, že všetky systémy sú funkčné. Pravidlo končí bodka-hviezdička, bodka-hviezdička, rovná sa, bodka-hviezdička: čokoľvek, potom čokoľvek, potom znamienko rovnosti. PCRE háda chamtivo, zlyhá a vracia sa späť cez každé ďalšie rozdelenie. x rovná sa x trvá 23 krokov. Dvadsať x po rovná sa: 555.

1:15 Dvadsať x, žiadne znamienko rovnosti: 4 067 krokov na nájdenie ničoho. Spustite to pri každej požiadavke a každé jadro je na sto percent, nerobí nič, dôkladne. Dve stráže to mali chytiť. Limit CPU na pravidlá bol omylom odstránený týždne predtým, pri refaktorovaní, ktoré malo spôsobiť, že WAF bude používať menej CPU. A postup umožňuje akémukoľvek pravidlu preskočiť staging, pretože pravidlá existujú na zastavenie živých útokov; tento nebol núdzový a aj tak sa stal globálnym.

1:37 14:00, WAF je identifikovaný; žiadny útok. 14:02, niekto navrhne globálne ukončenie: jedna komponenta, vypnutá, celosvetovo. Spínač je za Cloudflare Access. Cloudflare Access je za Cloudflare. Niektoré poverenia vypršali z dôvodu nepoužívania, takže najrýchlejšia sieť na internet strávi päť minút obchvatom, ktorý nikto netrénoval. 14:07, zabiť. 14:09, prevádzka normálna. git blame: rollout s jednou rýchlosťou, globálne; ochrana CPU refaktorovaná preč

2:04 náhodou; regex engine bez hornej hranice. Nie inžinier, ktorý napísal pravidlo: postmortem uvádza jedenásť príčin a nikoho nemenujú. Rozsah dopadu: 27 minút, 82 percent prevádzky, 100 percent CPU na každom jadre, v každom meste. Dashboard a API sedia za rovnakým okrajom, takže zákazníci to nemôžu ani vypnúť. Hacker News, pod postmortem: mali jeden problém, použili regulárny výraz, teraz majú dva. Starý vtip. Stále kompiluje.

2:28 Verdikt, postmortem: SHIP IT. Ochrana CPU je späť, všetkých 3 868 pravidiel sa číta ručne, pravidlá prechádzajú postupným zavádzaním a engine prechádza na taký s lineárnym časom záruky, zverejnené Kenom Thompsonom v roku 1968. Pondelok: žiadna bodka-hviezdička bodka-hviezdička v ničom, čo sa spúšťa na požiadavku, a kill switch nechajte mimo veci, ktorú zabíja. Pošlite mi incident, o ktorom stále nesmiete hovoriť, v komentároch, alebo na daily diff dot dev.

2:53 A to je diff na dnes. Som Niko z Axrisi. Zlúčte zodpovedne.

Zdroje

  1. John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
  2. Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
  3. Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
  4. Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
  5. Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
  6. Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
  7. Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
  8. TechCrunch, Jul 2, 2019techcrunch.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Súvisiace videá