+− THE DAILY DIFFdev & AI news
SHIP IT

Regex je povzročil izpad Cloudflareja. 27 minut.

2.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

2. julij 2019, 13:42 UTC: novo pravilo za požarni zid spletnih aplikacij Cloudflare je začelo veljati v več kot 180 mestih v približno dveh sekundah. Gre za pravilo XSS v simulacijskem načinu, tako da nič ne blokira, vendar se še vedno izvaja pri vsaki zahtevi in se konča z .*(?:.*=.*). PCRE se vrača nazaj, vsako jedro CPE, ki streže HTTP, doseže 100 %, in vsako spletno mesto, posredovano prek Cloudflareja, vrača 502 za 27 minut; promet pade za 82 %. Stikalo za izklop je za Cloudflare Access, ki je za Cloudflarejem. Postmortem, iz lastnega zapisa Cloudflareja: CPE zaščita je bila odstranjena tedne prej pri refaktoriranju, namenjenem varčevanju s CPE, postopek, ki je omogočal, da katero koli pravilo preskoči fazo postavitve, motor brez zagotovila kompleksnosti, 11 vzrokov in 7 popravkov. Sodba o popravku: SHIP IT.

Preberi pisno izdajo (angleščina) ↗

Kaj zajema ta videoposnetek

  • 13:31–13:42 UTC: PR združen, CI zelen (brez CPE testa), Quicksilver potisne pravilo v več kot 180 mest; WAF pravila preskočijo faze DOG → PIG → Canary
  • 13:45–14:07: prva stran; CPE 100 % po vsem svetu, promet −82 %, 502 povsod; notranja nadzorna plošča je za Cloudflare Access, ki ne deluje; nekateri podatki za prijavo so potekli; redko uporabljena obvoznica
  • 14:07–14:09: globalna ustavitev WAF; promet in CPE normalna po 27 minutah; 14:52 WAF nazaj brez pravila
  • 2. julij (15:50 UTC) in 12. julij: Cloudflare objavi obvestilo istega dne in celoten postmortem; CPE zaščita ponovno dodana, 3.868 pravil ponovno prebranih, postopne uvedbe, prehod na linearno časovni mehanizem za regularne izraze

Vprašanja in odgovori

Kako lahko en sam regularni izraz podre globalno omrežje?

Regularni izraz z neomejenim vračanjem nazaj lahko obremeni vsako CPE jedro, ki ga ovrednoti. Po poročilu Cloudflareja se je novo pravilo požarnega zidu končalo z .*(?:.*=.*), PCRE se je vračal nazaj skozi vsako drugo delitev, in CPE je dosegel 100 % na vsakem jedru, ki je streglo HTTP. Spletna mesta za Cloudflarejem so 27 minut vračala napake 502 in promet je padel za 82 %.

blog.cloudflare.com · blog.cloudflare.com

Zakaj je pravilo požarnega zidu v simulacijskem načinu še vedno povzročilo izpad?

Simulacijski način preprečuje, da bi pravilo blokiralo promet, vendar se pravilo še vedno ovrednoti pri vsaki zahtevi. Pravilo, združeno 2. julija 2019 ob 13:31 UTC, je bilo pravilo za medstransko skriptanje v simulacijskem načinu, zato ničesar ni blokiralo, vendar se je izvajalo pri vsaki zahtevi. Cloudflarejevo poročilo pravi, da so stroški njegovega ovrednotenja izčrpali CPE.

blog.cloudflare.com

Kako je eno pravilo doseglo vsak podatkovni center Cloudflare v dveh sekundah?

Pravila požarnega zidu so preskočila postopno uvedbo, skozi katero so šle druge izdaje. Po poročilu je postopek omogočal, da je katero koli pravilo takoj postalo globalno, ker pravila obstajajo za zaustavitev živih napadov. To pravilo ni bilo nujno, in Quicksilver ga je vseeno poslal v več kot 180 mest v približno dveh sekundah, brez CPE testa v CI, ki bi ga ujel.

blog.cloudflare.com · blog.cloudflare.com

Zakaj je Cloudflare potreboval 27 minut, da izklopi pokvarjeno komponento požarnega zidu?

Notranja nadzorna plošča je bila za Cloudflare Access, ki je bila za Cloudflarejem, zato je izpad blokiral pot do stikala za izklop. Nekateri podatki za prijavo so potekli zaradi neuporabe, in obvoznica, ki je bila redko vadena, je trajala približno pet minut. Globalna ustavitev WAF je bila uporabljena ob 14:07 UTC, in promet je bil spet normalen ob 14:09.

blog.cloudflare.com · x.com

Ali bi morale ekipe po izpadu Cloudflareja obdržati regex motorje z vračanjem nazaj v kodo poti zahteve?

Sodba The Daily Diff je bila SHIP IT, za Cloudflarejev popravek. CPE zaščita je bila obnovljena, 3.868 pravil je bilo ponovno prebranih, pravila gredo skozi postopne uvedbe, in mehanizem se premakne na tistega z linearno časovnimi garancijami. Praktični nasvet epizode je, da se izogibajte vzorcem, kot je pika-zvezdica pika-zvezdica v čemur koli, kar se izvaja pri vsaki zahtevi, in da stikalo za izklop ostane izklopljeno iz sistema, ki ga nadzoruje.

blog.cloudflare.com

Preveden prepis

Prevedeno iz izvirnega angleškega pripovedovanja. Razpoložljivi zvok in podnapisi so nadzorovani s strani YouTuba.

0:00 En regularni izraz začne delovati na vsakem strežniku Cloudflare naenkrat, in naslednjih sedemindvajset minut so spletna mesta za njim stran 502, kar je za požarni zid najstrožja možna nastavitev. 2. julij 2019, 13:42 UTC. Cloudflare objavi v dveh urah: ni napad, slaba uvedba, promet upadel za 82 odstotkov. Deset dni kasneje CTO John Graham-Cumming objavi celoten postmortem, vključno z regexom, in Hacker News mu dodeli 698 točk,

0:26 kar je za izpad stoječe ovacije. Kako se zgodi, zakaj je to mogoče in kdo je pravzaprav kriv. To je The Daily Diff, postmortem. 13:31. Združi se zahteva za združitev: novo pravilo požarnega zidu proti medstranskemu skriptanju, v simulacijskem načinu, tako da nič ne blokira. 13:37, testi so uspešni; nobeden ne meri CPE. 13:42, pravilo je poslano v 180 mest v dveh sekundah, ker WAF pravila preskočijo faze dog, pig in canary, ki jih dobijo druge izdaje.

0:54 13:45, prva stran. 13:49, Hacker News ima nit o statusni strani, ki še vedno pravi, da vsi sistemi delujejo. Pravilo se konča s pika-zvezdica, pika-zvezdica, je enako, pika-zvezdica: karkoli, nato karkoli, nato enačaj. PCRE poskuša pohlepno, ne uspe in se vrača nazaj skozi vsako drugo delitev. x je enako x traja 23 korakov. Dvajset x-ov po enačaju: 555.

1:15 Dvajset x-ov, brez enačaja: 4.067 korakov, da ne najde ničesar. Zaženite to pri vsaki zahtevi in vsako jedro je na sto odstotkih, dela nič, temeljito. Dve zaščiti bi to morali ujeti. Omejitev CPE na pravila je bila pomotoma odstranjena tedne prej, pri refaktoriranju, namenjenem zmanjšanju uporabe CPE s strani WAF. In postopek omogoča, da katero koli pravilo preskoči fazo postavitve, ker pravila obstajajo, da ustavijo žive napade; to ni bila nujna situacija in je vseeno šlo globalno.

1:37 14:00, WAF je identificiran; ni napada. 14:02, nekdo predlaga globalno ustavitev: ena komponenta, izklopljena, po vsem svetu. Stikalo je za Cloudflare Access. Cloudflare Access je za Cloudflarejem. Nekateri podatki za prijavo so potekli zaradi neuporabe, zato najhitrejše omrežje na internetu porabi pet minut za obvoznico, ki je nihče ni vadil. 14:07, ugasni. 14:09, promet normalen. git blame: uvedba z eno hitrostjo, globalno; CPE zaščita pomotoma odstranjena z

2:04 refaktoriranjem; mehanizem za regularne izraze brez zgornje meje. Ne inženir, ki je napisal pravilo: postmortem navaja enajst vzrokov in ne imenuje nikogar. Območje vpliva: 27 minut, 82 odstotkov prometa, 100 odstotkov CPE na vsakem jedru, v vsakem mestu. Nadzorna plošča in API sta za istim robom, zato stranke ne morejo niti izklopiti. Hacker News, pod postmortem: imeli so en problem, uporabili so regularni izraz, zdaj imajo dva. Stara šala. Še vedno se prevede.

2:28 Sodba, postmortem: SHIP IT. CPE zaščita je nazaj, vseh 3.868 pravil se ročno prebere, pravila gredo skozi faze postavitve, in mehanizem se premakne na tistega z linearno časovnimi garancijami, objavljenega s strani Kena Thompsona leta 1968. Ponedeljek: brez pika-zvezdica pika-zvezdica v čemur koli, kar se izvaja na zahtevo, in stikalo za izklop naj bo izklopljeno iz stvari, ki jo ubija. Pošljite mi incident, o katerem še vedno ne smete govoriti, v komentarjih, ali na the daily diff dot dev.

2:53 In to je diff za danes. Sem Niko iz Axrisija. Združite odgovorno.

Viri

  1. John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
  2. Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
  3. Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
  4. Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
  5. Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
  6. Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
  7. Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
  8. TechCrunch, Jul 2, 2019techcrunch.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Povezani videoposnetki