+− THE DAILY DIFFdev & AI news
SHIP IT

Egy regex döntötte le a Cloudflare-t. 27 percre.

2019.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

2019. július 2., 13:42 UTC: a Cloudflare webalkalmazási tűzfalának egy új szabálya élesedik 180+ városban, körülbelül két másodperc alatt. Ez egy XSS szabály szimulációs módban, így semmit sem blokkol, de minden kérésen fut, és .*(?:.*=.*) a vége. A PCRE visszalép, minden HTTP-kiszolgáló CPU magja eléri a 100%-ot, és minden Cloudflare-proxyzott oldal 502-es hibát ad vissza 27 percen keresztül; a forgalom 82%-kal esik. A "kill switch" a Cloudflare Access mögött van, ami a Cloudflare mögött van. Postmortem, a Cloudflare saját beszámolója alapján: a hetekkel korábban eltávolított CPU-védő egy CPU-takarékossági refaktorálás során, az eljárás, amely lehetővé tette, hogy bármely szabály kihagyja a "staging"-et, a bonyolultsági garancia nélküli motor, a 11 ok és a 7 javítás. A javításról szóló ítélet: SHIP IT.

Olvassa el az írott kiadást (angolul) ↗

Amit ez a videó tartalmaz

  • 13:31–13:42 UTC: PR egyesítve, CI zöld (nincs CPU teszt), a Quicksilver nyomja a szabályt 180+ városba; a WAF szabályok kihagyják a KUTYA → MALAC → Kanári fázisokat
  • 13:45–14:07: első oldal; CPU 100% világszerte, forgalom -82%, 502-es hibák mindenhol; a belső vezérlőpult a Cloudflare Access mögött van, ami leállt; néhány hitelesítő adat lejárt; egy ritkán gyakorolt megkerülő út
  • 14:07–14:09: globális WAF leállítás; forgalom és CPU normális 27 perc után; 14:52 WAF visszatér a szabály nélkül
  • Július 2 (15:50 UTC) és július 12: a Cloudflare közzéteszi az aznapi jegyzetet és a teljes postmortem-et; CPU-védő visszaállítva, 3 868 szabály újraolvasva, szakaszos bevezetések, áttérés lineáris idejű regex motorra

Kérdések és válaszok

Hogyan tud egyetlen reguláris kifejezés lebénítani egy globális hálózatot?

Egy korlátlan visszalépésű regex minden CPU magot lefoglalhat, amely kiértékeli azt. A Cloudflare postmortemje szerint egy új tűzfal szabály .*(?:.*=.*) -ben végződött, a PCRE visszalépett minden más felosztáson, és a CPU elérte a 100%-ot minden HTTP-t kiszolgáló magon. A Cloudflare mögötti oldalak 27 percen keresztül 502-es hibákat adtak vissza, és a forgalom 82%-kal esett.

blog.cloudflare.com · blog.cloudflare.com

Miért okozott egy szimulációs módban lévő tűzfal szabály mégis kimaradást?

A szimulációs mód megakadályozza, hogy egy szabály blokkolja a forgalmat, de a szabályt minden kérésen kiértékelik. A 2019. július 2-án 13:31 UTC-kor egyesített szabály egy "cross-site scripting" szabály volt szimulációs módban, így semmit sem blokkolt, mégis minden kérésen futott. A Cloudflare postmortemje szerint az értékelés költsége kimerítette a CPU-t.

blog.cloudflare.com

Hogyan jutott el egyetlen szabály minden Cloudflare adatközpontba két másodperc alatt?

A tűzfal szabályok kihagyták a szakaszos bevezetést, amin más kiadások átestek. A postmortem szerint az eljárás lehetővé tette, hogy bármely szabály azonnal globálissá váljon, mert a szabályok arra valók, hogy élő támadásokat állítsanak meg. Ez a szabály nem volt vészhelyzet, és a Quicksilver mégis körülbelül két másodperc alatt 180+ városba juttatta el, a CI-ben lévő CPU-teszt hiányában, ami elkapta volna.

blog.cloudflare.com · blog.cloudflare.com

Miért tartott 27 percig a Cloudflare-nek, hogy kikapcsolja a hibás tűzfal komponenst?

A belső vezérlőpult a Cloudflare Access mögött volt, ami a Cloudflare mögött volt, így a kimaradás elzárta az utat a "kill switch"-hez. Néhány hitelesítő adat lejárt a használaton kívüliség miatt, és egy ritkán gyakorolt megkerülő út körülbelül öt percet vett igénybe. A globális WAF leállítását 14:07 UTC-kor alkalmazták, és a forgalom 14:09-kor újra normális volt.

blog.cloudflare.com · x.com

Érdemes-e a csapatoknak visszalépést tartalmazó regex motorokat tartaniuk a kérés-útvonal kódjában a Cloudflare kimaradása után?

A Daily Diff ítélete SHIP IT volt a Cloudflare javítására. A CPU-védő vissza lett állítva, 3868 szabályt újraolvastak, a szabályok szakaszos bevezetésen esnek át, és a motor egy olyanra vált, amely lineáris idejű garanciákat biztosít. Az epizód gyakorlati tanácsa, hogy kerüljék a csillag-pont csillag-pont típusú mintákat minden olyanban, ami minden kérésen fut, és tartsák a "kill switch"-et távol attól a rendszertől, amit vezérel.

blog.cloudflare.com

Lefordított átirat

Az eredeti angol narrációból fordítva. A rendelkezésre álló hangot és feliratokat a YouTube vezérli.

0:00 Egyetlen reguláris kifejezés egyszerre élesedik minden Cloudflare szerveren, és a következő huszonhét percben az általa védett oldalak 502-es oldalt mutatnak, ami egy tűzfal esetében a lehető legszigorúbb beállítás. 2019. július 2., 13:42 UTC. A Cloudflare két órán belül posztol: nem támadás, hanem rossz telepítés, a forgalom 82 százalékkal csökkent. Tíz nappal később John Graham-Cumming CTO közzéteszi a teljes postmortem-et, a regexet is beleértve, és a Hacker News 698 pontot ad neki,

0:26 ami egy kimaradásért álló ováció. Hogyan történik, miért lehetséges, és ki kapja valójában a felelősséget. Ez a The Daily Diff, postmortem. 13:31. Egy pull request egyesül: egy új tűzfal szabály a cross-site scripting ellen, szimulációs módban, így semmit sem blokkol. 13:37, a tesztek sikeresek; egyik sem méri a CPU-t. 13:42, a szabály két másodperc alatt 180 városba kerül, mert a WAF szabályok kihagyják azokat a kutya, malac és kanári fázisokat, amiket más kiadások megkapnak.

0:54 13:45, az első oldal. 13:49, a Hacker News-on van egy szál az állapotoldalról, ami még mindig azt mondja, hogy minden rendszer működőképes. A szabály csillag-ponttal, csillag-ponttal, egyenlővel, csillag-ponttal végződik: bármi, aztán bármi, aztán egy egyenlőségjel. A PCRE mohón tippel, hibázik, és visszalép minden más felosztáson. Az x egyenlő x 23 lépést igényel. Húsz x az egyenlőségjel után: 555.

1:15 Húsz x, nincs egyenlőségjel: 4 067 lépés, hogy semmit se találjon. Futtassa ezt minden kérésen, és minden mag száz százalékon lesz, alaposan, semmit sem csinálva. Két őrnek el kellett volna kapnia. A szabályok CPU-korlátját hetekkel korábban tévedésből eltávolították, egy refaktorálás során, amelynek célja a WAF kevesebb CPU-használata volt. És az eljárás lehetővé teszi, hogy bármely szabály kihagyja a "staging"-et, mert a szabályok arra valók, hogy élő támadásokat állítsanak meg; ez nem volt vészhelyzet, és mégis globálissá vált.

1:37 14:00, a WAF azonosítva van; nincs támadás. 14:02, valaki javasolja a globális leállítást: egy komponens, kikapcsolva, világszerte. A kapcsoló a Cloudflare Access mögött van. A Cloudflare Access a Cloudflare mögött van. Néhány hitelesítő adat lejárt a használaton kívüliség miatt, így a leggyorsabb hálózat az interneten öt percet tölt egy olyan megkerülő úton, amit senki sem gyakorolt. 14:07, leállítás. 14:09, forgalom normális. git blame: egy kiadás egy sebességgel, globális; egy CPU-védő véletlenül refaktorálva;

2:04 egy regex motor felső korlát nélkül. Nem az a mérnök, aki a szabályt írta: a postmortem tizenegy okot sorol fel és senkit sem nevez meg. Hatótávolság: 27 perc, a forgalom 82 százaléka, 100 százalék CPU minden magon, minden városban. Az irányítópult és az API ugyanazon a peremen ül, így az ügyfelek még csak ki sem tudják kapcsolni. Hacker News, a postmortem alatt: egy problémájuk volt, reguláris kifejezést használtak, most kettő van. Régi vicc. Még mindig lefordítható.

2:28 Ítélet, postmortem: SHIP IT. A CPU-védő visszatért, mind a 3868 szabályt kézzel olvassák be, a szabályok átesnek a "staging" fázison, és a motor egy olyanra vált, amely lineáris idejű garanciákat biztosít, Ken Thompson által 1968-ban publikálva. Hétfő: nincs csillag-pont csillag-pont semmiben, ami kérésenként fut, és tartsa a "kill switch"-et távol attól a dologtól, amit leállít. Küldje el nekem azt az incidenst, amiről még mindig nem beszélhet, a kommentekben, vagy a daily diff dot dev címen.

2:53 És ez a mai különbség. Niko vagyok az Axrisi-től. Fejlődjön felelősségteljesen.

Források

  1. John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
  2. Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
  3. Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
  4. Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
  5. Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
  6. Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
  7. Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
  8. TechCrunch, Jul 2, 2019techcrunch.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Kapcsolódó videók