+− THE DAILY DIFFdev & AI news
SHIP IT

Një regex rrëzoi Cloudflare. 27 minuta.

2 korrik 2019, 13:42 UTC: një rregull i ri për Firewallin e Aplikacioneve Ueb të Cloudflare hyn në funksion në mbi 180 qytete në rreth dy sekonda.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

2 korrik 2019, 13:42 UTC: një rregull i ri për Firewallin e Aplikacioneve Ueb të Cloudflare hyn në funksion në mbi 180 qytete në rreth dy sekonda. Është një rregull XSS në modalitetin e simulimit, kështu që nuk bllokon asgjë, por ende funksionon në çdo kërkesë, dhe përfundon me .*(?:.*=.*). PCRE kthehet pas, çdo bërthamë CPU që shërben HTTP arrin 100%, dhe çdo faqe e ndërmjetësuar nga Cloudflare kthen 502 për 27 minuta; trafiku bie 82%. Çelësi i "vrasjes" ndodhet pas Cloudflare Access, i cili ndodhet pas Cloudflare. Postmortem, nga shkrimi i Cloudflare: "rojtari" i CPU-së u hoq javë më parë në një "refaktorim" që synonte të kursente CPU, procedura që lejonte çdo rregull të anashkalonte "staging", "motori" pa garanci kompleksiteti, 11 shkaqet dhe 7 rregullimet. Vendimi për rregullimin: SHIP IT.

Lexoni edicionin e shkruar (anglisht) ↗

Çfarë mbulon kjo video

  • 13:31–13:42 UTC: PR u bashkua, CI e gjelbër (pa test CPU), Quicksilver e shtyn rregullin në mbi 180 qytete; rregullat WAF anashkalojnë fazat DOG → PIG → Canary
  • 13:45–14:07: faqja e parë; CPU 100% në mbarë botën, trafiku -82%, 502 kudo; paneli i kontrollit të brendshëm është pas Cloudflare Access, i cili ka rënë; disa kredenciale kanë skaduar; një anashkalim i testuar rrallë
  • 14:07–14:09: mbarimi global i WAF; trafiku dhe CPU normal pas 27 minutash; 14:52 WAF kthehet minus rregullin
  • 2 korrik (15:50 UTC) dhe 12 korrik: Cloudflare publikon njoftimin e të njëjtës ditë dhe postmortemin e plotë; rojtari i CPU-së u ri-shtua, 3,868 rregulla u ri-lexuan, hapësira të staged, kalimi në një motor regex me kohë lineare

Pyetje dhe përgjigje

Si mundet një shprehje e vetme e rregullt të rrëzojë një rrjet global?

Një "regex" me kthim pas të pakufizuar mund të ngarkojë çdo bërthamë të CPU-së që e vlerëson atë. Sipas postmortemit të Cloudflare, një rregull i ri "firewall" përfundoi në .*(?:.*=.*), PCRE u kthye pas nëpërmjet çdo ndarjeje tjetër, dhe CPU arriti 100% në çdo bërthamë që shërbente HTTP. Faqet pas Cloudflare kthyen gabime 502 për 27 minuta dhe trafiku ra 82%.

blog.cloudflare.com · blog.cloudflare.com

Pse një rregull "firewall" në modalitetin e simulimit shkaktoi ende një ndërprerje?

Modaliteti i simulimit ndalon një rregull nga bllokimi i trafikut, por rregulli ende vlerësohet në çdo kërkesë. Rregulli i bashkuar në 13:31 UTC më 2 korrik 2019 ishte një rregull "cross-site scripting" në modalitetin e simulimit, kështu që nuk bllokoi asgjë, megjithatë u ekzekutua në çdo kërkesë. Postmortemi i Cloudflare thotë se kostoja e vlerësimit të tij e shteroi CPU-në.

blog.cloudflare.com

Si arriti një rregull të vetëm në çdo qendër të dhënash të Cloudflare në dy sekonda?

Rregullat e "firewall"-it anashkaluan vendosjen e shkallëzuar që kaluan lëshime të tjera. Sipas postmortemit, procedura lejonte çdo rregull të bëhej global menjëherë, sepse rregullat ekzistojnë për të ndaluar sulmet e drejtpërdrejta. Ky rregull nuk ishte një emergjencë, dhe Quicksilver e shtyu atë në mbi 180 qytete në rreth dy sekonda, pa test CPU në CI për ta kapur atë.

blog.cloudflare.com · blog.cloudflare.com

Pse i mori Cloudflare 27 minuta për të fikur komponentin e dështuar të "firewall"-it?

Paneli i kontrollit të brendshëm ndodhej pas Cloudflare Access, i cili ndodhej pas Cloudflare, kështu që ndërprerja bllokoi rrugën drejt çelësit të "vrasjes". Disa kredenciale kishin skaduar nga mos përdorimi, dhe një anashkalim që testohej rrallë zgjati rreth pesë minuta. Ndërprerja globale e WAF u aplikua në 14:07 UTC, dhe trafiku ishte normal përsëri në 14:09.

blog.cloudflare.com · x.com

A duhet që ekipet të mbajnë motorët "regex" me kthim pas në kodin e rrugës së kërkesës pas ndërprerjes së Cloudflare?

Vendimi i The Daily Diff ishte SHIP IT, për rregullimin e Cloudflare. Roja e CPU-së u rivendos, 3,868 rregulla u ri-lexuan, rregullat kalojnë nëpër vendosje të shkallëzuara, dhe motori kalon në një me garanci të kohës lineare. Këshilla praktike e episodit është të shmangni modelet si yll-pikë yll-pikë në çdo gjë që ekzekutohet në çdo kërkesë dhe të mbani çelësin e "vrasjes" larg sistemit që kontrollon.

blog.cloudflare.com

Transkript i përkthyer

Përkthyer nga tregimi origjinal në anglisht. Audio dhe titrat e disponueshme kontrollohen nga YouTube.

0:00 Një shprehje e rregullt hyn në funksion në çdo server të Cloudflare menjëherë, dhe për njëzet e shtatë minutat e ardhshme faqet pas saj janë një faqe 502, e cila, për një "firewall", është cilësimi më i rreptë i mundshëm. 2 korrik 2019, 13:42 UTC. Cloudflare poston brenda dy orësh: jo një sulm, një vendosje e keqe, trafiku ka rënë 82 përqind. Dhjetë ditë më vonë CTO John Graham-Cumming publikon postmortemin e plotë, përfshirë "regex", dhe Hacker News i jep 698 pikë,

0:26 e cila për një ndërprerje është një ovacion në këmbë. Si ndodh, pse është e mundur, dhe kush e merr fajin në të vërtetë. Ky është The Daily Diff, postmortem. 13:31. Një "pull request" bashkohet: një rregull i ri "firewall" kundër "cross-site" skriptimit, në modalitetin e simulimit, kështu që nuk bllokon asgjë. 13:37, testet kalojnë; asnjë nuk mat CPU. 13:42, rregulli dërgohet në 180 qytete në dy sekonda, sepse rregullat WAF anashkalojnë fazat e qenit, derrit dhe kanarinës që marrin lëshime të tjera.

0:54 13:45, faqja e parë. 13:49, Hacker News ka një fije në faqen e statusit, e cila ende thotë se të gjitha sistemet janë funksionale. Rregulli përfundon me yll-pikë, yll-pikë, barazi, yll-pikë: çdo gjë, pastaj çdo gjë, pastaj një shenjë barazimi. PCRE bën supozime të pangopura, dështon dhe kthehet pas nëpërmjet çdo ndarjeje tjetër. x baraz me x merr 23 hapa. Njëzet x pas barazimit: 555.

1:15 Njëzet x, pa shenjë barazimi: 4,067 hapa për të gjetur asgjë. Ekzekutoje këtë në çdo kërkesë dhe çdo bërthamë është në njëqind përqind, duke mos bërë asgjë, thellësisht. Dy roje duhet ta kishin kapur. Kufizimi i CPU-së në rregulla u hoq gabimisht javë më parë, në një "refaktorim" që synonte ta bënte WAF-in të përdorte më pak CPU. Dhe procedura lejon çdo rregull të anashkalojë "staging", sepse rregullat ekzistojnë për të ndaluar sulmet e drejtpërdrejta; ky nuk ishte një emergjencë, dhe shkoi globalisht gjithsesi.

1:37 14:00, WAF identifikohet; asnjë sulm. 14:02, dikush propozon ndërprerjen globale: një komponent, fikur, në mbarë botën. Çelësi është pas Cloudflare Access. Cloudflare Access është pas Cloudflare. Disa kredenciale kanë skaduar nga mos përdorimi, kështu që rrjeti më i shpejtë në internet kalon pesë minuta në një anashkalim që askush nuk e kishte testuar. 14:07, vrasje. 14:09, trafiku normal. git blame: një vendosje me një shpejtësi, globale; një roje CPU e refaktoruar nga

2:04 aksidenti; një motor "regex" pa kufi të sipërm. Jo inxhinieri që shkroi rregullin: postmortemi liston njëmbëdhjetë shkaqe dhe nuk emëron askënd. Rreze shpërthimi: 27 minuta, 82 përqind e trafikut, 100 përqind CPU në çdo bërthamë, në çdo qytet. Paneli i kontrollit dhe API ndodhen pas të njëjtës kufi, kështu që klientët nuk mund as ta fikin atë. Hacker News, nën postmortem: ata kishin një problem, përdorën një shprehje të rregullt, tani kanë dy. Shaka e vjetër. Akoma funksionon.

2:28 Vendimi, postmortem: SHIP IT. Rojtari i CPU-së është kthyer, të gjitha 3,868 rregullat lexohen me dorë, rregullat kalojnë nëpër faza, dhe motori kalon në një me kohë lineare garanci, botuar nga Ken Thompson në vitin 1968. E hënë: asnjë yll-pikë yll-pikë në asgjë që ekzekutohet për kërkesë, dhe mbaj çelësin e vrasjes larg nga gjëja që vret. Më dërgoni incidentin për të cilin nuk ju lejohet ende të flisni, në komente, ose te daily diff dot dev.

2:53 Dhe ky është ndryshimi për sot. Unë jam Niko nga Axrisi. Bashkohemi me përgjegjësi.

Burimet

  1. John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
  2. Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
  3. Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
  4. Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
  5. Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
  6. Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
  7. Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
  8. TechCrunch, Jul 2, 2019techcrunch.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Video të ngjashme