Reguliarioji išraiška sustabdė Cloudflare. 27 minutės.
2019 m.
2019 m. liepos 2 d., 13:42 UTC: viena nauja „Cloudflare“ žiniatinklio programų užkardos taisyklė įsigalioja daugiau nei 180 miestų per maždaug dvi sekundes. Tai XSS taisyklė simuliavimo režimu, todėl ji nieko neužblokuoja, tačiau vis tiek vykdoma kiekvienos užklausos metu ir baigiasi .*(?:.*=.*). PCRE atsitraukia, kiekvienas procesoriaus branduolys, aptarnaujantis HTTP užklausas, pasiekia 100 %, o kiekviena „Cloudflare“ tarpinė svetainė 27 minutes grąžina 502 klaidą; srautas sumažėja 82 %. Avarinis jungiklis yra už „Cloudflare Access“, kuris yra už „Cloudflare“. Postmortem, iš „Cloudflare“ ataskaitos: CPU apsauga, pašalinta prieš kelias savaites pertvarkant, siekiant sutaupyti CPU, procedūra, leidžianti bet kuriai taisyklei praleisti testavimo etapus, variklis be sudėtingumo garantijos, 11 priežasčių ir 7 pataisymai. Sprendimas dėl pataisymo: SHIP IT.
Skaityti rašytinę versiją (anglų k.) ↗
Kas aptariama šiame vaizdo įraše
- 13:31–13:42 UTC: PR sujungta, CI žalia (nėra CPU testo), Quicksilver išsiunčia taisyklę į daugiau nei 180 miestų; WAF taisyklės praleidžia DOG → PIG → Canary etapus
- 13:45–14:07: pirmasis puslapis; CPU 100 % visame pasaulyje, srautas −82 %, 502 klaidos visur; vidinis valdymo pultas yra už Cloudflare Access, kuris neveikia; kai kurie prisijungimo duomenys pasibaigę; retai naudojamas aplinkkelis
- 14:07–14:09: visuotinis WAF nutraukimas; srautas ir CPU normalūs po 27 minučių; 14:52 WAF vėl veikia be taisyklės
- Liepos 2 (15:50 UTC) ir liepos 12: Cloudflare paskelbia tą pačią dieną pranešimą ir išsamią po katastrofos ataskaitą; CPU apsauga vėl įdiegta, 3 868 taisyklės perskaitytos iš naujo, etapiniai paleidimai, perėjimas prie tiesinio laiko reguliariosios išraiškos variklio
Klausimai ir atsakymai
Kaip viena reguliarioji išraiška gali sustabdyti pasaulinį tinklą?
Reguliarioji išraiška su neribotu atsitraukimu gali užimti kiekvieną CPU branduolį, kuris ją vertina. Pasak „Cloudflare“ po katastrofos ataskaitos, nauja užkardos taisyklė baigėsi .*(?:.*=.*), PCRE atsitraukė per kiekvieną kitą skaidymą, o CPU pasiekė 100 % kiekviename branduolyje, aptarnaujančiame HTTP. Svetainės už „Cloudflare“ grąžino 502 klaidas 27 minutes, o srautas sumažėjo 82 %.
Kodėl užkardos taisyklė simuliavimo režimu vis tiek sukėlė gedimą?
Simuliavimo režimas neleidžia taisyklei blokuoti srauto, tačiau taisyklė vis tiek vertinama kiekvienos užklausos metu. 2019 m. liepos 2 d., 13:31 UTC, sujungta taisyklė buvo kryžminio puslapių scenarijaus taisyklė simuliavimo režimu, todėl ji nieko neblokavo, tačiau ji buvo vykdoma kiekvienos užklausos metu. „Cloudflare“ po katastrofos ataskaitoje teigiama, kad jos įvertinimo kaina išsekino CPU.
Kaip viena taisyklė pasiekė kiekvieną „Cloudflare“ duomenų centrą per dvi sekundes?
Užkardos taisyklės praleido etapinį diegimą, kurį praėjo kiti leidimai. Pasak po katastrofos ataskaitos, procedūra leido bet kuriai taisyklei iš karto tapti pasauline, nes taisyklės skirtos sustabdyti gyvas atakas. Ši taisyklė nebuvo avarinė, o „Quicksilver“ vis tiek išsiuntė ją į daugiau nei 180 miestų per maždaug dvi sekundes, be CPU testo CI, kad ją sugautų.
Kodėl „Cloudflare“ prireikė 27 minučių išjungti sugedusį užkardos komponentą?
Vidinis valdymo pultas buvo už „Cloudflare Access“, kuris buvo už „Cloudflare“, todėl gedimas užblokavo kelią į avarinį jungiklį. Kai kurie prisijungimo duomenys pasibaigė dėl nenaudojimo, o aplinkkelis, kuris buvo retai naudojamas, užtruko apie penkias minutes. Visuotinis WAF nutraukimas buvo pritaikytas 14:07 UTC, o srautas vėl buvo normalus 14:09.
Ar komandos turėtų palikti reguliariosios išraiškos variklius su atsitraukimu užklausos kelio kode po „Cloudflare“ gedimo?
„The Daily Diff“ nuosprendis buvo SHIP IT dėl „Cloudflare“ pataisymo. CPU apsauga buvo atkurta, 3 868 taisyklės buvo perskaitytos iš naujo, taisyklės praeina per etapinius diegimus, o variklis pereina prie to, kuris turi tiesinio laiko garantijas. Šio epizodo praktinis patarimas yra vengti šablonų, tokių kaip taškas-žvaigždutė-taškas-žvaigždutė, viskame, kas veikia kiekvienos užklausos metu, ir laikyti avarinį jungiklį atskirtą nuo sistemos, kurią jis kontroliuoja.
Išverstas transkriptas
Išversta iš originalo anglų kalbos. Galimas garso ir subtitrų valdymas per YouTube.
0:00 Viena reguliarioji išraiška įsijungia kiekviename „Cloudflare“ serveryje iš karto, ir kitas dvidešimt septynias minutes svetainės už jo yra 502 puslapis, o tai užkardai yra griežčiausias įmanomas nustatymas. 2019 m. liepos 2 d., 13:42 UTC. „Cloudflare“ per dvi valandas paskelbia: ne ataka, o blogas diegimas, srautas sumažėjo 82 procentais. Po dešimties dienų CTO Johnas Grahamas-Cummingas paskelbia visą po katastrofos ataskaitą, įskaitant reguliariąją išraišką, ir „Hacker News“ jai suteikia 698 taškus,
0:26 o tai gedimui yra audringos ovacijos. Kaip tai vyksta, kodėl tai įmanoma ir kas iš tikrųjų yra kaltas. Tai „The Daily Diff“, po katastrofos ataskaita. 13:31. Suglaudintas PR: viena nauja užkardos taisyklė nuo kryžminio puslapių scenarijaus, simuliavimo režimu, todėl ji nieko neblokuoja. 13:37, testai praeina; nė vienas nematuoja CPU. 13:42, taisyklė išsiunčiama į 180 miestų per dvi sekundes, nes WAF taisyklės praleidžia šuns, kiaulės ir kanarėlės etapus, kuriuos gauna kiti leidimai.
0:54 13:45, pirmasis puslapis. 13:49, „Hacker News“ turi temą apie būsenos puslapį, kuriame vis dar rašoma, kad visos sistemos veikia. Taisyklė baigiasi tašku-žvaigždute, tašku-žvaigždute, lygu, tašku-žvaigždute: bet kas, tada bet kas, tada lygybės ženklas. PCRE bando godžiai, nepavyksta ir grįžta atgal per kiekvieną kitą skaidymą. x lygu x užima 23 žingsnius. Dvidešimt x po lygybės: 555.
1:15 Dvidešimt x, be lygybės ženklo: 4 067 žingsniai, kad nieko nerastų. Paleiskite tai kiekvienai užklausai ir kiekvienas branduolys veiks šimtu procentų, nieko nedarydamas, kruopščiai. Du sargybiniai turėjo tai pastebėti. CPU limitas taisyklėms buvo klaidingai pašalintas prieš kelias savaites, pertvarkant, siekiant, kad WAF naudotų mažiau CPU. Ir procedūra leidžia bet kuriai taisyklei praleisti testavimo etapus, nes taisyklės skirtos sustabdyti gyvas atakas; ši nebuvo avarinė, ir ji vis tiek pasklido visame pasaulyje.
1:37 14:00, WAF identifikuotas; jokios atakos. 14:02, kažkas siūlo visuotinį nutraukimą: vienas komponentas, išjungtas, visame pasaulyje. Jungiklis yra už „Cloudflare Access“. „Cloudflare Access“ yra už „Cloudflare“. Kai kurie prisijungimo duomenys pasibaigė dėl nenaudojimo, todėl greičiausias tinklas internete penkias minutes praleidžia su aplinkkeliu, kurio niekas nepratęsė. 14:07, išjungti. 14:09, srautas normalus. git blame: diegimas vienu greičiu, pasaulinis; CPU apsauga atsitiktinai perkurta;
2:04 reguliariosios išraiškos variklis be viršutinės ribos. Ne inžinierius, parašęs taisyklę: po katastrofos ataskaitoje išvardijama vienuolika priežasčių ir niekas nepaminėtas. Poveikio spindulys: 27 minutės, 82 procentai srauto, 100 procentų CPU kiekviename branduolyje, kiekviename mieste. Prietaisų skydelis ir API yra už to paties krašto, todėl klientai net negali jo išjungti. „Hacker News“, po katastrofos ataskaita: jie turėjo vieną problemą, naudojo reguliariąją išraišką, dabar turi dvi. Senas anekdotas. Vis dar veikia.
2:28 Sprendimas, po katastrofos ataskaita: SHIP IT. CPU apsauga grįžo, visos 3 868 taisyklės perskaitytos ranka, taisyklės praeina testavimo etapus, ir variklis pereina prie to, kuris turi tiesinio laiko garantijas, paskelbtas Kenas Thompsonas 1968 m. Pirmadienis: jokių taškų-žvaigždučių-taškų-žvaigždučių nieko, kas veikia pagal užklausą, ir laikyti avarinį jungiklį atskirtą nuo to, ką jis išjungia. Atsiųskite man incidentą, apie kurį jums vis dar neleidžiama kalbėti, komentaruose arba daily diff dot dev.
2:53 Ir tai šios dienos skirtumas. Aš esu Nikas iš Axrisi. Sujunkite atsakingai.
Šaltiniai
- John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
- Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
- Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
- Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
- Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
- Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
- Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
- TechCrunch, Jul 2, 2019techcrunch.com



