+− THE DAILY DIFFdev & AI news
SHIP IT

Regulaaravaldis viis Cloudflare'i rivist välja. 27 minutiks.

2.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

2. juuli 2019, kell 13:42 UTC: üks uus reegel Cloudflare'i veebirakenduste tulemüüri jaoks läheb otseülekandesse 180+ linnas umbes kahe sekundiga. See on XSS-reegel simulatsioonirežiimis, nii et see ei blokeeri midagi, kuid töötab siiski iga päringu puhul ja lõpeb .*(?:.*=.*). PCRE tagastab, iga HTTP-päringuid teenindav CPU tuum saavutab 100% ja iga Cloudflare'i kaudu proksitud sait tagastab 27 minuti jooksul 502; liiklus langeb 82%. Tapmislüliti asub Cloudflare Accessi taga, mis asub Cloudflare'i taga. Postmortem, Cloudflare'i enda kokkuvõttest: CPU-kaitse eemaldati nädalaid varem refaktoreerimisel, mille eesmärk oli CPU säästmine, protseduur, mis lubas igal reeglil vahetappidel vahele jätta, mootor ilma keerukuse garantiita, 11 põhjust ja 7 parandust. Paranduse otsus: SHIP IT.

Loe kirjalikku väljaannet (inglise keeles) ↗

Mida see video hõlmab

  • 13:31–13:42 UTC: PR ühendatud, CI roheline (CPU testi pole), Quicksilver lükkab reegli 180+ linna; WAF reeglid jätavad vahele DOG → PIG → Canary etapid
  • 13:45–14:07: esimene leht; CPU 100% ülemaailmselt, liiklus -82%, 502 kõikjal; sisemine juhtpaneel on Cloudflare Accessi taga, mis on maas; mõned mandaadid on aegunud; harva testitud möödaminek
  • 14:07–14:09: globaalne WAF-i lõpetamine; liiklus ja CPU normaalsed 27 minuti pärast; 14:52 WAF tagasi miinus reegel
  • 2. juuli (15:50 UTC) ja 12. juuli: Cloudflare avaldab samapäevase märkuse ja täieliku postmortemi; CPU-kaitse uuesti lisatud, 3 868 reeglit uuesti läbi loetud, etapiviisilised juurutamised, üleminek lineaarse ajaga regulaaravaldiste mootorile

Küsimused ja vastused

Kuidas saab üks regulaaravaldis globaalse võrgu rivist välja viia?

Regulaaravaldis piiramatu tagastusega võib kinni kiiluda iga CPU tuuma, mis seda hindab. Cloudflare'i postmortemi kohaselt lõppes uus tulemüüri reegel .*(?:.*=.*), PCRE tagastas iga teise jaotuse kaudu ja CPU saavutas 100% iga HTTP-d teenindava tuuma kohta. Cloudflare'i taga olevad saidid tagastasid 27 minuti jooksul 502 viga ja liiklus langes 82%.

blog.cloudflare.com · blog.cloudflare.com

Miks põhjustas simulatsioonirežiimis olev tulemüüri reegel ikkagi katkestuse?

Simulatsioonirežiim takistab reeglil liiklust blokeerimast, kuid reeglit hinnatakse siiski iga päringu puhul. 2. juulil 2019 kell 13:31 UTC ühendatud reegel oli ristsaitide skriptimise reegel simulatsioonirežiimis, nii et see ei blokeerinud midagi, kuid see käivitus siiski iga päringu puhul. Cloudflare'i postmortem ütleb, et selle hindamine kurnas CPU-d.

blog.cloudflare.com

Kuidas jõudis üks reegel iga Cloudflare'i andmekeskusesse kahe sekundiga?

Tulemüüri reeglid jätsid vahele etapiviisilise juurutamise, mille teised väljaanded läbisid. Postmortemi kohaselt lubas protseduur igal reeglil korraga globaalseks minna, sest reeglid on olemas reaalajas rünnakute peatamiseks. See reegel ei olnud hädaolukord ja Quicksilver lükkas selle siiski umbes kahe sekundiga 180+ linna, ilma CPU testita CI-s, et seda tabada.

blog.cloudflare.com · blog.cloudflare.com

Miks kulus Cloudflare'il vigase tulemüüri komponendi väljalülitamiseks 27 minutit?

Sisemine juhtpaneel asus Cloudflare Accessi taga, mis asus Cloudflare'i taga, nii et katkestus blokeeris tee tapmislülitini. Mõned mandaadid olid kasutusest aegunud ja harva harjutatud möödaminemine võttis umbes viis minutit. Globaalne WAF-i lõpetamine rakendati kell 14:07 UTC ja liiklus oli jälle normaalne kell 14:09.

blog.cloudflare.com · x.com

Kas meeskonnad peaksid pärast Cloudflare'i katkestust hoidma regulaaravaldiste mootoreid tagastusega päringutee koodis?

The Daily Diff'i otsus oli SHIP IT Cloudflare'i paranduse kohta. CPU-kaitse taastati, 3868 reeglit loeti uuesti läbi, reeglid läbivad etapiviisilise juurutamise ja mootor läheb üle lineaarse ajaga garantiidega mootorile. Episoodi praktiline nõuanne on vältida punkt-tärn punkt-tärni mustreid milleski, mis töötab iga päringu kohta, ja hoida tapmislüliti eemal süsteemist, mida see kontrollib.

blog.cloudflare.com

Tõlgitud transkriptsioon

Tõlgitud ingliskeelsest originaaljutustusest. Saadaolevat heli ja subtiitreid kontrollib YouTube.

0:00 Üks regulaaravaldis läheb korraga live'i igas Cloudflare'i serveris, ja järgmise kahekümne seitsme minuti jooksul on selle taga olevad saidid 502-leheküljeline viga, mis tulemüüri jaoks on kõige rangem võimalik seade. 2. juuli 2019, kell 13:42 UTC. Cloudflare postitab kahe tunni jooksul: mitte rünnak, vaid halb juurutamine, liiklus langes 82 protsenti. Kümme päeva hiljem avaldab tehniline juht John Graham-Cumming täieliku postmortemi, koos regulaaravaldise selgitusega, ja Hacker News annab sellele 698 punkti,

0:26 mis katkestuse kohta on püstijalu ovatsioon. Kuidas see juhtub, miks see on võimalik ja kes tegelikult süüdi on. See on The Daily Diff, postmortem. 13:31. Ühendatakse pull request: üks uus tulemüüri reegel ristsaitide skriptimise vastu, simulatsioonirežiimis, nii et see ei blokeeri midagi. 13:37, testid läbivad; ükski ei mõõda CPU-d. 13:42, reegel saadetakse 180 linna kahe sekundiga, sest WAF-i reeglid jätavad vahele koera, sea ja kanaari etapid, mille teised väljaanded läbivad.

0:54 13:45, esimene leht. 13:49, Hacker Newsil on teema olekulehe kohta, mis ütleb endiselt, et kõik süsteemid töötavad. Reegel lõpeb punkt-tärn, punkt-tärn, võrdub, punkt-tärn: kõik, siis kõik, siis võrdusmärk. PCRE arvab ahnelt, ebaõnnestub ja tagastab iga teise jaotuse kaudu. x võrdub x võtab 23 sammu. Kakskümmend x-i pärast võrdusmärki: 555.

1:15 Kakskümmend x-i, ilma võrdusmärgita: 4067 sammu, et mitte midagi leida. Käivitage see iga päringu kohta ja iga tuum on sajaprotsendiliselt hõivatud, tehes põhjalikult mitte midagi. Kaks valvurit oleksid pidanud seda märkama. CPU piirang reeglitele eemaldati ekslikult nädalaid varem, refaktoreerimisel, mille eesmärk oli muuta WAF-i CPU tarbimine väiksemaks. Ja protseduur lubab igal reeglil vahetappidel vahele jätta, sest reeglid on olemas reaalajas rünnakute peatamiseks; see ei olnud hädaolukord ja see läks ikkagi globaalseks.

1:37 14:00, WAF on tuvastatud; rünnakut pole. 14:02, keegi pakub välja globaalse lõpetamise: üks komponent, välja lülitatud, ülemaailmselt. Lüliti on Cloudflare Accessi taga. Cloudflare Access on Cloudflare'i taga. Mõned mandaadid on kasutusest aegunud, nii et kiireim võrk internetis veedab viis minutit möödasõidul, mida keegi ei harjutanud. 14:07, tapmine. 14:09, liiklus normaalne. git blame: juurutamine ühe kiirusega, globaalne; CPU-kaitse refaktoriti kogemata

2:04 eemaldati; regulaaravaldise mootor ilma ülempiirita. Mitte insener, kes reegli kirjutas: postmortem loetleb üksteist põhjust ja nimetab kedagi. Mõjuala: 27 minutit, 82 protsenti liiklusest, 100 protsenti CPU-d igas tuumas, igas linnas. Armatuurlaud ja API asuvad sama serva taga, nii et kliendid ei saa seda isegi välja lülitada. Hacker News, postmortemi all: neil oli üks probleem, kasutasid regulaaravaldist, nüüd on neil kaks. Vana nali. Ikka kompileerub.

2:28 Otsus, postmortem: SHIP IT. CPU-kaitse on tagasi, kõik 3868 reeglit loetakse käsitsi läbi, reeglid läbivad etappide kaupa juurutamise ja mootor läheb üle lineaarse ajaga garantii pakkuvale, mille avaldas Ken Thompson 1968. aastal. Esmaspäev: pole punkt-tärn punkt-tärni milleski, mis töötab iga päringu kohta, ja hoia tapmislüliti eemal asjast, mida see tapab. Saatke mulle intsident, millest te ikka veel rääkida ei tohi, kommentaarides või aadressil daily diff dot dev.

2:53 Ja see on tänane diff. Mina olen Niko Axrisist. Ühendage vastutustundlikult.

Allikad

  1. John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
  2. Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
  3. Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
  4. Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
  5. Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
  6. Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
  7. Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
  8. TechCrunch, Jul 2, 2019techcrunch.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Seotud videod