+− THE DAILY DIFFdev & AI news
SHIP IT

Säännöllinen lauseke kaatoi Cloudflaren. 27 minuuttia.

2.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

2. heinäkuuta 2019, klo 13:42 UTC: yksi uusi sääntö Cloudflaren verkkosovelluspalomuurille otetaan käyttöön yli 180 kaupungissa noin kahdessa sekunnissa. Se on XSS-sääntö simulaatiotilassa, joten se ei estä mitään, mutta se silti suoritetaan jokaisessa pyynnössä, ja se päättyy .*(?:.*=.*). PCRE perääntyy, jokainen HTTP-pyyntöjä palveleva suorittimen ydin saavuttaa 100 %, ja jokainen Cloudflaren välittämä sivusto palauttaa 502-virheen 27 minuutin ajan; liikenne laskee 82 %. Kill switch on Cloudflare Accessin takana, joka puolestaan on Cloudflaren takana. Jälkianalyysi, Cloudflaren omasta kirjoituksesta: suorittimen suojaus, joka oli poistettu viikkoja aiemmin suorittimen säästämiseen tarkoitetussa uudelleenjärjestelyssä, menettely, joka antoi minkä tahansa säännön ohittaa vaiheistuksen, moottori ilman kompleksisuustakuuta, 11 syytä ja 7 korjausta. Korjauksen tuomio: SHIP IT.

Lue kirjoitettu versio (englanniksi) ↗

Mitä tämä video käsittelee

  • 13:31–13:42 UTC: PR yhdistetty, CI vihreänä (ei suorittimen testiä), Quicksilver työntää säännön yli 180 kaupunkiin; WAF-säännöt ohittavat DOG → PIG → Canary -vaiheet
  • 13:45–14:07: ensimmäinen sivu; suoritin 100 % maailmanlaajuisesti, liikenne -82 %, 502-virheitä kaikkialla; sisäinen ohjauspaneeli on Cloudflare Accessin takana, joka on alhaalla; jotkut tunnistetiedot ovat vanhentuneet; harvoin harjoiteltu ohitus
  • 14:07–14:09: globaali WAF-pääte; liikenne ja suoritin normaalit 27 minuutin kuluttua; 14:52 WAF takaisin ilman sääntöä
  • 2. heinäkuuta (15:50 UTC) ja 12. heinäkuuta: Cloudflare julkaisee samana päivänä ilmoituksen ja täyden jälkianalyysin; suorittimen suojaus lisätty uudelleen, 3 868 sääntöä luettu uudelleen, vaiheistetut käyttöönotot, siirtyminen lineaariaikaisen säännöllisten lausekkeiden moottoriin

Kysymyksiä ja vastauksia

Miten yksi säännöllinen lauseke voi kaataa globaalin verkon?

Säännöllinen lauseke, jossa on rajoittamaton takaisinkytkentä, voi kuormittaa jokaisen sitä arvioivan suorittimen ytimen. Cloudflaren jälkianalyysin mukaan uusi palomuurisääntö päättyi .*(?:.*=.*), PCRE perääntyi jokaisen muun jaon läpi, ja suoritin saavutti 100 % jokaisessa HTTP-pyyntöjä palvelevassa ytimessä. Cloudflaren takana olevat sivustot palauttivat 502-virheitä 27 minuutin ajan ja liikenne laski 82 %.

blog.cloudflare.com · blog.cloudflare.com

Miksi palomuurisääntö simulaatiotilassa aiheutti silti katkoksen?

Simulaatiotila estää säännön estämästä liikennettä, mutta sääntö arvioidaan silti jokaisessa pyynnössä. 2. heinäkuuta 2019 kello 13:31 UTC yhdistetty sääntö oli sivustojen välistä skriptausta estävä sääntö simulaatiotilassa, joten se ei estänyt mitään, mutta se suoritettiin jokaisessa pyynnössä. Cloudflaren jälkianalyysin mukaan sen arvioinnin kustannukset kuluttivat suorittimen loppuun.

blog.cloudflare.com

Miten yksi sääntö tavoitti kaikki Cloudflaren datakeskukset kahdessa sekunnissa?

Palomuurisäännöt ohittivat vaiheistetun käyttöönoton, jonka muut julkaisut kävivät läpi. Jälkianalyysin mukaan menettely antoi minkä tahansa säännön levitä globaalisti kerralla, koska sääntöjä on olemassa elävien hyökkäysten pysäyttämiseksi. Tämä sääntö ei ollut hätätilanne, ja Quicksilver työnsi sen silti yli 180 kaupunkiin noin kahdessa sekunnissa, ilman suorittimen testiä CI:ssä sen havaitsemiseksi.

blog.cloudflare.com · blog.cloudflare.com

Miksi Cloudflarelta kesti 27 minuuttia sammuttaa viallinen palomuurikomponentti?

Sisäinen ohjauspaneeli oli Cloudflare Accessin takana, joka oli Cloudflaren takana, joten katkos esti pääsyn tappokytkimeen. Jotkut tunnistetiedot olivat vanhentuneet käyttämättömyyden vuoksi, ja harvoin harjoiteltu ohitus kesti noin viisi minuuttia. Globaali WAF-lopetus otettiin käyttöön kello 14:07 UTC, ja liikenne oli taas normaalia kello 14:09.

blog.cloudflare.com · x.com

Pitäisikö tiimien säilyttää säännöllisten lausekkeiden moottoreita takaisinkytkennällä pyyntöpolun koodissa Cloudflaren katkoksen jälkeen?

The Daily Diffin tuomio oli SHIP IT, Cloudflaren korjauksen osalta. Suorittimen suojaus palautettiin, 3 868 sääntöä luettiin uudelleen, säännöt käyvät läpi vaiheistetut käyttöönotot, ja moottori siirtyy sellaiseen, jolla on lineaariaikaiset takuut. Jakson käytännön neuvo on välttää piste-tähti piste-tähti -kaltaisia kuvioita missään, mikä suoritetaan jokaisessa pyynnössä, ja pitää tappokytkin erillään järjestelmästä, jota se ohjaa.

blog.cloudflare.com

Käännetty transkriptio

Käännetty alkuperäisestä englanninkielisestä selostuksesta. Käytettävissä olevan äänen ja tekstitysten hallinta tapahtuu YouTuben kautta.

0:00 Yksi säännöllinen lauseke otetaan käyttöön jokaisella Cloudflaren palvelimella samanaikaisesti, ja seuraavien kahdenkymmenenseitsemän minuutin ajan sen takana olevat sivustot ovat 502-virhesivuja, mikä on palomuurille mahdollisimman tiukka asetus. 2. heinäkuuta 2019, klo 13:42 UTC. Cloudflare ilmoittaa kahden tunnin sisällä: ei hyökkäys, vaan huono käyttöönotto, liikenne laski 82 prosenttia. Kymmenen päivää myöhemmin teknologiajohtaja John Graham-Cumming julkaisee täyden jälkianalyysin, säännöllinen lauseke mukaan lukien, ja Hacker News antaa sille 698 pistettä,

0:26 mikä katkokselle on seisovat aplodit. Miten se tapahtuu, miksi se on mahdollista ja kuka todella saa syyt niskoilleen. Tämä on The Daily Diff, jälkianalyysi. 13:31. Vetopyyntö yhdistetään: yksi uusi palomuurisääntö sivustojen välisen skriptauksen estämiseksi, simulaatiotilassa, joten se ei estä mitään. 13:37, testit läpäisty; yksikään ei mittaa suoritinta. 13:42, sääntö toimitetaan 180 kaupunkiin kahdessa sekunnissa, koska WAF-säännöt ohittavat ne koira-, sika- ja kanarianvaiheet, jotka muut julkaisut saavat.

0:54 13:45, ensimmäinen sivu. 13:49, Hacker Newsissa on ketju tilasivusta, joka edelleen sanoo kaikkien järjestelmien olevan toiminnassa. Sääntö päättyy piste-tähti, piste-tähti, yhtä suuri kuin, piste-tähti: mitä tahansa, sitten mitä tahansa, sitten yhtäsuuruusmerkki. PCRE arvaa ahneesti, epäonnistuu ja perääntyy kaikkien muiden jakojen läpi. x yhtä suuri kuin x vie 23 askelta. Kaksikymmentä x:ää yhtäsuuruusmerkin jälkeen: 555.

1:15 Kaksikymmentä x:ää, ei yhtäsuuruusmerkkiä: 4 067 askelta löytääkseen ei mitään. Suorita se jokaisessa pyynnössä ja jokainen ydin on sadassa prosentissa, tehden mitään, perusteellisesti. Kahden vartijan olisi pitänyt huomata se. Sääntöjen suoritinraja poistettiin vahingossa viikkoja aiemmin, uudelleenjärjestelyssä, jonka tarkoituksena oli saada WAF kuluttamaan vähemmän suoritinta. Ja menettely antaa minkä tahansa säännön ohittaa vaiheistuksen, koska sääntöjä on olemassa pysäyttämään live- hyökkäyksiä; tämä ei ollut hätätilanne, ja se meni silti globaaliksi.

1:37 14:00, WAF tunnistetaan; ei hyökkäystä. 14:02, joku ehdottaa globaalia lopetusta: yksi komponentti, pois päältä, maailmanlaajuisesti. Kytkin on Cloudflare Accessin takana. Cloudflare Access on Cloudflaren takana. Jotkut tunnistetiedot ovat vanhentuneet käyttämättömyyden vuoksi, joten nopein verkko internetissä viettää viisi minuuttia ohitukseen, jota kukaan ei harjoitellut. 14:07, sammutus. 14:09, liikenne normaalia. git blame: käyttöönotto yhdellä nopeudella, globaali; suorittimen suojaus poistettiin uudelleenjärjestelyssä

2:04 vahingossa; säännöllisten lausekkeiden moottori ilman ylärajaa. Ei insinööri, joka kirjoitti säännön: jälkianalyysi luettelee yksitoista syytä ja ei nimeä ketään. Vahinkoalue: 27 minuuttia, 82 prosenttia liikenteestä, 100 prosenttia suoritinta jokaisessa ytimessä, jokaisessa kaupungissa. Hallintapaneeli ja API ovat saman reunan takana, joten asiakkaat eivät voi edes kytkeä sitä pois päältä. Hacker News, jälkianalyysin alla: heillä oli yksi ongelma, käyttivät säännöllistä lauseketta, nyt heillä on kaksi. Vanha vitsi. Toimii edelleen.

2:28 Tuomio, jälkianalyysi: SHIP IT. Suorittimen suojaus on palautettu, kaikki 3 868 sääntöä luetaan käsin, säännöt käyvät läpi vaiheistetun käyttöönoton, ja moottori siirtyy sellaiseen, jolla on lineaariaikaiset takuut, julkaissut Ken Thompson vuonna 1968. Maanantai: ei piste-tähti piste-tähti -muotoa missään, mikä suoritetaan pyyntöä kohden, ja pidä tappokytkin erillään siitä, mitä se tappaa. Lähetä minulle tapaus, josta et edelleenkään saa puhua, kommentteihin tai osoitteeseen the daily diff dot dev.

2:53 Ja tämä on päivän diff. Olen Niko Axrisista. Yhdistä vastuullisesti.

Lähteet

  1. John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
  2. Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
  3. Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
  4. Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
  5. Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
  6. Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
  7. Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
  8. TechCrunch, Jul 2, 2019techcrunch.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Aiheeseen liittyvät videot