Regluleg tjáning tók niður Cloudflare. 27 mínútur.
2.
2. júlí 2019, 13:42 UTC: ein ný regla fyrir vefforritavörn Cloudflare fer í loftið í yfir 180 borgum á um tveimur sekúndum. Þetta er XSS-regla í hermunarham, svo hún lokar engu, en hún keyrir samt á hverri beiðni, og hún endar á .*(?:.*=.*). PCRE rekur til baka, hver örgjörvakjarni sem þjónar HTTP nær 100%, og hver Cloudflare-proxy-síða skilar 502 í 27 mínútur; umferð dregst saman um 82%. Neðarfallstakkinn er á bak við Cloudflare Access, sem er á bak við Cloudflare. Eftirmáli, frá eigin skrifum Cloudflare: örgjörvavörnin sem var fjarlægð vikum áður í endurhönnun sem ætlað var að spara örgjörva, ferlið sem leyfði hvaða reglu sem er að sleppa við sviðsetningu, vélin án flækjuábyrgðar, 11 orsakir og 7 lagfæringar. Niðurstaða varðandi lagfæringuna: SHIP IT.
Lestu skriflegu útgáfuna (enska) ↗
Það sem þetta myndband fjallar um
- 13:31–13:42 UTC: PR sameinað, CI grænt (engin örgjörvaprófun), Quicksilver ýtir reglunni til 180+ borga; WAF reglur sleppa DOG → PIG → Canary stigum
- 13:45–14:07: fyrsta síða; örgjörvi 100% um allan heim, umferð -82%, 502 villur alls staðar; innra stjórnborðið er á bak við Cloudflare Access, sem er niðri; sum skilríki hafa runnið út; sjaldan æfð hjáleið
- 14:07–14:09: alþjóðleg WAF lokun; umferð og örgjörvi eðlilegur eftir 27 mínútur; 14:52 WAF aftur án reglunnar
- 2. júlí (15:50 UTC) og 12. júlí: Cloudflare birtir sama-dags athugasemdina og fulla eftirmálinn; örgjörvavörn endurbætt, 3.868 reglur endurlestar, stigvaxandi útrúllun, færsla yfir í línulegan tíma regex vél
Spurningar og svör
Hvernig getur ein regluleg tjáning tekið niður alþjóðlegt net?
Regluleg tjáning með ótakmarkaðri tilbakavísun getur læst hvern örgjörvakjarna sem metur hana. Samkvæmt eftirmála Cloudflare endaði ný eldveggsregla á .*(?:.*=.*), PCRE rak til baka í gegnum hverja aðra skiptingu, og örgjörvi náði 100% á hverjum kjarna sem þjónaði HTTP. Síður á bak við Cloudflare skiluðu 502 villum í 27 mínútur og umferð féll um 82%.
Hvers vegna olli eldveggsregla í hermunarham samt truflun?
Hermunarhamur kemur í veg fyrir að regla loki umferð, en reglan er samt metin á hverri beiðni. Reglan sem var sameinuð kl. 13:31 UTC þann 2. júlí 2019 var XSS regla í hermunarham, svo hún lokaði engu, en hún keyrði samt á hverri beiðni. Í eftirmála Cloudflare kemur fram að kostnaðurinn við að meta hana tæmdi örgjörvann.
Hvernig náði ein regla til allra Cloudflare gagnavera á tveimur sekúndum?
Eldveggsreglur slepptu stigvaxandi útrúllun sem aðrar útgáfur fóru í gegnum. Samkvæmt eftirmálanum leyfði ferlið hvaða reglu sem er að fara á heimsvísu strax vegna þess að reglur eru til staðar til að stöðva lifandi árásir. Þessi regla var ekki neyðartilvik, og Quicksilver ýtti henni samt til 180+ borga á um tveimur sekúndum, án örgjörvaprófunar í CI til að fanga hana.
Hvers vegna tók það Cloudflare 27 mínútur að slökkva á gölluðu eldveggsþáttinum?
Innra stjórnborðið var á bak við Cloudflare Access, sem var á bak við Cloudflare, svo truflunin lokaði leiðinni að neyðarrofanum. Sum skilríki höfðu runnið út vegna ónotkunar, og hjáleið sem var sjaldan æfð tók um fimm mínútur. Alþjóðlegri WAF lokun var beitt kl. 14:07 UTC, og umferð var aftur eðlileg kl. 14:09.
Ættu teymi að halda regex vélum með tilbakavísun í beiðni-slóð kóða eftir Cloudflare truflunina?
Dómur The Daily Diff var SHIP IT, fyrir lagfæringu Cloudflare. Örgjörvavörnin var endurheimt, 3.868 reglur voru endurlestar, reglur fara í gegnum stigvaxandi útrúllun, og vélin færist yfir í eina með línulegum tíma ábyrgðum. Hagnýt ráð atviksins eru að forðast mynstur eins og punktur-stjarna punktur-stjarna í öllu sem keyrir á hverri beiðni og að halda neyðarrofanum utan við kerfið sem hann stjórnar.
Þýtt afrit
Þýtt úr upprunalegri enskri frásögn. Tiltækt hljóð og textar eru stjórnaðir af YouTube.
0:00 Ein regluleg tjáning fer í loftið á hverjum Cloudflare þjóni í einu, og næstu tuttugu og sjö mínúturnar eru síðurnar á bak við hana 502 síða, sem, fyrir eldvegg, er strangasta mögulega stillingin. 2. júlí 2019, 13:42 UTC. Cloudflare birtir innan tveggja klukkustunda: ekki árás, slæm útrúllun, umferð niður um 82 prósent. Tíu dögum síðar birtir tæknistjórinn John Graham-Cumming fulla eftirmálinn, regluleg tjáning innifalin, og Hacker News gefur því 698 stig,
0:26 sem fyrir truflun er standandi lófaklapp. Hvernig það gerist, hvers vegna það er mögulegt og hver fær í raun sökina. Þetta er The Daily Diff, eftirmáli. 13:31. Fyrirspurn er sameinuð: ein ný eldveggsregla gegn kross-síðu skrift, í hermunarham, svo hún lokar engu. 13:37, prófanir standast; engin mælir örgjörva. 13:42, reglan er send til 180 borga á tveimur sekúndum, vegna þess að WAF reglur sleppa hunda-, svína- og kanarí-stigum sem aðrar útgáfur fá.
0:54 13:45, fyrsta síðan. 13:49, Hacker News er með þráð um stöðusíðuna, sem enn segir að öll kerfi séu í notkun. Reglan endar á punktur-stjarna, punktur-stjarna, jafnt og, punktur-stjarna: hvað sem er, svo hvað sem er, svo jafnaðarmerki. PCRE giskar gráðuglega, mistekst og rekur til baka í gegnum hverja aðra skiptingu. x jafnt og x tekur 23 skref. Tuttugu x-ar eftir jafnaðarmerkið: 555.
1:15 Tuttugu x-ar, ekkert jafnaðarmerki: 4.067 skref til að finna ekkert. Keyrðu það á hverri beiðni og hver kjarni er í hundrað prósentum, að gera ekkert, vandlega. Tvær varðir hefðu átt að stöðva þetta. Örgjörva takmörkun á reglum var fjarlægð fyrir mistök vikum áður, í endurhönnun sem ætlað var að minnka örgjörvanotkun WAF. Og ferlið leyfir hvaða reglu sem er að sleppa við sviðsetningu, vegna þess að reglur eru til staðar til að stöðva lifandi árásir; þessi var ekki neyðartilvik, og hún fór samt á heimsvísu.
1:37 14:00, WAF er auðkennt; engin árás. 14:02, einhver stingur upp á alþjóðlegri lokun: einn hluti, slökkt, um allan heim. Rofinn er á bak við Cloudflare Access. Cloudflare Access er á bak við Cloudflare. Sum skilríki hafa runnið út vegna ónotkunar, svo hraðasta netið á internetinu eyðir fimm mínútum í hjáleið sem enginn æfði. 14:07, drepið. 14:09, umferð eðlileg. git blame: útrúllun með einum hraða, alþjóðleg; örgjörvavörn endurhönnuð í burtu fyrir
2:04 slys; regex vél án efri marka. Ekki verkfræðingurinn sem skrifaði regluna: eftirmálið listar ellefu orsakir og nefnir engan. Sprengisvæði: 27 mínútur, 82 prósent af umferð, 100 prósent örgjörva á hverjum kjarna, í hverri borg. Mælaborðið og API eru á bak við sama jaðar, svo viðskiptavinir geta ekki einu sinni slökkt á því. Hacker News, undir eftirmálanum: þeir áttu eitt vandamál, notuðu reglulega tjáningu, nú eiga þeir tvö. Gamall brandari. Þýðist samt.
2:28 Dómur, eftirmáli: SHIP IT. Örgjörvavörnin er komin aftur, allar 3.868 reglurnar eru lesnar handvirkt, reglur fara í gegnum stigvaxandi útrúllun, og vélin færist yfir í eina með línulegum tíma ábyrgðum, birt af Ken Thompson árið 1968. Mánudagur: enginn punktur-stjarna punktur-stjarna í neinu sem keyrir á hverri beiðni, og halda neyðarrofa utan við það sem hann drepur. Sendu mér atvikið sem þú mátt enn ekki tala um, í athugasemdum, eða á the daily diff dot dev.
2:53 Og það er munurinn fyrir í dag. Ég er Niko frá Axrisi. Sameinaðu á ábyrgan hátt.
Heimildir
- John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
- Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
- Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
- Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
- Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
- Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
- Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
- TechCrunch, Jul 2, 2019techcrunch.com



