Een regex het Cloudflare afgeskakel. 27 minute.
2 Julie 2019, 13:42 UTC: een nuwe reël vir Cloudflare se Web Application Firewall gaan binne ongeveer twee sekondes in 180+ stede in werking.
2 Julie 2019, 13:42 UTC: een nuwe reël vir Cloudflare se Web Application Firewall gaan binne ongeveer twee sekondes in 180+ stede in werking. Dit is 'n XSS-reël in simuleermodus, dus dit blokkeer niks, maar dit loop steeds op elke versoek, en dit eindig in .*(?:.*=.*). PCRE-terugspoor, elke SVE-kern wat HTTP bedien, bereik 100%, en elke Cloudflare-gemagtigde webwerf gee 502 terug vir 27 minute; verkeer daal 82%. Die noodskakelaar sit agter Cloudflare Access, wat agter Cloudflare sit. Nadoodse ondersoek, uit Cloudflare se eie verslag: die SVE-wag wat weke vroeër verwyder is in 'n herfaktor wat bedoel was om SVE te bespaar, die prosedure wat enige reël toegelaat het om staging oor te slaan, die enjin sonder kompleksiteitswaarborg, die 11 oorsake en die 7 oplossings. Uitspraak oor die oplossing: SHIP IT.
Lees die geskrewe uitgawe (Engels) ↗
Wat hierdie video dek
- 13:31–13:42 UTC: PR saamgevoeg, CI groen (geen SVE-toets), Quicksilver druk die reël na 180+ stede; WAF-reëls slaan die DOG → PIG → Kanarie-fases oor
- 13:45–14:07: eerste bladsy; SVE 100% wêreldwyd, verkeer −82%, 502's oral; die interne beheerpaneel is agter Cloudflare Access, wat af is; sommige geloofsbriewe het verval; 'n selde geoefende omseil
- 14:07–14:09: globale WAF-terminasie; verkeer en SVE normaal na 27 minute; 14:52 WAF terug minus die reël
- 2 Julie (15:50 UTC) en 12 Julie: Cloudflare publiseer die dieselfde-dag nota en die volledige nadoodse ondersoek; SVE-wag weer bygevoeg, 3 868 reëls weer gelees, gefaseerde uitrollings, skuif na 'n lineêre-tyd regex-enjin
Vrae en antwoorde
Hoe kan 'n enkele gereelde uitdrukking 'n globale netwerk afskakel?
'n Regex met onbegrensde terugsporing kan elke SVE-kern wat dit evalueer vaspen. Volgens Cloudflare se nadoodse ondersoek het 'n nuwe brandmuurreël geëindig in .*(?:.*=.*), PCRE het deur elke ander skeiding teruggespoor, en SVE het 100% bereik op elke kern wat HTTP bedien het. Webwerwe agter Cloudflare het 502-foute teruggestuur vir 27 minute en verkeer het 82% gedaal.
Waarom het 'n brandmuurreël in simuleermodus steeds 'n onderbreking veroorsaak?
Simuleermodus keer dat 'n reël verkeer blokkeer, maar die reël word steeds op elke versoek geëvalueer. Die reël wat om 13:31 UTC op 2 Julie 2019 saamgevoeg is, was 'n kruis-webwerf-skrip-reël in simuleermodus, dus dit het niks geblokkeer nie, maar dit het wel op elke versoek geloop. Cloudflare se nadoodse ondersoek sê die koste om dit te evalueer het die SVE uitgeput.
Hoe het een reël binne twee sekondes elke Cloudflare-datasentrum bereik?
Brandmuurreëls het die gefaseerde uitrol wat ander vrystellings deurgemaak het, oorgeslaan. Volgens die nadoodse ondersoek het die prosedure enige reël toegelaat om onmiddellik wêreldwyd te gaan, omdat reëls bestaan om lewendige aanvalle te stop. Hierdie reël was nie 'n noodgeval nie, en Quicksilver het dit steeds binne ongeveer twee sekondes na 180+ stede gestuur, sonder 'n SVE-toets in CI om dit te vang.
Waarom het dit Cloudflare 27 minute geneem om die foutiewe brandmuurkomponent af te skakel?
Die interne beheerpaneel het agter Cloudflare Access gesit, wat agter Cloudflare gesit het, sodat die onderbreking die pad na die noodskakelaar geblokkeer het. Sommige geloofsbriewe het verval weens ongebruik, en 'n omseiling wat selde geoefen is, het ongeveer vyf minute geneem. Die globale WAF-terminasie is om 14:07 UTC toegepas, en verkeer was weer normaal om 14:09.
Moet spanne regex-enjins met terugsporing in versoekpadkode hou na die Cloudflare-onderbreking?
The Daily Diff se uitspraak was SHIP IT, vir Cloudflare se oplossing. Die SVE-wag is herstel, 3 868 reëls is weer gelees, reëls gaan deur gefaseerde uitrollings, en die enjin beweeg na een met lineêre-tyd waarborge. Die episode se praktiese advies is om patrone soos dot-ster dot-ster te vermy in enigiets wat op elke versoek loop en om die noodskakelaar af te hou van die stelsel wat dit beheer.
Vertaalde transkripsie
Vertaal uit die oorspronklike Engelse vertelling. Beskikbare klank en onderskrifte word deur YouTube beheer.
0:00 Een gereelde uitdrukking gaan tegelyk op elke Cloudflare-bediener regstreeks, en vir die volgende sewe-en-twintig minute is die webwerwe daaragter 'n 502-bladsy, wat, vir 'n brandmuur, die strengste moontlike instelling is. 2 Julie 2019, 13:42 UTC. Cloudflare plaas binne twee uur: nie 'n aanval nie, 'n slegte ontplooiing, verkeer met 82 persent afgeneem. Tien dae later publiseer CTO John Graham-Cumming die volledige nadoodse ondersoek, regex ingesluit, en Hacker News gee dit 698 punte,
0:26 wat vir 'n onderbreking 'n staande toejuiging is. Hoe dit gebeur, waarom dit moontlik is, en wie eintlik die skuld kry. Dit is The Daily Diff, nadoodse ondersoek. 13:31. 'n Trekversoek smelt saam: een nuwe brandmuurreël teen kruis-webwerf skrip, in simuleermodus, so dit blokkeer niks. 13:37, toetse slaag; geen meet SVE nie. 13:42, die reël word binne twee sekondes na 180 stede gestuur, omdat WAF-reëls die hond-, vark- en kanariefases wat ander vrystellings kry, oorslaan.
0:54 13:45, die eerste bladsy. 13:49, Hacker News het 'n draad oor die statusbladsy, wat steeds sê alle stelsels is operasioneel. Die reël eindig in dot-ster, dot-ster, is gelyk aan, dot-ster: enigiets, dan enigiets, dan 'n is-gelyk-aan-teken. PCRE raai gulsig, misluk, en spoor terug deur elke ander skeiding. x is gelyk aan x neem 23 stappe. Twintig x'e na die is-gelyk-aan: 555.
1:15 Twintig x'e, geen is-gelyk-aan-teken: 4 067 stappe om niks te vind nie. Voer dit uit op elke versoek en elke kern is honderd persent, doen niks, deeglik. Twee wagte moes dit gevang het. Die SVE-limiet op reëls is weke vroeër per ongeluk verwyder, in 'n herfaktor wat bedoel was om die WAF minder SVE te laat gebruik. En die prosedure laat enige reël toe om staging oor te slaan, omdat reëls bestaan om lewendige aanvalle te stop; hierdie een was nie 'n noodgeval nie, en dit het in elk geval wêreldwyd gegaan.
1:37 14:00, die WAF is geïdentifiseer; geen aanval nie. 14:02, iemand stel die globale beëindiging voor: een komponent, af, wêreldwyd. Die skakelaar is agter Cloudflare Access. Cloudflare Access is agter Cloudflare. Sommige geloofsbriewe het verval weens ongebruik, so die vinnigste netwerk op die internet spandeer vyf minute aan 'n omseiling wat niemand geoefen het nie. 14:07, doodmaak. 14:09, verkeer normaal. git blame: 'n uitrol met een spoed, globaal; 'n SVE-wag wat per ongeluk herfaktor is;
2:04 'n regex-enjin sonder 'n boonste grens. Nie die ingenieur wat die reël geskryf het nie: die nadoodse ondersoek lys elf oorsake en noem niemand. Impak: 27 minute, 82 persent van die verkeer, 100 persent SVE op elke kern, in elke stad. Die dashboard en API sit agter dieselfde rand, so kliënte kan dit nie eers afskakel nie. Hacker News, onder die nadoodse ondersoek: hulle het een probleem gehad, het 'n gereelde uitdrukking gebruik, nou het hulle twee. Ou grap. Stel steeds saam.
2:28 Uitspraak, nadoodse ondersoek: SHIP IT. Die SVE-wag is terug, al 3 868 reëls word met die hand gelees, reëls gaan deur staging, en die enjin beweeg na een met lineêre-tyd waarborge, gepubliseer deur Ken Thompson in 1968. Maandag: geen dot-ster dot-ster in enigiets wat per versoek loop nie, en hou die noodskakelaar af van die ding wat dit doodmaak. Stuur vir my die insident waaroor jy steeds nie mag praat nie, in die kommentaar, of by the daily diff dot dev.
2:53 En dit is die verskil vir vandag. Ek is Niko van Axrisi. Voeg verantwoordelik saam.
Bronne
- John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
- Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
- Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
- Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
- Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
- Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
- Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
- TechCrunch, Jul 2, 2019techcrunch.com



