Een regex legde Cloudflare lam. 27 minuten.
2 juli 2019, 13:42 UTC: een nieuwe regel voor Cloudflare's Web Application Firewall gaat live in meer dan 180 steden in ongeveer twee seconden.
2 juli 2019, 13:42 UTC: een nieuwe regel voor Cloudflare's Web Application Firewall gaat live in meer dan 180 steden in ongeveer twee seconden. Het is een XSS-regel in simulatiemodus, dus het blokkeert niets, maar het draait nog steeds op elk verzoek, en het eindigt in .*(?:.*=.*). PCRE "backtrackt", elke CPU-kern die HTTP-aanvragen afhandelt, raakt 100%, en elke via Cloudflare geproxyeerde site retourneert 502 gedurende 27 minuten; het verkeer daalt met 82%. De noodschakelaar bevindt zich achter Cloudflare Access, dat zich achter Cloudflare bevindt. Postmortem, uit Cloudflare's eigen verslag: de CPU-beveiliging die weken eerder was verwijderd in een refactor die bedoeld was om CPU te besparen, de procedure die elke regel in staat stelde de staging over te slaan, de engine zonder complexiteitsgarantie, de 11 oorzaken en de 7 oplossingen. Oordeel over de oplossing: SHIP IT.
Lees de geschreven editie (Engels) ↗
Wat deze video behandelt
- 13:31–13:42 UTC: PR samengevoegd, CI groen (geen CPU-test), Quicksilver pusht de regel naar meer dan 180 steden; WAF-regels slaan de DOG → PIG → Canary fases over
- 13:45–14:07: eerste pagina; CPU 100% wereldwijd, verkeer -82%, overal 502s; het interne controlepaneel zit achter Cloudflare Access, dat platligt; sommige inloggegevens zijn verlopen; een zelden geoefende bypass
- 14:07–14:09: wereldwijde WAF-beëindiging; verkeer en CPU normaal na 27 minuten; 14:52 WAF terug minus de regel
- 2 juli (15:50 UTC) en 12 juli: Cloudflare publiceert de notitie van dezelfde dag en de volledige postmortem; CPU-beveiliging opnieuw toegevoegd, 3.868 regels opnieuw gelezen, gefaseerde uitrol, overstap naar een regex-engine met lineaire tijd
Vragen en antwoorden
Hoe kan één reguliere expressie een wereldwijd netwerk platleggen?
Een regex met onbegrensde backtracking kan elke CPU-kern die deze evalueert, vastzetten. Volgens de postmortem van Cloudflare eindigde een nieuwe firewallregel in .*(?:.*=.*), PCRE "backtrackte" door elke andere splitsing, en de CPU raakte 100% op elke kern die HTTP afhandelde. Sites achter Cloudflare retourneerden 502-fouten gedurende 27 minuten en het verkeer daalde met 82%.
Waarom veroorzaakte een firewallregel in simulatiemodus toch een storing?
Simulatiemodus voorkomt dat een regel verkeer blokkeert, maar de regel wordt nog steeds geëvalueerd bij elk verzoek. De regel die op 2 juli 2019 om 13:31 UTC werd samengevoegd, was een "cross-site scripting"-regel in simulatiemodus, dus deze blokkeerde niets, maar werd wel uitgevoerd bij elk verzoek. De postmortem van Cloudflare zegt dat de kosten van de evaluatie ervan de CPU uitputten.
Hoe bereikte één regel elk Cloudflare-datacenter in twee seconden?
Firewallregels sloegen de gefaseerde uitrol over die andere releases wel doorliepen. Volgens de postmortem liet de procedure elke regel onmiddellijk wereldwijd gaan omdat regels bestaan om live aanvallen te stoppen. Deze regel was geen noodgeval, en Quicksilver pushte hem toch naar meer dan 180 steden in ongeveer twee seconden, zonder een CPU-test in CI om het op te vangen.
Waarom duurde het 27 minuten voordat Cloudflare het defecte firewallcomponent uitschakelde?
Het interne controlepaneel zat achter Cloudflare Access, dat achter Cloudflare zat, dus de storing blokkeerde de weg naar de noodschakelaar. Sommige inloggegevens waren verlopen door inactiviteit, en een zelden geoefende omweg duurde ongeveer vijf minuten. De wereldwijde WAF-beëindiging werd om 14:07 UTC toegepast, en het verkeer was om 14:09 weer normaal.
Moeten teams regex-engines met backtracking blijven gebruiken in "request-path"-code na de Cloudflare-storing?
Het oordeel van The Daily Diff was SHIP IT, voor Cloudflare's oplossing. De CPU-beveiliging werd hersteld, 3.868 regels werden opnieuw gelezen, regels doorlopen gefaseerde uitrol, en de engine stapt over naar een met lineaire tijdgaranties. Het praktische advies van de aflevering is om patronen zoals punt-ster punt-ster te vermijden in alles wat op elke aanvraag draait en om de noodschakelaar uit de buurt te houden van het systeem dat deze bestuurt.
Vertaald transcript
Vertaald vanuit de originele Engelse gesproken tekst. Beschikbare audio en ondertiteling worden beheerd door YouTube.
0:00 Eén reguliere expressie gaat onmiddellijk live op elke Cloudflare-server, en gedurende de volgende zevenentwintig minuten zijn de sites erachter een 502-pagina, wat voor een firewall de strengst mogelijke instelling is. 2 juli 2019, 13:42 UTC. Cloudflare plaatst binnen twee uur: geen aanval, een foute uitrol, verkeer daalde met 82 procent. Tien dagen later publiceert CTO John Graham-Cumming de volledige postmortem, inclusief regex, en Hacker News geeft het 698 punten,
0:26 wat voor een storing een staande ovatie is. Hoe het gebeurt, waarom het mogelijk is, en wie eigenlijk de schuld krijgt. Dit is The Daily Diff, postmortem. 13:31. Een pull-aanvraag wordt samengevoegd: een nieuwe firewallregel tegen cross-site scripting, in simulatiemodus, dus het blokkeert niets. 13:37, tests slagen; geen enkele meet CPU. 13:42, de regel wordt in twee seconden naar 180 steden verzonden, omdat WAF-regels de "dog", "pig" en "canary" fasen overslaan die andere releases wel krijgen.
0:54 13:45, de eerste pagina. 13:49, Hacker News heeft een discussie over de statuspagina, die nog steeds aangeeft dat alle systemen operationeel zijn. De regel eindigt in punt-ster, punt-ster, is gelijk aan, punt-ster: iets, dan iets, dan een isgelijkteken. PCRE raadt gulzig, faalt en "backtrackt" door elke andere splitsing. x is gelijk aan x duurt 23 stappen. Twintig x-en na het gelijkteken: 555.
1:15 Twintig x-en, geen gelijkteken: 4.067 stappen om niets te vinden. Voer dat uit op elke aanvraag en elke kern is voor honderd procent bezig, grondig niets doend. Twee bewakers hadden het moeten opvangen. De CPU-limiet op regels werd weken eerder per ongeluk verwijderd, in een refactor die bedoeld was om de WAF minder CPU te laten gebruiken. En de procedure laat elke regel de staging overslaan, omdat regels bestaan om live aanvallen te stoppen; deze was geen noodgeval, en ging toch wereldwijd.
1:37 14:00, de WAF is geïdentificeerd; geen aanval. 14:02, iemand stelt de wereldwijde beëindiging voor: één component, uit, wereldwijd. De schakelaar zit achter Cloudflare Access. Cloudflare Access zit achter Cloudflare. Sommige inloggegevens zijn verlopen door inactiviteit, dus het snelste netwerk op het internet besteedt vijf minuten aan een omweg die niemand geoefend heeft. 14:07, uitschakelen. 14:09, verkeer normaal. git blame: een uitrol met één snelheid, wereldwijd; een CPU-beveiliging die per ongeluk
2:04 was gerefactored; een regex-engine zonder bovengrens. Niet de ingenieur die de regel schreef: de postmortem noemt elf oorzaken en noemt niemand. Blast radius: 27 minuten, 82 procent van het verkeer, 100 procent CPU op elke kern, in elke stad. Het dashboard en de API zitten achter dezelfde rand, dus klanten kunnen het niet eens uitschakelen. Hacker News, onder de postmortem: ze hadden één probleem, gebruikten een reguliere expressie, nu hebben ze er twee. Oude grap. Compileert nog steeds.
2:28 Oordeel, postmortem: SHIP IT. De CPU-beveiliging is terug, alle 3.868 regels worden handmatig gelezen, regels doorlopen staging, en de engine stapt over naar een met lineaire tijd- garanties, gepubliceerd door Ken Thompson in 1968. Maandag: geen punt-ster punt-ster in iets dat per aanvraag draait, en houd de noodschakelaar uit de buurt van het ding dat het uitschakelt. Stuur me het incident waarover je nog steeds niet mag praten, in de reacties, of op the daily diff dot dev.
2:53 En dat is de diff voor vandaag. Ik ben Niko van Axrisi. Verantwoord samenvoegen.
Bronnen
- John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
- Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
- Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
- Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
- Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
- Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
- Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
- TechCrunch, Jul 2, 2019techcrunch.com



