Una expressió regular va fer caure Cloudflare. 27 minuts.
2 de juliol de 2019, 13:42 UTC: una nova regla per al tallafoc d'aplicacions web de Cloudflare es posa en marxa en més de 180 ciutats en uns dos segons.
2 de juliol de 2019, 13:42 UTC: una nova regla per al tallafoc d'aplicacions web de Cloudflare es posa en marxa en més de 180 ciutats en uns dos segons. És una regla XSS en mode de simulació, de manera que no bloqueja res, però continua executant-se a cada sol·licitud i acaba en .*(?:.*=.*). PCRE retrocedeix, cada nucli de CPU que serveix sol·licituds HTTP arriba al 100%, i cada lloc proxy per Cloudflare retorna un 502 durant 27 minuts; el trànsit cau un 82%. L'interruptor d'emergència es troba darrere de Cloudflare Access, que al seu torn es troba darrere de Cloudflare. Postmortem, de l'informe propi de Cloudflare: la protecció de CPU eliminada setmanes abans en una refactorització destinada a estalviar CPU, el procediment que permetia a qualsevol regla saltar la fase de prova, el motor sense garantia de complexitat, les 11 causes i les 7 solucions. Veredicte sobre la solució: SHIP IT.
Llegeix l'edició escrita (anglès) ↗
Què cobreix aquest vídeo
- 13:31–13:42 UTC: PR fusionat, CI verd (sense prova de CPU), Quicksilver envia la regla a més de 180 ciutats; les regles WAF s'salten les etapes DOG → PIG → Canary
- 13:45–14:07: primera pàgina; CPU 100% a tot el món, trànsit -82%, 502s per tot arreu; el panell de control intern està darrere de Cloudflare Access, que està caigut; algunes credencials han caducat; un bypass rarament practicat
- 14:07–14:09: terminació global del WAF; trànsit i CPU normals després de 27 minuts; 14:52 WAF torna sense la regla
- 2 de juliol (15:50 UTC) i 12 de juliol: Cloudflare publica la nota del mateix dia i el postmortem complet; la protecció de CPU es torna a afegir, 3.868 regles es tornen a llegir, desplegaments per etapes, canvi a un motor d'expressions regulars de temps lineal
Preguntes i respostes
Com pot una sola expressió regular fer caure una xarxa global?
Una expressió regular amb retrocés il·limitat pot fixar tots els nuclis de la CPU que l'avaluen. Segons el postmortem de Cloudflare, una nova regla de tallafocs acabava en .*(?:.*=.*), PCRE va retrocedir a través de totes les altres divisions, i la CPU va arribar al 100% en tots els nuclis que servien HTTP. Els llocs darrere de Cloudflare van retornar errors 502 durant 27 minuts i el trànsit va caure un 82%.
Per què una regla de tallafocs en mode de simulació va causar una interrupció?
El mode de simulació impedeix que una regla bloquegi el trànsit, però la regla encara s'avalua en cada sol·licitud. La regla fusionada a les 13:31 UTC del 2 de juliol de 2019 era una regla de cross-site scripting en mode de simulació, de manera que no bloquejava res, però s'executava en cada sol·licitud. El postmortem de Cloudflare diu que el cost d'avaluar-la va esgotar la CPU.
Com va arribar una regla a tots els centres de dades de Cloudflare en dos segons?
Les regles del tallafocs van saltar-se el desplegament per etapes que seguien altres llançaments. Segons el postmortem, el procediment permetia que qualsevol regla es fes global de seguida perquè les regles existeixen per aturar els atacs en viu. Aquesta regla no era una emergència, i Quicksilver igualment la va enviar a més de 180 ciutats en uns dos segons, sense cap prova de CPU en CI per detectar-ho.
Per què Cloudflare va trigar 27 minuts a desconnectar el component de tallafocs defectuós?
El panell de control intern estava darrere de Cloudflare Access, que al seu torn estava darrere de Cloudflare, de manera que la interrupció va bloquejar l'accés a l'interruptor d'emergència. Algunes credencials havien caducat per manca d'ús, i un bypass que rarament s'exercia va trigar uns cinc minuts. La terminació global del WAF es va aplicar a les 14:07 UTC, i el trànsit va tornar a la normalitat a les 14:09.
Els equips haurien de mantenir motors d'expressions regulars amb retrocés en el codi del camí de sol·licitud després de la interrupció de Cloudflare?
El veredicte de The Daily Diff va ser SHIP IT, per a la solució de Cloudflare. La protecció de CPU es va restaurar, es van tornar a llegir 3.868 regles, les regles passen per desplegaments per etapes i el motor es mou a un amb garanties de temps lineal. El consell pràctic de l'episodi és evitar patrons com punt-asterisc punt-asterisc en qualsevol cosa que s'executi en cada sol·licitud i mantenir l'interruptor d'emergència fora del sistema que controla.
Transcripció traduïda
Traduït de la narració original en anglès. L'àudio i els subtítols disponibles estan controlats per YouTube.
0:00 Una expressió regular es posa en marxa en tots els servidors de Cloudflare alhora, i durant els propers vint-i-set minuts els llocs darrere d'ella són una pàgina 502, que, per a un tallafoc, és la configuració més estricta possible. 2 de juliol de 2019, 13:42 UTC. Cloudflare publica en dues hores: no és un atac, sinó un desplegament erroni, el trànsit cau un 82 per cent. Deu dies després, el CTO John Graham-Cumming publica el postmortem complet, amb l'expressió regular inclosa, i Hacker News li dóna 698 punts,
0:26 que per a una interrupció és una ovació dempeus. Com passa, per què és possible i qui en té la culpa. Això és The Daily Diff, postmortem. 13:31. Una sol·licitud d'extracció es fusiona: una nova regla de tallafocs contra el cross-site scripting, en mode de simulació, de manera que no bloqueja res. 13:37, les proves passen; cap mesura la CPU. 13:42, la regla s'envia a 180 ciutats en dos segons, perquè les regles WAF s'salten les etapes de gos, porc i canari que reben altres llançaments.
0:54 13:45, la primera pàgina. 13:49, Hacker News té un fil sobre la pàgina d'estat, que encara diu que tots els sistemes estan operatius. La regla acaba en punt-asterisc, punt-asterisc, igual, punt-asterisc: qualsevol cosa, després qualsevol cosa, després un signe igual. PCRE endevina amb cobdícia, falla i retrocedeix a través de totes les altres divisions. x igual a x pren 23 passos. Vint x després de l'igual: 555.
1:15 Vint x, sense signe igual: 4.067 passos per no trobar res. Executeu això a cada sol·licitud i cada nucli estarà al cent per cent, sense fer res, a fons. Dues guàrdies l'haurien d'haver detectat. El límit de CPU de les regles es va eliminar per error setmanes abans, en una refactorització destinada a fer que el WAF utilitzés menys CPU. I el procediment permet a qualsevol regla saltar-se la fase de prova, perquè les regles existeixen per aturar els atacs en viu; aquesta no era una emergència, i tot i així va ser global.
1:37 14:00, el WAF és identificat; cap atac. 14:02, algú proposa la terminació global: un component, apagat, a tot el món. L'interruptor està darrere de Cloudflare Access. Cloudflare Access està darrere de Cloudflare. Algunes credencials han caducat per manca d'ús, de manera que la xarxa més ràpida d'internet passa cinc minuts en un bypass que ningú havia practicat. 14:07, tall. 14:09, trànsit normal. git blame: un desplegament amb una velocitat, global; una protecció de CPU refactoritzada per accident;
2:04 un motor d'expressions regulars sense límit superior. No l'enginyer que va escriure la regla: el postmortem enumera onze causes i no nomena ningú. Radi de ràdio: 27 minuts, 82 per cent del trànsit, 100 per cent de CPU en cada nucli, a cada ciutat. El panell de control i l'API es troben darrere del mateix edge, de manera que els clients ni tan sols poden apagar-ho. Hacker News, sota el postmortem: tenien un problema, van utilitzar una expressió regular, ara en tenen dos. Vella broma. Encara compila.
2:28 Veredicte, postmortem: SHIP IT. La protecció de CPU ha tornat, les 3.868 regles es llegeixen manualment, les regles passen per etapes, i el motor passa a un amb garanties de temps lineal, publicat per Ken Thompson el 1968. Dilluns: sense punt-asterisc punt-asterisc en res que s'executi per sol·licitud, i mantingueu l'interruptor d'emergència apagat de la cosa que mata. Envieu-me l'incident del qual encara no se us permet parlar, als comentaris, o a the daily diff dot dev.
2:53 I aquesta és la diferència d'avui. Sóc en Niko d'Axrisi. Fusioneu amb responsabilitat.
Fonts
- John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
- Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
- Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
- Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
- Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
- Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
- Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
- TechCrunch, Jul 2, 2019techcrunch.com



