Una expresión regular derribó Cloudflare. 27 minutos.
2 de julio de 2019, 13:42 UTC: una nueva regla para el Firewall de Aplicaciones Web de Cloudflare se activa en más de 180 ciudades en aproximadamente dos segundos.
2 de julio de 2019, 13:42 UTC: una nueva regla para el Firewall de Aplicaciones Web de Cloudflare se activa en más de 180 ciudades en aproximadamente dos segundos. Es una regla XSS en modo de simulación, por lo que no bloquea nada, pero aún se ejecuta en cada solicitud y termina en .*(?:.*=.*). PCRE retrocede, cada núcleo de CPU que atiende solicitudes HTTP alcanza el 100 %, y cada sitio proxy de Cloudflare devuelve 502 durante 27 minutos; el tráfico cae un 82 %. El "kill switch" se encuentra detrás de Cloudflare Access, que a su vez está detrás de Cloudflare. Postmortem, del propio informe de Cloudflare: la protección de CPU eliminada semanas antes en una refactorización destinada a ahorrar CPU, el procedimiento que permitía a cualquier regla omitir la fase de pruebas, el motor sin garantía de complejidad, las 11 causas y las 7 soluciones. Veredicto sobre la solución: SHIP IT.
Leer la edición escrita (inglés) ↗
Qué cubre este vídeo
- 13:31–13:42 UTC: PR fusionado, CI en verde (sin prueba de CPU), Quicksilver envía la regla a más de 180 ciudades; las reglas de WAF omiten las etapas DOG → PIG → Canary
- 13:45–14:07: primera página; CPU al 100 % en todo el mundo, tráfico −82 %, 502 por todas partes; el panel de control interno está detrás de Cloudflare Access, que no funciona; algunas credenciales han caducado; un desvío rara vez practicado
- 14:07–14:09: terminación global del WAF; tráfico y CPU normales después de 27 minutos; 14:52 WAF de vuelta menos la regla
- 2 de julio (15:50 UTC) y 12 de julio: Cloudflare publica la nota del mismo día y el postmortem completo; se vuelve a añadir la protección de CPU, se vuelven a leer 3.868 reglas, despliegues por fases, cambio a un motor de expresiones regulares de tiempo lineal
Preguntas y respuestas
¿Cómo puede una sola expresión regular derribar una red global?
Una expresión regular con retroceso ilimitado puede bloquear cada núcleo de CPU que la evalúa. Según el postmortem de Cloudflare, una nueva regla de firewall terminaba en .*(?:.*=.*), PCRE retrocedió a través de todas las demás divisiones, y la CPU alcanzó el 100 % en cada núcleo que atendía solicitudes HTTP. Los sitios detrás de Cloudflare devolvieron errores 502 durante 27 minutos y el tráfico cayó un 82 %.
¿Por qué una regla de firewall en modo de simulación aun así causó una interrupción?
El modo de simulación impide que una regla bloquee el tráfico, pero la regla sigue siendo evaluada en cada solicitud. La regla fusionada a las 13:31 UTC del 2 de julio de 2019 era una regla de "cross-site scripting" en modo de simulación, por lo que no bloqueaba nada, pero se ejecutaba en cada solicitud. El postmortem de Cloudflare dice que el costo de evaluarla agotó la CPU.
¿Cómo llegó una regla a todos los centros de datos de Cloudflare en dos segundos?
Las reglas del firewall omitieron el despliegue por fases que pasaron otras versiones. Según el postmortem, el procedimiento permitía que cualquier regla se hiciera global de inmediato porque las reglas existen para detener ataques en vivo. Esta regla no era una emergencia, y Quicksilver aun así la envió a más de 180 ciudades en aproximadamente dos segundos, sin una prueba de CPU en CI para detectarla.
¿Por qué tardó Cloudflare 27 minutos en apagar el componente de firewall defectuoso?
El panel de control interno estaba detrás de Cloudflare Access, que a su vez estaba detrás de Cloudflare, por lo que la interrupción bloqueó el acceso al "kill switch". Algunas credenciales habían caducado por desuso, y un desvío que rara vez se practicaba tardó unos cinco minutos. La terminación global del WAF se aplicó a las 14:07 UTC, y el tráfico volvió a la normalidad a las 14:09.
¿Deberían los equipos mantener motores de expresiones regulares con retroceso en el código de ruta de solicitud después de la interrupción de Cloudflare?
El veredicto de The Daily Diff fue SHIP IT para la solución de Cloudflare. La protección de CPU fue restaurada, se volvieron a leer 3.868 reglas, las reglas pasan por despliegues por fases, y el motor pasa a uno con garantías de tiempo lineal. El consejo práctico del episodio es evitar patrones como punto-asterisco punto-asterisco en cualquier cosa que se ejecute en cada solicitud y mantener el "kill switch" fuera del sistema que controla.
Transcripción traducida
Traducido de la narración original en inglés. El audio y los subtítulos disponibles están controlados por YouTube.
0:00 Una expresión regular se activa en todos los servidores de Cloudflare a la vez, y durante los siguientes veintisiete minutos los sitios que hay detrás son una página 502, que, para un firewall, es la configuración más estricta posible. 2 de julio de 2019, 13:42 UTC. Cloudflare publica en dos horas: no es un ataque, un despliegue defectuoso, el tráfico ha bajado un 82 por ciento. Diez días después, el CTO John Graham-Cumming publica el postmortem completo, expresión regular incluida, y Hacker News le da 698 puntos,
0:26 lo que para una interrupción es una ovación de pie. Cómo ocurre, por qué es posible y quién es realmente el culpable. Esto es The Daily Diff, postmortem. 13:31. Se fusiona una solicitud de extracción: una nueva regla de firewall contra el cross-site scripting, en modo de simulación, por lo que no bloquea nada. 13:37, las pruebas pasan; ninguna mide la CPU. 13:42, la regla se envía a 180 ciudades en dos segundos, porque las reglas de WAF omiten las etapas de perro, cerdo y canario que reciben otras versiones.
0:54 13:45, la primera página. 13:49, Hacker News tiene un hilo sobre la página de estado, que aún dice que todos los sistemas están operativos. La regla termina en punto-asterisco, punto-asterisco, igual, punto-asterisco: cualquier cosa, luego cualquier cosa, luego un signo de igual. PCRE adivina de forma voraz, falla y retrocede a través de todas las demás divisiones. x igual a x lleva 23 pasos. Veinte x después del igual: 555.
1:15 Veinte x, sin signo de igual: 4.067 pasos para no encontrar nada. Ejecuta eso en cada solicitud y cada núcleo está al cien por cien, sin hacer nada, a fondo. Dos guardias deberían haberlo detectado. El límite de CPU en las reglas se eliminó por error semanas antes, en una refactorización destinada a hacer que el WAF utilizara menos CPU. Y el procedimiento permite que cualquier regla omita la fase de pruebas, porque las reglas existen para detener los ataques en vivo; esta no fue una emergencia, y de todos modos se hizo global.
1:37 14:00, el WAF es identificado; no hay ataque. 14:02, alguien propone la terminación global: un componente, apagado, en todo el mundo. El interruptor está detrás de Cloudflare Access. Cloudflare Access está detrás de Cloudflare. Algunas credenciales han caducado por desuso, por lo que la red más rápida de internet pasa cinco minutos en un desvío que nadie practicó. 14:07, apagado. 14:09, tráfico normal. git blame: un despliegue a una velocidad, global; una protección de CPU refactorizada por
2:04 accidente; un motor de expresiones regulares sin límite superior. No el ingeniero que escribió la regla: el postmortem enumera once causas y no nombra a nadie. Radio de explosión: 27 minutos, 82 por ciento del tráfico, 100 por ciento de CPU en cada núcleo, en cada ciudad. El panel de control y la API se encuentran detrás del mismo "edge", por lo que los clientes ni siquiera pueden desconectarlo. Hacker News, bajo el postmortem: tenían un problema, usaron una expresión regular, ahora tienen dos. Viejo chiste. Todavía compila.
2:28 Veredicto, postmortem: ship it. La protección de CPU está de vuelta, las 3.868 reglas se leen a mano, las reglas pasan por la fase de pruebas, y el motor pasa a uno con garantías de tiempo lineal, publicado por Ken Thompson en 1968. Lunes: no punto-asterisco punto-asterisco en nada que se ejecute por solicitud, y mantén el "kill switch" fuera de la cosa que mata. Envíame el incidente del que todavía no tienes permitido hablar, en los comentarios, o en the daily diff punto dev.
2:53 Y esa es la diferencia por hoy. Soy Niko de Axrisi. Fusiona con responsabilidad.
Fuentes
- John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
- Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
- Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
- Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
- Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
- Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
- Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
- TechCrunch, Jul 2, 2019techcrunch.com



