Una expresión regular derribó Cloudflare. 27 minutos.
2 de julio de 2019, 13:42 UTC: una nueva regla para el Firewall de Aplicaciones Web de Cloudflare se activa en más de 180 ciudades en aproximadamente dos segundos.
2 de julio de 2019, 13:42 UTC: una nueva regla para el Firewall de Aplicaciones Web de Cloudflare se activa en más de 180 ciudades en aproximadamente dos segundos. Es una regla XSS en modo de simulación, por lo que no bloquea nada, pero se ejecuta en cada solicitud y termina en .*(?:.*=.*). PCRE retrocede, cada núcleo de CPU que sirve solicitudes HTTP alcanza el 100 %, y cada sitio proxy de Cloudflare devuelve 502 durante 27 minutos; el tráfico cae un 82 %. El interruptor de "apagado" está detrás de Cloudflare Access, que a su vez está detrás de Cloudflare. Postmortem, del propio informe de Cloudflare: el "guardián de CPU" eliminado semanas antes en una refactorización destinada a ahorrar CPU, el procedimiento que permitía que cualquier regla omitiera la etapa de preparación, el motor sin garantía de complejidad, las 11 causas y las 7 soluciones. Veredicto de la solución: SHIP IT.
Leer la edición escrita (inglés) ↗
Lo que cubre este video
- 13:31–13:42 UTC: PR fusionado, CI en verde (sin prueba de CPU), Quicksilver envía la regla a más de 180 ciudades; las reglas WAF omiten las etapas DOG → PIG → Canary
- 13:45–14:07: primera página; CPU al 100 % en todo el mundo, tráfico -82 %, 502 por todas partes; el panel de control interno está detrás de Cloudflare Access, que está caído; algunas credenciales han caducado; un desvío rara vez practicado
- 14:07–14:09: terminación global del WAF; tráfico y CPU normales después de 27 minutos; 14:52 WAF de nuevo menos la regla
- 2 de julio (15:50 UTC) y 12 de julio: Cloudflare publica la nota del mismo día y el postmortem completo; se vuelve a añadir el "guardián de CPU", se vuelven a leer 3.868 reglas, se implementan por fases, se pasa a un motor de expresiones regulares de tiempo lineal
Preguntas y respuestas
¿Cómo puede una sola expresión regular derribar una red global?
Una expresión regular con retroceso ilimitado puede "clavar" cada núcleo de CPU que la evalúa. Según el postmortem de Cloudflare, una nueva regla de firewall terminaba en .*(?:.*=.*), PCRE retrocedió a través de cada otra división, y la CPU alcanzó el 100 % en cada núcleo que servía HTTP. Los sitios detrás de Cloudflare devolvieron errores 502 durante 27 minutos y el tráfico cayó un 82 %.
¿Por qué una regla de firewall en modo de simulación aún causó una interrupción?
El modo de simulación evita que una regla bloquee el tráfico, pero la regla aún se evalúa en cada solicitud. La regla fusionada a las 13:31 UTC del 2 de julio de 2019 era una regla de "cross-site scripting" en modo de simulación, por lo que no bloqueaba nada, pero se ejecutaba en cada solicitud. El postmortem de Cloudflare dice que el costo de evaluarla agotó la CPU.
¿Cómo llegó una regla a todos los centros de datos de Cloudflare en dos segundos?
Las reglas del firewall omitieron la implementación por fases que pasaron otras versiones. Según el postmortem, el procedimiento permitía que cualquier regla se globalizara de inmediato porque las reglas existen para detener ataques en vivo. Esta regla no era una emergencia, y Quicksilver la envió a más de 180 ciudades en aproximadamente dos segundos, sin ninguna prueba de CPU en CI para detectarla.
¿Por qué le tomó a Cloudflare 27 minutos apagar el componente de firewall defectuoso?
El panel de control interno estaba detrás de Cloudflare Access, que a su vez estaba detrás de Cloudflare, por lo que la interrupción bloqueó el acceso al interruptor de "apagado". Algunas credenciales habían caducado por desuso, y un desvío que rara vez se practicaba tomó unos cinco minutos. La terminación global del WAF se aplicó a las 14:07 UTC, y el tráfico volvió a la normalidad a las 14:09.
¿Deberían los equipos mantener motores de expresiones regulares con retroceso en el código de ruta de solicitud después de la interrupción de Cloudflare?
El veredicto de The Daily Diff fue SHIP IT, para la solución de Cloudflare. Se restauró el "guardián de CPU", se volvieron a leer 3.868 reglas, las reglas pasan por implementaciones por fases, y el motor se mueve a uno con garantías de tiempo lineal. El consejo práctico del episodio es evitar patrones como "punto-estrella punto-estrella" en cualquier cosa que se ejecute en cada solicitud y mantener el interruptor de "apagado" fuera del sistema que controla.
Transcripción traducida
Traducido de la narración original en inglés. El audio y los subtítulos disponibles son controlados por YouTube.
0:00 Una expresión regular se activa en cada servidor de Cloudflare a la vez, y durante los siguientes veintisiete minutos, los sitios detrás de ella son una página 502, lo que, para un firewall, es la configuración más estricta posible. 2 de julio de 2019, 13:42 UTC. Cloudflare publica en dos horas: no es un ataque, un despliegue defectuoso, tráfico disminuido en un 82 por ciento. Diez días después, el CTO John Graham-Cumming publica el postmortem completo, expresión regular incluida, y Hacker News le da 698 puntos,
0:26 lo que para una interrupción es una ovación de pie. Cómo sucede, por qué es posible y quién tiene la culpa. Esto es The Daily Diff, postmortem. 13:31. Un "pull request" se fusiona: una nueva regla de firewall contra el "cross-site" scripting, en modo de simulación, por lo que no bloquea nada. 13:37, las pruebas pasan; ninguna mide la CPU. 13:42, la regla se envía a 180 ciudades en dos segundos, porque las reglas WAF omiten las etapas "dog", "pig" y "canary" que tienen otras versiones.
0:54 13:45, la primera página. 13:49, Hacker News tiene un hilo sobre la página de estado, que todavía dice que todos los sistemas están operativos. La regla termina en "punto-estrella, punto-estrella, igual, punto-estrella": cualquier cosa, luego cualquier cosa, luego un signo igual. PCRE adivina de forma codiciosa, falla y retrocede a través de cada otra división. x igual x toma 23 pasos. Veinte x después del igual: 555.
1:15 Veinte x, sin signo igual: 4.067 pasos para no encontrar nada. Ejecute eso en cada solicitud y cada núcleo estará al cien por cien, sin hacer nada, completamente. Dos guardias deberían haberlo detectado. El límite de CPU en las reglas fue eliminado por error semanas antes, en una refactorización destinada a hacer que el WAF usara menos CPU. Y el procedimiento permite que cualquier regla omita la preparación, porque las reglas existen para detener ataques en vivo; esta no era una emergencia, y se globalizó de todos modos.
1:37 14:00, se identifica el WAF; no hay ataque. 14:02, alguien propone la terminación global: un componente, apagado, en todo el mundo. El interruptor está detrás de Cloudflare Access. Cloudflare Access está detrás de Cloudflare. Algunas credenciales habían caducado por desuso, por lo que la red más rápida de internet pasó cinco minutos en un desvío que nadie había practicado. 14:07, "kill". 14:09, tráfico normal. git blame: una implementación con una sola velocidad, global; un "guardián de CPU" refactorizado por
2:04 accidente; un motor de expresiones regulares sin límite superior. No el ingeniero que escribió la regla: el postmortem enumera once causas y no nombra a nadie. Radio de explosión: 27 minutos, 82 por ciento del tráfico, 100 por ciento de CPU en cada núcleo, en cada ciudad. El panel de control y la API se encuentran detrás del mismo "edge", por lo que los clientes ni siquiera pueden desconectarlo. Hacker News, debajo del postmortem: tenían un problema, usaron una expresión regular, ahora tienen dos. Viejo chiste. Aún compila.
2:28 Veredicto, postmortem: SHIP IT. El "guardián de CPU" está de vuelta, las 3.868 reglas se leen a mano, las reglas pasan por la preparación, y el motor se mueve a uno con garantías de tiempo lineal, publicado por Ken Thompson en 1968. Lunes: no "punto-estrella punto-estrella" en nada que se ejecute por solicitud, y mantenga el interruptor de "apagado" fuera de lo que "apaga". Envíenme el incidente del que aún no se les permite hablar, en los comentarios, o en "the daily diff dot dev".
2:53 Y esa es la diferencia de hoy. Soy Niko de Axrisi. Fusionen con responsabilidad.
Fuentes
- John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
- Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
- Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
- Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
- Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
- Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
- Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
- TechCrunch, Jul 2, 2019techcrunch.com



