Unha regex derrubou Cloudflare. 27 minutos.
2 de xullo de 2019, 13:42 UTC: unha nova regra para o Firewall de Aplicacións Web de Cloudflare entra en vigor en máis de 180 cidades en aproximadamente dous segundos.
2 de xullo de 2019, 13:42 UTC: unha nova regra para o Firewall de Aplicacións Web de Cloudflare entra en vigor en máis de 180 cidades en aproximadamente dous segundos. É unha regra XSS en modo de simulación, polo que non bloquea nada, pero aínda se executa en cada solicitude e remata en .*(?:.*=.*). PCRE fai backtracking, cada núcleo da CPU que serve solicitudes HTTP alcanza o 100 %, e cada sitio proxied por Cloudflare devolve 502 durante 27 minutos; o tráfico cae un 82 %. O interruptor de seguridade está detrás de Cloudflare Access, que á súa vez está detrás de Cloudflare. Postmortem, do propio informe de Cloudflare: o "CPU guard" eliminado semanas antes nunha refactorización destinada a aforrar CPU, o procedemento que permitía a calquera regra saltarse o "staging", o motor sen garantía de complexidade, as 11 causas e as 7 solucións. Veredicto sobre a solución: SHIP IT.
Ler a edición escrita (inglés) ↗
Que abrangue este vídeo
- 13:31–13:42 UTC: PR fusionado, CI en verde (sen proba de CPU), Quicksilver envía a regra a máis de 180 cidades; as regras WAF saltan as etapas DOG → PIG → Canary
- 13:45–14:07: primeira páxina; CPU ao 100 % en todo o mundo, tráfico -82 %, 502 por todas partes; o panel de control interno está detrás de Cloudflare Access, que está caído; algunhas credenciais caducaron; un "bypass" raramente practicado
- 14:07–14:09: terminación global do WAF; tráfico e CPU normais despois de 27 minutos; 14:52 WAF de volta menos a regra
- 2 de xullo (15:50 UTC) e 12 de xullo: Cloudflare publica a nota do mesmo día e o informe postmortem completo; "CPU guard" engadido de novo, 3.868 regras releídas, "rollouts" por etapas, cambio a un motor de regex de tempo lineal
Preguntas e respostas
Como pode unha única expresión regular derrubar unha rede global?
Unha regex con "backtracking" ilimitado pode bloquear cada núcleo da CPU que a avalía. Segundo o informe postmortem de Cloudflare, unha nova regra de "firewall" remataba en .*(?:.*=.*), PCRE retrocedía a través de cada outra división, e a CPU alcanzou o 100 % en cada núcleo que servía solicitudes HTTP. Os sitios detrás de Cloudflare devolvían erros 502 durante 27 minutos e o tráfico caeu un 82 %.
Por que unha regra de "firewall" en modo de simulación causou unha interrupción?
O modo de simulación impide que unha regra bloquee o tráfico, pero a regra aínda se avalía en cada solicitude. A regra fusionada ás 13:31 UTC do 2 de xullo de 2019 era unha regra de "cross-site scripting" en modo de simulación, polo que non bloqueaba nada, pero executábase en cada solicitude. O informe postmortem de Cloudflare di que o custo de avaliala esgotou a CPU.
Como chegou unha regra a todos os centros de datos de Cloudflare en dous segundos?
As regras de "firewall" saltaron o "rollout" por etapas polo que pasaban outras versións. Segundo o informe postmortem, o procedemento permitía que calquera regra se estendese globalmente de inmediato porque as regras existen para deter ataques en vivo. Esta regra non era unha emerxencia, e Quicksilver aínda a enviou a máis de 180 cidades en aproximadamente dous segundos, sen ningunha proba de CPU no CI para detectalo.
Por que tardou Cloudflare 27 minutos en desactivar o compoñente de "firewall" defectuoso?
O panel de control interno estaba detrás de Cloudflare Access, que á súa vez estaba detrás de Cloudflare, polo que a interrupción bloqueou o acceso ao interruptor de seguridade. Algunhas credenciais caducaran por falta de uso, e un "bypass" que rara vez se practicaba tardou uns cinco minutos. A terminación global do WAF aplicouse ás 14:07 UTC, e o tráfico volveu á normalidade ás 14:09.
Deben os equipos manter os motores de regex con "backtracking" no código da ruta de solicitude despois da interrupción de Cloudflare?
O veredicto de The Daily Diff foi SHIP IT, para a solución de Cloudflare. O "CPU guard" foi restaurado, as 3.868 regras foron releídas, as regras pasan por "rollouts" por etapas, e o motor cambia a un con garantías de tempo lineal. O consello práctico do episodio é evitar patróns como punto-asterisco punto-asterisco en calquera cousa que se execute en cada solicitude e manter o interruptor de seguridade fóra do sistema que controla.
Transcrición traducida
Traducido da narración orixinal en inglés. O audio e os subtítulos dispoñibles son controlados por YouTube.
0:00 Unha expresión regular entra en vigor en todos os servidores de Cloudflare á vez, e durante os seguintes vinte e sete minutos os sitios detrás dela mostran unha páxina 502, o que, para un "firewall", é a configuración máis estrita posible. 2 de xullo de 2019, 13:42 UTC. Cloudflare publica en menos de dúas horas: non é un ataque, un despregamento defectuoso, tráfico caído un 82 por cento. Dez días despois, o CTO John Graham-Cumming publica o informe postmortem completo, regex incluída, e Hacker News dálle 698 puntos,
0:26 o que para unha interrupción é unha ovación de pé. Como ocorre, por que é posible e quen ten a culpa realmente. Isto é The Daily Diff, postmortem. 13:31. Fusiónase unha solicitude de extracción: unha nova regra de "firewall" contra "cross-site scripting", en modo de simulación, polo que non bloquea nada. 13:37, as probas pasan; ningunha mide a CPU. 13:42, a regra envíase a 180 cidades en dous segundos, porque as regras WAF saltan as etapas de "dog", "pig" e "canary" que teñen outras versións.
0:54 13:45, a primeira páxina. 13:49, Hacker News ten un fío sobre a páxina de estado, que aínda di que todos os sistemas están operativos. A regra remata en punto-asterisco, punto-asterisco, igual, punto-asterisco: calquera cousa, logo calquera cousa, logo un signo de igual. PCRE adiviña avariciosamente, falla e retrocede a través de cada outra división. x igual a x leva 23 pasos. Vinte x despois do igual: 555.
1:15 Vinte x, sen signo de igual: 4.067 pasos para non atopar nada. Executa iso en cada solicitude e cada núcleo está ao cen por cento, sen facer nada, a fondo. Dous gardas deberían telo detectado. O límite de CPU nas regras foi eliminado por erro semanas antes, nunha refactorización destinada a facer que o WAF usase menos CPU. E o procedemento permite que calquera regra salte o "staging", porque as regras existen para deter ataques en vivo; esta non era unha emerxencia e, aínda así, estendeuse globalmente.
1:37 14:00, identifícase o WAF; sen ataque. 14:02, alguén propón a terminación global: un compoñente, desactivado, en todo o mundo. O interruptor está detrás de Cloudflare Access. Cloudflare Access está detrás de Cloudflare. Algunhas credenciais caducaran por falta de uso, polo que a rede máis rápida da internet pasa cinco minutos nun "bypass" que ninguén practicara. 14:07, "kill". 14:09, tráfico normal. git blame: un despregamento cunha velocidade, global; un "CPU guard" refactorizado por
2:04 accidente; un motor de regex sen límite superior. Non o enxeñeiro que escribiu a regra: o postmortem enumera once causas e non nomea a ninguén. Radio de explosión: 27 minutos, 82 por cento do tráfico, 100 por cento de CPU en cada núcleo, en cada cidade. O panel de control e a API están detrás da mesma "edge", polo que os clientes nin sequera poden desactivalo. Hacker News, baixo o postmortem: tiñan un problema, usaron unha expresión regular, agora teñen dous. Vello chiste. Aínda compila.
2:28 Veredicto, postmortem: SHIP IT. O "CPU guard" volve, as 3.868 regras léense a man, as regras pasan polo "staging", e o motor cambia a un con garantías de tempo lineal, publicado por Ken Thompson en 1968. Luns: sen punto-asterisco punto-asterisco en calquera cousa que se execute por solicitude, e manter o interruptor de seguridade fóra do que mata. Enviádeme o incidente do que aínda non se vos permite falar, nos comentarios, ou en "thedailydiff.dev".
2:53 E esa é a "diff" de hoxe. Son Niko de Axrisi. Fusione con responsabilidade.
Fontes
- John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
- Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
- Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
- Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
- Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
- Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
- Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
- TechCrunch, Jul 2, 2019techcrunch.com



