+− THE DAILY DIFFdev & AI news
SHIP IT

Unha regex derrubou Cloudflare. 27 minutos.

2 de xullo de 2019, 13:42 UTC: unha nova regra para o Firewall de Aplicacións Web de Cloudflare entra en vigor en máis de 180 cidades en aproximadamente dous segundos.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

2 de xullo de 2019, 13:42 UTC: unha nova regra para o Firewall de Aplicacións Web de Cloudflare entra en vigor en máis de 180 cidades en aproximadamente dous segundos. É unha regra XSS en modo de simulación, polo que non bloquea nada, pero aínda se executa en cada solicitude e remata en .*(?:.*=.*). PCRE fai backtracking, cada núcleo da CPU que serve solicitudes HTTP alcanza o 100 %, e cada sitio proxied por Cloudflare devolve 502 durante 27 minutos; o tráfico cae un 82 %. O interruptor de seguridade está detrás de Cloudflare Access, que á súa vez está detrás de Cloudflare. Postmortem, do propio informe de Cloudflare: o "CPU guard" eliminado semanas antes nunha refactorización destinada a aforrar CPU, o procedemento que permitía a calquera regra saltarse o "staging", o motor sen garantía de complexidade, as 11 causas e as 7 solucións. Veredicto sobre a solución: SHIP IT.

Ler a edición escrita (inglés) ↗

Que abrangue este vídeo

  • 13:31–13:42 UTC: PR fusionado, CI en verde (sen proba de CPU), Quicksilver envía a regra a máis de 180 cidades; as regras WAF saltan as etapas DOG → PIG → Canary
  • 13:45–14:07: primeira páxina; CPU ao 100 % en todo o mundo, tráfico -82 %, 502 por todas partes; o panel de control interno está detrás de Cloudflare Access, que está caído; algunhas credenciais caducaron; un "bypass" raramente practicado
  • 14:07–14:09: terminación global do WAF; tráfico e CPU normais despois de 27 minutos; 14:52 WAF de volta menos a regra
  • 2 de xullo (15:50 UTC) e 12 de xullo: Cloudflare publica a nota do mesmo día e o informe postmortem completo; "CPU guard" engadido de novo, 3.868 regras releídas, "rollouts" por etapas, cambio a un motor de regex de tempo lineal

Preguntas e respostas

Como pode unha única expresión regular derrubar unha rede global?

Unha regex con "backtracking" ilimitado pode bloquear cada núcleo da CPU que a avalía. Segundo o informe postmortem de Cloudflare, unha nova regra de "firewall" remataba en .*(?:.*=.*), PCRE retrocedía a través de cada outra división, e a CPU alcanzou o 100 % en cada núcleo que servía solicitudes HTTP. Os sitios detrás de Cloudflare devolvían erros 502 durante 27 minutos e o tráfico caeu un 82 %.

blog.cloudflare.com · blog.cloudflare.com

Por que unha regra de "firewall" en modo de simulación causou unha interrupción?

O modo de simulación impide que unha regra bloquee o tráfico, pero a regra aínda se avalía en cada solicitude. A regra fusionada ás 13:31 UTC do 2 de xullo de 2019 era unha regra de "cross-site scripting" en modo de simulación, polo que non bloqueaba nada, pero executábase en cada solicitude. O informe postmortem de Cloudflare di que o custo de avaliala esgotou a CPU.

blog.cloudflare.com

Como chegou unha regra a todos os centros de datos de Cloudflare en dous segundos?

As regras de "firewall" saltaron o "rollout" por etapas polo que pasaban outras versións. Segundo o informe postmortem, o procedemento permitía que calquera regra se estendese globalmente de inmediato porque as regras existen para deter ataques en vivo. Esta regra non era unha emerxencia, e Quicksilver aínda a enviou a máis de 180 cidades en aproximadamente dous segundos, sen ningunha proba de CPU no CI para detectalo.

blog.cloudflare.com · blog.cloudflare.com

Por que tardou Cloudflare 27 minutos en desactivar o compoñente de "firewall" defectuoso?

O panel de control interno estaba detrás de Cloudflare Access, que á súa vez estaba detrás de Cloudflare, polo que a interrupción bloqueou o acceso ao interruptor de seguridade. Algunhas credenciais caducaran por falta de uso, e un "bypass" que rara vez se practicaba tardou uns cinco minutos. A terminación global do WAF aplicouse ás 14:07 UTC, e o tráfico volveu á normalidade ás 14:09.

blog.cloudflare.com · x.com

Deben os equipos manter os motores de regex con "backtracking" no código da ruta de solicitude despois da interrupción de Cloudflare?

O veredicto de The Daily Diff foi SHIP IT, para a solución de Cloudflare. O "CPU guard" foi restaurado, as 3.868 regras foron releídas, as regras pasan por "rollouts" por etapas, e o motor cambia a un con garantías de tempo lineal. O consello práctico do episodio é evitar patróns como punto-asterisco punto-asterisco en calquera cousa que se execute en cada solicitude e manter o interruptor de seguridade fóra do sistema que controla.

blog.cloudflare.com

Transcrición traducida

Traducido da narración orixinal en inglés. O audio e os subtítulos dispoñibles son controlados por YouTube.

0:00 Unha expresión regular entra en vigor en todos os servidores de Cloudflare á vez, e durante os seguintes vinte e sete minutos os sitios detrás dela mostran unha páxina 502, o que, para un "firewall", é a configuración máis estrita posible. 2 de xullo de 2019, 13:42 UTC. Cloudflare publica en menos de dúas horas: non é un ataque, un despregamento defectuoso, tráfico caído un 82 por cento. Dez días despois, o CTO John Graham-Cumming publica o informe postmortem completo, regex incluída, e Hacker News dálle 698 puntos,

0:26 o que para unha interrupción é unha ovación de pé. Como ocorre, por que é posible e quen ten a culpa realmente. Isto é The Daily Diff, postmortem. 13:31. Fusiónase unha solicitude de extracción: unha nova regra de "firewall" contra "cross-site scripting", en modo de simulación, polo que non bloquea nada. 13:37, as probas pasan; ningunha mide a CPU. 13:42, a regra envíase a 180 cidades en dous segundos, porque as regras WAF saltan as etapas de "dog", "pig" e "canary" que teñen outras versións.

0:54 13:45, a primeira páxina. 13:49, Hacker News ten un fío sobre a páxina de estado, que aínda di que todos os sistemas están operativos. A regra remata en punto-asterisco, punto-asterisco, igual, punto-asterisco: calquera cousa, logo calquera cousa, logo un signo de igual. PCRE adiviña avariciosamente, falla e retrocede a través de cada outra división. x igual a x leva 23 pasos. Vinte x despois do igual: 555.

1:15 Vinte x, sen signo de igual: 4.067 pasos para non atopar nada. Executa iso en cada solicitude e cada núcleo está ao cen por cento, sen facer nada, a fondo. Dous gardas deberían telo detectado. O límite de CPU nas regras foi eliminado por erro semanas antes, nunha refactorización destinada a facer que o WAF usase menos CPU. E o procedemento permite que calquera regra salte o "staging", porque as regras existen para deter ataques en vivo; esta non era unha emerxencia e, aínda así, estendeuse globalmente.

1:37 14:00, identifícase o WAF; sen ataque. 14:02, alguén propón a terminación global: un compoñente, desactivado, en todo o mundo. O interruptor está detrás de Cloudflare Access. Cloudflare Access está detrás de Cloudflare. Algunhas credenciais caducaran por falta de uso, polo que a rede máis rápida da internet pasa cinco minutos nun "bypass" que ninguén practicara. 14:07, "kill". 14:09, tráfico normal. git blame: un despregamento cunha velocidade, global; un "CPU guard" refactorizado por

2:04 accidente; un motor de regex sen límite superior. Non o enxeñeiro que escribiu a regra: o postmortem enumera once causas e non nomea a ninguén. Radio de explosión: 27 minutos, 82 por cento do tráfico, 100 por cento de CPU en cada núcleo, en cada cidade. O panel de control e a API están detrás da mesma "edge", polo que os clientes nin sequera poden desactivalo. Hacker News, baixo o postmortem: tiñan un problema, usaron unha expresión regular, agora teñen dous. Vello chiste. Aínda compila.

2:28 Veredicto, postmortem: SHIP IT. O "CPU guard" volve, as 3.868 regras léense a man, as regras pasan polo "staging", e o motor cambia a un con garantías de tempo lineal, publicado por Ken Thompson en 1968. Luns: sen punto-asterisco punto-asterisco en calquera cousa que se execute por solicitude, e manter o interruptor de seguridade fóra do que mata. Enviádeme o incidente do que aínda non se vos permite falar, nos comentarios, ou en "thedailydiff.dev".

2:53 E esa é a "diff" de hoxe. Son Niko de Axrisi. Fusione con responsabilidade.

Fontes

  1. John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
  2. Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
  3. Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
  4. Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
  5. Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
  6. Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
  7. Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
  8. TechCrunch, Jul 2, 2019techcrunch.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Vídeos relacionados