+− THE DAILY DIFFdev & AI news
SHIP IT

Uma regex derrubou a Cloudflare. 27 minutos.

2 de julho de 2019, 13:42 UTC: uma nova regra para o Web Application Firewall da Cloudflare entra em vigor em mais de 180 cidades em cerca de dois segundos.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

2 de julho de 2019, 13:42 UTC: uma nova regra para o Web Application Firewall da Cloudflare entra em vigor em mais de 180 cidades em cerca de dois segundos. É uma regra XSS em modo de simulação, então não bloqueia nada, mas ainda é executada em todas as solicitações, e termina em .*(?:.*=.*). O PCRE faz backtracking, cada núcleo da CPU que atende a HTTP atinge 100%, e cada site com proxy da Cloudflare retorna 502 por 27 minutos; o tráfego cai 82%. O "kill switch" fica atrás do Cloudflare Access, que fica atrás da Cloudflare. Postmortem, do próprio relatório da Cloudflare: o "CPU guard" removido semanas antes em uma refatoração destinada a economizar CPU, o procedimento que permitia a qualquer regra pular o "staging", o motor sem garantia de complexidade, as 11 causas e as 7 correções. Veredito para a correção: SHIP IT.

Leia a edição escrita (Inglês) ↗

O que este vídeo aborda

  • 13:31–13:42 UTC: PR mesclado, CI verde (sem teste de CPU), Quicksilver envia a regra para mais de 180 cidades; as regras do WAF ignoram as etapas DOG → PIG → Canary
  • 13:45–14:07: primeira página; CPU 100% mundialmente, tráfego -82%, 502s em todos os lugares; o painel de controle interno está atrás do Cloudflare Access, que está fora do ar; algumas credenciais expiraram; um "bypass" raramente exercitado
  • 14:07–14:09: término global do WAF; tráfego e CPU normais após 27 minutos; 14:52 WAF de volta sem a regra
  • 2 de julho (15:50 UTC) e 12 de julho: Cloudflare publica a nota do mesmo dia e o postmortem completo; "CPU guard" re-adicionado, 3.868 regras re-lidas, lançamentos em fases, mudança para um motor de regex de tempo linear

Perguntas e respostas

Como uma única expressão regular pode derrubar uma rede global?

Uma regex com "backtracking" ilimitado pode prender cada núcleo da CPU que a avalia. De acordo com o postmortem da Cloudflare, uma nova regra de firewall terminava em .*(?:.*=.*), o PCRE fazia "backtracking" por todas as outras divisões, e a CPU atingia 100% em cada núcleo que atendia a HTTP. Sites atrás da Cloudflare retornaram erros 502 por 27 minutos e o tráfego caiu 82%.

blog.cloudflare.com · blog.cloudflare.com

Por que uma regra de firewall em modo de simulação ainda causou uma interrupção?

O modo de simulação impede que uma regra bloqueie o tráfego, mas a regra ainda é avaliada em cada solicitação. A regra mesclada às 13:31 UTC em 2 de julho de 2019 era uma regra de "cross-site scripting" em modo de simulação, então não bloqueava nada, mas ainda era executada em cada solicitação. O postmortem da Cloudflare diz que o custo de avaliá-la esgotou a CPU.

blog.cloudflare.com

Como uma regra chegou a todos os "data centers" da Cloudflare em dois segundos?

As regras de firewall ignoraram o lançamento em fases pelo qual outras versões passaram. De acordo com o postmortem, o procedimento permitiu que qualquer regra se tornasse global de uma vez porque as regras existem para impedir ataques em tempo real. Esta regra não era uma emergência, e o Quicksilver ainda a enviou para mais de 180 cidades em cerca de dois segundos, sem um teste de CPU no CI para detectá-la.

blog.cloudflare.com · blog.cloudflare.com

Por que a Cloudflare levou 27 minutos para desligar o componente de firewall defeituoso?

O painel de controle interno ficava atrás do Cloudflare Access, que ficava atrás da Cloudflare, então a interrupção bloqueou o caminho para o "kill switch". Algumas credenciais haviam expirado por desuso, e um "bypass" raramente exercitado levou cerca de cinco minutos. O término global do WAF foi aplicado às 14:07 UTC, e o tráfego voltou ao normal às 14:09.

blog.cloudflare.com · x.com

As equipes devem manter motores de regex com "backtracking" em código de caminho de solicitação após a interrupção da Cloudflare?

O veredito do The Daily Diff foi SHIP IT, para a correção da Cloudflare. O "CPU guard" foi restaurado, 3.868 regras foram relidas, as regras passam por lançamentos em fases, e o motor muda para um com garantias de tempo linear. O conselho prático do episódio é evitar padrões como "ponto-asterisco ponto-asterisco" em qualquer coisa que seja executada em cada solicitação e manter o "kill switch" fora do sistema que ele controla.

blog.cloudflare.com

Transcrição traduzida

Traduzido da narração original em inglês. Áudio e legendas disponíveis são controlados pelo YouTube.

0:00 Uma expressão regular entra em vigor em todos os servidores da Cloudflare de uma vez, e pelos próximos vinte e sete minutos os sites por trás dela são uma página 502, o que, para um firewall, é a configuração mais rigorosa possível. 2 de julho de 2019, 13:42 UTC. A Cloudflare posta em duas horas: não é um ataque, uma implantação ruim, tráfego caiu 82 por cento. Dez dias depois, o CTO John Graham-Cumming publica o postmortem completo, regex incluída, e o Hacker News dá 698 pontos,

0:26 o que para uma interrupção é uma ovação de pé. Como acontece, por que é possível e quem realmente leva a culpa. Este é The Daily Diff, postmortem. 13:31. Um "pull request" é mesclado: uma nova regra de firewall contra "cross-site" scripting, em modo de simulação, então não bloqueia nada. 13:37, testes passam; nenhum mede a CPU. 13:42, a regra é enviada para 180 cidades em dois segundos, porque as regras do WAF ignoram as etapas "dog", "pig" e "canary" que outros lançamentos recebem.

0:54 13:45, a primeira página. 13:49, Hacker News tem uma discussão na página de status, que ainda diz que todos os sistemas estão operacionais. A regra termina em "ponto-asterisco, ponto-asterisco, igual, ponto-asterisco": qualquer coisa, depois qualquer coisa, depois um sinal de igual. O PCRE tenta de forma gulosa, falha e faz "backtracking" por todas as outras divisões. x igual a x leva 23 passos. Vinte x's depois do igual: 555.

1:15 Vinte x's, sem sinal de igual: 4.067 passos para não encontrar nada. Execute isso em cada solicitação e cada núcleo estará em cem por cento, não fazendo nada, completamente. Dois guardas deveriam ter percebido. O limite de CPU nas regras foi removido por engano semanas antes, em uma refatoração destinada a fazer o WAF usar menos CPU. E o procedimento permite que qualquer regra pule o "staging", porque as regras existem para parar ataques "ao vivo", esta não era uma emergência, e mesmo assim foi global.

1:37 14:00, o WAF é identificado; nenhum ataque. 14:02, alguém propõe o término global: um componente, desligado, mundialmente. O "switch" está atrás do Cloudflare Access. Cloudflare Access está atrás do Cloudflare. Algumas credenciais expiraram por desuso, então a rede mais rápida da internet gasta cinco minutos em um "bypass" que ninguém treinou. 14:07, "kill". 14:09, tráfego normal. git blame: um "rollout" com uma velocidade, global; um "CPU guard" refatorado por

2:04 acidente; um motor de regex sem limite superior. Não o engenheiro que escreveu a regra: o postmortem lista onze causas e não nomeia ninguém. Raio de explosão: 27 minutos, 82 por cento do tráfego, 100 por cento de CPU em cada núcleo, em todas as cidades. O "dashboard" e a API ficam atrás da mesma borda, então os clientes nem conseguem desligá-lo. Hacker News, sob o postmortem: eles tinham um problema, usaram uma expressão regular, agora têm dois. Piada antiga. Ainda compila.

2:28 Veredito, postmortem: SHIP IT. O "CPU guard" está de volta, todas as 3.868 regras são lidas manualmente, as regras passam por estágios de lançamento, e o motor muda para um com garantias de tempo linear, publicado por Ken Thompson em 1968. Segunda-feira: sem "ponto-asterisco ponto-asterisco" em qualquer coisa que rode por solicitação, e mantenha o "kill switch" fora do que ele mata. Envie-me o incidente sobre o qual você ainda não tem permissão para falar, nos comentários, ou em "the daily diff dot dev".

2:53 E esse é o "diff" de hoje. Eu sou Niko da Axrisi. Faça "merge" com responsabilidade.

Fontes

  1. John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
  2. Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
  3. Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
  4. Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
  5. Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
  6. Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
  7. Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
  8. TechCrunch, Jul 2, 2019techcrunch.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Vídeos relacionados