Uma regex derrubou a Cloudflare. 27 minutos.
2 de julho de 2019, 13:42 UTC: uma nova regra para o Web Application Firewall da Cloudflare entra em vigor em mais de 180 cidades em cerca de dois segundos.
2 de julho de 2019, 13:42 UTC: uma nova regra para o Web Application Firewall da Cloudflare entra em vigor em mais de 180 cidades em cerca de dois segundos. É uma regra XSS em modo de simulação, então não bloqueia nada, mas ainda é executada em todas as solicitações, e termina em .*(?:.*=.*). O PCRE faz backtracking, cada núcleo da CPU que atende a HTTP atinge 100%, e cada site com proxy da Cloudflare retorna 502 por 27 minutos; o tráfego cai 82%. O "kill switch" fica atrás do Cloudflare Access, que fica atrás da Cloudflare. Postmortem, do próprio relatório da Cloudflare: o "CPU guard" removido semanas antes em uma refatoração destinada a economizar CPU, o procedimento que permitia a qualquer regra pular o "staging", o motor sem garantia de complexidade, as 11 causas e as 7 correções. Veredito para a correção: SHIP IT.
Leia a edição escrita (Inglês) ↗
O que este vídeo aborda
- 13:31–13:42 UTC: PR mesclado, CI verde (sem teste de CPU), Quicksilver envia a regra para mais de 180 cidades; as regras do WAF ignoram as etapas DOG → PIG → Canary
- 13:45–14:07: primeira página; CPU 100% mundialmente, tráfego -82%, 502s em todos os lugares; o painel de controle interno está atrás do Cloudflare Access, que está fora do ar; algumas credenciais expiraram; um "bypass" raramente exercitado
- 14:07–14:09: término global do WAF; tráfego e CPU normais após 27 minutos; 14:52 WAF de volta sem a regra
- 2 de julho (15:50 UTC) e 12 de julho: Cloudflare publica a nota do mesmo dia e o postmortem completo; "CPU guard" re-adicionado, 3.868 regras re-lidas, lançamentos em fases, mudança para um motor de regex de tempo linear
Perguntas e respostas
Como uma única expressão regular pode derrubar uma rede global?
Uma regex com "backtracking" ilimitado pode prender cada núcleo da CPU que a avalia. De acordo com o postmortem da Cloudflare, uma nova regra de firewall terminava em .*(?:.*=.*), o PCRE fazia "backtracking" por todas as outras divisões, e a CPU atingia 100% em cada núcleo que atendia a HTTP. Sites atrás da Cloudflare retornaram erros 502 por 27 minutos e o tráfego caiu 82%.
Por que uma regra de firewall em modo de simulação ainda causou uma interrupção?
O modo de simulação impede que uma regra bloqueie o tráfego, mas a regra ainda é avaliada em cada solicitação. A regra mesclada às 13:31 UTC em 2 de julho de 2019 era uma regra de "cross-site scripting" em modo de simulação, então não bloqueava nada, mas ainda era executada em cada solicitação. O postmortem da Cloudflare diz que o custo de avaliá-la esgotou a CPU.
Como uma regra chegou a todos os "data centers" da Cloudflare em dois segundos?
As regras de firewall ignoraram o lançamento em fases pelo qual outras versões passaram. De acordo com o postmortem, o procedimento permitiu que qualquer regra se tornasse global de uma vez porque as regras existem para impedir ataques em tempo real. Esta regra não era uma emergência, e o Quicksilver ainda a enviou para mais de 180 cidades em cerca de dois segundos, sem um teste de CPU no CI para detectá-la.
Por que a Cloudflare levou 27 minutos para desligar o componente de firewall defeituoso?
O painel de controle interno ficava atrás do Cloudflare Access, que ficava atrás da Cloudflare, então a interrupção bloqueou o caminho para o "kill switch". Algumas credenciais haviam expirado por desuso, e um "bypass" raramente exercitado levou cerca de cinco minutos. O término global do WAF foi aplicado às 14:07 UTC, e o tráfego voltou ao normal às 14:09.
As equipes devem manter motores de regex com "backtracking" em código de caminho de solicitação após a interrupção da Cloudflare?
O veredito do The Daily Diff foi SHIP IT, para a correção da Cloudflare. O "CPU guard" foi restaurado, 3.868 regras foram relidas, as regras passam por lançamentos em fases, e o motor muda para um com garantias de tempo linear. O conselho prático do episódio é evitar padrões como "ponto-asterisco ponto-asterisco" em qualquer coisa que seja executada em cada solicitação e manter o "kill switch" fora do sistema que ele controla.
Transcrição traduzida
Traduzido da narração original em inglês. Áudio e legendas disponíveis são controlados pelo YouTube.
0:00 Uma expressão regular entra em vigor em todos os servidores da Cloudflare de uma vez, e pelos próximos vinte e sete minutos os sites por trás dela são uma página 502, o que, para um firewall, é a configuração mais rigorosa possível. 2 de julho de 2019, 13:42 UTC. A Cloudflare posta em duas horas: não é um ataque, uma implantação ruim, tráfego caiu 82 por cento. Dez dias depois, o CTO John Graham-Cumming publica o postmortem completo, regex incluída, e o Hacker News dá 698 pontos,
0:26 o que para uma interrupção é uma ovação de pé. Como acontece, por que é possível e quem realmente leva a culpa. Este é The Daily Diff, postmortem. 13:31. Um "pull request" é mesclado: uma nova regra de firewall contra "cross-site" scripting, em modo de simulação, então não bloqueia nada. 13:37, testes passam; nenhum mede a CPU. 13:42, a regra é enviada para 180 cidades em dois segundos, porque as regras do WAF ignoram as etapas "dog", "pig" e "canary" que outros lançamentos recebem.
0:54 13:45, a primeira página. 13:49, Hacker News tem uma discussão na página de status, que ainda diz que todos os sistemas estão operacionais. A regra termina em "ponto-asterisco, ponto-asterisco, igual, ponto-asterisco": qualquer coisa, depois qualquer coisa, depois um sinal de igual. O PCRE tenta de forma gulosa, falha e faz "backtracking" por todas as outras divisões. x igual a x leva 23 passos. Vinte x's depois do igual: 555.
1:15 Vinte x's, sem sinal de igual: 4.067 passos para não encontrar nada. Execute isso em cada solicitação e cada núcleo estará em cem por cento, não fazendo nada, completamente. Dois guardas deveriam ter percebido. O limite de CPU nas regras foi removido por engano semanas antes, em uma refatoração destinada a fazer o WAF usar menos CPU. E o procedimento permite que qualquer regra pule o "staging", porque as regras existem para parar ataques "ao vivo", esta não era uma emergência, e mesmo assim foi global.
1:37 14:00, o WAF é identificado; nenhum ataque. 14:02, alguém propõe o término global: um componente, desligado, mundialmente. O "switch" está atrás do Cloudflare Access. Cloudflare Access está atrás do Cloudflare. Algumas credenciais expiraram por desuso, então a rede mais rápida da internet gasta cinco minutos em um "bypass" que ninguém treinou. 14:07, "kill". 14:09, tráfego normal. git blame: um "rollout" com uma velocidade, global; um "CPU guard" refatorado por
2:04 acidente; um motor de regex sem limite superior. Não o engenheiro que escreveu a regra: o postmortem lista onze causas e não nomeia ninguém. Raio de explosão: 27 minutos, 82 por cento do tráfego, 100 por cento de CPU em cada núcleo, em todas as cidades. O "dashboard" e a API ficam atrás da mesma borda, então os clientes nem conseguem desligá-lo. Hacker News, sob o postmortem: eles tinham um problema, usaram uma expressão regular, agora têm dois. Piada antiga. Ainda compila.
2:28 Veredito, postmortem: SHIP IT. O "CPU guard" está de volta, todas as 3.868 regras são lidas manualmente, as regras passam por estágios de lançamento, e o motor muda para um com garantias de tempo linear, publicado por Ken Thompson em 1968. Segunda-feira: sem "ponto-asterisco ponto-asterisco" em qualquer coisa que rode por solicitação, e mantenha o "kill switch" fora do que ele mata. Envie-me o incidente sobre o qual você ainda não tem permissão para falar, nos comentários, ou em "the daily diff dot dev".
2:53 E esse é o "diff" de hoje. Eu sou Niko da Axrisi. Faça "merge" com responsabilidade.
Fontes
- John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
- Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
- Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
- Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
- Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
- Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
- Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
- TechCrunch, Jul 2, 2019techcrunch.com



