Uma regex derrubou a Cloudflare. 27 minutos.
2 de julho de 2019, 13:42 UTC: uma nova regra para a Web Application Firewall da Cloudflare é ativada em mais de 180 cidades em cerca de dois segundos.
2 de julho de 2019, 13:42 UTC: uma nova regra para a Web Application Firewall da Cloudflare é ativada em mais de 180 cidades em cerca de dois segundos. É uma regra XSS em modo de simulação, por isso não bloqueia nada, mas continua a ser executada em cada pedido e termina em .*(?:.*=.*). O PCRE retrocede, cada núcleo de CPU que serve HTTP atinge 100%, e cada site com proxy da Cloudflare devolve 502 durante 27 minutos; o tráfego cai 82%. O "kill switch" está por trás do Cloudflare Access, que está por trás da Cloudflare. Postmortem, do próprio relatório da Cloudflare: a proteção de CPU removida semanas antes numa refatorização destinada a poupar CPU, o procedimento que permitia a qualquer regra saltar a fase de teste, o motor sem garantia de complexidade, as 11 causas e as 7 correções. Veredito sobre a correção: SHIP IT.
Ler a edição escrita (Inglês) ↗
O que este vídeo aborda
- 13:31–13:42 UTC: PR unido, CI verde (sem teste de CPU), Quicksilver envia a regra para mais de 180 cidades; as regras WAF saltam as fases DOG → PIG → Canary
- 13:45–14:07: primeira página; CPU 100% em todo o mundo, tráfego -82%, 502s em todo o lado; o painel de controlo interno está por trás do Cloudflare Access, que está em baixo; algumas credenciais expiraram; um bypass raramente testado
- 14:07–14:09: término global do WAF; tráfego e CPU normais após 27 minutos; 14:52 WAF de volta menos a regra
- 2 de julho (15:50 UTC) e 12 de julho: Cloudflare publica a nota do mesmo dia e o postmortem completo; proteção de CPU readicionada, 3.868 regras relidas, implementações faseadas, mudança para um motor regex de tempo linear
Perguntas e respostas
Como pode uma única expressão regular derrubar uma rede global?
Uma regex com retrocesso ilimitado pode prender cada núcleo de CPU que a avalia. De acordo com o postmortem da Cloudflare, uma nova regra de firewall terminava em .*(?:.*=.*), o PCRE retrocedeu por todas as outras divisões, e a CPU atingiu 100% em cada núcleo a servir HTTP. Os sites por trás da Cloudflare devolveram erros 502 durante 27 minutos e o tráfego caiu 82%.
Porque é que uma regra de firewall em modo de simulação causou uma interrupção?
O modo de simulação impede que uma regra bloqueie o tráfego, mas a regra ainda é avaliada em cada pedido. A regra unida às 13:31 UTC de 2 de julho de 2019 era uma regra de "cross-site scripting" em modo de simulação, por isso não bloqueava nada, mas era executada em cada pedido. O postmortem da Cloudflare diz que o custo da sua avaliação esgotou a CPU.
Como é que uma regra chegou a todos os centros de dados da Cloudflare em dois segundos?
As regras de firewall saltaram a implementação faseada que outras versões tiveram. De acordo com o postmortem, o procedimento permitia que qualquer regra se tornasse global de uma só vez, porque as regras existem para parar ataques em tempo real. Esta regra não era uma emergência, e o Quicksilver ainda a enviou para mais de 180 cidades em cerca de dois segundos, sem teste de CPU no CI para a detetar.
Porque é que a Cloudflare demorou 27 minutos a desligar o componente de firewall defeituoso?
O painel de controlo interno estava por trás do Cloudflare Access, que estava por trás da Cloudflare, então a interrupção bloqueou o caminho para o "kill switch". Algumas credenciais expiraram por desuso, e um "bypass" que raramente era testado demorou cerca de cinco minutos. O término global do WAF foi aplicado às 14:07 UTC, e o tráfego voltou ao normal às 14:09.
As equipas devem manter motores regex com retrocesso no código do caminho do pedido após a interrupção da Cloudflare?
O veredito do The Daily Diff foi SHIP IT, para a correção da Cloudflare. O guarda de CPU foi restaurado, 3.868 regras foram relidas, as regras passam por implementações faseadas, e o motor muda para um com garantias de tempo linear. O conselho prático do episódio é evitar padrões como ponto-estrela ponto-estrela em qualquer coisa que seja executada em cada pedido e manter o "kill switch" fora do sistema que controla.
Transcrição traduzida
Traduzido da narração original em inglês. Áudio e legendas disponíveis são controlados pelo YouTube.
0:00 Uma expressão regular entra em funcionamento em todos os servidores da Cloudflare de uma só vez, e durante os próximos vinte e sete minutos, os sites por trás dela são uma página 502, que, para uma firewall, é a configuração mais rigorosa possível. 2 de julho de 2019, 13:42 UTC. A Cloudflare publica em menos de duas horas: não é um ataque, é uma implementação falhada, tráfego reduzido em 82 por cento. Dez dias depois, o CTO John Graham-Cumming publica o postmortem completo, regex incluída, e o Hacker News dá-lhe 698 pontos,
0:26 que para uma interrupção é uma ovação de pé. Como acontece, porque é possível, e quem realmente leva a culpa. Este é o The Daily Diff, postmortem. 13:31. Um "pull request" é unido: uma nova regra de firewall contra "cross-site" "scripting", em modo de simulação, por isso não bloqueia nada. 13:37, os testes são aprovados; nenhum mede a CPU. 13:42, a regra é enviada para 180 cidades em dois segundos, porque as regras do WAF saltam as fases de cão, porco e canário que outras versões obtêm.
0:54 13:45, a primeira página. 13:49, o Hacker News tem um tópico sobre a página de estado, que ainda diz que todos os sistemas estão operacionais. A regra termina em ponto-estrela, ponto-estrela, igual, ponto-estrela: qualquer coisa, depois qualquer coisa, depois um sinal de igual. O PCRE adivinha com avidez, falha e retrocede em todas as outras divisões. x igual a x leva 23 passos. Vinte x's depois do igual: 555.
1:15 Vinte x's, sem sinal de igual: 4.067 passos para não encontrar nada. Execute isso em cada pedido e cada núcleo estará a cem por cento, não fazendo nada, completamente. Dois guardas deviam tê-lo detetado. O limite de CPU nas regras foi removido por engano semanas antes, numa refatorização destinada a fazer com que o WAF usasse menos CPU. E o procedimento permite que qualquer regra salte a fase de "staging", porque as regras existem para parar ataques em tempo real; esta não era uma emergência, e mesmo assim foi global.
1:37 14:00, o WAF é identificado; sem ataque. 14:02, alguém propõe o término global: um componente, desligado, em todo o mundo. O interruptor está por trás do Cloudflare Access. O Cloudflare Access está por trás da Cloudflare. Algumas credenciais expiraram por desuso, então a rede mais rápida da internet passa cinco minutos num "bypass" que ninguém treinou. 14:07, "kill". 14:09, tráfego normal. git blame: uma implementação com uma velocidade, global; um guarda de CPU refatorizado por
2:04 acidente; um motor regex sem limite superior. Não o engenheiro que escreveu a regra: o postmortem lista onze causas e não nomeia ninguém. Raio de impacto: 27 minutos, 82 por cento do tráfego, 100 por cento de CPU em cada núcleo, em todas as cidades. O "dashboard" e a API estão por trás da mesma "edge", então os clientes nem conseguem desligá-lo. Hacker News, sob o postmortem: eles tinham um problema, usaram uma expressão regular, agora têm dois. Velha piada. Ainda compila.
2:28 Veredito, postmortem: SHIP IT. O guarda de CPU está de volta, todas as 3.868 regras são lidas à mão, as regras passam por fases de teste, e o motor muda para um com garantias de tempo linear, publicado por Ken Thompson em 1968. Segunda-feira: sem ponto-estrela ponto-estrela em nada que corra por pedido, e mantenha o "kill switch" fora do que ele mata. Envie-me o incidente sobre o qual ainda não lhe é permitido falar, nos comentários, ou em "the daily diff dot dev".
2:53 E essa é a diferença de hoje. Sou o Niko da Axrisi. Unir com responsabilidade.
Fontes
- John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
- Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
- Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
- Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
- Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
- Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
- Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
- TechCrunch, Jul 2, 2019techcrunch.com



