+− THE DAILY DIFFdev & AI news
SHIP IT

Uma regex derrubou a Cloudflare. 27 minutos.

2 de julho de 2019, 13:42 UTC: uma nova regra para a Web Application Firewall da Cloudflare é ativada em mais de 180 cidades em cerca de dois segundos.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

2 de julho de 2019, 13:42 UTC: uma nova regra para a Web Application Firewall da Cloudflare é ativada em mais de 180 cidades em cerca de dois segundos. É uma regra XSS em modo de simulação, por isso não bloqueia nada, mas continua a ser executada em cada pedido e termina em .*(?:.*=.*). O PCRE retrocede, cada núcleo de CPU que serve HTTP atinge 100%, e cada site com proxy da Cloudflare devolve 502 durante 27 minutos; o tráfego cai 82%. O "kill switch" está por trás do Cloudflare Access, que está por trás da Cloudflare. Postmortem, do próprio relatório da Cloudflare: a proteção de CPU removida semanas antes numa refatorização destinada a poupar CPU, o procedimento que permitia a qualquer regra saltar a fase de teste, o motor sem garantia de complexidade, as 11 causas e as 7 correções. Veredito sobre a correção: SHIP IT.

Ler a edição escrita (Inglês) ↗

O que este vídeo aborda

  • 13:31–13:42 UTC: PR unido, CI verde (sem teste de CPU), Quicksilver envia a regra para mais de 180 cidades; as regras WAF saltam as fases DOG → PIG → Canary
  • 13:45–14:07: primeira página; CPU 100% em todo o mundo, tráfego -82%, 502s em todo o lado; o painel de controlo interno está por trás do Cloudflare Access, que está em baixo; algumas credenciais expiraram; um bypass raramente testado
  • 14:07–14:09: término global do WAF; tráfego e CPU normais após 27 minutos; 14:52 WAF de volta menos a regra
  • 2 de julho (15:50 UTC) e 12 de julho: Cloudflare publica a nota do mesmo dia e o postmortem completo; proteção de CPU readicionada, 3.868 regras relidas, implementações faseadas, mudança para um motor regex de tempo linear

Perguntas e respostas

Como pode uma única expressão regular derrubar uma rede global?

Uma regex com retrocesso ilimitado pode prender cada núcleo de CPU que a avalia. De acordo com o postmortem da Cloudflare, uma nova regra de firewall terminava em .*(?:.*=.*), o PCRE retrocedeu por todas as outras divisões, e a CPU atingiu 100% em cada núcleo a servir HTTP. Os sites por trás da Cloudflare devolveram erros 502 durante 27 minutos e o tráfego caiu 82%.

blog.cloudflare.com · blog.cloudflare.com

Porque é que uma regra de firewall em modo de simulação causou uma interrupção?

O modo de simulação impede que uma regra bloqueie o tráfego, mas a regra ainda é avaliada em cada pedido. A regra unida às 13:31 UTC de 2 de julho de 2019 era uma regra de "cross-site scripting" em modo de simulação, por isso não bloqueava nada, mas era executada em cada pedido. O postmortem da Cloudflare diz que o custo da sua avaliação esgotou a CPU.

blog.cloudflare.com

Como é que uma regra chegou a todos os centros de dados da Cloudflare em dois segundos?

As regras de firewall saltaram a implementação faseada que outras versões tiveram. De acordo com o postmortem, o procedimento permitia que qualquer regra se tornasse global de uma só vez, porque as regras existem para parar ataques em tempo real. Esta regra não era uma emergência, e o Quicksilver ainda a enviou para mais de 180 cidades em cerca de dois segundos, sem teste de CPU no CI para a detetar.

blog.cloudflare.com · blog.cloudflare.com

Porque é que a Cloudflare demorou 27 minutos a desligar o componente de firewall defeituoso?

O painel de controlo interno estava por trás do Cloudflare Access, que estava por trás da Cloudflare, então a interrupção bloqueou o caminho para o "kill switch". Algumas credenciais expiraram por desuso, e um "bypass" que raramente era testado demorou cerca de cinco minutos. O término global do WAF foi aplicado às 14:07 UTC, e o tráfego voltou ao normal às 14:09.

blog.cloudflare.com · x.com

As equipas devem manter motores regex com retrocesso no código do caminho do pedido após a interrupção da Cloudflare?

O veredito do The Daily Diff foi SHIP IT, para a correção da Cloudflare. O guarda de CPU foi restaurado, 3.868 regras foram relidas, as regras passam por implementações faseadas, e o motor muda para um com garantias de tempo linear. O conselho prático do episódio é evitar padrões como ponto-estrela ponto-estrela em qualquer coisa que seja executada em cada pedido e manter o "kill switch" fora do sistema que controla.

blog.cloudflare.com

Transcrição traduzida

Traduzido da narração original em inglês. Áudio e legendas disponíveis são controlados pelo YouTube.

0:00 Uma expressão regular entra em funcionamento em todos os servidores da Cloudflare de uma só vez, e durante os próximos vinte e sete minutos, os sites por trás dela são uma página 502, que, para uma firewall, é a configuração mais rigorosa possível. 2 de julho de 2019, 13:42 UTC. A Cloudflare publica em menos de duas horas: não é um ataque, é uma implementação falhada, tráfego reduzido em 82 por cento. Dez dias depois, o CTO John Graham-Cumming publica o postmortem completo, regex incluída, e o Hacker News dá-lhe 698 pontos,

0:26 que para uma interrupção é uma ovação de pé. Como acontece, porque é possível, e quem realmente leva a culpa. Este é o The Daily Diff, postmortem. 13:31. Um "pull request" é unido: uma nova regra de firewall contra "cross-site" "scripting", em modo de simulação, por isso não bloqueia nada. 13:37, os testes são aprovados; nenhum mede a CPU. 13:42, a regra é enviada para 180 cidades em dois segundos, porque as regras do WAF saltam as fases de cão, porco e canário que outras versões obtêm.

0:54 13:45, a primeira página. 13:49, o Hacker News tem um tópico sobre a página de estado, que ainda diz que todos os sistemas estão operacionais. A regra termina em ponto-estrela, ponto-estrela, igual, ponto-estrela: qualquer coisa, depois qualquer coisa, depois um sinal de igual. O PCRE adivinha com avidez, falha e retrocede em todas as outras divisões. x igual a x leva 23 passos. Vinte x's depois do igual: 555.

1:15 Vinte x's, sem sinal de igual: 4.067 passos para não encontrar nada. Execute isso em cada pedido e cada núcleo estará a cem por cento, não fazendo nada, completamente. Dois guardas deviam tê-lo detetado. O limite de CPU nas regras foi removido por engano semanas antes, numa refatorização destinada a fazer com que o WAF usasse menos CPU. E o procedimento permite que qualquer regra salte a fase de "staging", porque as regras existem para parar ataques em tempo real; esta não era uma emergência, e mesmo assim foi global.

1:37 14:00, o WAF é identificado; sem ataque. 14:02, alguém propõe o término global: um componente, desligado, em todo o mundo. O interruptor está por trás do Cloudflare Access. O Cloudflare Access está por trás da Cloudflare. Algumas credenciais expiraram por desuso, então a rede mais rápida da internet passa cinco minutos num "bypass" que ninguém treinou. 14:07, "kill". 14:09, tráfego normal. git blame: uma implementação com uma velocidade, global; um guarda de CPU refatorizado por

2:04 acidente; um motor regex sem limite superior. Não o engenheiro que escreveu a regra: o postmortem lista onze causas e não nomeia ninguém. Raio de impacto: 27 minutos, 82 por cento do tráfego, 100 por cento de CPU em cada núcleo, em todas as cidades. O "dashboard" e a API estão por trás da mesma "edge", então os clientes nem conseguem desligá-lo. Hacker News, sob o postmortem: eles tinham um problema, usaram uma expressão regular, agora têm dois. Velha piada. Ainda compila.

2:28 Veredito, postmortem: SHIP IT. O guarda de CPU está de volta, todas as 3.868 regras são lidas à mão, as regras passam por fases de teste, e o motor muda para um com garantias de tempo linear, publicado por Ken Thompson em 1968. Segunda-feira: sem ponto-estrela ponto-estrela em nada que corra por pedido, e mantenha o "kill switch" fora do que ele mata. Envie-me o incidente sobre o qual ainda não lhe é permitido falar, nos comentários, ou em "the daily diff dot dev".

2:53 E essa é a diferença de hoje. Sou o Niko da Axrisi. Unir com responsabilidade.

Fontes

  1. John Graham-Cumming, "Details of the Cloudflare outage on July 2, 2019" (Jul 12, 2019)blog.cloudflare.com
  2. Matthew Prince, "Cloudflare outage caused by bad software deploy (updated)" (Jul 2, 2019)blog.cloudflare.com
  3. Matthew Prince on X, Jul 2, 2019, 14:22 UTCx.com
  4. Matthew Prince on X, Jul 2, 2019, 14:36 UTC ("No evidence yet attack related")x.com
  5. Hacker News, Jul 2, 2019, 13:49 UTC — "Cloudflare Network Performance Issues" (631 points)news.ycombinator.com
  6. Hacker News, Jul 2, 2019 — "Cloudflare outage caused by bad software deploy" (348 points)news.ycombinator.com
  7. Hacker News, Jul 12, 2019 — "Details of the Cloudflare outage on July 2, 2019" (698 points)news.ycombinator.com
  8. TechCrunch, Jul 2, 2019techcrunch.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Vídeos relacionados