O Facebook se excluiu da internet. Seis horas.
O Facebook remove seu próprio endereço da internet e, quando seus engenheiros chegam para recolocá-lo, os leitores de crachás também não funcionam, porque são executados no Facebook.
O Facebook remove seu próprio endereço da internet e, quando seus engenheiros chegam para recolocá-lo, os leitores de crachás também não funcionam, porque são executados no Facebook. 4 de outubro de 2021, 15:40 UTC: um comando de manutenção de backbone de rotina derruba todos os links entre os data centers do Facebook; a ferramenta de auditoria criada para bloqueá-lo tem um bug; os servidores de nomes do Facebook, incapazes de alcançar os data centers, retiram suas próprias rotas BGP por design — e facebook.com, Instagram, WhatsApp e Messenger desaparecem do DNS por quase seis horas. Ferramentas internas, acesso fora de banda e os crachás de escritório usam a mesma rede, então a correção precisa de pessoas nos racks.
Leia a edição escrita (Inglês) ↗
O que este vídeo aborda
- O Facebook remove seu próprio endereço
- Os recibos: Meta Engineering, Cloudflare, Hacker News
- Este é o The Daily Diff, post-mortem
- Linha do tempo: 15:39 comando → 15:40 retirado → 21:20 de volta
- Mecanismo: a verificação de saúde que te exclui, a tempestade DNS 30×, as portas
Perguntas e respostas
O que causou a queda do Facebook, Instagram e WhatsApp em outubro de 2021?
Um comando de manutenção de rotina na espinha dorsal derrubou todos os links entre os data centers do Facebook, e a ferramenta de auditoria destinada a bloquear tais comandos tinha um bug. De acordo com a descrição de engenharia da Meta, isso desconectou os data centers uns dos outros. Às 15:40 UTC, o Cloudflare viu as rotas para os servidores de nomes do Facebook serem retiradas, e facebook.com retornou SERVFAIL até que fosse resolvido novamente às 21:20.
Por que os servidores DNS do Facebook se removeram da internet?
Os servidores de nomes foram projetados para retirar suas próprias rotas BGP quando não conseguiam alcançar os data centers. Essa regra é sensata quando um site falha. Quando toda a espinha dorsal falhou, todos os servidores de nomes se declararam não saudáveis de uma vez e pararam de anunciar seus endereços. Os servidores ainda estavam funcionando, mas ninguém conseguia encontrá-los.
Por que os engenheiros do Facebook não conseguiram corrigir a interrupção remotamente?
As ferramentas internas, o acesso fora da banda e os leitores de crachás do escritório funcionavam na mesma rede que havia falhado. Os engenheiros tiveram que ir aos data centers, onde os racks eram protegidos contra qualquer pessoa com acesso físico. O The New York Times relatou funcionários trancados fora de edifícios com crachás inativos às 18:51 UTC.
Como a interrupção do Facebook afetou o resto da internet?
Os aplicativos tentaram novamente e os usuários recarregaram, então o resolvedor do Cloudflare viu trinta vezes sua carga normal para um site que não estava acessível. O episódio coloca o raio de explosão em três bilhões e meio de usuários por quase seis horas. Também relata que o Telegram reivindicou setenta milhões de inscrições naquele dia.
A análise post-mortem do Facebook corrigiu os problemas-raiz por trás da interrupção?
O veredito do The Daily Diff foi NEEDS REVIEW. O Facebook emitiu uma declaração na mesma noite, publicou uma análise post-mortem com autor nomeado em um dia e admitiu o bug da ferramenta de auditoria em linguagem clara. Sua lista de correções focou em testes e exercícios mais fortes e não disse nada sobre retirar as portas da rede de produção. O episódio aconselha colocar o acesso fora de banda em uma rede que você não opera.
Transcrição traduzida
Traduzido da narração original em inglês. Áudio e legendas disponíveis são controlados pelo YouTube.
O Facebook remove seu próprio endereço
0:00 O Facebook remove seu próprio endereço da internet e, quando seus engenheiros chegam para recolocá-lo, os leitores de crachás também não funcionam, porque eles rodam no Facebook. O próprio post-mortem da Meta, no dia seguinte: um comando de manutenção de rotina derruba todos os links de backbone, e a ferramenta criada para bloquear comandos como esse tem um bug.
Os recibos: Meta Engineering, Cloudflare, Hacker News
0:16 Cloudflare, de fora: às 15:40 UTC as rotas para os servidores de nomes do Facebook desaparecem, e dig facebook.com retorna SERVFAIL em todos os lugares do planeta. Como acontece, por que um recurso de segurança piora a situação e quem leva a culpa. Este é o The Daily Diff, post-mortem. Início da tarde, UTC.
Este é o The Daily Diff, post-mortem
0:34 Um comando destinado a verificar a capacidade livre do backbone derruba todos os links entre os data centers do Facebook, e a ferramenta de auditoria criada para detectar exatamente isso
Linha do tempo: 15:39 comando → 15:40 retirado → 21:20 de volta
0:41 permite que passe. 15:40. O feed BGP da Cloudflare se enche de retiradas; os prefixos DNS do Facebook saem da tabela de roteamento. Em um minuto, os engenheiros da Cloudflare estão em uma sala se perguntando se eles quebraram 1.1.1.1. 15:45, Hacker News, vinte e seis mil pontos. 16:07, o porta-voz do Facebook, no Twitter de todos os lugares: algumas pessoas estão tendo problemas para acessar nossos aplicativos. Algumas pessoas são três bilhões e meio.
1:06 18:51, o New York Times: funcionários trancados fora de seus edifícios, crachás inoperantes. 19:52, o CTO pede desculpas. 21:00, cinco horas depois, as rotas retornam; 21:20, facebook.com resolve. Por que uma falha de backbone exclui o Facebook da internet?
Mecanismo: a verificação de saúde que te exclui, a tempestade DNS 30×, as portas
1:20 Seus servidores de nomes têm uma regra: não conseguem alcançar os data centers, declaram-se não saudáveis, param de anunciar seu endereço. Sensato quando um site está ruim. Quando todo o backbone falha, cada servidor de nomes faz isso de uma vez. Os servidores estão funcionando. Ninguém consegue encontrá-los. Um recurso de segurança transforma uma falha de rede em uma falha de existência. Então a internet se acumula: aplicativos tentam novamente, usuários recarregam,
1:39 e o resolvedor da Cloudflare vê trinta vezes sua carga normal, para um site que não existe. E as portas. Ferramentas, acesso fora de banda, crachás: mesma rede. Engenheiros dirigem até os data centers, não conseguem entrar, e então encontram racks endurecidos contra qualquer um com acesso físico. Construído para desacelerar um atacante, também desacelera o proprietário. O backbone retorna; eles aumentam o tráfego lentamente, de propósito.
1:59 Cada data center derrubou dezenas de megawatts, e reverter isso em uma etapa é uma segunda interrupção.
git blame — a divisão
2:05 git blame. Facebook, cinquenta e cinco por cento: o comando foi auditado, o auditor tinha o bug, um comando alcançou todos os roteadores. O design do DNS, vinte e cinco: uma verificação de saúde sem senso de proporção. Uma rede, quinze: ferramentas, fora de banda, crachás. Os racks, cinco, por fazerem seu trabalho. Raio de explosão: três bilhões e meio de usuários, quase seis horas. A ação fecha em queda de cinco por cento, seis bilhões a menos para Zuckerberg,
Raio de explosão
2:27 no papel. O Telegram reivindica setenta milhões de inscrições naquele dia. Veredito, post-mortem: NEEDS REVIEW. Declaração na mesma noite, post-mortem com autor nomeado em um dia, bug da ferramenta de auditoria admitido em português claro.
Veredito + a linha de segunda-feira
2:38 A lista de correções: fortalecer testes e exercícios. Nada sobre remover as portas da rede de produção. Segunda-feira: coloque seu acesso fora de banda, e sua porta, em uma rede que você não opera. Envie-me o incidente sobre o qual você ainda não pode falar, nos comentários, ou em the daily diff dot dev. E esse é o diff de hoje. Sou Niko da Axrisi.
2:58 SHIP IT com responsabilidade.
Fontes
- Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
- Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
- Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
- Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
- Andy Stone (Facebook), 16:07 UTCtwitter.com
- Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
- Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
- Hacker News (2,589 points)news.ycombinator.com
- The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
- Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
- Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
- Krebs on Securitykrebsonsecurity.com



