Facebook eliminouse a si mesmo da internet. Seis horas.
Facebook elimina o seu propio enderezo da internet, e cando os seus enxeñeiros chegan para poñelo de volta, os lectores de insignias tamén están caídos, porque funcionan con Facebook.
Facebook elimina o seu propio enderezo da internet, e cando os seus enxeñeiros chegan para poñelo de volta, os lectores de insignias tamén están caídos, porque funcionan con Facebook. 4 de outubro de 2021, 15:40 UTC: un comando de mantemento rutineiro da rede principal desactiva todas as ligazóns entre os centros de datos de Facebook; a ferramenta de auditoría construída para bloquealo ten un erro; os servidores de nomes de Facebook, incapaces de acadar os centros de datos, retiran as súas propias rutas BGP por deseño — e facebook.com, Instagram, WhatsApp e Messenger desaparecen do DNS durante case seis horas. As ferramentas internas, o acceso fóra de banda e as insignias de oficina usan a mesma rede, polo que a solución require persoas nos racks.
Ler a edición escrita (inglés) ↗
Que abrangue este vídeo
- Facebook elimina o seu propio enderezo
- Os recibos: Meta Engineering, Cloudflare, Hacker News
- Isto é The Daily Diff, postmortem
- Cronoloxía: 15:39 comando → 15:40 retirado → 21:20 de volta
- Mecanismo: a comprobación de saúde que te elimina, a tormenta DNS 30×, as portas
Preguntas e respostas
Que causou a interrupción de Facebook, Instagram e WhatsApp en outubro de 2021?
Un comando de mantemento de backbone rutineiro derrubou cada enlace entre os centros de datos de Facebook, e a ferramenta de auditoría destinada a bloquear tales comandos tiña un erro. Segundo o informe de enxeñería de Meta, iso desconectou os centros de datos entre si. Ás 15:40 UTC, Cloudflare viu as rutas aos servidores de nomes de Facebook retiradas, e facebook.com devolveu SERVFAIL ata que se resolveu de novo ás 21:20.
Por que os servidores DNS de Facebook se eliminaron de internet?
Os servidores de nomes foron deseñados para retirar as súas propias rutas BGP cando non podían chegar aos centros de datos. Esa regra é sensible cando un sitio falla. Cando todo o backbone fallou, cada servidor de nomes declarouse insalubre á vez e deixou de anunciar o seu enderezo. Os servidores seguían funcionando, pero ninguén os podía atopar.
Por que os enxeñeiros de Facebook non puideron solucionar a interrupción de forma remota?
As ferramentas internas, o acceso fóra de banda e os lectores de tarxetas de oficina funcionaban na mesma rede que fallara. Os enxeñeiros tiveron que ir aos centros de datos, onde os bastidores estaban reforzados contra calquera con acceso físico. O New York Times informou de empregados pechados fóra dos edificios con tarxetas mortas ás 18:51 UTC.
Como afectou a interrupción de Facebook ao resto de internet?
As aplicacións reintentaron e os usuarios recargaron, polo que o resolvedor de Cloudflare viu trinta veces a súa carga normal para un sitio que non era accesible. O episodio sitúa o raio de explosión en tres mil cincocentos millóns de usuarios durante case seis horas. Tamén informa que Telegram afirmou setenta millóns de rexistros ese día.
O postmortem de Facebook solucionou os problemas raíz detrás da interrupción?
O veredicto de The Daily Diff foi NEEDS REVIEW. Facebook emitiu unha declaración a mesma noite, publicou un postmortem con autor nomeado nun día e admitiu o erro da ferramenta de auditoría en galego simple. A súa lista de solucións centrouse en probas e exercicios máis sólidos e non dixo nada sobre retirar as portas da rede de produción. O episodio aconsella poñer o acceso fóra de banda nunha rede que non operes.
Transcrición traducida
Traducido da narración orixinal en inglés. O audio e os subtítulos dispoñibles son controlados por YouTube.
Facebook elimina o seu propio enderezo
0:00 Facebook elimina o seu propio enderezo da internet, e cando os seus enxeñeiros chegan para poñelo de volta, os lectores de insignias tamén están caídos, porque funcionan con Facebook. O propio postmortem de Meta, ao día seguinte: un comando de mantemento rutineiro desactiva cada ligazón da rede principal, e a ferramenta construída para bloquear comandos coma ese ten un erro.
Os recibos: Meta Engineering, Cloudflare, Hacker News
0:16 Cloudflare, desde fóra: ás 15:40 UTC as rutas aos servidores de nomes de Facebook desaparecen, e dig facebook.com devolve SERVFAIL en todas partes do planeta. Como ocorre, por que unha característica de seguridade o empeora e quen leva a culpa. Isto é The Daily Diff, postmortem. Primeira hora da tarde, UTC.
Isto é The Daily Diff, postmortem
0:34 Un comando destinado a comprobar a capacidade libre da rede principal desactiva todas as ligazóns entre os centros de datos de Facebook, e a ferramenta de auditoría construída para detectar exactamente isto
Cronoloxía: 15:39 comando → 15:40 retirado → 21:20 de volta
0:41 déixao pasar. 15:40. O feed BGP de Cloudflare énchese de retiradas; os prefixos DNS de Facebook saen da táboa de enrutamento. Nun minuto, os enxeñeiros de Cloudflare están nunha sala preguntándose se romperon 1.1.1.1. 15:45, Hacker News, dous mil seiscentos puntos. 16:07, o voceiro de Facebook, en Twitter: algunhas persoas están tendo problemas para acceder ás nosas aplicacións. Algunhas persoas son tres mil cincocentos millóns.
1:06 18:51, The New York Times: empregados pechados fóra dos seus edificios, insignias mortas. 19:52, o CTO pide desculpas. 21:00, cinco horas despois, as rutas volven; 21:20, facebook.com resolve. Por que un fallo na rede principal elimina Facebook da internet?
Mecanismo: a comprobación de saúde que te elimina, a tormenta DNS 30×, as portas
1:20 Os seus servidores de nomes teñen unha regra: non poden acadar os centros de datos, decláranse non saudables, deixan de anunciar o seu enderezo. Sensato cando un sitio falla. Cando toda a rede principal falla, cada servidor de nomes o fai á vez. Os servidores están activos. Ninguén pode atopalos. Unha característica de seguridade converte un fallo de rede nun fallo de existencia. Entón, a internet acumúlase: as aplicacións reintentan, os usuarios recargan,
1:39 e o resolvedor de Cloudflare ve trinta veces a súa carga normal, para un sitio que non existe. E as portas. Ferramentas, acceso fóra de banda, insignias: a mesma rede. Os enxeñeiros conducen aos centros de datos, non poden entrar, despois atopan racks endurecidos contra calquera con acceso físico. Construído para frear a un atacante, tamén frea ao propietario. A rede principal volve; aumentan o tráfico lentamente, a propósito.
1:59 Cada centro de datos deixou caer decenas de megavatios, e reverter iso nun só paso é unha segunda interrupción.
git blame — a división
2:05 git blame. Facebook, cincuenta e cinco por cento: o comando foi auditado, o auditor tiña o erro, un comando chegou a todos os enrutadores. O deseño DNS, vinte e cinco: unha comprobación de saúde sen sentido de proporción. Unha rede, quince: ferramentas, fóra de banda, insignias. Os racks, cinco, por facer o seu traballo. Radio de explosión: tres mil cincocentos millóns de usuarios, case seis horas. A acción pecha un cinco por cento á baixa, seis mil millóns menos para Zuckerberg,
Radio de explosión
2:27 no papel. Telegram afirma setenta millóns de rexistros ese día. Veredito, postmortem: NEEDS REVIEW. Declaración esa mesma noite, postmortem con autor nomeado nun día, erro da ferramenta de auditoría admitido en galego sinxelo.
Veredito + a liña do luns
2:38 A lista de solucións: fortalecer as probas e os simulacros. Nada sobre quitar as portas da rede de produción. Luns: pon o teu acceso fóra de banda, e a túa porta, nunha rede que non operas. Envía-me o incidente do que aínda non tes permitido falar, nos comentarios, ou en the daily diff dot dev. E ese é o diff de hoxe. Son Niko de Axrisi.
2:58 SHIP IT. Merge responsibly.
Fontes
- Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
- Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
- Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
- Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
- Andy Stone (Facebook), 16:07 UTCtwitter.com
- Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
- Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
- Hacker News (2,589 points)news.ycombinator.com
- The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
- Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
- Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
- Krebs on Securitykrebsonsecurity.com



