Facebook se eliminó a sí mismo de internet. Seis horas.
Facebook elimina su propia dirección de internet, y cuando sus ingenieros llegan para restablecerla, los lectores de tarjetas de acceso también están caídos, porque funcionan con Facebook.
Facebook elimina su propia dirección de internet, y cuando sus ingenieros llegan para restablecerla, los lectores de tarjetas de acceso también están caídos, porque funcionan con Facebook. 4 de octubre de 2021, 15:40 UTC: un comando de mantenimiento de rutina de la red troncal desconecta todos los enlaces entre los centros de datos de Facebook; la herramienta de auditoría diseñada para bloquearlo tiene un error; los servidores de nombres de Facebook, al no poder llegar a los centros de datos, retiran sus propias rutas BGP por diseño, y facebook.com, Instagram, WhatsApp y Messenger desaparecen del DNS durante casi seis horas. Las herramientas internas, el acceso fuera de banda y las tarjetas de oficina utilizan la misma red, por lo que la solución requiere personal en los racks.
Leer la edición escrita (inglés) ↗
Lo que cubre este video
- Facebook elimina su propia dirección
- Los recibos: Meta Engineering, Cloudflare, Hacker News
- Esto es The Daily Diff, postmortem
- Cronología: comando 15:39 → retirado 15:40 → de vuelta 21:20
- Mecanismo: la verificación de estado que te elimina, la tormenta DNS 30×, las puertas
Preguntas y respuestas
¡Qué causó la interrupción de Facebook, Instagram y WhatsApp en octubre de 2021?
Un comando rutinario de mantenimiento de la red troncal inhabilitó cada enlace entre los centros de datos de Facebook, y la herramienta de auditoría destinada a bloquear dichos comandos tenía un error. Según el informe de ingeniería de Meta, eso desconectó los centros de datos entre sí. A las 15:40 UTC, Cloudflare vio que las rutas a los servidores de nombres de Facebook se retiraban, y facebook.com devolvió SERVFAIL hasta que se resolvió nuevamente a las 21:20.
¿Por qué los servidores DNS de Facebook se eliminaron de Internet?
Los servidores de nombres fueron diseñados para retirar sus propias rutas BGP cuando no podían llegar a los centros de datos. Esa regla es sensata cuando un sitio falla. Cuando falló toda la red troncal, cada servidor de nombres se declaró a sí mismo no saludable a la vez y dejó de anunciar su dirección. Los servidores seguían funcionando, pero nadie podía encontrarlos.
¿Por qué los ingenieros de Facebook no pudieron solucionar la interrupción de forma remota?
Las herramientas internas, el acceso fuera de banda y los lectores de insignias de la oficina funcionaban en la misma red que había fallado. Los ingenieros tuvieron que ir a los centros de datos, donde los bastidores estaban protegidos contra cualquiera con acceso físico. The New York Times informó que los empleados fueron expulsados de los edificios con insignias muertas a las 18:51 UTC.
¿Cómo afectó la interrupción de Facebook al resto de Internet?
Las aplicaciones volvieron a intentarlo y los usuarios recargaron, por lo que el resolvedor de Cloudflare vio treinta veces su carga normal para un sitio que no era accesible. El episodio sitúa el radio de explosión en tres mil quinientos millones de usuarios durante casi seis horas. También informa que Telegram afirmó setenta millones de registros ese día.
¿El post mortem de Facebook solucionó los problemas de raíz detrás de la interrupción?
El veredicto de The Daily Diff fue NEEDS REVIEW. Facebook emitió una declaración la misma noche, publicó un post mortem con el autor nombrado en un día y admitió el error de la herramienta de auditoría en un lenguaje claro. Su lista de soluciones se centró en pruebas y simulacros más sólidos y no dijo nada sobre quitar las puertas de la red de producción. El episodio aconseja poner el acceso fuera de banda en una red que no opere.
Transcripción traducida
Traducido de la narración original en inglés. El audio y los subtítulos disponibles son controlados por YouTube.
Facebook elimina su propia dirección
0:00 Facebook elimina su propia dirección de internet, y cuando sus ingenieros llegan para restablecerla, los lectores de tarjetas de acceso también están caídos, porque funcionan con Facebook. El propio postmortem de Meta, al día siguiente: un comando de mantenimiento de rutina desconecta cada enlace troncal, y la herramienta diseñada para bloquear comandos como ese tiene un error.
Los recibos: Meta Engineering, Cloudflare, Hacker News
0:16 Cloudflare, desde afuera: a las 15:40 UTC las rutas a los servidores de nombres de Facebook desaparecen, y dig facebook.com devuelve SERVFAIL en todo el planeta. Cómo sucede, por qué una función de seguridad lo empeora y quién tiene la culpa. Esto es The Daily Diff, postmortem. Temprano en la tarde, UTC.
Esto es The Daily Diff, postmortem
0:34 Un comando destinado a verificar la capacidad libre de la red troncal, en cambio, desconecta cada enlace entre los centros de datos de Facebook, y la herramienta de auditoría diseñada para detectar exactamente esto
Cronología: comando 15:39 → retirado 15:40 → de vuelta 21:20
0:41 lo deja pasar. 15:40. La fuente BGP de Cloudflare se llena de retiros; el DNS de Facebook los prefijos abandonan la tabla de enrutamiento. En un minuto, los ingenieros de Cloudflare están en una sala preguntándose si ellos rompieron 1.1.1.1. 15:45, Hacker News, dos mil seiscientos puntos. 16:07, el portavoz de Facebook, en Twitter de todos los lugares: algunas personas tienen problemas para acceder a nuestras aplicaciones. Algunas personas son tres mil quinientos millones.
1:06 18:51, el New York Times: empleados encerrados fuera de sus edificios, insignias muertas. 19:52, el CTO se disculpa. 21:00, cinco horas después, las rutas regresan; 21:20, facebook.com se resuelve. ¿Por qué una falla en la red troncal elimina a Facebook de internet?
Mecanismo: la verificación de estado que te elimina, la tormenta DNS 30×, las puertas
1:20 Sus servidores de nombres tienen una regla: no pueden alcanzar los centros de datos, declárense no saludables, dejen de anunciar su dirección. Sensato cuando un sitio va mal. Cuando toda la red troncal se cae, todos los servidores de nombres lo hacen a la vez. Los servidores están levantados. Nadie puede encontrarlos. Una función de seguridad convierte una falla de red en una falla de existencia. Luego, internet se acumula: las aplicaciones lo intentan de nuevo, los usuarios recargan,
1:39 y el resolvedor de Cloudflare ve treinta veces su carga normal, para un sitio que no está allí. Y las puertas. Herramientas, acceso fuera de banda, insignias: la misma red. Los ingenieros conducen a los centros de datos, no pueden entrar, luego se encuentran con racks endurecidos contra cualquiera con acceso físico. Construido para ralentizar a un atacante, también ralentiza al propietario. La red troncal regresa; aumentan el tráfico lentamente, a propósito.
1:59 Cada centro de datos ha bajado decenas de megavatios, y revertir eso en un solo paso es un segundo corte.
git blame — la división
2:05 git blame. Facebook, cincuenta y cinco por ciento: el comando fue auditado, el auditor tuvo el error, un comando llegó a cada enrutador. El diseño de DNS, veinticinco: una verificación de estado sin sentido de la proporción. Una red, quince: herramientas, fuera de banda, insignias. Los racks, cinco, por hacer su trabajo. Radio de impacto: tres mil quinientos millones de usuarios, casi seis horas. La acción cierra a la baja un cinco por ciento, seis mil millones menos de Zuckerberg,
Radio de impacto
2:27 en papel. Telegram afirma setenta millones de registros ese día. Veredicto, postmortem: NEEDS REVIEW. Declaración la misma noche, postmortem de autor nombrado en un día, error de la herramienta de auditoría admitido en lenguaje sencillo.
Veredicto + la línea del lunes
2:38 La lista de correcciones: fortalecer las pruebas y los simulacros. Nada sobre quitar las puertas de la red de producción. Lunes: pon tu acceso fuera de banda, y tu puerta, en una red que no operas. Envíame el incidente del que aún no puedes hablar, en los comentarios, o en the daily diff dot dev. Y esa es la diferencia de hoy. Soy Niko de Axrisi.
2:58 SHIP IT.
Fuentes
- Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
- Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
- Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
- Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
- Andy Stone (Facebook), 16:07 UTCtwitter.com
- Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
- Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
- Hacker News (2,589 points)news.ycombinator.com
- The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
- Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
- Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
- Krebs on Securitykrebsonsecurity.com



