Facebook se eliminó a sí mismo de internet. Seis horas.

Lo que cubre este video

• Facebook elimina su propia dirección
• Los recibos: Meta Engineering, Cloudflare, Hacker News
• Esto es The Daily Diff, postmortem
• Cronología: comando 15:39 → retirado 15:40 → de vuelta 21:20
• Mecanismo: la verificación de estado que te elimina, la tormenta DNS 30×, las puertas

Transcripción traducida

Traducido de la narración original en inglés. El audio y los subtítulos disponibles son controlados por YouTube.

Facebook elimina su propia dirección

0:00 Facebook elimina su propia dirección de internet, y cuando sus ingenieros llegan para restablecerla, los lectores de tarjetas de acceso también están caídos, porque funcionan con Facebook. El propio postmortem de Meta, al día siguiente: un comando de mantenimiento de rutina desconecta cada enlace troncal, y la herramienta diseñada para bloquear comandos como ese tiene un error.

Los recibos: Meta Engineering, Cloudflare, Hacker News

0:16 Cloudflare, desde afuera: a las 15:40 UTC las rutas a los servidores de nombres de Facebook desaparecen, y dig facebook.com devuelve SERVFAIL en todo el planeta. Cómo sucede, por qué una función de seguridad lo empeora y quién tiene la culpa. Esto es The Daily Diff, postmortem. Temprano en la tarde, UTC.

Esto es The Daily Diff, postmortem

0:34 Un comando destinado a verificar la capacidad libre de la red troncal, en cambio, desconecta cada enlace entre los centros de datos de Facebook, y la herramienta de auditoría diseñada para detectar exactamente esto

Cronología: comando 15:39 → retirado 15:40 → de vuelta 21:20

0:41 lo deja pasar. 15:40. La fuente BGP de Cloudflare se llena de retiros; el DNS de Facebook los prefijos abandonan la tabla de enrutamiento. En un minuto, los ingenieros de Cloudflare están en una sala preguntándose si ellos rompieron 1.1.1.1. 15:45, Hacker News, dos mil seiscientos puntos. 16:07, el portavoz de Facebook, en Twitter de todos los lugares: algunas personas tienen problemas para acceder a nuestras aplicaciones. Algunas personas son tres mil quinientos millones.

1:06 18:51, el New York Times: empleados encerrados fuera de sus edificios, insignias muertas. 19:52, el CTO se disculpa. 21:00, cinco horas después, las rutas regresan; 21:20, facebook.com se resuelve. ¿Por qué una falla en la red troncal elimina a Facebook de internet?

Mecanismo: la verificación de estado que te elimina, la tormenta DNS 30×, las puertas

1:20 Sus servidores de nombres tienen una regla: no pueden alcanzar los centros de datos, declárense no saludables, dejen de anunciar su dirección. Sensato cuando un sitio va mal. Cuando toda la red troncal se cae, todos los servidores de nombres lo hacen a la vez. Los servidores están levantados. Nadie puede encontrarlos. Una función de seguridad convierte una falla de red en una falla de existencia. Luego, internet se acumula: las aplicaciones lo intentan de nuevo, los usuarios recargan,

1:39 y el resolvedor de Cloudflare ve treinta veces su carga normal, para un sitio que no está allí. Y las puertas. Herramientas, acceso fuera de banda, insignias: la misma red. Los ingenieros conducen a los centros de datos, no pueden entrar, luego se encuentran con racks endurecidos contra cualquiera con acceso físico. Construido para ralentizar a un atacante, también ralentiza al propietario. La red troncal regresa; aumentan el tráfico lentamente, a propósito.

1:59 Cada centro de datos ha bajado decenas de megavatios, y revertir eso en un solo paso es un segundo corte.

git blame — la división

2:05 git blame. Facebook, cincuenta y cinco por ciento: el comando fue auditado, el auditor tuvo el error, un comando llegó a cada enrutador. El diseño de DNS, veinticinco: una verificación de estado sin sentido de la proporción. Una red, quince: herramientas, fuera de banda, insignias. Los racks, cinco, por hacer su trabajo. Radio de impacto: tres mil quinientos millones de usuarios, casi seis horas. La acción cierra a la baja un cinco por ciento, seis mil millones menos de Zuckerberg,

Radio de impacto

2:27 en papel. Telegram afirma setenta millones de registros ese día. Veredicto, postmortem: NEEDS REVIEW. Declaración la misma noche, postmortem de autor nombrado en un día, error de la herramienta de auditoría admitido en lenguaje sencillo.

Veredicto + la línea del lunes

2:38 La lista de correcciones: fortalecer las pruebas y los simulacros. Nada sobre quitar las puertas de la red de producción. Lunes: pon tu acceso fuera de banda, y tu puerta, en una red que no operas. Envíame el incidente del que aún no puedes hablar, en los comentarios, o en the daily diff dot dev. Y esa es la diferencia de hoy. Soy Niko de Axrisi.

2:58 SHIP IT.

Fuentes

1. Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
2. Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
3. Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
4. Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
5. Andy Stone (Facebook), 16:07 UTCtwitter.com
6. Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
7. Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
8. Hacker News (2,589 points)news.ycombinator.com
9. The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
10. Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
11. Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
12. Krebs on Securitykrebsonsecurity.com