+− THE DAILY DIFFdev & AI news
NEEDS REVIEW

Facebook se eliminó de internet. Seis horas.

Facebook elimina su propia dirección de internet, y cuando sus ingenieros llegan para restablecerla, los lectores de credenciales también están caídos, porque funcionan con Facebook.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Facebook elimina su propia dirección de internet, y cuando sus ingenieros llegan para restablecerla, los lectores de credenciales también están caídos, porque funcionan con Facebook. 4 de octubre de 2021, 15:40 UTC: un comando de mantenimiento rutinario de la red troncal desconecta todos los enlaces entre los centros de datos de Facebook; la herramienta de auditoría creada para bloquearlo tiene un error; los servidores de nombres de Facebook, al no poder llegar a los centros de datos, retiran sus propias rutas BGP por diseño, y facebook.com, Instagram, WhatsApp y Messenger desaparecen del DNS durante casi seis horas. Las herramientas internas, el acceso fuera de banda y las credenciales de oficina utilizan la misma red, por lo que la solución requiere personas en los racks.

Leer la edición escrita (inglés) ↗

Qué cubre este vídeo

  • Facebook elimina su propia dirección
  • Los recibos: Meta Engineering, Cloudflare, Hacker News
  • Esto es The Daily Diff, postmortem
  • Cronología: 15:39 comando → 15:40 retirado → 21:20 de vuelta
  • Mecanismo: la comprobación de estado que te borra, la tormenta DNS 30×, las puertas

Preguntas y respuestas

Causas de la interrupción de Facebook, Instagram y WhatsApp en octubre de 2021

Un comando de mantenimiento de rutina de la red troncal desconectó todos los enlaces entre los centros de datos de Facebook, y la herramienta de auditoría diseñada para bloquear dichos comandos tenía un error. Según el informe de ingeniería de Meta, esto desconectó los centros de datos entre sí. A las 15:40 UTC, Cloudflare vio que se retiraban las rutas a los servidores de nombres de Facebook, y facebook.com devolvió SERVFAIL hasta que se resolvió nuevamente a las 21:20.

Ver esta parte 0:40 · engineering.fb.com · blog.cloudflare.com

¿Por qué los servidores DNS de Facebook se eliminaron de Internet?

Los servidores de nombres estaban diseñados para retirar sus propias rutas BGP cuando no podían llegar a los centros de datos. Esa regla es sensata cuando falla un sitio. Cuando falló toda la red troncal, cada servidor de nombres se declaró a sí mismo no saludable a la vez y dejó de anunciar su dirección. Los servidores seguían funcionando, pero nadie podía encontrarlos.

Ver esta parte 1:20 · engineering.fb.com · blog.cloudflare.com

¿Por qué los ingenieros de Facebook no pudieron solucionar la interrupción de forma remota?

Las herramientas internas, el acceso fuera de banda y los lectores de tarjetas de acceso de la oficina funcionaban en la misma red que había fallado. Los ingenieros tuvieron que ir a los centros de datos, donde los racks estaban protegidos contra cualquier persona con acceso físico. El New York Times informó que los empleados estaban bloqueados fuera de los edificios con tarjetas de acceso sin funcionar a las 18:51 UTC.

Ver esta parte 1:20 · engineering.fb.com · twitter.com · www.nytimes.com

¿Cómo afectó la interrupción de Facebook al resto de Internet?

Las aplicaciones volvieron a intentarlo y los usuarios recargaron, por lo que el resolvedor de Cloudflare vio treinta veces su carga normal para un sitio que no era accesible. El episodio sitúa el radio de explosión en tres mil quinientos millones de usuarios durante casi seis horas. También informa que Telegram afirmó setenta millones de registros ese día.

Ver esta parte 2:25 · blog.cloudflare.com · www.reuters.com

¿La autopsia de Facebook solucionó los problemas fundamentales detrás de la interrupción?

El veredicto de The Daily Diff fue NEEDS REVIEW. Facebook emitió un comunicado la misma noche, publicó una autopsia con autoría nombrada en un día y admitió el error de la herramienta de auditoría en un lenguaje sencillo. Su lista de soluciones se centró en pruebas y simulacros más sólidos y no dijo nada sobre quitar las puertas de la red de producción. El episodio aconseja poner el acceso fuera de banda en una red que no se opere.

Ver esta parte 2:38 · engineering.fb.com · engineering.fb.com

Transcripción traducida

Traducido de la narración original en inglés. El audio y los subtítulos disponibles están controlados por YouTube.

Facebook elimina su propia dirección

0:00 Facebook elimina su propia dirección de internet, y cuando sus ingenieros llegan para restablecerla, los lectores de credenciales también están caídos, porque funcionan con Facebook. El propio postmortem de Meta, al día siguiente: un comando de mantenimiento rutinario desconecta todos los enlaces troncales, y la herramienta creada para bloquear comandos como ese tiene un error.

Los recibos: Meta Engineering, Cloudflare, Hacker News

0:16 Cloudflare, desde fuera: a las 15:40 UTC las rutas a los servidores de nombres de Facebook desaparecen, y dig facebook.com devuelve SERVFAIL en todo el planeta. Cómo sucede, por qué una función de seguridad lo empeora y quién tiene la culpa. Esto es The Daily Diff, postmortem. Primera hora de la tarde, UTC.

Esto es The Daily Diff, postmortem

0:34 Un comando destinado a verificar la capacidad libre de la red troncal, en cambio, desconecta todos los enlaces entre los centros de datos de Facebook, y la herramienta de auditoría creada para detectar exactamente esto

Cronología: 15:39 comando → 15:40 retirado → 21:20 de vuelta

0:41 lo deja pasar. 15:40. La fuente BGP de Cloudflare se llena de retiradas; los prefijos DNS de Facebook salen de la tabla de enrutamiento. En un minuto, los ingenieros de Cloudflare están en una sala preguntándose si rompieron 1.1.1.1. 15:45, Hacker News, dos mil seiscientos puntos. 16:07, el portavoz de Facebook, en Twitter nada menos: algunas personas están teniendo problemas para acceder a nuestras aplicaciones. Algunas personas son tres mil quinientos millones.

1:06 18:51, The New York Times: empleados encerrados fuera de sus edificios, credenciales muertas. 19:52, el CTO se disculpa. 21:00, cinco horas después, las rutas regresan; 21:20, facebook.com se resuelve. ¿Por qué una falla en la red troncal elimina a Facebook de internet?

Mecanismo: la comprobación de estado que te borra, la tormenta DNS 30×, las puertas

1:20 Sus servidores de nombres tienen una regla: no pueden llegar a los centros de datos, declárate no saludable, deja de anunciar tu dirección. Sensato cuando un sitio va mal. Cuando toda la red troncal falla, cada servidor de nombres lo hace a la vez. Los servidores están levantados. Nadie puede encontrarlos. Una función de seguridad convierte una falla de red en una falla de existencia. Luego internet se aglomera: las aplicaciones reintentan, los usuarios recargan,

1:39 y el resolvedor de Cloudflare ve treinta veces su carga normal, para un sitio que no está ahí. Y las puertas. Herramientas, acceso fuera de banda, credenciales: la misma red. Los ingenieros conducen a los centros de datos, no pueden entrar, luego encuentran racks endurecidos contra cualquiera con acceso físico. Construido para ralentizar a un atacante, también ralentiza al propietario. La red troncal regresa; aumentan el tráfico lentamente, a propósito.

1:59 Cada centro de datos ha perdido decenas de megavatios, y revertir eso en un solo paso es una segunda interrupción.

git blame — la división

2:05 git blame. Facebook, cincuenta y cinco por ciento: el comando fue auditado, el auditor tenía el error, un comando llegó a cada router. El diseño de DNS, veinticinco: una comprobación de estado sin sentido de la proporción. Una red, quince: herramientas, fuera de banda, credenciales. Los racks, cinco, por hacer su trabajo. Radio de impacto: tres mil quinientos millones de usuarios, casi seis horas. Las acciones cierran un cinco por ciento a la baja, seis mil millones menos para Zuckerberg,

Radio de impacto

2:27 en papel. Telegram afirma setenta millones de inscripciones ese día. Veredicto, postmortem: NEEDS REVIEW. Declaración la misma noche, postmortem de autor nombrado en un día, error de la herramienta de auditoría admitido en inglés sencillo.

Veredicto + la línea del lunes

2:38 Lista de soluciones: fortalecer las pruebas y los simulacros. Nada sobre quitar las puertas de la red de producción. Lunes: pon tu acceso fuera de banda, y tu puerta, en una red que no operas. Envíame el incidente del que todavía no se te permite hablar, en los comentarios, o en the daily diff dot dev. Y esa es la diferencia de hoy. Soy Niko de Axrisi.

2:58 Merge responsibly.

Fuentes

  1. Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
  2. Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
  3. Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
  4. Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
  5. Andy Stone (Facebook), 16:07 UTCtwitter.com
  6. Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
  7. Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
  8. Hacker News (2,589 points)news.ycombinator.com
  9. The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
  10. Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
  11. Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
  12. Krebs on Securitykrebsonsecurity.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Vídeos relacionados