+− THE DAILY DIFFdev & AI news
NEEDS REVIEW

Facebook es va esborrar d'internet. Sis hores.

Facebook elimina la seva pròpia adreça d'internet, i quan els seus enginyers arriben per tornar-la a posar, els lectors de credencials també estan caiguts, perquè funcionen amb Facebook.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Facebook elimina la seva pròpia adreça d'internet, i quan els seus enginyers arriben per tornar-la a posar, els lectors de credencials també estan caiguts, perquè funcionen amb Facebook. 4 d'octubre de 2021, 15:40 UTC: una comanda de manteniment rutinària de la columna vertebral fa caure tots els enllaços entre els centres de dades de Facebook; l'eina d'auditoria construïda per bloquejar-ho té un error; els servidors de noms de Facebook, incapaços d'arribar als centres de dades, retiren les seves pròpies rutes BGP per disseny —i facebook.com, Instagram, WhatsApp i Messenger desapareixen del DNS durant gairebé sis hores. Les eines internes, l'accés fora de banda i les credencials de l'oficina utilitzen la mateixa xarxa, així que la solució necessita gent als racks.

Llegeix l'edició escrita (anglès) ↗

Què cobreix aquest vídeo

  • Facebook elimina la seva pròpia adreça
  • Els rebuts: Meta Engineering, Cloudflare, Hacker News
  • Aquest és The Daily Diff, postmortem
  • Cronologia: 15:39 comanda → 15:40 retirada → 21:20 tornada
  • Mecanisme: la comprovació de salut que t'elimina, la tempesta DNS 30×, les portes

Preguntes i respostes

Què va causar l'apagada de Facebook, Instagram i WhatsApp l'octubre de 2021?

Una ordre de manteniment rutinària de la xarxa troncal va desconnectar tots els enllaços entre els centres de dades de Facebook, i l'eina d'auditoria destinada a bloquejar aquestes ordres tenia un error. Segons la redacció d'enginyeria de Meta, això va desconnectar els centres de dades entre si. A les 15:40 UTC, Cloudflare va veure que les rutes als servidors de noms de Facebook es retiraven, i facebook.com va retornar SERVFAIL fins que es va resoldre de nou a les 21:20.

Mireu aquesta part 0:40 · engineering.fb.com · blog.cloudflare.com

Per què els servidors DNS de Facebook es van eliminar d'Internet?

Els servidors de noms van ser dissenyats per retirar les seves pròpies rutes BGP quan no podien arribar als centres de dades. Aquesta regla és sensata quan un lloc falla. Quan tota la xarxa troncal va fallar, tots els servidors de noms es van declarar insalubres alhora i van deixar d'anunciar la seva adreça. Els servidors encara estaven en funcionament, però ningú els podia trobar.

Mireu aquesta part 1:20 · engineering.fb.com · blog.cloudflare.com

Per què els enginyers de Facebook no van poder solucionar l'apagada de forma remota?

Les eines internes, l'accés fora de banda i els lectors de targetes d'oficina funcionaven a la mateixa xarxa que havia fallat. Els enginyers van haver d'anar als centres de dades, on els bastidors estaven protegits contra qualsevol persona amb accés físic. The New York Times va informar que els empleats van quedar tancats fora dels edificis amb les targetes mortes a les 18:51 UTC.

Mireu aquesta part 1:20 · engineering.fb.com · twitter.com · www.nytimes.com

Com va afectar l'apagada de Facebook la resta d'Internet?

Les aplicacions van intentar de nou i els usuaris van recarregar, de manera que el resolutor de Cloudflare va veure trenta vegades la seva càrrega normal per a un lloc que no era accessible. L'episodi posa el radi d'explosió en tres mil milions i mig d'usuaris durant gairebé sis hores. També informa que Telegram va afirmar setanta milions de registres aquell dia.

Mireu aquesta part 2:25 · blog.cloudflare.com · www.reuters.com

La postmortem de Facebook va solucionar els problemes arrel darrere de l'apagada?

El veredicte de The Daily Diff va ser NEEDS REVIEW. Facebook va emetre una declaració la mateixa nit, va publicar una postmortem amb autor en un dia i va admetre l'error de l'eina d'auditoria en un llenguatge senzill. La seva llista de solucions es va centrar en proves i exercicis més sòlids i no va dir res sobre treure les portes de la xarxa de producció. L'episodi aconsella posar l'accés fora de banda en una xarxa que no opereu.

Mireu aquesta part 2:38 · engineering.fb.com · engineering.fb.com

Transcripció traduïda

Traduït de la narració original en anglès. L'àudio i els subtítols disponibles estan controlats per YouTube.

Facebook elimina la seva pròpia adreça

0:00 Facebook elimina la seva pròpia adreça d'internet, i quan els seus enginyers arriben per tornar-la a posar, els lectors de credencials també estan caiguts, perquè funcionen amb Facebook. El propi postmortem de Meta, l'endemà: una comanda de manteniment rutinària fa caure tots els enllaços de la columna vertebral, i l'eina construïda per bloquejar comandes com aquesta té un error.

Els rebuts: Meta Engineering, Cloudflare, Hacker News

0:16 Cloudflare, des de fora: a les 15:40 UTC les rutes als servidors de noms de Facebook desapareixen, i dig facebook.com retorna SERVFAIL a tot arreu del planeta. Com passa, per què una funció de seguretat ho empitjora i qui en té la culpa. Aquest és The Daily Diff, postmortem. Primera hora de la tarda, UTC.

Aquest és The Daily Diff, postmortem

0:34 Una comanda destinada a comprovar la capacitat lliure de la columna vertebral en lloc d'això fa caure tots els enllaços entre els centres de dades de Facebook, i l'eina d'auditoria construïda per detectar exactament això

Cronologia: 15:39 comanda → 15:40 retirada → 21:20 tornada

0:41 ho deixa passar. 15:40. L'alimentació BGP de Cloudflare s'omple de retirades; els prefixos DNS de Facebook abandonen la taula d'encaminament. En un minut, els enginyers de Cloudflare estan en una sala preguntant-se si van trencar 1.1.1.1. 15:45, Hacker News, dos mil sis-cents punts. 16:07, el portaveu de Facebook, a Twitter de tots els llocs: algunes persones estan tenint problemes per accedir a les nostres aplicacions. Algunes persones són tres mil cinc-cents milions.

1:06 18:51, el New York Times: empleats tancats fora dels seus edificis, credencials mortes. 19:52, el CTO es disculpa. 21:00, cinc hores després, les rutes tornen; 21:20, facebook.com es resol. Per què una fallada de la columna vertebral esborra Facebook d'internet?

Mecanisme: la comprovació de salut que t'elimina, la tempesta DNS 30×, les portes

1:20 Els seus servidors de noms tenen una regla: no poden arribar als centres de dades, declara't no saludable, deixa d'anunciar la teva adreça. Sensat quan un lloc falla. Quan tota la columna vertebral falla, cada servidor de noms ho fa alhora. Els servidors estan en funcionament. Ningú els pot trobar. Una funció de seguretat converteix una fallada de xarxa en una fallada d'existència. Aleshores internet s'hi llança: les aplicacions tornen a intentar-ho, els usuaris recarreguen,

1:39 i el resolutor de Cloudflare veu trenta vegades la seva càrrega normal, per a un lloc que no hi és. I les portes. Eines, accés fora de banda, credencials: mateixa xarxa. Els enginyers condueixen als centres de dades, no poden entrar, després troben racks endurits contra qualsevol amb accés físic. Construït per ralentir un atacant, també retarda el propietari. La columna vertebral torna; augmenten el trànsit lentament, a propòsit.

1:59 Cada centre de dades ha caigut desenes de megawatts, i revertir això en un pas és una segona interrupció.

git blame — la divisió

2:05 git blame. Facebook, cinquanta-cinc per cent: la comanda va ser auditada, l'auditor tenia l'error, una comanda va arribar a tots els routers. El disseny DNS, vint-i-cinc: una comprovació de salut sense sentit de la proporció. Una xarxa, quinze: eines, fora de banda, credencials. Els racks, cinc, per fer la seva feina. Radi de blast: tres mil cinc-cents milions d'usuaris, gairebé sis hores. Les accions tanquen amb una caiguda del cinc per cent, sis mil milions menys per a Zuckerberg,

Radi de blast

2:27 sobre el paper. Telegram afirma setanta milions de registres aquell dia. Veredicte, postmortem: NEEDS REVIEW. Declaració la mateixa tarda, postmortem d'autor amb nom en un dia, error de l'eina d'auditoria admès en català clar.

Veredicte + la línia de dilluns

2:38 La llista de correccions: reforçar les proves i els simulacres. Res sobre treure les portes de la xarxa de producció. Dilluns: posa el teu accés fora de banda, i la teva porta, en una xarxa que no operes. Envia'm l'incident del qual encara no se't permet parlar, als comentaris, o a the daily diff dot dev. I aquesta és la diferència d'avui. Sóc en Niko d'Axrisi.

2:58 Merge responsibly.

Fonts

  1. Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
  2. Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
  3. Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
  4. Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
  5. Andy Stone (Facebook), 16:07 UTCtwitter.com
  6. Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
  7. Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
  8. Hacker News (2,589 points)news.ycombinator.com
  9. The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
  10. Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
  11. Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
  12. Krebs on Securitykrebsonsecurity.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Vídeos relacionats