+− THE DAILY DIFFdev & AI news
NEEDS REVIEW

Facebook si è cancellato da internet. Sei ore.

Facebook rimuove il proprio indirizzo da internet e quando i suoi ingegneri arrivano per ripristinarlo, anche i lettori di badge non funzionano, perché girano su Facebook.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Facebook rimuove il proprio indirizzo da internet e quando i suoi ingegneri arrivano per ripristinarlo, anche i lettori di badge non funzionano, perché girano su Facebook. 4 ottobre 2021, 15:40 UTC: un comando di routine per la manutenzione della backbone disabilita ogni collegamento tra i data center di Facebook; lo strumento di audit costruito per bloccarlo ha un bug; i server dei nomi di Facebook, impossibilitati a raggiungere i data center, ritirano per impostazione predefinita le proprie rotte BGP — e facebook.com, Instagram, WhatsApp e Messenger svaniscono dal DNS per quasi sei ore. Gli strumenti interni, l'accesso out-of-band e i badge d'ufficio utilizzano la stessa rete, quindi la soluzione richiede persone ai rack.

Leggi l'edizione scritta (inglese) ↗

Contenuto di questo video

  • Facebook rimuove il proprio indirizzo
  • Le prove: Meta Engineering, Cloudflare, Hacker News
  • Questo è The Daily Diff, postmortem
  • Cronologia: comando 15:39 → ritiro 15:40 → ripristino 21:20
  • Meccanismo: il controllo di integrità che ti elimina, la tempesta DNS 30×, le porte

Domande e risposte

Cosa ha causato l'interruzione di Facebook, Instagram e WhatsApp dell'ottobre 2021?

Un comando di manutenzione di routine della rete dorsale ha disattivato ogni collegamento tra i data center di Facebook e lo strumento di controllo destinato a bloccare tali comandi presentava un bug. Secondo la relazione ingegneristica di Meta, ciò ha disconnesso i data center l'uno dall'altro. Alle 15:40 UTC Cloudflare ha rilevato che le rotte verso i server dei nomi di Facebook erano state ritirate e facebook.com restituiva SERVFAIL fino a quando non è stato risolto di nuovo alle 21:20.

Guarda questa parte 0:40 · engineering.fb.com · blog.cloudflare.com

Perché i server DNS di Facebook si sono rimossi da Internet?

I server dei nomi erano progettati per ritirare le proprie rotte BGP quando non riuscivano a raggiungere i data center. Questa regola è sensata quando un singolo sito fallisce. Quando l'intera rete dorsale è fallita, ogni server dei nomi si è dichiarato non integro contemporaneamente e ha smesso di pubblicizzare il proprio indirizzo. I server erano ancora in funzione, ma nessuno riusciva a trovarli.

Guarda questa parte 1:20 · engineering.fb.com · blog.cloudflare.com

Perché gli ingegneri di Facebook non sono riusciti a risolvere l'interruzione da remoto?

Gli strumenti interni, l'accesso out-of-band e i lettori di badge dell'ufficio funzionavano tutti sulla stessa rete che era fallita. Gli ingegneri hanno dovuto recarsi ai data center, dove i rack erano protetti contro chiunque avesse accesso fisico. Il New York Times ha riportato che i dipendenti erano bloccati fuori dagli edifici con badge non funzionanti alle 18:51 UTC.

Guarda questa parte 1:20 · engineering.fb.com · twitter.com · www.nytimes.com

In che modo l'interruzione di Facebook ha influenzato il resto di Internet?

Le app hanno riprovato e gli utenti hanno ricaricato, quindi il risolutore di Cloudflare ha rilevato trenta volte il suo carico normale per un sito non raggiungibile. L'episodio colloca il raggio di impatto a tre miliardi e mezzo di utenti per quasi sei ore. Riporta anche che Telegram ha dichiarato settanta milioni di iscrizioni quel giorno.

Guarda questa parte 2:25 · blog.cloudflare.com · www.reuters.com

Il postmortem di Facebook ha risolto i problemi alla radice dell'interruzione?

Il verdetto di The Daily Diff è stato NEEDS REVIEW. Facebook ha rilasciato una dichiarazione la stessa sera, ha pubblicato un postmortem con autore nominato entro un giorno e ha ammesso il bug dello strumento di controllo in inglese semplice. L'elenco delle correzioni si è concentrato su test e esercitazioni più rigorosi e non ha detto nulla sul togliere le porte dalla rete di produzione. L'episodio consiglia di mettere l'accesso out-of-band su una rete che non si gestisce.

Guarda questa parte 2:38 · engineering.fb.com · engineering.fb.com

Trascrizione tradotta

Tradotto dalla narrazione originale inglese. L'audio e i sottotitoli disponibili sono controllati da YouTube.

Facebook rimuove il proprio indirizzo

0:00 Facebook rimuove il proprio indirizzo da internet, e quando i suoi ingegneri arrivano per rimetterlo a posto, anche i lettori di badge non funzionano, perché girano su Facebook. Il postmortem di Meta, il giorno dopo: un comando di manutenzione di routine disabilita ogni collegamento della backbone, e lo strumento costruito per bloccare comandi del genere ha un bug.

Le prove: Meta Engineering, Cloudflare, Hacker News

0:16 Cloudflare, dall'esterno: alle 15:40 UTC le rotte ai server dei nomi di Facebook spariscono, e dig facebook.com restituisce SERVFAIL ovunque sul pianeta. Come succede, perché una funzione di sicurezza peggiora le cose, e di chi è la colpa. Questo è The Daily Diff, postmortem. Primo pomeriggio, UTC.

Questo è The Daily Diff, postmortem

0:34 Un comando destinato a verificare la capacità libera della backbone invece disabilita ogni collegamento tra i data center di Facebook, e lo strumento di audit costruito per rilevare esattamente questo

Cronologia: comando 15:39 → ritiro 15:40 → ripristino 21:20

0:41 lo lascia passare. 15:40. Il feed BGP di Cloudflare si riempie di ritiri; i prefissi DNS di Facebook lasciano la tabella di routing. Entro un minuto gli ingegneri di Cloudflare sono in una stanza a chiedersi se hanno rotto 1.1.1.1. 15:45, Hacker News, duemilaseicento punti. 16:07, il portavoce di Facebook, su Twitter di tutti i posti: alcune persone stanno avendo problemi ad accedere alle nostre app. Alcune persone sono tre miliardi e mezzo.

1:06 18:51, il New York Times: dipendenti bloccati fuori dai loro edifici, badge inattivi. 19:52, il CTO si scusa. 21:00, cinque ore dopo, le rotte ritornano; 21:20, facebook.com si risolve. Perché un guasto alla backbone cancella Facebook da internet?

Meccanismo: il controllo di integrità che ti elimina, la tempesta DNS 30×, le porte

1:20 I suoi server dei nomi hanno una regola: non riescono a raggiungere i data center, dichiarati non in salute, smetti di pubblicizzare il tuo indirizzo. Ragionevole quando un sito va male. Quando tutta la backbone va, ogni server dei nomi lo fa contemporaneamente. I server sono attivi. Nessuno riesce a trovarli. Una funzione di sicurezza trasforma un guasto di rete in un guasto di esistenza. Poi internet si accoda: le app riprovano, gli utenti ricaricano,

1:39 e il resolver di Cloudflare vede trenta volte il suo carico normale, per un sito che non c'è. E le porte. Strumenti, accesso out-of-band, badge: stessa rete. Gli ingegneri guidano verso i data center, non riescono ad entrare, poi incontrano rack rinforzati contro chiunque abbia accesso fisico. Costruito per rallentare un attaccante, rallenta anche il proprietario. La backbone ritorna; aumentano il traffico lentamente, di proposito.

1:59 Ogni data center ha perso decine di megawatt, e invertire ciò in un solo passo è una seconda interruzione.

git blame — la divisione

2:05 git blame. Facebook, cinquantacinque percento: il comando è stato controllato, l'auditor aveva il bug, un comando ha raggiunto ogni router. Il design DNS, venticinque: un controllo di integrità senza senso di proporzione. Una rete, quindici: strumenti, out-of-band, badge. I rack, cinque, per aver fatto il loro lavoro. Raggio d'azione: tre miliardi e mezzo di utenti, quasi sei ore. Il titolo chiude in calo del cinque percento, sei miliardi in meno per Zuckerberg,

Raggio d'azione

2:27 sulla carta. Telegram dichiara settanta milioni di iscrizioni quel giorno. Verdetto, postmortem: NEEDS REVIEW. Dichiarazione la sera stessa, postmortem con autore nominato entro un giorno, bug dello strumento di audit ammesso in chiaro italiano.

Verdetto + la linea di lunedì

2:38 L'elenco delle correzioni: rafforzare test ed esercitazioni. Niente sul togliere le porte dalla rete di produzione. Lunedì: metti il tuo accesso out-of-band, e la tua porta, su una rete che non gestisci. Inviami l'incidente di cui non ti è ancora permesso parlare, nei commenti, o a the daily diff dot dev. E questa è la differenza per oggi. Sono Niko di Axrisi.

2:58 Merge responsabilmente.

Fonti

  1. Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
  2. Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
  3. Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
  4. Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
  5. Andy Stone (Facebook), 16:07 UTCtwitter.com
  6. Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
  7. Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
  8. Hacker News (2,589 points)news.ycombinator.com
  9. The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
  10. Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
  11. Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
  12. Krebs on Securitykrebsonsecurity.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Video correlati