Facebook hat sich selbst aus dem Internet gelöscht. Sechs Stunden.
Facebook entfernt seine eigene Adresse aus dem Internet, und als seine Ingenieure eintreffen, um sie wiederherzustellen, sind auch die Ausweisleser ausgefallen, weil sie auf Facebook laufen.
Facebook entfernt seine eigene Adresse aus dem Internet, und als seine Ingenieure eintreffen, um sie wiederherzustellen, sind auch die Ausweisleser ausgefallen, weil sie auf Facebook laufen. 4. Oktober 2021, 15:40 UTC: Ein routinemäßiger Backbone-Wartungsbefehl legt jede Verbindung zwischen den Facebook-Rechenzentren lahm; das Audit-Tool, das dies verhindern sollte, hat einen Fehler; Facebooks Nameserver, die die Rechenzentren nicht erreichen können, ziehen ihre eigenen BGP-Routen zurück – und facebook.com, Instagram, WhatsApp und Messenger verschwinden für fast sechs Stunden aus dem DNS. Interne Tools, Out-of-Band-Zugriff und die Büroausweise laufen über dasselbe Netzwerk, daher braucht die Behebung Leute an den Racks.
Die schriftliche Ausgabe lesen (Englisch) ↗
Was dieses Video behandelt
- Facebook entfernt seine eigene Adresse
- Die Belege: Meta Engineering, Cloudflare, Hacker News
- Das ist The Daily Diff, Postmortem
- Zeitplan: 15:39 Befehl → 15:40 zurückgezogen → 21:20 zurück
- Mechanismus: der Health Check, der dich löscht, der 30-fache DNS-Sturm, die Türen
Fragen und Antworten
Was verursachte den Ausfall von Facebook, Instagram und WhatsApp im Oktober 2021?
Ein routinemäßiger Wartungsbefehl für das Backbone legte jede Verbindung zwischen den Rechenzentren von Facebook lahm, und das Audit-Tool, das solche Befehle blockieren sollte, hatte einen Fehler. Laut dem technischen Bericht von Meta trennte dies die Rechenzentren voneinander. Um 15:40 UTC sah Cloudflare, wie Routen zu Facebooks Nameservern zurückgezogen wurden, und facebook.com meldete SERVFAIL, bis es um 21:20 Uhr wieder auflöste.
Warum haben sich die DNS-Server von Facebook aus dem Internet entfernt?
Die Nameserver waren so konzipiert, dass sie ihre eigenen BGP-Routen zurückziehen, wenn sie die Rechenzentren nicht erreichen konnten. Diese Regel ist sinnvoll, wenn ein Standort ausfällt. Als das gesamte Backbone ausfiel, erklärte sich jeder Nameserver gleichzeitig für ungesund und hörte auf, seine Adresse zu bewerben. Die Server liefen immer noch, aber niemand konnte sie finden.
Warum konnten die Facebook-Ingenieure den Ausfall nicht aus der Ferne beheben?
Interne Tools, Out-of-Band-Zugriff und die Büroschlüsselkartenleser liefen alle auf demselben Netzwerk, das ausgefallen war. Ingenieure mussten zu den Rechenzentren gehen, wo die Racks gegen jeden mit physischem Zugriff gehärtet waren. Die New York Times berichtete um 18:51 UTC von Mitarbeitern, die mit nicht funktionierenden Ausweisen aus Gebäuden ausgesperrt waren.
Wie hat der Facebook-Ausfall den Rest des Internets beeinflusst?
Apps versuchten es erneut und Benutzer luden neu, sodass der Resolver von Cloudflare das dreißigfache seiner normalen Last für eine nicht erreichbare Seite sah. Die Episode beziffert den Schadensradius auf dreieinhalb Milliarden Benutzer für fast sechs Stunden. Sie berichtet auch, dass Telegram an diesem Tag siebzig Millionen Anmeldungen verzeichnete.
Behob Facebooks Postmortem die eigentlichen Probleme hinter dem Ausfall?
Das Urteil von The Daily Diff lautete NEEDS REVIEW. Facebook gab noch am selben Abend eine Erklärung ab, veröffentlichte innerhalb eines Tages einen Postmortem-Bericht mit Autorennamen und gab den Audit-Tool-Fehler klar und deutlich zu. Die Fehlerbehebungsliste konzentrierte sich auf stärkere Tests und Übungen und sagte nichts darüber, die Türen zum Produktionsnetzwerk zu entfernen. Die Episode empfiehlt, den Out-of-Band-Zugriff in einem Netzwerk zu platzieren, das man nicht selbst betreibt.
Übersetztes Transkript
Aus der englischen Originalerzählung übersetzt. Verfügbare Audio- und Untertitel werden von YouTube gesteuert.
Facebook entfernt seine eigene Adresse
0:00 Facebook entfernt seine eigene Adresse aus dem Internet, und wenn seine Ingenieure eintreffen, um sie wiederherzustellen, sind auch die Ausweisleser ausgefallen, weil sie auf Facebook laufen. Metas eigenes Postmortem, am nächsten Tag: ein routinemäßiger Wartungsbefehl legt jede Backbone-Verbindung lahm, und das Tool, das solche Befehle blockieren sollte, hat einen Fehler.
Die Belege: Meta Engineering, Cloudflare, Hacker News
0:16 Cloudflare, von außen: um 15:40 UTC verschwinden die Routen zu Facebooks Nameservern, und dig facebook.com gibt überall auf der Welt SERVFAIL zurück. Wie es passiert, warum eine Sicherheitsfunktion es schlimmer macht und wer die Schuld bekommt. Das ist The Daily Diff, Postmortem. Früher Nachmittag, UTC.
Das ist The Daily Diff, Postmortem
0:34 Ein Befehl, der die freie Backbone-Kapazität überprüfen sollte, legt stattdessen jede Verbindung zwischen Facebooks Rechenzentren lahm, und das Audit-Tool, das genau dies erkennen sollte,
Zeitplan: 15:39 Befehl → 15:40 zurückgezogen → 21:20 zurück
0:41 winkt es durch. 15:40. Cloudflares BGP-Feed füllt sich mit Rückzügen; Facebooks DNS-Präfixe verlassen die Routing-Tabelle. präfixe verlassen die Routing-Tabelle. Innerhalb einer Minute sitzen Cloudflares Ingenieure in einem Raum und fragen sich, ob sie 1.1.1.1 kaputt gemacht haben. 15:45, Hacker News, zweitausendsechshundert Punkte. 16:07, Facebooks Sprecher, ausgerechnet auf Twitter: einige Leute haben Probleme beim Zugriff auf unsere Apps. Einige Leute sind dreieinhalb Milliarden.
1:06 18:51, die New York Times: Mitarbeiter aus ihren Gebäuden ausgesperrt, Ausweise tot. 19:52, der CTO entschuldigt sich. 21:00, nach fünf Stunden, Routen kehren zurück; 21:20, facebook.com löst auf. Warum löscht ein Backbone-Fehler Facebook aus dem Internet?
Mechanismus: der Health Check, der dich löscht, der 30-fache DNS-Sturm, die Türen
1:20 Seine Nameserver haben eine Regel: können die Rechenzentren nicht erreichen, sich selbst als ungesund deklarieren, die Werbung für die eigene Adresse einstellen. Sinnvoll, wenn eine Site schlecht wird. Wenn der ganze Backbone ausfällt, tun es alle Nameserver gleichzeitig. Die Server sind oben. Niemand kann sie finden. Eine Sicherheitsfunktion verwandelt einen Netzwerkfehler in einen Existenzfehler. Dann häuft sich das Internet: Apps versuchen es erneut, Benutzer laden neu,
1:39 und Cloudflares Resolver sieht das Dreißigfache seiner normalen Last, für eine Website, die nicht da ist. Und die Türen. Tools, Out-of-Band-Zugriff, Ausweise: dasselbe Netzwerk. Ingenieure fahren zu den Rechenzentren, können nicht hinein, treffen dann auf Racks, die gehärtet sind gegen jeden mit physischem Zugriff. Gebaut, um einen Angreifer zu verlangsamen, verlangsamt es auch den Besitzer. Der Backbone kehrt zurück; sie steigern den Verkehr langsam, absichtlich.
1:59 Jedes Rechenzentrum hat zig Megawatt verloren, und das in einem Schritt rückgängig zu machen, ist ein zweiter Ausfall.
git blame – die Aufteilung
2:05 git blame. Facebook, fünfundfünfzig Prozent: der Befehl wurde geprüft, der Prüfer hatte den Fehler, ein Befehl erreichte jeden Router. Das DNS-Design, fünfundzwanzig: ein Health Check ohne Augenmaß. Ein Netzwerk, fünfzehn: Tools, Out-of-Band, Ausweise. Die Racks, fünf, dafür, dass sie ihren Job gemacht haben. Auswirkungsbereich: dreieinhalb Milliarden Benutzer, fast sechs Stunden. Die Aktie schließt fünf Prozent im Minus, sechs Milliarden weniger für Zuckerberg,
Auswirkungsbereich
2:27 auf dem Papier. Telegram beansprucht an diesem Tag siebzig Millionen Anmeldungen. Urteil, Postmortem: NEEDS REVIEW. Erklärung noch am selben Abend, Postmortem mit genanntem Autor innerhalb eines Tages, Audit-Tool-Fehler in einfachem Englisch zugegeben.
Urteil + die Montagslinie
2:38 Die Fixliste: Tests und Übungen verstärken. Nichts davon, die Türen vom Produktionsnetzwerk zu entfernen. Montag: legen Sie Ihren Out-of-Band-Zugriff und Ihre Tür in ein Netzwerk, das Sie nicht betreiben. Senden Sie mir den Vorfall, über den Sie immer noch nicht sprechen dürfen, in den Kommentaren oder unter the daily diff dot dev. Und das ist der Diff für heute. Ich bin Niko von Axrisi.
2:58 Merge responsibly.
Quellen
- Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
- Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
- Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
- Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
- Andy Stone (Facebook), 16:07 UTCtwitter.com
- Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
- Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
- Hacker News (2,589 points)news.ycombinator.com
- The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
- Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
- Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
- Krebs on Securitykrebsonsecurity.com



