Facebook verwijderde zichzelf van het internet. Zes uur.

Wat deze video behandelt

• Facebook verwijdert zijn eigen adres
• De bewijzen: Meta Engineering, Cloudflare, Hacker News
• Dit is The Daily Diff, postmortem
• Tijdlijn: 15:39 commando → 15:40 ingetrokken → 21:20 terug
• Mechanisme: de gezondheidscontrole die je verwijdert, de 30× DNS storm, de deuren

Vertaald transcript

Vertaald vanuit de originele Engelse gesproken tekst. Beschikbare audio en ondertiteling worden beheerd door YouTube.

Facebook verwijdert zijn eigen adres

0:00 Facebook verwijdert zijn eigen adres van het internet, en wanneer zijn ingenieurs aankomen om het terug te plaatsen, zijn de badgelezers ook buiten werking, omdat ze op Facebook draaien. Meta's eigen postmortem, de volgende dag: een routine onderhoudscommando schakelt elke backbone-link uit, en de tool die gebouwd is om dergelijke commando's te blokkeren, heeft een bug.

De bewijzen: Meta Engineering, Cloudflare, Hacker News

0:16 Cloudflare, van buitenaf: om 15:40 UTC verdwijnen de routes naar de naamservers van Facebook, en dig facebook.com retourneert overal ter wereld SERVFAIL. Hoe het gebeurt, waarom een veiligheidsfunctie het erger maakt, en wie de schuld krijgt. Dit is The Daily Diff, postmortem. Vroege middag, UTC.

Dit is The Daily Diff, postmortem

0:34 Een commando bedoeld om de vrije backbone-capaciteit te controleren, schakelt in plaats daarvan elke link uit tussen de datacenters van Facebook, en de audittool die gebouwd is om precies dit te vangen

Tijdlijn: 15:39 commando → 15:40 ingetrokken → 21:20 terug

0:41 laat het door. 15:40. Cloudflare's BGP-feed vult zich met terugtrekkingen; de DNS-prefixes van Facebook verlaten de routingtabel. Binnen een minuut zitten de ingenieurs van Cloudflare in een ruimte zich afvragend of zij 1.1.1.1 kapot hebben gemaakt. 15:45, Hacker News, zesentwintighonderd punten. 16:07, de woordvoerder van Facebook, uitgerekend op Twitter: sommige mensen hebben moeite met toegang tot onze apps. Sommige mensen zijn drie en een half miljard.

1:06 18:51, de New York Times: medewerkers buitengesloten van hun gebouwen, badges dood. 19:52, de CTO verontschuldigt zich. 21:00, vijf uur later, routes keren terug; 21:20, facebook.com lost op. Waarom verwijdert een backbone-fout Facebook van het internet?

Mechanisme: de gezondheidscontrole die je verwijdert, de 30× DNS storm, de deuren

1:20 Zijn naamservers hebben een regel: kunnen de datacenters niet bereiken, verklaar jezelf ongezond, stop met het adverteren van je adres. Verstandig als één site slecht wordt. Wanneer de hele backbone uitvalt, doet elke naamserver het tegelijk. De servers zijn actief. Niemand kan ze vinden. Een veiligheidsfunctie verandert een netwerkfout in een existentiefout. Dan stort het internet zich erop: apps proberen opnieuw, gebruikers herladen,

1:39 en de resolver van Cloudflare ziet dertig keer de normale belasting, voor een site die er niet is. En de deuren. Tools, out-of-band toegang, badges: hetzelfde netwerk. Ingenieurs rijden naar de datacenters, kunnen niet naar binnen, en treffen dan racks aan die gehard zijn tegen iedereen met fysieke toegang. Gebouwd om een aanvaller te vertragen, vertraagt het ook de eigenaar. De backbone keert terug; ze voeren het verkeer langzaam op, met opzet.

1:59 Elk datacenter heeft tientallen megawatts laten vallen, en dat in één keer terugdraaien is een tweede storing.

git blame — de splitsing

2:05 git blame. Facebook, vijfenzeventig procent: het commando is gecontroleerd, de auditor had de bug, één commando bereikte elke router. Het DNS-ontwerp, vijfenzeventig: een gezondheidscontrole zonder gevoel voor proportie. Eén netwerk, vijftien: tools, out-of-band, badges. De racks, vijf, voor het doen van hun werk. Impactgebied: drie en een half miljard gebruikers, bijna zes uur. De aandelen sluiten vijf procent lager, zes miljard minder voor Zuckerberg,

Impactgebied

2:27 op papier. Telegram claimt die dag zeventig miljoen aanmeldingen. Oordeel, postmortem: NEEDS REVIEW. Verklaring op dezelfde avond, postmortem met genoemde auteur binnen een dag, bug in audittool in gewoon Engels toegegeven.

Oordeel + de maandaglijn

2:38 De oplossingslijst: testen en oefeningen versterken. Niets over het verwijderen van de deuren uit het productienetwerk. Maandag: plaats je out-of-band toegang, en je deur, op een netwerk dat je niet beheert. Stuur me het incident waar je het nog steeds niet over mag hebben, in de reacties, of op the daily diff dot dev. En dat is de diff voor vandaag. Ik ben Niko van Axrisi.

2:58 Merge responsibly.

Bronnen

1. Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
2. Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
3. Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
4. Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
5. Andy Stone (Facebook), 16:07 UTCtwitter.com
6. Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
7. Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
8. Hacker News (2,589 points)news.ycombinator.com
9. The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
10. Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
11. Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
12. Krebs on Securitykrebsonsecurity.com