Facebook usunął się z internetu. Sześć godzin.

Co obejmuje ten film

• Facebook usuwa swój własny adres
• Dowody: Meta Engineering, Cloudflare, Hacker News
• To jest The Daily Diff, analiza poincydentalna
• Oś czasu: 15:39 polecenie → 15:40 wycofanie → 21:20 powrót
• Mechanizm: kontrola stanu, która cię usuwa, burza DNS 30×, drzwi

Przetłumaczona transkrypcja

Przetłumaczono z oryginalnej narracji angielskiej. Dostępne audio i napisy są kontrolowane przez YouTube.

Facebook usuwa swój własny adres

0:00 Facebook usuwa swój własny adres z internetu, a kiedy jego inżynierowie przybywają, aby go przywrócić, czytniki identyfikatorów również nie działają, ponieważ one także działają na Facebooku. Własna analiza poincydentalna Meta, następnego dnia: rutynowe polecenie konserwacji wyłącza każde łącze sieci szkieletowej, a narzędzie zbudowane do blokowania takich poleceń ma błąd.

Dowody: Meta Engineering, Cloudflare, Hacker News

0:16 Cloudflare, z zewnątrz: o 15:40 UTC trasy do serwerów nazw Facebooka znikają, a dig facebook.com zwraca wszędzie na świecie SERVFAIL. Jak to się dzieje, dlaczego funkcja bezpieczeństwa pogarsza sytuację i kto ponosi winę. To jest The Daily Diff, analiza poincydentalna. Wczesne popołudnie, UTC.

To jest The Daily Diff, analiza poincydentalna

0:34 Polecenie, które miało sprawdzić wolną pojemność sieci szkieletowej, zamiast tego wyłącza każde łącze między centrami danych Facebooka, a narzędzie audytowe zbudowane do wychwytywania dokładnie takich sytuacji

Oś czasu: 15:39 polecenie → 15:40 wycofanie → 21:20 powrót

0:41 pozwala mu przejść. 15:40. Kanał BGP Cloudflare wypełnia się wycofaniami; prefiksy DNS Facebooka opuszczają tablicę routingu. W ciągu minuty inżynierowie Cloudflare są w pokoju, zastanawiając się, czy to oni zepsuli 1.1.1.1. 15:45, Hacker News, dwa tysiące sześćset punktów. 16:07, rzecznik Facebooka, z wszystkich miejsc na Twitterze: niektórzy ludzie mają problemy z dostępem do naszych aplikacji. „Niektórzy ludzie” to trzy i pół miliarda.

1:06 18:51, The New York Times: pracownicy zamknięci poza swoimi budynkami, identyfikatory nie działają. 19:52, CTO przeprasza. 21:00, pięć godzin później, trasy wracają; 21:20, facebook.com rozwiązuje się. Dlaczego awaria sieci szkieletowej usuwa Facebooka z internetu?

Mechanizm: kontrola stanu, która cię usuwa, burza DNS 30×, drzwi

1:20 Jego serwery nazw mają zasadę: nie mogąc dotrzeć do centrów danych, ogłoś się niezdrowym, przestań reklamować swój adres. Rozsądne, gdy jedna strona się psuje. Kiedy pada cała sieć szkieletowa, każdy serwer nazw robi to jednocześnie. Serwery działają. Nikt ich nie może znaleźć. Funkcja bezpieczeństwa zamienia awarię sieci w awarię istnienia. Wtedy internet się nawarstwia: aplikacje ponawiają próby, użytkownicy odświeżają,

1:39 a resolver Cloudflare odnotowuje trzydziestokrotnie większe obciążenie niż normalnie, dla strony, której nie ma. I drzwi. Narzędzia, dostęp poza pasmem, identyfikatory: ta sama sieć. Inżynierowie jadą do centrów danych, nie mogą wejść, a potem natrafiają na wzmocnione szafy rackowe, chroniące przed kimkolwiek z fizycznym dostępem. Zbudowane, by spowolnić atakującego, spowalnia też właściciela. Sieć szkieletowa wraca; ruch zwiększają powoli, celowo.

1:59 Każde centrum danych straciło dziesiątki megawatów, a odwrócenie tego w jednym kroku byłoby drugą awarią.

git blame — podział

2:05 git blame. Facebook, pięćdziesiąt pięć procent: polecenie zostało poddane audytowi, audytor miał błąd, jedno polecenie dotarło do każdego routera. Projekt DNS, dwadzieścia pięć: kontrola stanu bez poczucia proporcji. Jedna sieć, piętnaście: narzędzia, dostęp poza pasmem, identyfikatory. Szafy rackowe, pięć, za wykonywanie swojej pracy. Promień rażenia: trzy i pół miliarda użytkowników, prawie sześć godzin. Akcje zamykają się spadkiem o pięć procent, sześć miliardów od Zuckerberga,

Promień rażenia

2:27 na papierze. Telegram twierdzi, że tego dnia zarejestrowało się siedemdziesiąt milionów osób. Werdykt, analiza poincydentalna: NEEDS REVIEW. Oświadczenie tego samego wieczoru, analiza poincydentalna z nazwiskiem autora w ciągu dnia, błąd narzędzia audytowego przyznany prostym językiem.

Werdykt + linia poniedziałkowa

2:38 Lista poprawek: wzmocnienie testów i ćwiczeń. Nic o usuwaniu drzwi z sieci produkcyjnej. Poniedziałek: umieść swój dostęp poza pasmem i swoje drzwi w sieci, której nie obsługujesz. Wyślij mi incydent, o którym nadal nie wolno ci mówić, w komentarzach, lub na the daily diff dot dev. I to jest the diff na dziś. Jestem Niko z Axrisi.

2:58 Merge responsibly.

Źródła

1. Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
2. Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
3. Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
4. Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
5. Andy Stone (Facebook), 16:07 UTCtwitter.com
6. Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
7. Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
8. Hacker News (2,589 points)news.ycombinator.com
9. The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
10. Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
11. Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
12. Krebs on Securitykrebsonsecurity.com