Facebook usunął się z internetu. Sześć godzin.
Facebook usuwa swój własny adres z internetu, a kiedy jego inżynierowie przybywają, aby go przywrócić, czytniki identyfikatorów również nie działają, ponieważ one także działają na Facebooku.
Facebook usuwa swój własny adres z internetu, a kiedy jego inżynierowie przybywają, aby go przywrócić, czytniki identyfikatorów również nie działają, ponieważ one także działają na Facebooku. 4 października 2021, 15:40 UTC: rutynowe polecenie konserwacji sieci szkieletowej wyłącza każde połączenie między centrami danych Facebooka; narzędzie audytowe zbudowane do blokowania takich poleceń ma błąd; serwery nazw Facebooka, nie mogąc dotrzeć do centrów danych, z zasady wycofują własne trasy BGP — i facebook.com, Instagram, WhatsApp oraz Messenger znikają z DNS na prawie sześć godzin. Narzędzia wewnętrzne, dostęp poza pasmem i identyfikatory biurowe korzystają z tej samej sieci, więc naprawa wymaga obecności ludzi przy szafach rackowych.
Przeczytaj wydanie pisemne (angielski) ↗
Co obejmuje ten film
- Facebook usuwa swój własny adres
- Dowody: Meta Engineering, Cloudflare, Hacker News
- To jest The Daily Diff, analiza poincydentalna
- Oś czasu: 15:39 polecenie → 15:40 wycofanie → 21:20 powrót
- Mechanizm: kontrola stanu, która cię usuwa, burza DNS 30×, drzwi
Pytania i odpowiedzi
Co było przyczyną awarii Facebooka, Instagrama i WhatsAppa w październiku 2021 roku?
Rutynowe polecenie konserwacji szkieletu sieci wyłączyło każde połączenie między centrami danych Facebooka, a narzędzie audytowe, które miało blokować takie polecenia, miało błąd. Według inżynierskiego raportu Meta, spowodowało to odłączenie centrów danych od siebie. Do godziny 15:40 UTC Cloudflare zauważyło wycofanie tras do serwerów nazw Facebooka, a facebook.com zwracało SERVFAIL, dopóki nie zaczęło ponownie działać o 21:20.
Dlaczego serwery DNS Facebooka usunęły się z internetu?
Serwery nazw zostały zaprojektowane tak, aby wycofywać własne trasy BGP, gdy nie mogły dotrzeć do centrów danych. Ta zasada jest sensowna, gdy jedna witryna ulega awarii. Gdy zawiódł cały szkielet sieci, każdy serwer nazw ogłosił się jednocześnie niezdrowym i przestał ogłaszać swój adres. Serwery nadal działały, ale nikt nie mógł ich znaleźć.
Dlaczego inżynierowie Facebooka nie mogli zdalnie naprawić awarii?
Narzędzia wewnętrzne, dostęp poza pasmem i czytniki identyfikatorów biurowych działały w tej samej sieci, która uległa awarii. Inżynierowie musieli udać się do centrów danych, gdzie szafy były zabezpieczone przed każdym z fizycznym dostępem. The New York Times doniósł o pracownikach zablokowanych poza budynkami z niedziałającymi identyfikatorami o godzinie 18:51 UTC.
Jak awaria Facebooka wpłynęła na resztę internetu?
Aplikacje ponawiały próby, a użytkownicy odświeżali strony, więc resolver Cloudflare odnotował trzydziestokrotność normalnego obciążenia dla strony, która była niedostępna. Epizod ten określa zasięg wpływu na trzy i pół miliarda użytkowników przez prawie sześć godzin. Donosi również, że Telegram zgłosił siedemdziesiąt milionów rejestracji tego dnia.
Czy analiza pośmiertna Facebooka rozwiązała podstawowe problemy leżące u podstaw awarii?
Werdykt The Daily Diff brzmiał NEEDS REVIEW. Facebook wydał oświadczenie tego samego wieczoru, opublikował raport pośmiertny z nazwiskiem autora w ciągu dnia i jasno przyznał się do błędu narzędzia audytowego. Lista napraw skupiała się na silniejszych testach i ćwiczeniach i nic nie mówiła o usunięciu drzwi z sieci produkcyjnej. Epizod ten zaleca umieszczenie dostępu poza pasmem w sieci, którą nie zarządzasz.
Przetłumaczona transkrypcja
Przetłumaczono z oryginalnej narracji angielskiej. Dostępne audio i napisy są kontrolowane przez YouTube.
Facebook usuwa swój własny adres
0:00 Facebook usuwa swój własny adres z internetu, a kiedy jego inżynierowie przybywają, aby go przywrócić, czytniki identyfikatorów również nie działają, ponieważ one także działają na Facebooku. Własna analiza poincydentalna Meta, następnego dnia: rutynowe polecenie konserwacji wyłącza każde łącze sieci szkieletowej, a narzędzie zbudowane do blokowania takich poleceń ma błąd.
Dowody: Meta Engineering, Cloudflare, Hacker News
0:16 Cloudflare, z zewnątrz: o 15:40 UTC trasy do serwerów nazw Facebooka znikają, a dig facebook.com zwraca wszędzie na świecie SERVFAIL. Jak to się dzieje, dlaczego funkcja bezpieczeństwa pogarsza sytuację i kto ponosi winę. To jest The Daily Diff, analiza poincydentalna. Wczesne popołudnie, UTC.
To jest The Daily Diff, analiza poincydentalna
0:34 Polecenie, które miało sprawdzić wolną pojemność sieci szkieletowej, zamiast tego wyłącza każde łącze między centrami danych Facebooka, a narzędzie audytowe zbudowane do wychwytywania dokładnie takich sytuacji
Oś czasu: 15:39 polecenie → 15:40 wycofanie → 21:20 powrót
0:41 pozwala mu przejść. 15:40. Kanał BGP Cloudflare wypełnia się wycofaniami; prefiksy DNS Facebooka opuszczają tablicę routingu. W ciągu minuty inżynierowie Cloudflare są w pokoju, zastanawiając się, czy to oni zepsuli 1.1.1.1. 15:45, Hacker News, dwa tysiące sześćset punktów. 16:07, rzecznik Facebooka, z wszystkich miejsc na Twitterze: niektórzy ludzie mają problemy z dostępem do naszych aplikacji. „Niektórzy ludzie” to trzy i pół miliarda.
1:06 18:51, The New York Times: pracownicy zamknięci poza swoimi budynkami, identyfikatory nie działają. 19:52, CTO przeprasza. 21:00, pięć godzin później, trasy wracają; 21:20, facebook.com rozwiązuje się. Dlaczego awaria sieci szkieletowej usuwa Facebooka z internetu?
Mechanizm: kontrola stanu, która cię usuwa, burza DNS 30×, drzwi
1:20 Jego serwery nazw mają zasadę: nie mogąc dotrzeć do centrów danych, ogłoś się niezdrowym, przestań reklamować swój adres. Rozsądne, gdy jedna strona się psuje. Kiedy pada cała sieć szkieletowa, każdy serwer nazw robi to jednocześnie. Serwery działają. Nikt ich nie może znaleźć. Funkcja bezpieczeństwa zamienia awarię sieci w awarię istnienia. Wtedy internet się nawarstwia: aplikacje ponawiają próby, użytkownicy odświeżają,
1:39 a resolver Cloudflare odnotowuje trzydziestokrotnie większe obciążenie niż normalnie, dla strony, której nie ma. I drzwi. Narzędzia, dostęp poza pasmem, identyfikatory: ta sama sieć. Inżynierowie jadą do centrów danych, nie mogą wejść, a potem natrafiają na wzmocnione szafy rackowe, chroniące przed kimkolwiek z fizycznym dostępem. Zbudowane, by spowolnić atakującego, spowalnia też właściciela. Sieć szkieletowa wraca; ruch zwiększają powoli, celowo.
1:59 Każde centrum danych straciło dziesiątki megawatów, a odwrócenie tego w jednym kroku byłoby drugą awarią.
git blame — podział
2:05 git blame. Facebook, pięćdziesiąt pięć procent: polecenie zostało poddane audytowi, audytor miał błąd, jedno polecenie dotarło do każdego routera. Projekt DNS, dwadzieścia pięć: kontrola stanu bez poczucia proporcji. Jedna sieć, piętnaście: narzędzia, dostęp poza pasmem, identyfikatory. Szafy rackowe, pięć, za wykonywanie swojej pracy. Promień rażenia: trzy i pół miliarda użytkowników, prawie sześć godzin. Akcje zamykają się spadkiem o pięć procent, sześć miliardów od Zuckerberga,
Promień rażenia
2:27 na papierze. Telegram twierdzi, że tego dnia zarejestrowało się siedemdziesiąt milionów osób. Werdykt, analiza poincydentalna: NEEDS REVIEW. Oświadczenie tego samego wieczoru, analiza poincydentalna z nazwiskiem autora w ciągu dnia, błąd narzędzia audytowego przyznany prostym językiem.
Werdykt + linia poniedziałkowa
2:38 Lista poprawek: wzmocnienie testów i ćwiczeń. Nic o usuwaniu drzwi z sieci produkcyjnej. Poniedziałek: umieść swój dostęp poza pasmem i swoje drzwi w sieci, której nie obsługujesz. Wyślij mi incydent, o którym nadal nie wolno ci mówić, w komentarzach, lub na the daily diff dot dev. I to jest the diff na dziś. Jestem Niko z Axrisi.
2:58 Merge responsibly.
Źródła
- Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
- Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
- Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
- Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
- Andy Stone (Facebook), 16:07 UTCtwitter.com
- Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
- Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
- Hacker News (2,589 points)news.ycombinator.com
- The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
- Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
- Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
- Krebs on Securitykrebsonsecurity.com



