Facebook se smazal z internetu. Šest hodin.
Facebook odstranil svou vlastní adresu z internetu, a když jeho inženýři dorazili, aby ji vrátili zpět, čtečky odznaků také nefungovaly, protože běžely na Facebooku.
Facebook odstranil svou vlastní adresu z internetu, a když jeho inženýři dorazili, aby ji vrátili zpět, čtečky odznaků také nefungovaly, protože běžely na Facebooku. 4. října 2021, 15:40 UTC: rutinní příkaz pro údržbu páteřní sítě odstavil všechny spoje mezi datovými centry Facebooku; auditní nástroj, který tomu měl zabránit, měl chybu; nameservery Facebooku, neschopné dosáhnout datových center, stáhly vlastní BGP trasy – a facebook.com, Instagram, WhatsApp a Messenger zmizely z DNS na téměř šest hodin. Interní nástroje, out-of-band přístup a kancelářské odznaky jezdí na stejné síti, takže oprava vyžaduje lidi u racků.
Přečtěte si psané vydání (anglicky) ↗
Co toto video pokrývá
- Facebook odstranil svou vlastní adresu
- Doklady: Meta Engineering, Cloudflare, Hacker News
- Toto je The Daily Diff, postmortem
- Časová osa: 15:39 příkaz → 15:40 staženo → 21:20 zpět
- Mechanismus: kontrola zdraví, která vás smaže, 30× DNS bouře, dveře
Přeložený přepis
Přeloženo z původního anglického vyprávění. Dostupné audio a titulky jsou řízeny YouTube.
Facebook odstranil svou vlastní adresu
0:00 Facebook odstranil svou vlastní adresu z internetu, a když jeho inženýři dorazili, aby ji vrátili zpět, čtečky odznaků také nefungovaly, protože běžely na Facebooku. Vlastní postmortem Meta, následující den: rutinní příkaz pro údržbu odstavil každý páteřní spoj, a nástroj vytvořený k blokování takových příkazů měl chybu.
Doklady: Meta Engineering, Cloudflare, Hacker News
0:16 Cloudflare, zvenčí: v 15:40 UTC trasy k nameserverům Facebooku zmizely, a dig facebook.com vrací SERVFAIL všude na planetě. Jak se to stalo, proč to bezpečnostní funkce zhoršila a kdo za to může. Toto je The Daily Diff, postmortem. Brzké odpoledne, UTC.
Toto je The Daily Diff, postmortem
0:34 Příkaz, který měl zkontrolovat volnou kapacitu páteřní sítě, místo toho odstavil každý spoj mezi datovými centry Facebooku, a auditní nástroj vytvořený k zachycení přesně tohoto
Časová osa: 15:39 příkaz → 15:40 staženo → 21:20 zpět
0:41 to propustil. 15:40. BGP feed Cloudflare se zaplnil staženími; DNS prefixy Facebooku opustily směrovací tabulku. Během minuty byli inženýři Cloudflare v místnosti a přemýšleli, zda nerozbili 1.1.1.1. 15:45, Hacker News, dvacet šest set bodů. 16:07, mluvčí Facebooku, zrovna na Twitteru: někteří lidé mají potíže s přístupem k našim aplikacím. Někteří lidé jsou tři a půl miliardy.
1:06 18:51, The New York Times: zaměstnanci zamčeni mimo své budovy, odznaky mrtvé. 19:52, CTO se omlouvá. 21:00, pět hodin poté, trasy se vracejí; 21:20, facebook.com se načítá. Proč chyba v páteřní síti smaže Facebook z internetu?
Mechanismus: kontrola zdraví, která vás smaže, 30× DNS bouře, dveře
1:20 Jeho nameservery mají pravidlo: nelze dosáhnout datových center, prohlaste se za nezdravé, přestaňte inzerovat svou adresu. Rozumné, když se jedna stránka pokazí. Když vypadne celá páteřní síť, udělá to každý nameserver najednou. Servery jsou v provozu. Nikdo je nemůže najít. Bezpečnostní funkce mění síťovou chybu v chybu existence. Pak se internet hromadí: aplikace se pokoušejí znovu, uživatelé obnovují,
1:39 a resolver Cloudflare vidí třicetinásobek normálního zatížení, pro stránku, která tam není. A dveře. Nástroje, out-of-band přístup, odznaky: stejná síť. Inženýři jedou do datových center, nemohou se dostat dovnitř, pak se setkají s racky zabezpečenými proti komukoli s fyzickým přístupem. Navrženo tak, aby zpomalilo útočníka, zpomaluje to i majitele. Páteřní síť se vrací; provoz pomalu navyšují, záměrně.
1:59 Každé datové centrum vypadlo desítky megawattů, a zvrátit to v jednom kroku je druhý výpadek.
git blame — rozdělení
2:05 git blame. Facebook, padesát pět procent: příkaz byl auditován, auditor měl chybu, jeden příkaz se dostal do každého routeru. Design DNS, dvacet pět: kontrola zdraví bez smyslu pro proporce. Jedna síť, patnáct: nástroje, out-of-band, odznaky. Racky, pět, za to, že dělaly svou práci. Poloměr výbuchu: tři a půl miliardy uživatelů, téměř šest hodin. Akcie uzavřely o pět procent níže, šest miliard dolů pro Zuckerberga,
Poloměr výbuchu
2:27 na papíře. Telegram tvrdí, že ten den se zaregistrovalo sedmdesát milionů uživatelů. Verdikt, postmortem: NEEDS REVIEW. Prohlášení v tentýž večer, postmortem s uvedeným autorem do jednoho dne, chyba v auditním nástroji přiznána v jednoduché angličtině.
Rozsudek + pondělní linka
2:38 Seznam oprav: posílit testování a cvičení. Nic o odebrání dveří z produkční sítě. Pondělí: umístěte svůj out-of-band přístup a své dveře na síť, kterou neprovozujete. Pošlete mi incident, o kterém stále nesmíte mluvit, v komentářích, nebo na the daily diff dot dev. A to je rozdíl pro dnešek. Jsem Niko z Axrisi.
2:58 Spojujte zodpovědně.
Zdroje
- Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
- Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
- Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
- Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
- Andy Stone (Facebook), 16:07 UTCtwitter.com
- Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
- Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
- Hacker News (2,589 points)news.ycombinator.com
- The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
- Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
- Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
- Krebs on Securitykrebsonsecurity.com
