+− THE DAILY DIFFdev & AI news
NEEDS REVIEW

Facebook se smazal z internetu. Šest hodin.

Facebook odstranil svou vlastní adresu z internetu, a když jeho inženýři dorazili, aby ji vrátili zpět, čtečky odznaků také nefungovaly, protože běžely na Facebooku.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Facebook odstranil svou vlastní adresu z internetu, a když jeho inženýři dorazili, aby ji vrátili zpět, čtečky odznaků také nefungovaly, protože běžely na Facebooku. 4. října 2021, 15:40 UTC: rutinní příkaz pro údržbu páteřní sítě odstavil všechny spoje mezi datovými centry Facebooku; auditní nástroj, který tomu měl zabránit, měl chybu; nameservery Facebooku, neschopné dosáhnout datových center, stáhly vlastní BGP trasy – a facebook.com, Instagram, WhatsApp a Messenger zmizely z DNS na téměř šest hodin. Interní nástroje, out-of-band přístup a kancelářské odznaky jezdí na stejné síti, takže oprava vyžaduje lidi u racků.

Přečtěte si psané vydání (anglicky) ↗

Co toto video pokrývá

  • Facebook odstranil svou vlastní adresu
  • Doklady: Meta Engineering, Cloudflare, Hacker News
  • Toto je The Daily Diff, postmortem
  • Časová osa: 15:39 příkaz → 15:40 staženo → 21:20 zpět
  • Mechanismus: kontrola zdraví, která vás smaže, 30× DNS bouře, dveře

Otázky a odpovědi

Co způsobilo výpadek služeb Facebook, Instagram a WhatsApp v říjnu 2021?

Rutinní příkaz k údržbě páteřní sítě odpojil všechna spojení mezi datovými centry Facebooku a nástroj pro audit, který měl takové příkazy blokovat, měl chybu. Podle technického vyjádření společnosti Meta to odpojilo datová centra jedno od druhého. Do 15:40 UTC Cloudflare zaznamenal stažení tras k názvovým serverům Facebooku a facebook.com vracel SERVFAIL, dokud se v 21:20 znovu neobnovil.

Sledujte tuto část 0:40 · engineering.fb.com · blog.cloudflare.com

Proč se servery DNS Facebooku samy odpojily od internetu?

Názvové servery byly navrženy tak, aby stáhly své vlastní trasy BGP, když nemohly dosáhnout datových center. Toto pravidlo je rozumné, když selže jedno místo. Když selhala celá páteřní síť, každý názvový server se okamžitě prohlásil za nezdravý a přestal inzerovat svou adresu. Servery stále běžely, ale nikdo je nemohl najít.

Sledujte tuto část 1:20 · engineering.fb.com · blog.cloudflare.com

Proč inženýři Facebooku nemohli výpadek opravit na dálku?

Interní nástroje, out-of-band přístup a čtečky identifikačních karet do kanceláří – vše běželo na stejné síti, která selhala. Inženýři museli jít do datových center, kde byly racky zabezpečeny proti komukoli s fyzickým přístupem. The New York Times v 18:51 UTC informoval o zaměstnancích, kteří byli zamčeni mimo budovy s nefunkčními kartami.

Sledujte tuto část 1:20 · engineering.fb.com · twitter.com · www.nytimes.com

Jak výpadek Facebooku ovlivnil zbytek internetu?

Aplikace se pokoušely znovu a uživatelé znovu načítali, takže resolver Cloudflare zaznamenal třicetinásobek normální zátěže pro stránku, která nebyla dostupná. Tato událost odhaduje zasaženou oblast na tři a půl miliardy uživatelů po dobu téměř šesti hodin. Rovněž uvádí, že Telegram ten den zaznamenal sedmdesát milionů registrací.

Sledujte tuto část 2:25 · blog.cloudflare.com · www.reuters.com

Opravil posmrtný rozbor Facebooku základní problémy za výpadkem?

Verdikt The Daily Diff zněl NEEDS REVIEW. Facebook vydal prohlášení tentýž večer, zveřejnil posmrtný rozbor s uvedeným autorem do jednoho dne a jasně přiznal chybu v nástroji pro audit. Jeho seznam oprav se zaměřoval na silnější testování a cvičení a nic neřekl o odstranění dveří z produkční sítě. Epizoda doporučuje umístit out-of-band přístup na síť, kterou neprovozujete.

Sledujte tuto část 2:38 · engineering.fb.com · engineering.fb.com

Přeložený přepis

Přeloženo z původního anglického vyprávění. Dostupné audio a titulky jsou řízeny YouTube.

Facebook odstranil svou vlastní adresu

0:00 Facebook odstranil svou vlastní adresu z internetu, a když jeho inženýři dorazili, aby ji vrátili zpět, čtečky odznaků také nefungovaly, protože běžely na Facebooku. Vlastní postmortem Meta, následující den: rutinní příkaz pro údržbu odstavil každý páteřní spoj, a nástroj vytvořený k blokování takových příkazů měl chybu.

Doklady: Meta Engineering, Cloudflare, Hacker News

0:16 Cloudflare, zvenčí: v 15:40 UTC trasy k nameserverům Facebooku zmizely, a dig facebook.com vrací SERVFAIL všude na planetě. Jak se to stalo, proč to bezpečnostní funkce zhoršila a kdo za to může. Toto je The Daily Diff, postmortem. Brzké odpoledne, UTC.

Toto je The Daily Diff, postmortem

0:34 Příkaz, který měl zkontrolovat volnou kapacitu páteřní sítě, místo toho odstavil každý spoj mezi datovými centry Facebooku, a auditní nástroj vytvořený k zachycení přesně tohoto

Časová osa: 15:39 příkaz → 15:40 staženo → 21:20 zpět

0:41 to propustil. 15:40. BGP feed Cloudflare se zaplnil staženími; DNS prefixy Facebooku opustily směrovací tabulku. Během minuty byli inženýři Cloudflare v místnosti a přemýšleli, zda nerozbili 1.1.1.1. 15:45, Hacker News, dvacet šest set bodů. 16:07, mluvčí Facebooku, zrovna na Twitteru: někteří lidé mají potíže s přístupem k našim aplikacím. Někteří lidé jsou tři a půl miliardy.

1:06 18:51, The New York Times: zaměstnanci zamčeni mimo své budovy, odznaky mrtvé. 19:52, CTO se omlouvá. 21:00, pět hodin poté, trasy se vracejí; 21:20, facebook.com se načítá. Proč chyba v páteřní síti smaže Facebook z internetu?

Mechanismus: kontrola zdraví, která vás smaže, 30× DNS bouře, dveře

1:20 Jeho nameservery mají pravidlo: nelze dosáhnout datových center, prohlaste se za nezdravé, přestaňte inzerovat svou adresu. Rozumné, když se jedna stránka pokazí. Když vypadne celá páteřní síť, udělá to každý nameserver najednou. Servery jsou v provozu. Nikdo je nemůže najít. Bezpečnostní funkce mění síťovou chybu v chybu existence. Pak se internet hromadí: aplikace se pokoušejí znovu, uživatelé obnovují,

1:39 a resolver Cloudflare vidí třicetinásobek normálního zatížení, pro stránku, která tam není. A dveře. Nástroje, out-of-band přístup, odznaky: stejná síť. Inženýři jedou do datových center, nemohou se dostat dovnitř, pak se setkají s racky zabezpečenými proti komukoli s fyzickým přístupem. Navrženo tak, aby zpomalilo útočníka, zpomaluje to i majitele. Páteřní síť se vrací; provoz pomalu navyšují, záměrně.

1:59 Každé datové centrum vypadlo desítky megawattů, a zvrátit to v jednom kroku je druhý výpadek.

git blame — rozdělení

2:05 git blame. Facebook, padesát pět procent: příkaz byl auditován, auditor měl chybu, jeden příkaz se dostal do každého routeru. Design DNS, dvacet pět: kontrola zdraví bez smyslu pro proporce. Jedna síť, patnáct: nástroje, out-of-band, odznaky. Racky, pět, za to, že dělaly svou práci. Poloměr výbuchu: tři a půl miliardy uživatelů, téměř šest hodin. Akcie uzavřely o pět procent níže, šest miliard dolů pro Zuckerberga,

Poloměr výbuchu

2:27 na papíře. Telegram tvrdí, že ten den se zaregistrovalo sedmdesát milionů uživatelů. Verdikt, postmortem: NEEDS REVIEW. Prohlášení v tentýž večer, postmortem s uvedeným autorem do jednoho dne, chyba v auditním nástroji přiznána v jednoduché angličtině.

Rozsudek + pondělní linka

2:38 Seznam oprav: posílit testování a cvičení. Nic o odebrání dveří z produkční sítě. Pondělí: umístěte svůj out-of-band přístup a své dveře na síť, kterou neprovozujete. Pošlete mi incident, o kterém stále nesmíte mluvit, v komentářích, nebo na the daily diff dot dev. A to je rozdíl pro dnešek. Jsem Niko z Axrisi.

2:58 Spojujte zodpovědně.

Zdroje

  1. Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
  2. Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
  3. Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
  4. Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
  5. Andy Stone (Facebook), 16:07 UTCtwitter.com
  6. Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
  7. Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
  8. Hacker News (2,589 points)news.ycombinator.com
  9. The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
  10. Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
  11. Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
  12. Krebs on Securitykrebsonsecurity.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Související videa