Facebook sa vymazal z internetu. Šesť hodín.
Facebook odstráni svoju vlastnú adresu z internetu, a keď jej inžinieri prídu, aby ju vrátili, čítačky odznakov tiež nefungujú, pretože bežia na Facebooku.
Facebook odstráni svoju vlastnú adresu z internetu, a keď jej inžinieri prídu, aby ju vrátili, čítačky odznakov tiež nefungujú, pretože bežia na Facebooku. 4. októbra 2021, 15:40 UTC: rutinný príkaz na údržbu chrbtovej siete zruší všetky spojenia medzi dátovými centrami Facebooku; auditný nástroj, ktorý mal tomu zabrániť, má chybu; menné servery Facebooku, neschopné dosiahnuť dátové centrá, zámerne stiahnu svoje vlastné BGP trasy – a facebook.com, Instagram, WhatsApp a Messenger zmiznú z DNS na takmer šesť hodín. Interné nástroje, mimo-pásmový prístup a kancelárske odznaky jazdia na tej istej sieti, takže oprava vyžaduje ľudí pri rackoch.
Prečítajte si písanú edíciu (anglicky) ↗
Čo toto video pokrýva
- Facebook odstráni svoju vlastnú adresu
- Potvrdenia: Meta Engineering, Cloudflare, Hacker News
- Toto je The Daily Diff, postmortem
- Časová os: 15:39 príkaz → 15:40 stiahnuté → 21:20 späť
- Mechanizmus: kontrola stavu, ktorá vás vymaže, 30× DNS búrka, dvere
Otázky a odpovede
Čo spôsobilo výpadok Facebooku, Instagramu a WhatsAppu v októbri 2021?
Rutinný príkaz na údržbu chrbticovej siete odpojil každé spojenie medzi dátovými centrami Facebooku a nástroj na audit, ktorý mal blokovať takéto príkazy, mal chybu. Podľa technického popisu spoločnosti Meta to odpojilo dátové centrá od seba. O 15:40 UTC Cloudflare zaznamenal stiahnutie trás k názvovým serverom Facebooku a facebook.com vracal SERVFAIL, kým sa znova nevyriešil o 21:20.
Prečo sa DNS servery Facebooku odstránili z internetu?
Názvové servery boli navrhnuté tak, aby stiahli svoje vlastné BGP trasy, keď nemohli dosiahnuť dátové centrá. Toto pravidlo je rozumné, keď zlyhá jedno miesto. Keď zlyhala celá chrbticová sieť, každý názvový server sa naraz vyhlásil za nezdravý a prestal inzerovať svoju adresu. Servery stále bežali, ale nikto ich nemohol nájsť.
Prečo inžinieri Facebooku nemohli vyriešiť výpadok na diaľku?
Interné nástroje, prístup mimo pásma a čítačky kariet v kancelárii, všetko bežalo na rovnakej sieti, ktorá zlyhala. Inžinieri museli ísť do dátových centier, kde boli stojany chránené pred každým s fyzickým prístupom. The New York Times informoval o zamestnancoch zamknutých mimo budov s mŕtvymi preukazmi o 18:51 UTC.
Ako výpadok Facebooku ovplyvnil zvyšok internetu?
Aplikácie sa opakovane pokúšali a používatelia znova načítavali, takže resolver Cloudflare zaznamenal tridsaťnásobok svojej bežnej záťaže pre stránku, ktorá nebola dostupná. Epizóda udáva polomer výbuchu tri a pol miliardy používateľov po dobu takmer šiestich hodín. Taktiež uvádza, že Telegram si v ten deň nárokoval sedemdesiat miliónov registrácií.
Opravila posmrtná analýza Facebooku základné problémy za výpadkom?
Verdikt The Daily Diff bol NEEDS REVIEW. Facebook vydal vyhlásenie v ten istý večer, zverejnil posmrtnú analýzu s menom autora do jedného dňa a priznal chybu v nástroji na audit jednoduchou angličtinou. Jeho zoznam opráv sa zameral na silnejšie testovanie a cvičenia a nepovedal nič o odstránení dverí z produkčnej siete. Epizóda radí umiestniť prístup mimo pásma na sieť, ktorú neprevádzkujete.
Preložený prepis
Preložené z pôvodného anglického rozprávania. Dostupný zvuk a titulky sú kontrolované službou YouTube.
Facebook odstráni svoju vlastnú adresu
0:00 Facebook odstráni svoju vlastnú adresu z internetu, a keď jej inžinieri prídu, aby ju vrátili, čítačky odznakov tiež nefungujú, pretože bežia na Facebooku. Vlastný postmortem spoločnosti Meta, nasledujúci deň: rutinný príkaz na údržbu zruší každý chrbtový link, a nástroj vytvorený na blokovanie takýchto príkazov má chybu.
Potvrdenia: Meta Engineering, Cloudflare, Hacker News
0:16 Cloudflare, zvonka: o 15:40 UTC trasy k menným serverom Facebooku zmiznú, a dig facebook.com vráti SERVFAIL všade na planéte. Ako sa to stalo, prečo to bezpečnostná funkcia zhoršila a kto je na vine. Toto je The Daily Diff, postmortem. Skoré popoludnie, UTC.
Toto je The Daily Diff, postmortem
0:34 Príkaz určený na kontrolu voľnej chrbtovej kapacity namiesto toho zruší každý link medzi dátovými centrami Facebooku, a auditný nástroj vytvorený na zachytenie presne tohto
Časová os: 15:39 príkaz → 15:40 stiahnuté → 21:20 späť
0:41 to prejde. 15:40. BGP kanál Cloudflare sa zaplní stiahnutiami; DNS Facebooku prefixy opustia smerovaciu tabuľku. Do minúty sú inžinieri Cloudflare v miestnosti a premýšľajú, či pokazili 1.1.1.1. 15:45, Hacker News, dvetisícšesťsto bodov. 16:07, hovorca Facebooku, na Twitteri zo všetkých miest: niektorí ľudia majú problémy s prístupom k našim aplikáciám. Niektorí ľudia sú tri a pol miliardy.
1:06 18:51, The New York Times: zamestnanci zamknutí mimo ich budov, odznaky mŕtve. 19:52, technický riaditeľ sa ospravedlňuje. 21:00, po piatich hodinách, trasy sa vrátia; 21:20, facebook.com sa vyrieši. Prečo chyba chrbtovej siete vymaže Facebook z internetu?
Mechanizmus: kontrola stavu, ktorá vás vymaže, 30× DNS búrka, dvere
1:20 Jeho menné servery majú pravidlo: nemôžu dosiahnuť dátové centrá, vyhláste sa za nezdravých, prestaňte inzerovať svoju adresu. Rozumné, keď sa jedno miesto pokazí. Keď zlyhá celá chrbtová sieť, každý menný server to urobí naraz. Servery sú hore. Nikto ich nemôže nájsť. Bezpečnostná funkcia premení sieťovú chybu na chybu existencie. Potom sa internet na to nahrnie: aplikácie sa pokúšajú znova, používatelia opätovne načítajú,
1:39 a resolver Cloudflare vidí tridsaťnásobok svojej normálnej záťaže, pre stránku, ktorá tam nie je. A dvere. Nástroje, mimo-pásmový prístup, odznaky: rovnaká sieť. Inžinieri idú do dátových centier, nemôžu sa dostať dnu, potom narazia na racky zabezpečené proti komukoľvek s fyzickým prístupom. Vytvorené na spomalenie útočníka, spomalí to aj majiteľa. Chrbtová sieť sa vráti; zámerne zvyšujú prevádzku pomaly.
1:59 Každé dátové centrum kleslo o desiatky megawattov a zvrátenie toho v jednom kroku je druhým výpadkom.
git blame — rozdelenie
2:05 git blame. Facebook, päťdesiatpäť percent: príkaz bol auditovaný, audítor mal chybu, jeden príkaz dosiahol každý router. Návrh DNS, dvadsaťpäť: kontrola stavu bez zmyslu pre proporcie. Jedna sieť, pätnásť: nástroje, mimo-pásmové, odznaky. Racky, päť, za to, že si robia svoju prácu. Polomer výbuchu: tri a pol miliardy používateľov, takmer šesť hodín. Akcie uzavreli s poklesom o päť percent, šesť miliárd pre Zuckerberga,
Polomer výbuchu
2:27 na papieri. Telegram tvrdí, že v ten deň sa zaregistrovalo sedemdesiat miliónov používateľov. Verdikt, postmortem: NEEDS REVIEW. Vyhlásenie v ten istý večer, postmortem od menovaného autora do dňa, priznaná chyba v nástroji na audit v zrozumiteľnom jazyku.
Verdikt + pondelková čiara
2:38 Zoznam opráv: posilniť testovanie a cvičenia. Nič o odstránení dverí z produkčnej siete. Pondelok: umiestnite svoj mimo-pásmový prístup a svoje dvere na sieť, ktorú neprevádzkujete. prevádzkujete. Pošlite mi incident, o ktorom ešte stále nemôžete hovoriť, v komentároch, alebo na the daily diff dot dev. A to je rozdiel pre dnešok. Som Niko z Axrisi.
2:58 Zlučujte zodpovedne.
Zdroje
- Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
- Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
- Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
- Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
- Andy Stone (Facebook), 16:07 UTCtwitter.com
- Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
- Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
- Hacker News (2,589 points)news.ycombinator.com
- The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
- Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
- Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
- Krebs on Securitykrebsonsecurity.com



