Facebook sa vymazal z internetu. Šesť hodín.
Facebook odstráni svoju vlastnú adresu z internetu, a keď jej inžinieri prídu, aby ju vrátili, čítačky odznakov tiež nefungujú, pretože bežia na Facebooku.
Facebook odstráni svoju vlastnú adresu z internetu, a keď jej inžinieri prídu, aby ju vrátili, čítačky odznakov tiež nefungujú, pretože bežia na Facebooku. 4. októbra 2021, 15:40 UTC: rutinný príkaz na údržbu chrbtovej siete zruší všetky spojenia medzi dátovými centrami Facebooku; auditný nástroj, ktorý mal tomu zabrániť, má chybu; menné servery Facebooku, neschopné dosiahnuť dátové centrá, zámerne stiahnu svoje vlastné BGP trasy – a facebook.com, Instagram, WhatsApp a Messenger zmiznú z DNS na takmer šesť hodín. Interné nástroje, mimo-pásmový prístup a kancelárske odznaky jazdia na tej istej sieti, takže oprava vyžaduje ľudí pri rackoch.
Prečítajte si písanú edíciu (anglicky) ↗
Čo toto video pokrýva
- Facebook odstráni svoju vlastnú adresu
- Potvrdenia: Meta Engineering, Cloudflare, Hacker News
- Toto je The Daily Diff, postmortem
- Časová os: 15:39 príkaz → 15:40 stiahnuté → 21:20 späť
- Mechanizmus: kontrola stavu, ktorá vás vymaže, 30× DNS búrka, dvere
Preložený prepis
Preložené z pôvodného anglického rozprávania. Dostupný zvuk a titulky sú kontrolované službou YouTube.
Facebook odstráni svoju vlastnú adresu
0:00 Facebook odstráni svoju vlastnú adresu z internetu, a keď jej inžinieri prídu, aby ju vrátili, čítačky odznakov tiež nefungujú, pretože bežia na Facebooku. Vlastný postmortem spoločnosti Meta, nasledujúci deň: rutinný príkaz na údržbu zruší každý chrbtový link, a nástroj vytvorený na blokovanie takýchto príkazov má chybu.
Potvrdenia: Meta Engineering, Cloudflare, Hacker News
0:16 Cloudflare, zvonka: o 15:40 UTC trasy k menným serverom Facebooku zmiznú, a dig facebook.com vráti SERVFAIL všade na planéte. Ako sa to stalo, prečo to bezpečnostná funkcia zhoršila a kto je na vine. Toto je The Daily Diff, postmortem. Skoré popoludnie, UTC.
Toto je The Daily Diff, postmortem
0:34 Príkaz určený na kontrolu voľnej chrbtovej kapacity namiesto toho zruší každý link medzi dátovými centrami Facebooku, a auditný nástroj vytvorený na zachytenie presne tohto
Časová os: 15:39 príkaz → 15:40 stiahnuté → 21:20 späť
0:41 to prejde. 15:40. BGP kanál Cloudflare sa zaplní stiahnutiami; DNS Facebooku prefixy opustia smerovaciu tabuľku. Do minúty sú inžinieri Cloudflare v miestnosti a premýšľajú, či pokazili 1.1.1.1. 15:45, Hacker News, dvetisícšesťsto bodov. 16:07, hovorca Facebooku, na Twitteri zo všetkých miest: niektorí ľudia majú problémy s prístupom k našim aplikáciám. Niektorí ľudia sú tri a pol miliardy.
1:06 18:51, The New York Times: zamestnanci zamknutí mimo ich budov, odznaky mŕtve. 19:52, technický riaditeľ sa ospravedlňuje. 21:00, po piatich hodinách, trasy sa vrátia; 21:20, facebook.com sa vyrieši. Prečo chyba chrbtovej siete vymaže Facebook z internetu?
Mechanizmus: kontrola stavu, ktorá vás vymaže, 30× DNS búrka, dvere
1:20 Jeho menné servery majú pravidlo: nemôžu dosiahnuť dátové centrá, vyhláste sa za nezdravých, prestaňte inzerovať svoju adresu. Rozumné, keď sa jedno miesto pokazí. Keď zlyhá celá chrbtová sieť, každý menný server to urobí naraz. Servery sú hore. Nikto ich nemôže nájsť. Bezpečnostná funkcia premení sieťovú chybu na chybu existencie. Potom sa internet na to nahrnie: aplikácie sa pokúšajú znova, používatelia opätovne načítajú,
1:39 a resolver Cloudflare vidí tridsaťnásobok svojej normálnej záťaže, pre stránku, ktorá tam nie je. A dvere. Nástroje, mimo-pásmový prístup, odznaky: rovnaká sieť. Inžinieri idú do dátových centier, nemôžu sa dostať dnu, potom narazia na racky zabezpečené proti komukoľvek s fyzickým prístupom. Vytvorené na spomalenie útočníka, spomalí to aj majiteľa. Chrbtová sieť sa vráti; zámerne zvyšujú prevádzku pomaly.
1:59 Každé dátové centrum kleslo o desiatky megawattov a zvrátenie toho v jednom kroku je druhým výpadkom.
git blame — rozdelenie
2:05 git blame. Facebook, päťdesiatpäť percent: príkaz bol auditovaný, audítor mal chybu, jeden príkaz dosiahol každý router. Návrh DNS, dvadsaťpäť: kontrola stavu bez zmyslu pre proporcie. Jedna sieť, pätnásť: nástroje, mimo-pásmové, odznaky. Racky, päť, za to, že si robia svoju prácu. Polomer výbuchu: tri a pol miliardy používateľov, takmer šesť hodín. Akcie uzavreli s poklesom o päť percent, šesť miliárd pre Zuckerberga,
Polomer výbuchu
2:27 na papieri. Telegram tvrdí, že v ten deň sa zaregistrovalo sedemdesiat miliónov používateľov. Verdikt, postmortem: NEEDS REVIEW. Vyhlásenie v ten istý večer, postmortem od menovaného autora do dňa, priznaná chyba v nástroji na audit v zrozumiteľnom jazyku.
Verdikt + pondelková čiara
2:38 Zoznam opráv: posilniť testovanie a cvičenia. Nič o odstránení dverí z produkčnej siete. Pondelok: umiestnite svoj mimo-pásmový prístup a svoje dvere na sieť, ktorú neprevádzkujete. prevádzkujete. Pošlite mi incident, o ktorom ešte stále nemôžete hovoriť, v komentároch, alebo na the daily diff dot dev. A to je rozdiel pre dnešok. Som Niko z Axrisi.
2:58 Zlučujte zodpovedne.
Zdroje
- Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
- Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
- Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
- Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
- Andy Stone (Facebook), 16:07 UTCtwitter.com
- Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
- Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
- Hacker News (2,589 points)news.ycombinator.com
- The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
- Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
- Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
- Krebs on Securitykrebsonsecurity.com
