Facebook se je izbrisal iz interneta. Šest ur.
Facebook odstrani lastni naslov iz interneta, in ko njegovi inženirji prispejo, da ga ponovno vzpostavijo, so tudi čitalniki značk nedelujoči, ker delujejo na Facebooku.
Facebook odstrani lastni naslov iz interneta, in ko njegovi inženirji prispejo, da ga ponovno vzpostavijo, so tudi čitalniki značk nedelujoči, ker delujejo na Facebooku. 4. oktober 2021, 15:40 UTC: rutinski ukaz za vzdrževanje hrbtenice onesposobi vsako povezavo med Facebookovimi podatkovnimi centri; orodje za revizijo, zgrajeno za blokiranje tega, ima napako; Facebookovi imenski strežniki, ki ne morejo doseči podatkovnih centrov, umaknejo lastne BGP poti po zasnovi – in facebook.com, Instagram, WhatsApp in Messenger izginejo iz DNS za skoraj šest ur. Notranja orodja, zunanji dostop in pisarniške značke uporabljajo isto omrežje, zato popravilo zahteva ljudi pri omarah.
Preberi pisno izdajo (angleščina) ↗
Kaj zajema ta videoposnetek
- Facebook odstrani lastni naslov
- Potrdila: Meta Engineering, Cloudflare, Hacker News
- To je The Daily Diff, postmortem
- Časovnica: 15:39 ukaz → 15:40 umaknjeno → 21:20 nazaj
- Mehanizem: zdravstvena kontrola, ki vas izbriše, 30× DNS nevihta, vrata
Preveden prepis
Prevedeno iz izvirnega angleškega pripovedovanja. Razpoložljivi zvok in podnapisi so nadzorovani s strani YouTuba.
Facebook odstrani lastni naslov
0:00 Facebook odstrani lastni naslov iz interneta, in ko njegovi inženirji prispejo, da ga ponovno vzpostavijo, so tudi čitalniki značk nedelujoči, ker delujejo na Facebooku. Metin lasten postmortem, naslednji dan: rutinski ukaz za vzdrževanje onesposobi vsako hrbtenično povezavo, in orodje, zgrajeno za blokiranje takšnih ukazov, ima napako.
Potrdila: Meta Engineering, Cloudflare, Hacker News
0:16 Cloudflare, od zunaj: ob 15:40 UTC poti do Facebookovih imenskih strežnikov izginejo, in dig facebook.com povsod po svetu vrne SERVFAIL. Kako se to zgodi, zakaj varnostna funkcija poslabša stvari, in kdo je kriv. To je The Daily Diff, postmortem. Zgodnje popoldne, UTC.
To je The Daily Diff, postmortem
0:34 Ukaz, namenjen preverjanju prostih hrbteničnih kapacitet, namesto tega onesposobi vsako povezavo med Facebookovimi podatkovnimi centri, in orodje za revizijo, zgrajeno za prestrezanje točno tega,
Časovnica: 15:39 ukaz → 15:40 umaknjeno → 21:20 nazaj
0:41 ga spusti skozi. 15:40. Cloudflareov BGP vir se napolni z umiki; Facebookovi DNS predponi zapustijo usmerjevalno tabelo. V eni minuti so Cloudflareovi inženirji v sobi in se sprašujejo, ali so pokvarili 1.1.1.1. 15:45, Hacker News, dva tisoč šeststo točk. 16:07, Facebookov tiskovni predstavnik, ravno na Twitterju: nekateri imajo težave z dostopom do naših aplikacij. Nekateri ljudje so tri in pol milijarde.
1:06 18:51, The New York Times: zaposleni zaklenjeni iz svojih zgradb, značke mrtve. 19:52, CTO se opraviči. 21:00, po petih urah, se poti vrnejo; 21:20, facebook.com se razreši. Zakaj hrbtenična napaka izbriše Facebook iz interneta?
Mehanizem: zdravstvena kontrola, ki vas izbriše, 30× DNS nevihta, vrata
1:20 Njegovi imenski strežniki imajo pravilo: ne moreš doseči podatkovnih centrov, razglasi se za nezdravega, prenehaj oglaševati svoj naslov. Smiselno, ko se eno spletno mesto pokvari. Ko se pokvari celotna hrbtenica, to stori vsak imenski strežnik hkrati. Strežniki delujejo. Nihče jih ne more najti. Varnostna funkcija spremeni omrežno napako v eksistenčno napako. Nato se internet zbere: aplikacije ponovno poskusijo, uporabniki osvežijo,
1:39 in Cloudflareov razreševalnik vidi tridesetkrat večjo obremenitev kot običajno, za spletno stran, ki je ni. In vrata. Orodja, zunanji dostop, značke: isto omrežje. Inženirji se odpeljejo do podatkovnih centrov, ne morejo vstopiti, nato pa naletijo na omarice, utrjene proti vsakomur s fizičnim dostopom. Zgrajeno, da upočasni napadalca, upočasni tudi lastnika. Hrbtenica se vrne; promet povišujejo počasi, namenoma.
1:59 Vsak podatkovni center je izgubil desetine megavatov, in obratno v enem koraku je druga prekinitev.
git blame — razdelitev
2:05 git blame. Facebook, petinpetdeset odstotkov: ukaz je bil revidiran, revizor je imel napako, en ukaz je dosegel vsak usmerjevalnik. Zasnova DNS, petindvajset: preverjanje zdravja brez občutka za sorazmerje. Eno omrežje, petnajst: orodja, zunanji dostop, značke. Omare, pet, ker so opravile svoje delo. Polmer eksplozije: tri in pol milijarde uporabnikov, skoraj šest ur. Delnica zapre pet odstotkov nižje, šest milijard manj za Zuckerberga,
Polmer eksplozije
2:27 na papirju. Telegram trdi, da je tisti dan pridobil sedemdeset milijonov registracij. Razsodba, postmortem: NEEDS REVIEW. Izjava istega večera, postmortem z imenovanim avtorjem v enem dnevu, napaka v orodju za revizijo priznana v jasni angleščini.
Razsodba + ponedeljkova linija
2:38 Seznam popravkov: okrepite testiranje in vaje. Nič o odstranitvi vrat iz produkcijskega omrežja. Ponedeljek: postavite svoj zunanji dostop in svoja vrata na omrežje, ki ga ne upravljate. Pošljite mi incident, o katerem še vedno ne smete govoriti, v komentarjih, ali na the daily diff dot dev. In to je diff za danes. Sem Niko iz Axrisi.
2:58 SHIP IT odgovorno.
Viri
- Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
- Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
- Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
- Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
- Andy Stone (Facebook), 16:07 UTCtwitter.com
- Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
- Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
- Hacker News (2,589 points)news.ycombinator.com
- The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
- Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
- Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
- Krebs on Securitykrebsonsecurity.com
