Facebook se sam izbrisao s interneta. Šest sati.
Facebook uklanja vlastitu adresu s interneta, a kad njezini inženjeri dođu da je vrate, čitači znački su također ugašeni, jer rade na Facebooku.
Facebook uklanja vlastitu adresu s interneta, a kad njezini inženjeri dođu da je vrate, čitači znački su također ugašeni, jer rade na Facebooku. 4. listopada 2021., 15:40 UTC: rutina naredba za održavanje okosnice ruši svaku vezu između Facebookovih podatkovnih centara; alat za reviziju stvoren da to blokira ima grešku; Facebookovi poslužitelji imena, nesposobni dosegnuti podatkovne centre, povlače vlastite BGP rute po dizajnu — i facebook.com, Instagram, WhatsApp i Messenger nestaju iz DNS-a na gotovo šest sati. Interni alati, izvanmrežni pristup i uredske značke koriste istu mrežu, pa popravak zahtijeva ljude kod stalaka.
Pročitajte pisano izdanje (engleski) ↗
Što ovaj video pokriva
- Facebook uklanja vlastitu adresu
- Potvrde: Meta Engineering, Cloudflare, Hacker News
- Ovo je The Daily Diff, postmortem
- Vremenska crta: 15:39 naredba → 15:40 povučeno → 21:20 nazad
- Mehanizam: provjera zdravlja koja vas briše, 30× DNS oluja, vrata
Prevedeni transkript
Prevedeno iz izvornog engleskog pripovijedanja. Dostupni zvuk i titlovi kontroliraju se putem YouTubea.
Facebook uklanja vlastitu adresu
0:00 Facebook uklanja vlastitu adresu s interneta, a kad njezini inženjeri dođu da je vrate, čitači znački su također ugašeni, jer rade na Facebooku. Metin vlastiti postmortem, sljedeći dan: rutina naredba za održavanje ruši svaku okosničnu vezu, a alat stvoren da blokira takve naredbe ima grešku.
Potvrde: Meta Engineering, Cloudflare, Hacker News
0:16 Cloudflare, izvana: u 15:40 UTC rute do Facebookovih poslužitelja imena nestaju, i dig facebook.com vraća SERVFAIL posvuda na planetu. Kako se to događa, zašto sigurnosna značajka pogoršava stvari, i tko snosi krivnju. Ovo je The Daily Diff, postmortem. Rano poslijepodne, UTC.
Ovo je The Daily Diff, postmortem
0:34 Naredba namijenjena provjeri slobodnog okosničnog kapaciteta umjesto toga ruši svaku vezu između Facebookovih podatkovnih centara, a alat za reviziju stvoren da uhvati upravo ovo
Vremenska crta: 15:39 naredba → 15:40 povučeno → 21:20 nazad
0:41 propusti je. 15:40. Cloudflareov BGP feed puni se povlačenjima; Facebookovi DNS prefiksi napuštaju usmjerivačku tablicu. Unutar minute Cloudflareovi inženjeri su u sobi pitajući se jesu li pokvarili 1.1.1.1. 15:45, Hacker News, dvadeset šest stotina bodova. 16:07, Facebookov glasnogovornik, na Twitteru među svim mjestima: neki ljudi imaju problema s pristupom našim aplikacijama. Neki ljudi su tri i pol milijarde.
1:06 18:51, New York Times: zaposlenici zaključani iz svojih zgrada, značke mrtve. 19:52, CTO se ispričava. 21:00, pet sati kasnije, rute se vraćaju; 21:20, facebook.com razrješava. Zašto kvar okosnice briše Facebook s interneta?
Mehanizam: provjera zdravlja koja vas briše, 30× DNS oluja, vrata
1:20 Njegovi poslužitelji imena imaju pravilo: ne mogu dosegnuti podatkovne centre, proglasi se nezdravim, prestani oglašavati svoju adresu. Razumno kad jedna stranica krene loše. Kad cijela okosnica krene, svaki poslužitelj imena to radi odjednom. Poslužitelji su gore. Nitko ih ne može pronaći. Sigurnosna značajka pretvara mrežnu grešku u grešku postojanja. Zatim se internet nagomilava: aplikacije ponovno pokušavaju, korisnici ponovno učitavaju,
1:39 i Cloudflareov razrješavač vidi trideset puta svoje normalno opterećenje, za stranicu koja ne postoji. I vrata. Alati, izvanmrežni pristup, značke: ista mreža. Inženjeri voze do podatkovnih centara, ne mogu ući, zatim nailaze na stalke otporne protiv bilo koga s fizičkim pristupom. Izgrađeno da uspori napadača, usporava i vlasnika. Okosnica se vraća; promet pojačavaju polako, namjerno.
1:59 Svaki podatkovni centar je pao desetke megavata, a to obrnuti u jednom koraku je drugi prekid.
git blame — podjela
2:05 git blame. Facebook, pedeset i pet posto: naredba je revidirana, revizor je imao grešku, jedna naredba je došla do svakog usmjerivača. DNS dizajn, dvadeset i pet: provjera zdravlja bez osjećaja za proporciju. Jedna mreža, petnaest: alati, izvanmrežni, značke. Stalci, pet, za obavljanje svog posla. Polumjer eksplozije: tri i pol milijarde korisnika, gotovo šest sati. Dionica pada pet posto, šest milijardi manje za Zuckerberga,
Polumjer eksplozije
2:27 na papiru. Telegram tvrdi sedamdeset milijuna registracija tog dana. Presuda, postmortem: NEEDS REVIEW. Izjava iste večeri, postmortem s imenovanim autorom unutar dana, priznata greška u alatu za reviziju na jednostavnom engleskom.
Presuda + ponedjeljna linija
2:38 Popis popravaka: pojačati testiranje i vježbe. Ništa o uklanjanju vrata s proizvodne mreže. Ponedjeljak: stavite svoj izvanmrežni pristup i svoja vrata na mrežu koju ne operirate. Pošaljite mi incident o kojem vam još uvijek nije dopušteno govoriti, u komentarima, ili na the daily diff dot dev. I to je diff za danas. Ja sam Niko iz Axrisi.
2:58 Merge responsibly.
Izvori
- Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
- Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
- Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
- Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
- Andy Stone (Facebook), 16:07 UTCtwitter.com
- Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
- Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
- Hacker News (2,589 points)news.ycombinator.com
- The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
- Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
- Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
- Krebs on Securitykrebsonsecurity.com
