+− THE DAILY DIFFdev & AI news
NEEDS REVIEW

Facebook je izbrisao sam sebe sa interneta. Šest sati.

Facebook uklanja sopstvenu adresu sa interneta, a kada njegovi inženjeri dođu da je vrate, čitači značaka takođe ne rade, jer rade na Facebooku.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Facebook uklanja sopstvenu adresu sa interneta, a kada njegovi inženjeri dođu da je vrate, čitači značaka takođe ne rade, jer rade na Facebooku. 4. oktobar 2021, 15:40 UTC: rutinska komanda za održavanje okosnice mreže obara svaku vezu između Facebookovih centara podataka; alat za reviziju, napravljen da to spreči, ima grešku; Facebookovi serveri imena, nesposobni da pristupe centrima podataka, povlače sopstvene BGP rute po dizajnu — i facebook.com, Instagram, WhatsApp i Messenger nestaju sa DNS-a na skoro šest sati. Interni alati, vanmrežni pristup i službene značke koriste istu mrežu, pa je za popravku potrebna prisutnost ljudi kod rekova.

Pročitajte pisano izdanje (engleski) ↗

Šta ovaj video pokriva

  • Facebook uklanja sopstvenu adresu
  • Računi: Meta Engineering, Cloudflare, Hacker News
  • Ovo je The Daily Diff, postmortem
  • Vremenska linija: 15:39 komanda → 15:40 povučeno → 21:20 nazad
  • Mehanizam: provera ispravnosti koja vas briše, 30× DNS oluja, vrata

Pitanja i odgovori

Šta je uzrokovalo prekid rada Facebooka, Instagrama i WhatsAppa u oktobru 2021. godine?

Rutinska komanda za održavanje okosnice srušila je svaku vezu između Facebookovih data centara, a alat za reviziju namenjen blokiranju takvih komandi imao je grešku. Prema tehničkom izveštaju Mete, to je isključilo data centre jedan od drugog. Do 15:40 UTC Cloudflare je video da su rute do Facebookovih servera imena povučene, a facebook.com je vraćao SERVFAIL dok se ponovo nije razrešio u 21:20.

Pogledajte ovaj deo 0:40 · engineering.fb.com · blog.cloudflare.com

Zašto su Facebookovi DNS serveri sami sebe uklonili sa interneta?

Serveri imena su dizajnirani da povuku svoje BGP rute kada ne mogu da dođu do data centara. To pravilo je smisleno kada jedno mesto otkaže. Kada je celokupna okosnica otkazala, svaki server imena proglasio se nezdravim odjednom i prestao je da oglašava svoju adresu. Serveri su i dalje radili, ali niko nije mogao da ih pronađe.

Pogledajte ovaj deo 1:20 · engineering.fb.com · blog.cloudflare.com

Zašto Facebookovi inženjeri nisu mogli daljinski da poprave prekid?

Interni alati, vanopsežni pristup i čitači bedževa u kancelariji, sve je radilo na istoj mreži koja je otkazala. Inženjeri su morali da odu do data centara, gde su rekeci bili ojačani protiv bilo koga sa fizičkim pristupom. New York Times je izvestio da su zaposleni bili zaključani iz zgrada sa neispravnim bedževima u 18:51 UTC.

Pogledajte ovaj deo 1:20 · engineering.fb.com · twitter.com · www.nytimes.com

Kako je prekid Facebooka uticao na ostatak interneta?

Aplikacije su ponovo pokušavale, a korisnici su ponovo učitavali, tako da je Cloudflareov resolver video trideset puta veće opterećenje od normalnog za sajt koji nije bio dostupan. Epizoda procenjuje radijus eksplozije na tri i po milijarde korisnika tokom skoro šest sati. Takođe se navodi da je Telegram tog dana prijavio sedamdeset miliona registracija.

Pogledajte ovaj deo 2:25 · blog.cloudflare.com · www.reuters.com

Da li je Facebookova postmortem analiza rešila osnovne probleme iza prekida?

Presuda The Daily Diff-a je bila NEEDS REVIEW. Facebook je istog dana izdao saopštenje, objavio postmortem analizu sa potpisanim autorom u roku od jednog dana i priznao grešku u alatu za reviziju jasnim engleskim jezikom. Lista popravki se fokusirala na jače testiranje i vežbe i nije rekla ništa o uklanjanju vrata sa produkcijske mreže. Epizoda savetuje postavljanje vanopsežnog pristupa na mreži kojom ne upravljate.

Pogledajte ovaj deo 2:38 · engineering.fb.com · engineering.fb.com

Preveden transkript

Prevedeno sa originalne engleske naracije. Dostupan audio i titlovi kontrolisani su od strane YouTube-a.

Facebook uklanja sopstvenu adresu

0:00 Facebook uklanja sopstvenu adresu sa interneta, a kada njegovi inženjeri dođu da je vrate, čitači značaka takođe ne rade, jer rade na Facebooku. Metin sopstveni postmortem, sledećeg dana: rutinska komanda za održavanje obara svaku vezu okosnice mreže, a alat napravljen da blokira takve komande ima grešku.

Računi: Meta Engineering, Cloudflare, Hacker News

0:16 Cloudflare, spolja: u 15:40 UTC rute do Facebookovih servera imena nestaju, i dig facebook.com vraća SERVFAIL svuda na planeti. Kako se to događa, zašto sigurnosna funkcija pogoršava stvari, i ko je kriv. Ovo je The Daily Diff, postmortem. Rano popodne, UTC.

Ovo je The Daily Diff, postmortem

0:34 Komanda namenjena proveri slobodnog kapaciteta okosnice mreže umesto toga obara svaku vezu između Facebookovih centara podataka, a alat za reviziju, napravljen da uhvati upravo ovo,

Vremenska linija: 15:39 komanda → 15:40 povučeno → 21:20 nazad

0:41 propusuje je. 15:40. Cloudflareov BGP fid se puni povlačenjima; Facebookovi DNS prefiksi napuštaju tabelu rutiranja. U roku od minuta Cloudflareovi inženjeri su u sobi i pitaju se da li su pokvarili 1.1.1.1. 15:45, Hacker News, dve hiljade šesto poena. 16:07, Facebookov portparol, na Twitteru između ostalog: neki ljudi imaju problema sa pristupom našim aplikacijama. Neki ljudi su tri i po milijarde.

1:06 18:51, The New York Times: zaposleni zaključani van svojih zgrada, značke mrtve. 19:52, CTO se izvinjava. 21:00, pet sati kasnije, rute se vraćaju; 21:20, facebook.com se rešava. Zašto kvar okosnice mreže briše Facebook sa interneta?

Mehanizam: provera ispravnosti koja vas briše, 30× DNS oluja, vrata

1:20 Njegovi serveri imena imaju pravilo: ne mogu da pristupe centrima podataka, proglasi se nezdravim, prestani da reklamiraš svoju adresu. Razumno kada jedna lokacija pokvari. Kada celokupna okosnica mreže padne, svaki server imena to radi odjednom. Serveri su uključeni. Niko ih ne može pronaći. Sigurnosna funkcija pretvara mrežni kvar u kvar postojanja. Tada se internet nagomilava: aplikacije ponovo pokušavaju, korisnici ponovo učitavaju,

1:39 a Cloudflareov rešavač vidi trideset puta veće opterećenje od uobičajenog, za sajt koji ne postoji. I vrata. Alati, vanmrežni pristup, značke: ista mreža. Inženjeri voze do centara podataka, ne mogu da uđu, a zatim se susreću sa rekova otpornim na svakoga sa fizičkim pristupom. Napravljeno da uspori napadača, usporava i vlasnika. Okosnica mreže se vraća; oni namerno polako povećavaju promet.

1:59 Svaki centar podataka je ispustio desetine megavata, a to poništavanje u jednom koraku je drugi prekid.

git blame — podela

2:05 git blame. Facebook, pedeset pet posto: komanda je revidirana, revizor je imao grešku, jedna komanda je stigla do svakog rutera. Dizajn DNS-a, dvadeset pet: provera ispravnosti bez osećaja za proporciju. Jedna mreža, petnaest: alati, vanmrežni, značke. Rekovi, pet, jer su obavljali svoj posao. Radijus eksplozije: tri i po milijarde korisnika, skoro šest sati. Akcije zatvaraju sa padom od pet posto, šest milijardi manje za Zuckerberga,

Radijus eksplozije

2:27 na papiru. Telegram tvrdi sedamdeset miliona novih registracija tog dana. Presuda, postmortem: NEEDS REVIEW. Izjava iste večeri, postmortem sa imenovanim autorom u roku od jednog dana, greška u alatu za reviziju priznata jasnim engleskim jezikom.

Presuda + ponedeljkom linija

2:38 Lista popravki: ojačati testiranje i vežbe. Ništa o uklanjanju vrata sa proizvodne mreže. Ponedeljak: postavite svoj vanmrežni pristup i svoja vrata na mrežu koju ne operišete. Pošaljite mi incident o kome vam još uvek nije dozvoljeno da govorite, u komentarima, ili na the daily diff dot dev. I to je diff za danas. Ja sam Niko iz Axrisi.

2:58 SHIP IT responsibly.

Izvori

  1. Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
  2. Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
  3. Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
  4. Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
  5. Andy Stone (Facebook), 16:07 UTCtwitter.com
  6. Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
  7. Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
  8. Hacker News (2,589 points)news.ycombinator.com
  9. The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
  10. Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
  11. Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
  12. Krebs on Securitykrebsonsecurity.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Povezani video snimci