+− THE DAILY DIFFdev & AI news
NEEDS REVIEW

Facebook se izbrisao s interneta. Šest sati.

Facebook uklanja vlastitu adresu s interneta, a kada njegovi inženjeri dođu da je vrate, čitači značaka su također u kvaru, jer rade na Facebooku.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Facebook uklanja vlastitu adresu s interneta, a kada njegovi inženjeri dođu da je vrate, čitači značaka su također u kvaru, jer rade na Facebooku. 4. oktobar 2021, 15:40 UTC: rutinska komanda za održavanje okosnice ruši svaku vezu između Facebookovih podatkovnih centara; alat za reviziju napravljen da to blokira ima grešku; Facebookovi poslužitelji imena, ne mogući doći do podatkovnih centara, po dizajnu povlače vlastite BGP rute — i facebook.com, Instagram, WhatsApp i Messenger nestaju iz DNS-a na gotovo šest sati. Interni alati, vanjski pristup i uredske značke koriste istu mrežu, tako da je za popravku potrebno osoblje kod rekova.

Pročitajte pisano izdanje (engleski) ↗

Šta ovaj video pokriva

  • Facebook uklanja vlastitu adresu
  • Računi: Meta Engineering, Cloudflare, Hacker News
  • Ovo je The Daily Diff, postmortem
  • Vremenska linija: 15:39 komanda → 15:40 povučeno → 21:20 nazad
  • Mehanizam: provjera zdravlja koja vas briše, 30× DNS oluja, vrata

Pitanja i odgovori

Šta je uzrokovalo prekid rada Facebooka, Instagrama i WhatsAppa u oktobru 2021. godine?

Rutinska komanda za održavanje okosnice srušila je svaku vezu između Facebookovih data centara, a alat za reviziju namijenjen blokiranju takvih komandi imao je grešku. Prema tehničkom izvještaju Mete, to je isključilo data centre jedan od drugog. Do 15:40 UTC Cloudflare je vidio povlačenje ruta do Facebookovih servera imena, a facebook.com je vraćao SERVFAIL dok se ponovo nije riješio u 21:20.

Gledajte ovaj dio 0:40 · engineering.fb.com · blog.cloudflare.com

Zašto su Facebookovi DNS serveri uklonili sami sebe s interneta?

Serveri imena bili su dizajnirani da povuku vlastite BGP rute kada ne mogu doći do data centara. To pravilo je razumno kada jedan sajt padne. Kada je cijela okosnica pala, svaki server imena proglasio se nezdravim odjednom i prestao oglašavati svoju adresu. Serveri su još uvijek radili, ali ih niko nije mogao pronaći.

Gledajte ovaj dio 1:20 · engineering.fb.com · blog.cloudflare.com

Zašto Facebookovi inženjeri nisu mogli daljinski popraviti prekid rada?

Interni alati, van-opseg pristup i čitači kartica u uredu svi su radili na istoj mreži koja je pala. Inženjeri su morali otići u data centre, gdje su ormari bili zaštićeni od bilo koga s fizičkim pristupom. The New York Times je izvijestio da su zaposlenici bili zaključani iz zgrada s neispravnim karticama u 18:51 UTC.

Gledajte ovaj dio 1:20 · engineering.fb.com · twitter.com · www.nytimes.com

Kako je prekid rada Facebooka utjecao na ostatak interneta?

Aplikacije su pokušavale ponovo, a korisnici su ponovo učitavali, tako da je Cloudflareov resolver vidio trideset puta veće opterećenje od uobičajenog za sajt koji nije bio dostupan. Epizoda bilježi radijus eksplozije od tri i po milijarde korisnika skoro šest sati. Također izvještava da je Telegram tvrdio sedamdeset miliona prijava tog dana.

Gledajte ovaj dio 2:25 · blog.cloudflare.com · www.reuters.com

Je li Facebookova analiza nakon incidenta riješila korijenske probleme iza prekida rada?

Presuda The Daily Diffa bila je NEEDS REVIEW. Facebook je istog dana objavio izjavu, objavio analizu nakon incidenta s potpisanim autorom u roku od jednog dana i priznao grešku alata za reviziju na jednostavnom jeziku. Njegov popis popravki fokusirao se na jače testiranje i vježbe i nije rekao ništa o uklanjanju vrata s produkcijske mreže. Epizoda savjetuje postavljanje van-opseg pristupa na mrežu kojom ne upravljate.

Gledajte ovaj dio 2:38 · engineering.fb.com · engineering.fb.com

Prevedeni transkript

Prevedeno iz originalne engleske naracije. Dostupan zvuk i titlovi kontroliše YouTube.

Facebook uklanja vlastitu adresu

0:00 Facebook uklanja vlastitu adresu s interneta, a kada njegovi inženjeri dođu da je vrate, čitači značaka su također u kvaru, jer rade na Facebooku. Metin vlastiti postmortem, sljedećeg dana: rutinska komanda za održavanje ruši svaku okosničnu vezu, a alat napravljen da blokira takve komande ima grešku.

Računi: Meta Engineering, Cloudflare, Hacker News

0:16 Cloudflare, izvana: u 15:40 UTC rute do Facebookovih poslužitelja imena nestaju, i dig facebook.com vraća SERVFAIL svugdje na planeti. Kako se to događa, zašto sigurnosna značajka pogoršava situaciju i ko je kriv. Ovo je The Daily Diff, postmortem. Rano popodne, UTC.

Ovo je The Daily Diff, postmortem

0:34 Komanda namijenjena provjeri slobodnog kapaciteta okosnice umjesto toga ruši svaku vezu između Facebookovih podatkovnih centara, a alat za reviziju napravljen da uhvati upravo ovo

Vremenska linija: 15:39 komanda → 15:40 povučeno → 21:20 nazad

0:41 propusti je. 15:40. Cloudflareov BGP feed se puni povlačenjima; Facebookovi DNS prefiksi napuštaju tabelu rutiranja. U roku od minute Cloudflareovi inženjeri su u sobi pitajući se jesu li pokvarili 1.1.1.1. 15:45, Hacker News, dvadeset šest stotina bodova. 16:07, Facebookov glasnogovornik, na Twitteru među svim mjestima: neki ljudi imaju probleme s pristupom našim aplikacijama. Neki ljudi je tri i po milijarde.

1:06 18:51, New York Times: zaposlenici zaključani iz svojih zgrada, značke mrtve. 19:52, CTO se izvinjava. 21:00, pet sati, rute se vraćaju; 21:20, facebook.com se rješava. Zašto kvar na okosnici briše Facebook s interneta?

Mehanizam: provjera zdravlja koja vas briše, 30× DNS oluja, vrata

1:20 Njegovi poslužitelji imena imaju pravilo: ne mogu doći do podatkovnih centara, proglasite se nezdravim, prestanite oglašavati svoju adresu. Razumno kada jedno mjesto ode loše. Kada cijela okosnica ode, svaki poslužitelj imena to radi odjednom. Serveri su uključeni. Nitko ih ne može pronaći. Sigurnosna značajka pretvara mrežni kvar u kvar postojanja. Zatim se internet nagomilava: aplikacije pokušavaju ponovo, korisnici osvježavaju,

1:39 a Cloudflareov resolver vidi trideset puta svoje normalno opterećenje, za stranicu koja ne postoji. I vrata. Alati, vanjski pristup, značke: ista mreža. Inženjeri voze do podatkovnih centara, ne mogu ući, zatim susreću rekove ojačane protiv bilo koga s fizičkim pristupom. Izgrađen da uspori napadača, usporava i vlasnika. Okosnica se vraća; promet rampaju polako, namjerno.

1:59 Svaki podatkovni centar je ispustio desetine megavata, i preokretanje toga u jednom koraku je drugi prekid.

git blame — podjela

2:05 git blame. Facebook, pedeset pet posto: komanda je revidirana, revizor je imao grešku, jedna komanda je dosegla svaki ruter. DNS dizajn, dvadeset pet: provjera zdravlja bez osjećaja za proporciju. Jedna mreža, petnaest: alati, vanjski, značke. Rekovi, pet, za obavljanje svog posla. Radijus eksplozije: tri i po milijarde korisnika, gotovo šest sati. Dionice zatvaraju s padom od pet posto, šest milijardi manje za Zuckerberga,

Radijus eksplozije

2:27 na papiru. Telegram tvrdi sedamdeset miliona prijava tog dana. Presuda, postmortem: NEEDS REVIEW. Izjava iste večeri, postmortem s imenovanim autorom u roku od dana, greška alata za reviziju priznata jasnim engleskim jezikom.

Presuda + ponedjeljak linija

2:38 Popis popravaka: pojačati testiranje i vježbe. Ništa o uklanjanju vrata s produkcijske mreže. Ponedjeljak: stavite svoj vanjski pristup, i svoja vrata, na mrežu koju ne upravljate. Pošaljite mi incident o kojem još uvijek ne smijete pričati, u komentarima, ili na the daily diff dot dev. I to je diff za danas. Ja sam Niko iz Axrisi.

2:58 Spojite odgovorno.

Izvori

  1. Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
  2. Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
  3. Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
  4. Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
  5. Andy Stone (Facebook), 16:07 UTCtwitter.com
  6. Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
  7. Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
  8. Hacker News (2,589 points)news.ycombinator.com
  9. The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
  10. Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
  11. Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
  12. Krebs on Securitykrebsonsecurity.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Povezani videozapisi