+− THE DAILY DIFFdev & AI news
NEEDS REVIEW

Facebook se sam izbrisao s interneta. Šest sati.

Facebook uklanja vlastitu adresu s interneta, a kad njezini inženjeri dođu da je vrate, čitači znački su također ugašeni, jer rade na Facebooku.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Facebook uklanja vlastitu adresu s interneta, a kad njezini inženjeri dođu da je vrate, čitači znački su također ugašeni, jer rade na Facebooku. 4. listopada 2021., 15:40 UTC: rutina naredba za održavanje okosnice ruši svaku vezu između Facebookovih podatkovnih centara; alat za reviziju stvoren da to blokira ima grešku; Facebookovi poslužitelji imena, nesposobni dosegnuti podatkovne centre, povlače vlastite BGP rute po dizajnu — i facebook.com, Instagram, WhatsApp i Messenger nestaju iz DNS-a na gotovo šest sati. Interni alati, izvanmrežni pristup i uredske značke koriste istu mrežu, pa popravak zahtijeva ljude kod stalaka.

Pročitajte pisano izdanje (engleski) ↗

Što ovaj video pokriva

  • Facebook uklanja vlastitu adresu
  • Potvrde: Meta Engineering, Cloudflare, Hacker News
  • Ovo je The Daily Diff, postmortem
  • Vremenska crta: 15:39 naredba → 15:40 povučeno → 21:20 nazad
  • Mehanizam: provjera zdravlja koja vas briše, 30× DNS oluja, vrata

Pitanja i odgovori

Što je uzrokovalo prekid rada Facebooka, Instagrama i WhatsAppa u listopadu 2021.?

Rutinska naredba za održavanje okosnice srušila je svaku vezu između Facebookovih podatkovnih centara, a alat za reviziju namijenjen blokiranju takvih naredbi imao je grešku. Prema tehničkom izvještaju tvrtke Meta, to je prekinulo vezu između podatkovnih centara. Do 15:40 UTC, Cloudflare je vidio da su rute do Facebookovih poslužitelja imena povučene, a facebook.com je vraćao SERVFAIL sve dok se ponovno nije riješio u 21:20.

Gledajte ovaj dio 0:40 · engineering.fb.com · blog.cloudflare.com

Zašto su se Facebookovi DNS poslužitelji uklonili s interneta?

Poslužitelji imena bili su dizajnirani da povuku vlastite BGP rute kada ne mogu doći do podatkovnih centara. To pravilo je razumno kada jedno mjesto zakaže. Kada je cijela okosnica zakazala, svaki poslužitelj imena odmah se proglasio nezdravim i prestao oglašavati svoju adresu. Poslužitelji su i dalje radili, ali ih nitko nije mogao pronaći.

Gledajte ovaj dio 1:20 · engineering.fb.com · blog.cloudflare.com

Zašto Facebookovi inženjeri nisu mogli daljinski popraviti prekid rada?

Interni alati, izvanpojasni pristup i čitači uredskih kartica svi su radili na istoj mreži koja je zakazala. Inženjeri su morali otići u podatkovne centre, gdje su ormari bili otporni na svakoga s fizičkim pristupom. New York Times je izvijestio da su zaposlenici bili zaključani iz zgrada s nevažećim značkama u 18:51 UTC.

Gledajte ovaj dio 1:20 · engineering.fb.com · twitter.com · www.nytimes.com

Kako je prekid rada Facebooka utjecao na ostatak interneta?

Aplikacije su ponovno pokušavale, a korisnici su ponovno učitavali, pa je Cloudflareov rješavač vidio trideset puta veće normalno opterećenje za web mjesto koje nije bilo dostupno. Epizoda bilježi radijus eksplozije od tri i pol milijarde korisnika tijekom gotovo šest sati. Također izvještava da je Telegram tog dana zabilježio sedamdeset milijuna prijava.

Gledajte ovaj dio 2:25 · blog.cloudflare.com · www.reuters.com

Je li Facebookova naknadna analiza otklonila korijenske probleme iza prekida rada?

Presuda The Daily Diffa bila je NEEDS REVIEW. Facebook je istu večer izdao izjavu, objavio naknadnu analizu s imenovanim autorom u roku od jednog dana i priznao grešku u alatu za reviziju na jednostavnom engleskom jeziku. Njegov popis popravaka usredotočio se na jače testiranje i vježbe i nije rekao ništa o uklanjanju vrata s produkcijske mreže. Epizoda savjetuje postavljanje izvanpojasnog pristupa na mrežu kojom ne upravljate.

Gledajte ovaj dio 2:38 · engineering.fb.com · engineering.fb.com

Prevedeni transkript

Prevedeno iz izvornog engleskog pripovijedanja. Dostupni zvuk i titlovi kontroliraju se putem YouTubea.

Facebook uklanja vlastitu adresu

0:00 Facebook uklanja vlastitu adresu s interneta, a kad njezini inženjeri dođu da je vrate, čitači znački su također ugašeni, jer rade na Facebooku. Metin vlastiti postmortem, sljedeći dan: rutina naredba za održavanje ruši svaku okosničnu vezu, a alat stvoren da blokira takve naredbe ima grešku.

Potvrde: Meta Engineering, Cloudflare, Hacker News

0:16 Cloudflare, izvana: u 15:40 UTC rute do Facebookovih poslužitelja imena nestaju, i dig facebook.com vraća SERVFAIL posvuda na planetu. Kako se to događa, zašto sigurnosna značajka pogoršava stvari, i tko snosi krivnju. Ovo je The Daily Diff, postmortem. Rano poslijepodne, UTC.

Ovo je The Daily Diff, postmortem

0:34 Naredba namijenjena provjeri slobodnog okosničnog kapaciteta umjesto toga ruši svaku vezu između Facebookovih podatkovnih centara, a alat za reviziju stvoren da uhvati upravo ovo

Vremenska crta: 15:39 naredba → 15:40 povučeno → 21:20 nazad

0:41 propusti je. 15:40. Cloudflareov BGP feed puni se povlačenjima; Facebookovi DNS prefiksi napuštaju usmjerivačku tablicu. Unutar minute Cloudflareovi inženjeri su u sobi pitajući se jesu li pokvarili 1.1.1.1. 15:45, Hacker News, dvadeset šest stotina bodova. 16:07, Facebookov glasnogovornik, na Twitteru među svim mjestima: neki ljudi imaju problema s pristupom našim aplikacijama. Neki ljudi su tri i pol milijarde.

1:06 18:51, New York Times: zaposlenici zaključani iz svojih zgrada, značke mrtve. 19:52, CTO se ispričava. 21:00, pet sati kasnije, rute se vraćaju; 21:20, facebook.com razrješava. Zašto kvar okosnice briše Facebook s interneta?

Mehanizam: provjera zdravlja koja vas briše, 30× DNS oluja, vrata

1:20 Njegovi poslužitelji imena imaju pravilo: ne mogu dosegnuti podatkovne centre, proglasi se nezdravim, prestani oglašavati svoju adresu. Razumno kad jedna stranica krene loše. Kad cijela okosnica krene, svaki poslužitelj imena to radi odjednom. Poslužitelji su gore. Nitko ih ne može pronaći. Sigurnosna značajka pretvara mrežnu grešku u grešku postojanja. Zatim se internet nagomilava: aplikacije ponovno pokušavaju, korisnici ponovno učitavaju,

1:39 i Cloudflareov razrješavač vidi trideset puta svoje normalno opterećenje, za stranicu koja ne postoji. I vrata. Alati, izvanmrežni pristup, značke: ista mreža. Inženjeri voze do podatkovnih centara, ne mogu ući, zatim nailaze na stalke otporne protiv bilo koga s fizičkim pristupom. Izgrađeno da uspori napadača, usporava i vlasnika. Okosnica se vraća; promet pojačavaju polako, namjerno.

1:59 Svaki podatkovni centar je pao desetke megavata, a to obrnuti u jednom koraku je drugi prekid.

git blame — podjela

2:05 git blame. Facebook, pedeset i pet posto: naredba je revidirana, revizor je imao grešku, jedna naredba je došla do svakog usmjerivača. DNS dizajn, dvadeset i pet: provjera zdravlja bez osjećaja za proporciju. Jedna mreža, petnaest: alati, izvanmrežni, značke. Stalci, pet, za obavljanje svog posla. Polumjer eksplozije: tri i pol milijarde korisnika, gotovo šest sati. Dionica pada pet posto, šest milijardi manje za Zuckerberga,

Polumjer eksplozije

2:27 na papiru. Telegram tvrdi sedamdeset milijuna registracija tog dana. Presuda, postmortem: NEEDS REVIEW. Izjava iste večeri, postmortem s imenovanim autorom unutar dana, priznata greška u alatu za reviziju na jednostavnom engleskom.

Presuda + ponedjeljna linija

2:38 Popis popravaka: pojačati testiranje i vježbe. Ništa o uklanjanju vrata s proizvodne mreže. Ponedjeljak: stavite svoj izvanmrežni pristup i svoja vrata na mrežu koju ne operirate. Pošaljite mi incident o kojem vam još uvijek nije dopušteno govoriti, u komentarima, ili na the daily diff dot dev. I to je diff za danas. Ja sam Niko iz Axrisi.

2:58 Merge responsibly.

Izvori

  1. Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
  2. Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
  3. Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
  4. Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
  5. Andy Stone (Facebook), 16:07 UTCtwitter.com
  6. Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
  7. Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
  8. Hacker News (2,589 points)news.ycombinator.com
  9. The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
  10. Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
  11. Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
  12. Krebs on Securitykrebsonsecurity.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Povezani videozapisi