Facebook fshiu veten nga interneti. Gjashtë orë.
Facebook heq adresën e vet nga interneti, dhe kur inxhinierët e saj mbërrijnë për ta rikthyer, lexuesit e kartave janë gjithashtu jashtë funksionit, sepse ato funksionojnë në Facebook.
Facebook heq adresën e vet nga interneti, dhe kur inxhinierët e saj mbërrijnë për ta rikthyer, lexuesit e kartave janë gjithashtu jashtë funksionit, sepse ato funksionojnë në Facebook. 4 tetor 2021, 15:40 UTC: një komandë rutinë e mirëmbajtjes së shpinës rrëzon çdo lidhje midis qendrave të të dhënave të Facebook-ut; mjeti i auditimit i ndërtuar për ta bllokuar ka një gabim; serverët e emrave të Facebook-ut, të paaftë për të arritur qendrat e të dhënave, tërheqin rrugët e tyre BGP sipas dizajnit — dhe facebook.com, Instagram, WhatsApp dhe Messenger zhduken nga DNS për gati gjashtë orë. Mjetet e brendshme, qasja jashtë brezit dhe kartat e zyrës kalojnë në të njëjtin rrjet, kështu që zgjidhja kërkon njerëz në rafte.
Lexoni edicionin e shkruar (anglisht) ↗
Çfarë mbulon kjo video
- Facebook heq adresën e vet
- Dëshmitë: Meta Engineering, Cloudflare, Hacker News
- Ky është The Daily Diff, postmortem
- Kronologjia: 15:39 komandë → 15:40 e tërhequr → 21:20 kthimi
- Mekanizmi: kontrolli i shëndetit që të fshin, stuhia 30× DNS, dyert
Pyetje dhe përgjigje
Çfarë e shkaktoi ndërprerjen e Facebook, Instagram dhe WhatsApp në tetor 2021?
Një komandë rutinë e mirëmbajtjes së infrastrukturës rrëzoj çdo lidhje midis qendrave të të dhënave të Facebook, dhe mjeti i auditimit i destinuar për të bllokuar komanda të tilla kishte një defekt. Sipas shpjegimit inxhinierik të Metës, kjo shkëputi qendrat e të dhënave nga njëra-tjetra. Rreth orës 15:40 UTC Cloudflare pa që rrugët drejt serverave të emrave të Facebook u tërhoqën, dhe facebook.com ktheu SERVFAIL derisa u zgjidh përsëri në orën 21:20.
Pse serverat DNS të Facebook-ut u hoqën vetë nga interneti?
Serverat e emrave ishin projektuar të tërhiqnin rrugët e tyre BGP kur nuk mund të arrinin qendrat e të dhënave. Ky rregull është i arsyeshëm kur një faqe dështon. Kur e gjithë infrastruktura dështoi, çdo server emri e deklaroi veten jo-funksional menjëherë dhe ndaloi reklamimin e adresës së tij. Serverat ishin ende në funksion, por askush nuk mund t'i gjente.
Pse inxhinierët e Facebook-ut nuk mund ta rregullonin ndërprerjen nga distanca?
Mjetet e brendshme, qasja jashtë-brezit dhe lexuesit e kartave të zyrës, të gjitha funksiononin në të njëjtin rrjet që kishte dështuar. Inxhinierët duhej të shkonin në qendrat e të dhënave, ku raftet ishin të fortifikuara kundër kujtdo me qasje fizike. The New York Times raportoi se punonjësit ishin bllokuar jashtë ndërtesave me karta të pa-funksionale në orën 18:51 UTC.
Si ndikoi ndërprerja e Facebook-ut në pjesën tjetër të internetit?
Aplikacionet provuan përsëri dhe përdoruesit rifreskuan, kështu që zgjidhësi i Cloudflare pa tridhjetë herë ngarkesën e tij normale për një faqe që nuk ishte e arritshme. Episodi e vendos rrezen e shpërthimit në tre miliardë e gjysmë përdorues për pothuajse gjashtë orë. Gjithashtu raportohet se Telegram pretendoi shtatëdhjetë milionë regjistrime atë ditë.
A i rregulloi postmortemi i Facebook-ut problemet rrënjësore pas ndërprerjes?
Vendimi i The Daily Diff ishte NEEDS REVIEW. Facebook lëshoi një deklaratë po atë mbrëmje, publikoi një postmortem me autor të emëruar brenda një dite dhe pranoi defektin e mjetit të auditimit në gjuhë të qartë. Lista e rregullimeve të tij u përqendrua në testime dhe ushtrime më të forta dhe nuk tha asgjë për heqjen e dyerve nga rrjeti i prodhimit. Episodi këshillon vendosjen e qasjes jashtë-brezit në një rrjet që nuk e operoni ju.
Transkript i përkthyer
Përkthyer nga tregimi origjinal në anglisht. Audio dhe titrat e disponueshme kontrollohen nga YouTube.
Facebook heq adresën e vet
0:00 Facebook heq adresën e vet nga interneti, dhe kur inxhinierët e saj mbërrijnë për ta rikthyer, lexuesit e kartave janë gjithashtu jashtë funksionit, sepse ato funksionojnë në Facebook. Postmortemi i Meta-s, të nesërmen: një komandë rutinë mirëmbajtjeje rrëzon çdo lidhje kryesore, dhe mjeti i ndërtuar për të bllokuar komanda të tilla ka një gabim.
Dëshmitë: Meta Engineering, Cloudflare, Hacker News
0:16 Cloudflare, nga jashtë: në 15:40 UTC rrugët drejt serverëve të emrave të Facebook-ut zhduken, dhe dig facebook.com kthen SERVFAIL kudo në planet. Si ndodh, pse një veçori sigurie e përkeqëson, dhe kush merr fajin. Ky është The Daily Diff, postmortem. Pasdite herët, UTC.
Ky është The Daily Diff, postmortem
0:34 Një komandë e destinuar për të kontrolluar kapacitetin e lirë kryesor në vend të kësaj rrëzon çdo lidhje midis qendrave të të dhënave të Facebook-ut, dhe mjeti i auditimit i ndërtuar për të kapur pikërisht këtë
Kronologjia: 15:39 komandë → 15:40 e tërhequr → 21:20 kthimi
0:41 e lejon të kalojë. 15:40. Burimi BGP i Cloudflare mbushet me tërheqje; prefikset DNS të Facebook-ut largohen nga tabela e rrugëzimit. Brenda një minute inxhinierët e Cloudflare janë në një dhomë duke u pyetur nëse ata prishën 1.1.1.1. 15:45, Hacker News, dymijë e gjashtëqind pikë. 16:07, zëdhënësi i Facebook-ut, në Twitter nga të gjitha vendet: disa njerëz po kanë probleme me aksesimin e aplikacioneve tona. Disa njerëz janë tre miliardë e gjysmë.
1:06 18:51, New York Times: punonjës të bllokuar jashtë ndërtesave të tyre, kartat e aksesit të vdekura. 19:52, CTO kërkon falje. 21:00, pas pesë orësh, rrugët kthehen; 21:20, facebook.com zgjidhet. Pse një defekt kryesor e fshin Facebook-un nga interneti?
Mekanizmi: kontrolli i shëndetit që të fshin, stuhia 30× DNS, dyert
1:20 Serverët e tij të emrave kanë një rregull: nuk mund të arrijnë qendrat e të dhënave, shpall veten të pasigurt, ndalo reklamimin e adresës tënde. E arsyeshme kur një faqe prishet. Kur e gjithë shpina bie, çdo server emri e bën atë menjëherë. Serverët janë lart. Askush nuk mund t'i gjejë. Një veçori sigurie e kthen një defekt rrjeti në një defekt ekzistence. Pastaj interneti grumbullohet: aplikacionet rishikojnë, përdoruesit rifreskojnë,
1:39 dhe zgjidhësi i Cloudflare sheh tridhjetë herë ngarkesën e tij normale, për një faqe që nuk është aty. Dhe dyert. Mjetet, qasja jashtë brezit, kartat e aksesit: i njëjti rrjet. Inxhinierët shkojnë me makinë në qendrat e të dhënave, nuk mund të hyjnë, pastaj takojnë rafte të forta kundër kujtdo me qasje fizike. Ndërtuar për të ngadalësuar një sulmues, ai ngadalëson edhe pronarin. Shpina kthehet; ata rritin trafikun ngadalë, me qëllim.
1:59 Çdo qendër të dhënash ka rënë me dhjetëra megavat, dhe kthimi i kësaj në një hap është një ndërprerje e dytë.
git blame — ndarja
2:05 git blame. Facebook, pesëdhjetë e pesë për qind: komanda u auditua, audituesi kishte gabimin, një komandë arriti çdo ruter. Dizajni i DNS, njëzet e pesë: një kontroll shëndetësor pa sens proporcionit. Një rrjet, pesëmbëdhjetë: mjete, jashtë brezit, karta aksesit. Raftet, pesë, për kryerjen e punës së tyre. Rrezja e shpërthimit: tre miliardë e gjysmë përdorues, gati gjashtë orë. Aksionet mbyllen me pesë për qind rënie, gjashtë miliardë humbje për Zuckerberg-un,
Rrezja e shpërthimit
2:27 në letër. Telegram pretendon shtatëdhjetë milionë regjistrime atë ditë. Vendimi, postmortem: NEEDS REVIEW. Deklaratë e së njëjtës mbrëmje, postmortem me autor të emëruar brenda një dite, gabimi i mjetit të auditimit i pranuar në anglisht të thjeshtë.
Vendimi + linja e së hënës
2:38 Lista e rregullimeve: forco testimet dhe stërvitjet. Asgjë për heqjen e dyerve nga rrjeti i prodhimit. E hënë: vendos qasjen tënde jashtë brezit, dhe derën tënde, në një rrjet që ti nuk operon. Më dërgo incidentin për të cilin ende nuk të lejohet të flasësh, në komente, ose te the daily diff dot dev. Dhe ky është ndryshimi për sot. Unë jam Niko nga Axrisi.
2:58 Bashko me përgjegjësi.
Burimet
- Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
- Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
- Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
- Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
- Andy Stone (Facebook), 16:07 UTCtwitter.com
- Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
- Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
- Hacker News (2,589 points)news.ycombinator.com
- The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
- Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
- Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
- Krebs on Securitykrebsonsecurity.com



