„Facebook“ išsitrynė iš interneto. Šešios valandos.

Kas aptariama šiame vaizdo įraše

• „Facebook“ pašalina savo adresą
• Šaltiniai: Meta Engineering, Cloudflare, Hacker News
• Tai yra The Daily Diff, po incidento analizė
• Chronologija: 15:39 komanda → 15:40 atšaukta → 21:20 grįžta
• Mechanizmas: jūsų pašalinantis būklės patikrinimas, 30× DNS audra, durys

Išverstas transkriptas

Išversta iš originalo anglų kalbos. Galimas garso ir subtitrų valdymas per YouTube.

„Facebook“ pašalina savo adresą

0:00 „Facebook“ pašalina savo adresą iš interneto, o kai jos inžinieriai atvyksta jį grąžinti, ženklelių skaitytuvai taip pat neveikia, nes jie veikia „Facebook“ tinkle. Pačios „Meta“ po incidento analizė, kitą dieną: įprasta priežiūros komanda nutraukia kiekvieną pagrindinio tinklo ryšį, o sukurta priemonė, skirta blokuoti tokias komandas, turi klaidą.

Šaltiniai: Meta Engineering, Cloudflare, Hacker News

0:16 „Cloudflare“, iš išorės: 15:40 UTC dingsta maršrutai į „Facebook“ vardų serverius, o dig facebook.com visur planetoje grąžina SERVFAIL. Kaip tai nutinka, kodėl saugumo funkcija pablogina situaciją ir kas kaltas. Tai yra The Daily Diff, po incidento analizė. Ankstyva popietė, UTC.

Tai yra The Daily Diff, po incidento analizė

0:34 Komanda, skirta patikrinti laisvą pagrindinio tinklo pralaidumą, vietoj to nutraukia visas jungtis tarp „Facebook“ duomenų centrų, o sukurta audito priemonė, skirta būtent tam

Chronologija: 15:39 komanda → 15:40 atšaukta → 21:20 grįžta

0:41 praleidžia tai. 15:40. „Cloudflare“ BGP srautas užsipildo atšaukimais; „Facebook“ DNS priešdėliai palieka maršrutizavimo lentelę. Per minutę „Cloudflare“ inžinieriai yra kambaryje ir svarsto, ar jie sugadino 1.1.1.1. 15:45, Hacker News, du tūkstančiai šeši šimtai taškų. 16:07, „Facebook“ atstovas, „Twitter“ tinkle: kai kurie žmonės turi problemų prisijungdami prie mūsų programėlių. Kai kurie žmonės yra trys su puse milijardo.

1:06 18:51, The New York Times: darbuotojai negali patekti į pastatus, ženkleliai neveikia. 19:52, CTO atsiprašo. 21:00, po penkių valandų, maršrutai grįžta; 21:20, facebook.com atsako. Kodėl pagrindinio tinklo gedimas ištrina „Facebook“ iš interneto?

Mechanizmas: jūsų pašalinantis būklės patikrinimas, 30× DNS audra, durys

1:20 Jos vardų serveriai turi taisyklę: negali pasiekti duomenų centrų, paskelbkite save nesveiku, nustokite reklamuoti savo adresą. Protinga, kai viena svetainė sugenda. Kai sugenda visas pagrindinis tinklas, kiekvienas vardų serveris tai daro vienu metu. Serveriai veikia. Niekas negali jų rasti. Saugumo funkcija tinklo gedimą paverčia egzistencijos gedimu. Tada internetas prisijungia: programėlės bando iš naujo, vartotojai iš naujo įkelia,

1:39 ir „Cloudflare“ sprendėjas mato trisdešimt kartų didesnį nei įprasta apkrovą, svetainei, kurios nėra. Ir durys. Įrankiai, išorinis ryšys, ženkleliai: tas pats tinklas. Inžinieriai važiuoja į duomenų centrus, negali įeiti, tada susiduria su stelažais, apsaugotais nuo bet kurio, turinčio fizinę prieigą. Sukurta sulėtinti užpuoliką, ji lėtina ir savininką. Grįžta pagrindinis tinklas; jie tyčia lėtai didina srautą.

1:59 Kiekvienas duomenų centras numetė dešimtis megavatų, o tai atšaukti vienu žingsniu yra antrasis pertrūkis.

git blame — pasidalijimas

2:05 git blame. „Facebook“, penkiasdešimt penki procentai: komanda buvo audituota, auditorius turėjo klaidą, viena komanda pasiekė kiekvieną maršrutizatorių. DNS dizainas, dvidešimt penki: būklės patikrinimas be proporcijos jausmo. Vienas tinklas, penkiolika: įrankiai, išorinis ryšys, ženkleliai. Stelažai, penki, už atliktą darbą. Poveikio spindulys: trys su puse milijardo vartotojų, beveik šešios valandos. Akcijos užsidarė penkiais procentais žemiau, šeši milijardai nuo Zuckerbergo,

Poveikio spindulys

2:27 popieriuje. Telegram praneša apie septyniasdešimt milijonų užsiregistravusių tą dieną. Verdiktas, po incidento analizė: NEEDS REVIEW. Tą patį vakarą paskelbtas pranešimas, po dienos pavardės autoriaus po incidento analizė, audito įrankio klaida pripažinta paprasta kalba.

Verdiktas + pirmadienio eilutė

2:38 Taisymų sąrašas: sustiprinti testavimą ir pratybas. Nieko apie durų pašalinimą iš gamybos tinklo. Pirmadienis: padėkite savo išorinį ryšį ir duris į tinklą, kurio jūs nevaldote. Atsiųskite man incidentą, apie kurį jums vis dar neleidžiama kalbėti, komentaruose arba the daily diff dot dev. Ir tai yra šiandienos skirtumas. Aš esu Niko iš Axrisi.

2:58 Sujunkite atsakingai.

Šaltiniai

1. Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
2. Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
3. Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
4. Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
5. Andy Stone (Facebook), 16:07 UTCtwitter.com
6. Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
7. Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
8. Hacker News (2,589 points)news.ycombinator.com
9. The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
10. Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
11. Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
12. Krebs on Securitykrebsonsecurity.com