Facebook izdzēsa sevi no interneta. Sešas stundas.

Ko aptver šis video

• Facebook noņem savu adresi
• Kvītis: Meta Engineering, Cloudflare, Hacker News
• Šis ir The Daily Diff, pēcapstrāde
• Laika skala: 15:39 komanda → 15:40 atsaukts → 21:20 atpakaļ
• Mehānisms: veselības pārbaude, kas jūs izdzēš, 30× DNS vētra, durvis

Tulkotais transkripts

Tulkojums no oriģinālā angļu stāstījuma. Pieejamais audio un subtitri tiek kontrolēti no YouTube.

Facebook noņem savu adresi

0:00 Facebook noņem savu adresi no interneta, un, kad tās inženieri ierodas, lai to atjaunotu, žetonu lasītāji arī nedarbojas, jo tie darbojas ar Facebook. Meta paša pēcapstrāde nākamajā dienā: parasta uzturēšanas komanda atslēdz katru pamattīkla saiti, un rīkam, kas paredzēts, lai bloķētu šādas komandas, ir kļūda.

Kvītis: Meta Engineering, Cloudflare, Hacker News

0:16 Cloudflare, no ārpuses: plkst. 15:40 UTC maršruti uz Facebook vārdu serveriem pazūd, un dig facebook.com visur uz planētas atgriež SERVFAIL. Kā tas notiek, kāpēc drošības funkcija to pasliktina un kurš tiek vainots. Šis ir The Daily Diff, pēcapstrāde. Agrā pēcpusdienā, UTC.

Šis ir The Daily Diff, pēcapstrāde

0:34 Komanda, kas paredzēta, lai pārbaudītu brīvu pamattīkla jaudu, tā vietā atslēdz katru saiti starp Facebook datu centriem, un audita rīks, kas paredzēts, lai precīzi to atklātu,

Laika skala: 15:39 komanda → 15:40 atsaukts → 21:20 atpakaļ

0:41 ļauj tam notikt. 15:40. Cloudflare BGP plūsma piepildās ar atsaukumiem; Facebook DNS prefiksi pamet maršrutēšanas tabulu. Minūtes laikā Cloudflare inženieri atrodas telpā, domājot, vai viņi sabojāja 1.1.1.1. 15:45, Hacker News, divi tūkstoši seši simti punkti. 16:07, Facebook pārstāvis, Twitterī, no visām vietām: dažiem cilvēkiem ir grūtības piekļūt mūsu lietotnēm. Daži cilvēki ir trīs ar pusi miljardi.

1:06 18:51, The New York Times: darbinieki bloķēti ārpus savām ēkām, nozīmītes nedarbojas. 19:52, tehniskais direktors atvainojas. 21:00, piecas stundas vēlāk, maršruti atgriežas; 21:20, facebook.com atrisinās. Kāpēc pamattīkla kļūda izdzēš Facebook no interneta?

Mehānisms: veselības pārbaude, kas jūs izdzēš, 30× DNS vētra, durvis

1:20 Tās vārdu serveriem ir noteikums: nevar sasniegt datu centrus, pasludiniet sevi par neveseliem, pārtrauciet reklamēt savu adresi. Saprātīgi, kad viena vietne sabojājas. Kad sabojājas viss pamattīkls, katrs vārdu serveris to dara uzreiz. Serveri ir ieslēgti. Neviens tos nevar atrast. Drošības funkcija tīkla kļūdu pārvērš eksistences kļūdā. Tad internets sāk darboties: lietotnes mēģina vēlreiz, lietotāji atsvaidzina,

1:39 un Cloudflare risinātājs redz trīsdesmit reizes lielāku slodzi nekā parasti, vietnei, kas nav tur. Un durvis. Rīki, ārpusjoslas piekļuve, nozīmītes: viens un tas pats tīkls. Inženieri dodas uz datu centriem, nevar iekļūt, tad sastopas ar stiprinātiem serveru plauktiem, kas ir pasargāti no ikviena ar fizisku piekļuvi. Būvēts, lai palēninātu uzbrucēju, tas palēnina arī īpašnieku. Pamattīkls atgriežas; viņi apzināti lēnām palielina datplūsmu.

1:59 Katrs datu centrs ir zaudējis desmitiem megavatu, un to atgriešana vienā solī ir otrais pārtraukums.

git blame — sadalījums

2:05 git blame. Facebook, piecdesmit pieci procenti: komanda tika auditēta, auditoram bija kļūda, viena komanda sasniedza katru maršrutētāju. DNS dizains, divdesmit pieci: veselības pārbaude bez proporciju izjūtas. Viens tīkls, piecpadsmit: rīki, ārpusjoslas, nozīmītes. Plaukti, pieci, par savu darbu. Sprādziena rādiuss: trīs ar pusi miljardi lietotāju, gandrīz sešas stundas. Akciju cena noslēdzas par pieciem procentiem zemāk, seši miljardi no Zuckerberg,

Sprādziena rādiuss

2:27 uz papīra. Telegram apgalvo septiņdesmit miljonus reģistrāciju tajā dienā. Spriedums, pēcapstrāde: NEEDS REVIEW. Paziņojums tajā pašā vakarā, vārdā nosaukta autora pēcapstrāde vienas dienas laikā, audita rīka kļūda atzīta vienkāršā angļu valodā.

Spriedums + pirmdienas rinda

2:38 Labojumu saraksts: stiprināt testēšanu un mācības. Nekas par durvju noņemšanu no ražošanas tīkla. Pirmdiena: novietojiet savu ārpusjoslas piekļuvi un durvis tīklā, kuru jūs neizmantojat neapkalpojat. Nosūtiet man incidentu, par kuru jūs joprojām nedrīkstat runāt, komentāros vai vietnē the daily diff dot dev. Un tas ir šodienas atšķirība. Esmu Niko no Axrisi.

2:58 SHIP IT atbildīgi.

Avoti

1. Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
2. Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
3. Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
4. Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
5. Andy Stone (Facebook), 16:07 UTCtwitter.com
6. Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
7. Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
8. Hacker News (2,589 points)news.ycombinator.com
9. The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
10. Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
11. Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
12. Krebs on Securitykrebsonsecurity.com