Facebook izdzēsa sevi no interneta. Sešas stundas.
Facebook noņem savu adresi no interneta, un, kad tās inženieri ierodas, lai to atjaunotu, žetonu lasītāji arī nedarbojas, jo tie darbojas ar Facebook.
Facebook noņem savu adresi no interneta, un, kad tās inženieri ierodas, lai to atjaunotu, žetonu lasītāji arī nedarbojas, jo tie darbojas ar Facebook. 2021. gada 4. oktobris, 15:40 UTC: parasta pamattīkla uzturēšanas komanda atslēdz visas saites starp Facebook datu centriem; audita rīkam, kas paredzēts, lai to bloķētu, ir kļūda; Facebook vārdu serveri, nespējot sasniegt datu centrus, pēc projekta atceļ savus BGP maršrutus — un facebook.com, Instagram, WhatsApp un Messenger pazūd no DNS gandrīz uz sešām stundām. Iekšējie rīki, ārpusjoslas piekļuve un biroja nozīmītes izmanto to pašu tīklu, tāpēc labošanai ir nepieciešami cilvēki pie serveru plauktiem.
Lasiet rakstisko izdevumu (angļu valodā) ↗
Ko aptver šis video
- Facebook noņem savu adresi
- Kvītis: Meta Engineering, Cloudflare, Hacker News
- Šis ir The Daily Diff, pēcapstrāde
- Laika skala: 15:39 komanda → 15:40 atsaukts → 21:20 atpakaļ
- Mehānisms: veselības pārbaude, kas jūs izdzēš, 30× DNS vētra, durvis
Jautājumi un atbildes
Kas izraisīja 2021. gada oktobra Facebook, Instagram un WhatsApp darbības traucējumus?
Rutinēta mugurkaula uzturēšanas komanda pārtrauca visas saites starp Facebook datu centriem, un audita rīkam, kas paredzēts šādu komandu bloķēšanai, bija kļūda. Saskaņā ar Meta inženieru aprakstu, tas atvienoja datu centrus vienu no otra. Līdz 15:40 UTC Cloudflare redzēja, ka maršruti uz Facebook nosaukumu serveriem tika atsaukti, un facebook.com atgrieza SERVFAIL, līdz tas atkal atrisinājās pulksten 21:20.
Kāpēc Facebook DNS serveri paši noņēmās no interneta?
Nosaukumu serveri tika izstrādāti, lai atsauktu savus BGP maršrutus, ja tie nevarēja sasniegt datu centrus. Šis noteikums ir saprātīgs, ja viena vietne neizdodas. Kad neizdevās viss mugurkauls, katrs nosaukumu serveris uzreiz pasludināja sevi par nederīgu un pārtrauca savas adreses reklamēšanu. Serveri joprojām darbojās, bet neviens tos nevarēja atrast.
Kāpēc Facebook inženieri nevarēja novērst pārtraukumu attālināti?
Iekšējie rīki, ārpusjoslas piekļuve un biroja emblēmu lasītāji darbojās tajā pašā tīklā, kas bija cietis. Inženieriem bija jādodas uz datu centriem, kur skapji bija nostiprināti pret ikvienu ar fizisku piekļuvi. The New York Times ziņoja, ka darbinieki tika izslēgti no ēkām ar nederīgām emblēmām pulksten 18:51 UTC.
Kā Facebook pārtraukums ietekmēja pārējo internetu?
Lietotnes mēģināja vēlreiz un lietotāji atsvaidzināja, tāpēc Cloudflare risinātājs redzēja trīsdesmit reizes lielāku slodzi nekā parasti vietnei, kas nebija sasniedzama. Šis incidents liecina par trīs ar pusi miljardiem lietotāju gandrīz sešas stundas. Tas arī ziņo, ka Telegram tajā dienā pieteicās septiņdesmit miljoni jaunu lietotāju.
Vai Facebook pēcnāves analīze novērsa pamatproblēmas, kas izraisīja pārtraukumu?
The Daily Diff verdikts bija NEEDS REVIEW. Facebook izdeva paziņojumu tajā pašā vakarā, publicēja pēcnāves analīzi ar nosauktu autoru dienas laikā un atzina audita rīka kļūdu vienkāršā valodā. Tās labojumu saraksts koncentrējās uz spēcīgāku testēšanu un apmācībām un neko neteica par durvju noņemšanu no ražošanas tīkla. Šis incidents iesaka ārpusjoslas piekļuvi nodrošināt tīklā, kuru jūs neapkalpojat.
Tulkotais transkripts
Tulkojums no oriģinālā angļu stāstījuma. Pieejamais audio un subtitri tiek kontrolēti no YouTube.
Facebook noņem savu adresi
0:00 Facebook noņem savu adresi no interneta, un, kad tās inženieri ierodas, lai to atjaunotu, žetonu lasītāji arī nedarbojas, jo tie darbojas ar Facebook. Meta paša pēcapstrāde nākamajā dienā: parasta uzturēšanas komanda atslēdz katru pamattīkla saiti, un rīkam, kas paredzēts, lai bloķētu šādas komandas, ir kļūda.
Kvītis: Meta Engineering, Cloudflare, Hacker News
0:16 Cloudflare, no ārpuses: plkst. 15:40 UTC maršruti uz Facebook vārdu serveriem pazūd, un dig facebook.com visur uz planētas atgriež SERVFAIL. Kā tas notiek, kāpēc drošības funkcija to pasliktina un kurš tiek vainots. Šis ir The Daily Diff, pēcapstrāde. Agrā pēcpusdienā, UTC.
Šis ir The Daily Diff, pēcapstrāde
0:34 Komanda, kas paredzēta, lai pārbaudītu brīvu pamattīkla jaudu, tā vietā atslēdz katru saiti starp Facebook datu centriem, un audita rīks, kas paredzēts, lai precīzi to atklātu,
Laika skala: 15:39 komanda → 15:40 atsaukts → 21:20 atpakaļ
0:41 ļauj tam notikt. 15:40. Cloudflare BGP plūsma piepildās ar atsaukumiem; Facebook DNS prefiksi pamet maršrutēšanas tabulu. Minūtes laikā Cloudflare inženieri atrodas telpā, domājot, vai viņi sabojāja 1.1.1.1. 15:45, Hacker News, divi tūkstoši seši simti punkti. 16:07, Facebook pārstāvis, Twitterī, no visām vietām: dažiem cilvēkiem ir grūtības piekļūt mūsu lietotnēm. Daži cilvēki ir trīs ar pusi miljardi.
1:06 18:51, The New York Times: darbinieki bloķēti ārpus savām ēkām, nozīmītes nedarbojas. 19:52, tehniskais direktors atvainojas. 21:00, piecas stundas vēlāk, maršruti atgriežas; 21:20, facebook.com atrisinās. Kāpēc pamattīkla kļūda izdzēš Facebook no interneta?
Mehānisms: veselības pārbaude, kas jūs izdzēš, 30× DNS vētra, durvis
1:20 Tās vārdu serveriem ir noteikums: nevar sasniegt datu centrus, pasludiniet sevi par neveseliem, pārtrauciet reklamēt savu adresi. Saprātīgi, kad viena vietne sabojājas. Kad sabojājas viss pamattīkls, katrs vārdu serveris to dara uzreiz. Serveri ir ieslēgti. Neviens tos nevar atrast. Drošības funkcija tīkla kļūdu pārvērš eksistences kļūdā. Tad internets sāk darboties: lietotnes mēģina vēlreiz, lietotāji atsvaidzina,
1:39 un Cloudflare risinātājs redz trīsdesmit reizes lielāku slodzi nekā parasti, vietnei, kas nav tur. Un durvis. Rīki, ārpusjoslas piekļuve, nozīmītes: viens un tas pats tīkls. Inženieri dodas uz datu centriem, nevar iekļūt, tad sastopas ar stiprinātiem serveru plauktiem, kas ir pasargāti no ikviena ar fizisku piekļuvi. Būvēts, lai palēninātu uzbrucēju, tas palēnina arī īpašnieku. Pamattīkls atgriežas; viņi apzināti lēnām palielina datplūsmu.
1:59 Katrs datu centrs ir zaudējis desmitiem megavatu, un to atgriešana vienā solī ir otrais pārtraukums.
git blame — sadalījums
2:05 git blame. Facebook, piecdesmit pieci procenti: komanda tika auditēta, auditoram bija kļūda, viena komanda sasniedza katru maršrutētāju. DNS dizains, divdesmit pieci: veselības pārbaude bez proporciju izjūtas. Viens tīkls, piecpadsmit: rīki, ārpusjoslas, nozīmītes. Plaukti, pieci, par savu darbu. Sprādziena rādiuss: trīs ar pusi miljardi lietotāju, gandrīz sešas stundas. Akciju cena noslēdzas par pieciem procentiem zemāk, seši miljardi no Zuckerberg,
Sprādziena rādiuss
2:27 uz papīra. Telegram apgalvo septiņdesmit miljonus reģistrāciju tajā dienā. Spriedums, pēcapstrāde: NEEDS REVIEW. Paziņojums tajā pašā vakarā, vārdā nosaukta autora pēcapstrāde vienas dienas laikā, audita rīka kļūda atzīta vienkāršā angļu valodā.
Spriedums + pirmdienas rinda
2:38 Labojumu saraksts: stiprināt testēšanu un mācības. Nekas par durvju noņemšanu no ražošanas tīkla. Pirmdiena: novietojiet savu ārpusjoslas piekļuvi un durvis tīklā, kuru jūs neizmantojat neapkalpojat. Nosūtiet man incidentu, par kuru jūs joprojām nedrīkstat runāt, komentāros vai vietnē the daily diff dot dev. Un tas ir šodienas atšķirība. Esmu Niko no Axrisi.
2:58 SHIP IT atbildīgi.
Avoti
- Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
- Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
- Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
- Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
- Andy Stone (Facebook), 16:07 UTCtwitter.com
- Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
- Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
- Hacker News (2,589 points)news.ycombinator.com
- The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
- Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
- Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
- Krebs on Securitykrebsonsecurity.com



