Facebook memadamkan dirinya dari internet. Enam jam.
Facebook membuang alamatnya sendiri dari internet, dan apabila juruteranya tiba untuk mengembalikannya, pembaca lencana juga tidak berfungsi, kerana ia berjalan di Facebook.
Facebook membuang alamatnya sendiri dari internet, dan apabila juruteranya tiba untuk mengembalikannya, pembaca lencana juga tidak berfungsi, kerana ia berjalan di Facebook. 4 Oktober 2021, 15:40 UTC: arahan penyelenggaraan tulang belakang rutin menjatuhkan setiap pautan antara pusat data Facebook; alat audit yang dibina untuk menyekatnya mempunyai pepijat; pelayan nama Facebook, tidak dapat mencapai pusat data, menarik balik laluan BGP mereka sendiri secara reka bentuk — dan facebook.com, Instagram, WhatsApp dan Messenger hilang dari DNS selama hampir enam jam. Alat dalaman, akses luar jalur dan lencana pejabat menggunakan rangkaian yang sama, jadi pembaikan memerlukan orang di rak.
Baca edisi bertulis (Bahasa Inggeris) ↗
Apa yang diliputi video ini
- Facebook membuang alamatnya sendiri
- Resit: Meta Engineering, Cloudflare, Hacker News
- Ini adalah The Daily Diff, postmortem
- Garis masa: arahan 15:39 → ditarik balik 15:40 → kembali 21:20
- Mekanisme: pemeriksaan kesihatan yang memadamkan anda, ribut DNS 30×, pintu
Soalan dan jawapan
Apakah punca gangguan Facebook, Instagram dan WhatsApp pada Oktober 2021?
Perintah penyelenggaraan tulang belakang rutin menyebabkan setiap pautan antara pusat data Facebook terputus, dan alat audit yang sepatutnya menyekat perintah sedemikian mempunyai pepijat. Menurut laporan kejuruteraan Meta, itu memutuskan pusat data antara satu sama lain. Menjelang 15:40 UTC Cloudflare melihat laluan ke pelayan nama Facebook ditarik balik, dan facebook.com mengembalikan SERVFAIL sehingga ia diselesaikan semula pada 21:20.
Mengapa pelayan DNS Facebook menarik diri daripada internet?
Pelayan nama direka untuk menarik balik laluan BGP mereka sendiri apabila mereka tidak dapat mencapai pusat data. Peraturan itu masuk akal apabila satu tapak gagal. Apabila keseluruhan tulang belakang gagal, setiap pelayan nama mengisytiharkan dirinya tidak sihat sekaligus dan berhenti mengiklankan alamatnya. Pelayan masih berjalan, tetapi tiada siapa yang dapat menemuinya.
Mengapa jurutera Facebook tidak dapat membaiki gangguan dari jauh?
Alat dalaman, akses luar jalur dan pembaca lencana pejabat semuanya berjalan pada rangkaian yang sama yang telah gagal. Jurutera terpaksa pergi ke pusat data, di mana rak dikeraskan terhadap sesiapa sahaja yang mempunyai akses fizikal. The New York Times melaporkan pekerja dikunci dari bangunan dengan lencana mati pada 18:51 UTC.
Bagaimanakah gangguan Facebook menjejaskan seluruh internet?
Aplikasi mencuba semula dan pengguna memuat semula, jadi penyelesai Cloudflare melihat tiga puluh kali beban normalnya untuk tapak yang tidak dapat dicapai. Episod itu meletakkan jejari letupan pada tiga setengah bilion pengguna selama hampir enam jam. Ia juga melaporkan bahawa Telegram mendakwa tujuh puluh juta pendaftaran pada hari itu.
Adakah postmortem Facebook membaiki masalah asas di sebalik gangguan itu?
Keputusan The Daily Diff adalah NEEDS REVIEW. Facebook mengeluarkan kenyataan pada malam yang sama, menerbitkan postmortem pengarang bernama dalam sehari dan mengakui pepijat alat audit dalam bahasa Inggeris yang jelas. Senarai pembetulannya menumpukan pada ujian dan latihan yang lebih kuat dan tidak mengatakan apa-apa tentang menanggalkan pintu dari rangkaian pengeluaran. Episod itu menasihatkan meletakkan akses luar jalur pada rangkaian yang anda tidak kendalikan.
Transkrip terjemahan
Diterjemahkan daripada penceritaan asal Bahasa Inggeris. Audio dan kapsyen yang tersedia dikawal oleh YouTube.
Facebook membuang alamatnya sendiri
0:00 Facebook membuang alamatnya sendiri dari internet, dan apabila juruteranya tiba untuk mengembalikannya, pembaca lencana juga tidak berfungsi, kerana ia berjalan di Facebook. Postmortem Meta sendiri, keesokan harinya: arahan penyelenggaraan rutin menjatuhkan setiap pautan tulang belakang, dan alat yang dibina untuk menyekat arahan seperti itu mempunyai pepijat.
Resit: Meta Engineering, Cloudflare, Hacker News
0:16 Cloudflare, dari luar: pada 15:40 UTC laluan ke pelayan nama Facebook hilang, dan dig facebook.com mengembalikan SERVFAIL di mana-mana di planet ini. Bagaimana ia berlaku, mengapa ciri keselamatan menjadikannya lebih teruk, dan siapa yang dipersalahkan. Ini adalah The Daily Diff, postmortem. Awal petang, UTC.
Ini adalah The Daily Diff, postmortem
0:34 Arahan yang bertujuan untuk memeriksa kapasiti tulang belakang percuma sebaliknya menjatuhkan setiap pautan antara pusat data Facebook, dan alat audit yang dibina untuk menangkap ini
Garis masa: arahan 15:39 → ditarik balik 15:40 → kembali 21:20
0:41 meluluskannya. 15:40. Suapan BGP Cloudflare dipenuhi dengan penarikan; DNS Facebook awalan meninggalkan jadual penghalaan. Dalam satu minit jurutera Cloudflare berada di dalam bilik tertanya-tanya sama ada mereka memecahkan 1.1.1.1. 15:45, Hacker News, dua ribu enam ratus mata. 16:07, jurucakap Facebook, di Twitter di semua tempat: sesetengah orang mengalami masalah mengakses aplikasi kami. Sesetengah orang adalah tiga setengah bilion.
1:06 18:51, The New York Times: pekerja dikunci keluar dari bangunan mereka, lencana mati. 19:52, CTO memohon maaf. 21:00, lima jam kemudian, laluan kembali; 21:20, facebook.com menyelesaikannya. Mengapa kerosakan tulang belakang memadamkan Facebook dari internet?
Mekanisme: pemeriksaan kesihatan yang memadamkan anda, ribut DNS 30×, pintu
1:20 Pelayan namanya mempunyai peraturan: tidak dapat mencapai pusat data, mengisytiharkan diri tidak sihat, berhenti mengiklankan alamat anda. Munasabah apabila satu tapak rosak. Apabila seluruh tulang belakang rosak, setiap pelayan nama melakukannya serentak. Pelayan hidup. Tiada siapa yang boleh menemui mereka. Ciri keselamatan menukar kerosakan rangkaian menjadi kerosakan kewujudan. Kemudian internet bertimbun: aplikasi mencuba semula, pengguna memuat semula,
1:39 dan penyelesai Cloudflare melihat tiga puluh kali beban normalnya, untuk tapak yang tiada di sana. Dan pintu. Alat, akses luar jalur, lencana: rangkaian yang sama. Jurutera memandu ke pusat data, tidak dapat masuk, kemudian bertemu rak yang diperkukuhkan terhadap sesiapa sahaja yang mempunyai akses fizikal. Dibina untuk melambatkan penyerang, ia juga melambatkan pemilik. Tulang belakang kembali; mereka meningkatkan trafik perlahan-lahan, sengaja.
1:59 Setiap pusat data telah menjatuhkan puluhan megawatt, dan membalikkan itu dalam satu langkah adalah gangguan kedua.
git blame — perpecahan
2:05 git blame. Facebook, lima puluh lima peratus: arahan diaudit, juruaudit mempunyai pepijat, satu arahan mencapai setiap penghala. Reka bentuk DNS, dua puluh lima: pemeriksaan kesihatan tanpa rasa perkadaran. Satu rangkaian, lima belas: alat, luar jalur, lencana. Rak, lima, kerana melakukan tugas mereka. Jejari letupan: tiga setengah bilion pengguna, hampir enam jam. Saham ditutup turun lima peratus, enam bilion dari Zuckerberg,
Jejari letupan
2:27 di atas kertas. Telegram mendakwa tujuh puluh juta pendaftaran pada hari itu. Keputusan, postmortem: NEEDS REVIEW. Penyataan malam yang sama, postmortem pengarang bernama dalam sehari, pepijat alat audit diakui dalam Bahasa Inggeris biasa.
Keputusan + barisan Isnin
2:38 Senarai pembaikan: mengukuhkan ujian dan latihan. Tiada apa-apa tentang menanggalkan pintu dari rangkaian pengeluaran. Isnin: letakkan akses luar jalur anda, dan pintu anda, pada rangkaian yang anda tidak kendali. Hantar saya insiden yang anda masih tidak dibenarkan bercakap mengenainya, dalam komen, atau di the daily diff dot dev. Dan itulah perbezaan untuk hari ini. Saya Niko dari Axrisi.
2:58 Gabung secara bertanggungjawab.
Sumber
- Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
- Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
- Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
- Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
- Andy Stone (Facebook), 16:07 UTCtwitter.com
- Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
- Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
- Hacker News (2,589 points)news.ycombinator.com
- The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
- Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
- Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
- Krebs on Securitykrebsonsecurity.com



