Facebook internetdan o‘zini o‘chirdi. Olti soat.
Facebook o‘z manzilini internetdan olib tashladi va muhandislari uni qaytarish uchun kelishganida, ularning bej o‘quvchi qurilmalari ham ishlamay qoldi, chunki ular Facebookda ishlaydi.
Facebook o‘z manzilini internetdan olib tashladi va muhandislari uni qaytarish uchun kelishganida, ularning bej o‘quvchi qurilmalari ham ishlamay qoldi, chunki ular Facebookda ishlaydi. 2021-yil 4-oktabr, 15:40 UTC: muntazam magistral-texnik xizmat ko‘rsatish buyrug‘i Facebook ma’lumotlar markazlari orasidagi barcha bog‘lanishlarni uzib qo‘ydi; uni bloklash uchun yaratilgan audit vositasida xato bor edi; Facebookning nom serverlari ma’lumotlar markazlariga kira olmagani uchun o‘z BGP marshrutlarini reja asosida qaytarib oldi — va facebook.com, Instagram, WhatsApp va Messenger DNSdan deyarli olti soatga g‘oyib bo‘ldi. Ichki vositalar, tashqi tarmoqqa ulanish va ofis bejlari bir xil tarmoq orqali ishlaydi, shuning uchun tuzatish uchun tokchalarda odamlar kerak bo‘ldi.
Yozma nashrini oʻqing (inglizcha) ↗
Bu video nimani qamrab oladi
- Facebook o‘z manzilini olib tashladi
- Cheklar: Meta Engineering, Cloudflare, Hacker News
- Bu The Daily Diff, postmortem
- Vaqt jadvali: 15:39 buyruq → 15:40 qaytarildi → 21:20 qayta tiklandi
- Mexanizm: sizni o‘chiradigan sog‘liq tekshiruvi, 30× DNS bo‘roni, eshiklar
Savollar va javoblar
2021-yil oktyabr oyidagi Facebook, Instagram va WhatsApp ishlamay qolishiga nima sabab bo‘ldi?
Rutindagi magistral tarmoqqa xizmat ko‘rsatish buyrug‘i Facebook ma’lumotlar markazlari orasidagi har bir aloqani uzib qo‘ydi va bunday buyruqlarni blokirovka qilish uchun mo‘ljallangan audit vositasida xato bor edi. Meta muhandislik yozuviga ko‘ra, bu ma’lumotlar markazlarini bir-biridan uzib qo‘ygan. UTC vaqti bilan 15:40 da Cloudflare Facebook nom serverlariga yo‘nalishlar olib tashlanganini ko‘rdi va facebook.com 21:20 da qayta ishga tushguncha SERVFAIL xatosini qaytardi.
Nima uchun Facebookning DNS serverlari o‘zlarini internetdan o‘chirib tashladi?
Nom serverlari ma’lumotlar markazlariga ulanolmaganida o‘zlarining BGP yo‘nalishlarini olib tashlash uchun mo‘ljallangan edi. Bu qoida bitta sayt ishdan chiqqanda o‘rinli. Butun magistral tarmoq ishdan chiqqanida, har bir nom serveri bir vaqtning o‘zida o‘zini nosog‘lom deb e’lon qildi va o‘z manzilini reklama qilishni to‘xtatdi. Serverlar hali ham ishlayotgan edi, lekin ularni hech kim topa olmadi.
Nima uchun Facebook muhandislari ishlamay qolishni masofadan turib tuzata olmadi?
Ichki vositalar, tashqi tarmoqqa ulanish va ofis nishonlarini o‘qiydigan qurilmalar hammasi ishlamay qolgan tarmoqda ishlagan. Muhandislar ma’lumotlar markazlariga borishga majbur bo‘lishdi, u yerda tokchalar jismoniy kirishga ega bo‘lgan har qanday kishiga qarshi himoyalangan edi. New York Times xabariga ko‘ra, UTC vaqti bilan 18:51 da xodimlar binolarga kirishda muammolarga duch kelishgan.
Facebookning ishlamay qolishi internetning qolgan qismiga qanday ta’sir ko‘rsatdi?
Ilovalar qayta urinishdi va foydalanuvchilar qayta yuklashdi, shuning uchun Cloudflarening hal qiluvchisi erishib bo‘lmaydigan sayt uchun odatdagi yukidan o‘ttiz barobar ko‘proq yukni ko‘rdi. Bu hodisa olti soatga yaqin vaqt davomida uch yarim milliard foydalanuvchini qamrab oldi. Shuningdek, Telegram o‘sha kuni yetmish million ro‘yxatdan o‘tganligini da’vo qilgan.
Facebookning postmortem hisoboti ishlamay qolishning asosiy muammolarini bartaraf etdimi?
The Daily Diffning xulosasi NEEDS REVIEW edi. Facebook o‘sha oqshom bayonot berdi, bir kun ichida muallif nomi ko‘rsatilgan postmortem hisobotini chop etdi va oddiy tilda audit-vosita xatosini tan oldi. Uning tuzatishlar ro‘yxati kuchliroq sinov va mashg‘ulotlarga qaratilgan bo‘lib, ishlab chiqarish tarmog‘idan eshiklarni olib tashlash haqida hech narsa demadi. Ushbu hodisa siz ishlatmaydigan tarmoqda tashqi tarmoqqa ulanishni qo‘yishni maslahat beradi.
Tarjima qilingan transkript
Asl inglizcha hikoyadan tarjima qilingan. Mavjud audio va subtitrlar YouTube tomonidan boshqariladi.
Facebook o‘z manzilini olib tashladi
0:00 Facebook o‘z manzilini internetdan olib tashladi va uning muhandislari uni qaytarish uchun kelishganida, bej o‘quvchi qurilmalari ham ishlamay qoldi, chunki ular Facebookda ishlaydi. Metaning o‘z postmortemi, keyingi kun: muntazam texnik xizmat ko‘rsatish buyrug‘i har bir magistral bog‘lanishni uzib qo‘ydi va bunday buyruqlarni bloklash uchun yaratilgan vositada xato bor edi.
Cheklar: Meta Engineering, Cloudflare, Hacker News
0:16 Cloudflare, tashqaridan: 15:40 UTCda Facebookning nom serverlariga marshrutlar g‘oyib bo‘ldi va dig facebook.com sayyoraning hamma joyida SERVFAIL qaytardi. Bu qanday sodir bo‘ladi, nima uchun xavfsizlik funksiyasi uni yomonlashtiradi va kim ayblanadi. Bu The Daily Diff, postmortem. Tushdan keyin, UTC.
Bu The Daily Diff, postmortem
0:34 Bo‘sh magistral quvvatini tekshirish uchun mo‘ljallangan buyruq buning o‘rniga har bir bog‘lanishni uzib qo‘ydi Facebookning ma’lumotlar markazlari orasidagi, va aynan buni ushlash uchun yaratilgan audit vositasi
Vaqt jadvali: 15:39 buyruq → 15:40 qaytarildi → 21:20 qayta tiklandi
0:41 uni o‘tkazib yubordi. 15:40. Cloudflar'ning BGP tasmasi qaytarishlar bilan to‘ldi; Facebookning DNS prefiksleri marshrutlash jadvalidan chiqib ketdi. Bir daqiqa ichida Cloudflar'ning muhandislari xonada 1.1.1.1ni buzishganmi yoki yo‘qmi deb o‘ylashardi. 15:45, Hacker News, yigirma olti yuz ball. 16:07, Facebook matbuot kotibi, aynan Twitterda: ba’zi odamlar bizning ilovalarimizga kirishda muammolarga duch kelishmoqda. Ba’zi odamlar uch yarim milliarddir.
1:06 18:51, The New York Times: xodimlar o‘z binolariga kirishga ruxsat berilmadi, bejlari o‘lik. 19:52, CTO uzr so‘raydi. 21:00, besh soatdan so‘ng, marshrutlar qaytdi; 21:20, facebook.com ishladi. Nima uchun magistraldagi xato Facebookni internetdan o‘chirib tashlaydi?
Mexanizm: sizni o‘chiradigan sog‘liq tekshiruvi, 30× DNS bo‘roni, eshiklar
1:20 Uning nom serverlarida qoida bor: ma’lumotlar markazlariga kira olmasangiz, o‘zingizni sog‘lomsiz deb e’lon qiling, manzilingizni reklama qilishni to‘xtating. Bitta sayt buzilganida mantiqiy. Butun magistral ishdan chiqqanda, har bir nom serveri buni bir vaqtda qiladi. Serverlar ishlayapti. Hech kim ularni topa olmaydi. Xavfsizlik funksiyasi tarmoq xatosini mavjudlik xatosiga aylantiradi. Keyin internet qo‘shimcha yuklaydi: ilovalar qayta urinadi, foydalanuvchilar qayta yuklaydi,
1:39 va Cloudflar'ning rezolveri odatiy yukining o‘ttiz barobarini ko‘radi, mavjud bo‘lmagan sayt uchun. Va eshiklar. Vositalar, tashqi tarmoqqa ulanish, bejlar: bir xil tarmoq. Muhandislar ma’lumotlar markazlariga borishadi, kira olishmaydi, keyin jismoniy kirishga qarshi mustahkamlangan tokchalarni ko‘rishadi. Hujumchini sekinlashtirish uchun qurilgan, u egasini ham sekinlashtiradi. Hujumchini sekinlashtirish uchun qurilgan, u egasini ham sekinlashtiradi. Magistral qaytadi; ular trafikni sekin, ataylab oshiradilar.
1:59 Har bir ma’lumotlar markazi o‘nlab megavattni tashlab yuborgan va buni bir qadamda teskarisiga aylantirish ikkinchi uzilishdir.
git blame — bo‘linish
2:05 git blame. Facebook, ellik besh foiz: buyruq tekshirilgan edi, tekshiruvchida xato bor edi, bitta buyruq har bir routerga yetib bordi. DNS dizayni, yigirma besh: mutanosiblik hissi bo‘lmagan sog‘liq tekshiruvi. Bitta tarmoq, o‘n besh: vositalar, tashqi tarmoq, bejlar. Tokchalar, besh, o‘z ishini qilgani uchun. Zarar radiusi: uch yarim milliard foydalanuvchi, deyarli olti soat. Aksiya besh foizga tushdi, Zuckerbergdan olti milliard zarar,
Zarar radiusi
2:27 qog‘ozda. Telegram o‘sha kuni yetmish million ro‘yxatdan o‘tganini da’vo qilmoqda. Hukm, postmortem: NEEDS REVIEW. O‘sha oqshom bayonoti, bir kun ichida muallifi ko‘rsatilgan postmortem, audit-vosita xatosi oddiy ingliz tilida tan olingan.
Hukm + Dushanba liniyasi
2:38 Tuzatish ro‘yxati: sinov va mashg‘ulotlarni kuchaytirish. Eshiklarni ishlab chiqarish tarmog‘idan olib tashlash haqida hech narsa yo‘q. Dushanba: tashqi tarmoqqa ulanishingizni va eshigingizni o‘zingiz ishlatmaydigan tarmoqqa joylashtiring. ishlatmaydigan tarmoqqa joylashtiring. Hali ham gapirishga ruxsat berilmagan hodisani menga yuboring, izohlarda yoki daily diff dot dev manzilida. Va bugungi farq shu. Men Axrisidan Nikoman.
2:58 Mas’uliyat bilan birlashtiring.
Manbalar
- Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
- Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
- Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
- Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
- Andy Stone (Facebook), 16:07 UTCtwitter.com
- Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
- Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
- Hacker News (2,589 points)news.ycombinator.com
- The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
- Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
- Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
- Krebs on Securitykrebsonsecurity.com



