Facebook интернеттен өзін жойды. Алты сағат.
Facebook интернеттен өзінің мекенжайын өшіреді, ал оның инженерлері оны қайта қоюға келгенде, төсбелгі оқығыштары да істемей қалады, себебі олар Facebook-те жұмыс істейді.
Facebook интернеттен өзінің мекенжайын өшіреді, ал оның инженерлері оны қайта қоюға келгенде, төсбелгі оқығыштары да істемей қалады, себебі олар Facebook-те жұмыс істейді. 2021 жылғы 4 қазан, 15:40 UTC: жоспарлы магистральдық желіні күту пәрмені Facebook деректер орталықтары арасындағы әрбір байланысты өшіреді; оны бұғаттау үшін жасалған аудит құралында қате бар; Facebook-тің атау серверлері деректер орталықтарына жете алмай, өздерінің BGP маршруттарын жоба бойынша алып тастайды — және facebook.com, Instagram, WhatsApp және Messenger алты сағатқа жуық DNS-тен жоғалып кетеді. Ішкі құралдар, желіден тыс қолжетімділік және кеңсе төсбелгілері бір желіде жұмыс істейді, сондықтан түзету үшін серверлік сөрелерде адамдар қажет.
Жазбаша басылымды оқыңыз (ағылшынша) ↗
Бұл бейне не туралы
- Facebook өзінің мекенжайын жояды
- Түбіртектер: Meta Engineering, Cloudflare, Hacker News
- Бұл The Daily Diff, апаттан кейінгі талдау
- Уақыт кестесі: 15:39 пәрмен → 15:40 алынып тасталды → 21:20 қайта қосылды
- Механизм: сізді жоятын денсаулық тексеруі, 30× DNS дауылы, есіктер
Сұрақтар мен жауаптар
2021 жылдың қазан айындағы Facebook, Instagram және WhatsApp желісіндегі үзіліске не себеп болды?
Кезекші тірек желісіне техникалық қызмет көрсету командасы Facebook деректер орталықтары арасындағы барлық байланыстарды тоқтатты, ал мұндай командаларды бұғаттауға арналған аудит құралында қате болды. Meta инженерлік жазбасына сәйкес, бұл деректер орталықтарын бір-бірінен ажыратып тастады. Сағат 15:40 UTC уақытында Cloudflare Facebook атау серверлеріне бағыттаулардың алынып тасталғанын көрді, және facebook.com сағат 21:20-да қайта реттелгенге дейін SERVFAIL қайтарды.
Неліктен Facebook-тің DNS серверлері өздерін интернеттен алып тастады?
Атау серверлері деректер орталықтарына жете алмаған кезде өздерінің BGP маршруттарын алып тастауға арналған. Бұл ереже бір сайт істен шыққанда орынды. Тірек желісі толығымен істен шыққанда, әрбір атау сервері өзін бірден сау емес деп жариялап, өз мекенжайын жарнамалауды тоқтатты. Серверлер әлі жұмыс істеп тұрды, бірақ ешкім оларды таба алмады.
Неліктен Facebook инженерлері үзілісті қашықтан жөндей алмады?
Ішкі құралдар, желіден тыс қатынас және кеңсеге кіруге арналған карта оқығыштарының барлығы істен шыққан желіде жұмыс істеді. Инженерлер деректер орталықтарына баруға мәжбүр болды, онда серверлер физикалық қол жеткізуі бар кез келген адамға қарсы қорғалған болатын. The New York Times басылымы сағат 18:51 UTC уақытында қызметкерлердің карталарының істемеуіне байланысты ғимараттарға кіре алмай қалғанын хабарлады.
Facebook үзілісі интернеттің қалған бөлігіне қалай әсер етті?
Қолданбалар қайта әрекет етті және пайдаланушылар қайта жүктеді, сондықтан Cloudflare шешушісі қол жетімсіз болған сайт үшін қалыпты жүктемесінен отыз есе көп жүктемені көрді. Бұл оқиға алты сағатқа жуық уақыт ішінде үш жарым миллиард пайдаланушыға әсер етті. Сондай-ақ, Telegram сол күні жетпіс миллион жаңа тіркелуді мәлімдеді.
Facebook-тің апаттан кейінгі талдауы үзілістің түпкі себептерін түзетті ме?
The Daily Diff-тің шешімі NEEDS REVIEW болды. Facebook сол кеште мәлімдеме жасады, бір күн ішінде автордың аты көрсетілген апаттан кейінгі талдауды жариялады және аудит құралындағы қатені қарапайым тілмен мойындады. Оның түзетулер тізімі күшейтілген тестілеу мен жаттығуларға бағытталды және өндірістік желінің есіктерін ашу туралы ештеңе айтқан жоқ. Бұл эпизод желіден тыс қатынасты өзіңіз жұмыс істетпейтін желіге орналастыруды кеңес береді.
Аударылған транскрипция
Бастапқы ағылшын тіліндегі баяндамадан аударылған. Қолжетімді аудио және субтитрлерді YouTube басқарады.
Facebook өзінің мекенжайын жояды
0:00 Facebook интернеттен өзінің мекенжайын өшіреді, ал оның инженерлері оны қайта қоюға келгенде, төсбелгі оқығыштары да істемей қалады, себебі олар Facebook-те жұмыс істейді. Meta-ның келесі күнгі апаттан кейінгі талдауы: жоспарлы күту пәрмені әрбір магистральдық желіні өшіреді, және мұндай пәрмендерді бұғаттау үшін жасалған құралда қате бар.
Түбіртектер: Meta Engineering, Cloudflare, Hacker News
0:16 Сырттан Cloudflare: 15:40 UTC-те Facebook атау серверлеріне маршруттар жоғалып кетеді, және dig facebook.com планетаның кез келген жерінде SERVFAIL қайтарады. Бұл қалай болады, неліктен қауіпсіздік ерекшелігі оны нашарлатады және кінәлі кім. Бұл The Daily Diff, апаттан кейінгі талдау. Түстен кейін, UTC.
Бұл The Daily Diff, апаттан кейінгі талдау
0:34 Бос магистральдық қуатты тексеруге арналған пәрмен керісінше әрбір байланысты Facebook деректер орталықтары арасында өшіреді, және дәл осыны ұстау үшін жасалған аудит құралы
Уақыт кестесі: 15:39 пәрмен → 15:40 алынып тасталды → 21:20 қайта қосылды
0:41 оны өткізіп жібереді. 15:40. Cloudflare-дің BGP арнасы өшірулерге толады; Facebook-тің DNS префикстері маршруттау кестесінен шығады. Бір минут ішінде Cloudflare инженерлері бөлмеде өздерінің 1.1.1.1-ді бұзғанын білгісі келеді. 15:45, Hacker News, екі мың алты жүз ұпай. 16:07, Facebook өкілі, Twitter-де: кейбір адамдар біздің қолданбаларымызға кіруде қиындықтарға тап болды. Кейбір адамдар үш жарым миллиард.
1:06 18:51, The New York Times: қызметкерлер ғимараттарынан құлыпталған, төсбелгілер істемейді. 19:52, CTO кешірім сұрайды. 21:00, бес сағаттан кейін, маршруттар қайта оралады; 21:20, facebook.com шешіледі. Неліктен магистральдық ақау Facebook-ті интернеттен жояды?
Механизм: сізді жоятын денсаулық тексеруі, 30× DNS дауылы, есіктер
1:20 Оның атау серверлерінде ереже бар: деректер орталықтарына жете алмаса, өзіңді денсаулықсыз деп жарияла, мекенжайыңды жарнамалауды тоқтат. Бір сайт нашарласа, бұл ақылға қонымды. Барлық магистральдық желі істен шықса, әрбір атау сервері оны бірден жасайды. Серверлер жұмыс істеп тұр. Ешкім оларды таба алмайды. Қауіпсіздік ерекшелігі желілік ақауды бар болу ақауына айналдырады. Содан кейін интернет жиналады: қолданбалар қайта әрекет етеді, пайдаланушылар қайта жүктейді,
1:39 және Cloudflare шешушісі қалыпты жүктеменің отыз есе артығын көреді, жоқ сайт үшін. Және есіктер. Құралдар, желіден тыс қолжетімділік, төсбелгілер: бір желі. Инженерлер деректер орталықтарына барады, кіре алмайды, содан кейін физикалық қолжетімділігі бар кез келген адамға қарсы қатайтылған сөрелермен кездеседі. Шабуылдаушыны баяулату үшін жасалған, ол иесін де баяулатады. Шабуылдаушыны баяулату үшін жасалған, ол иесін де баяулатады. Магистральдық желі қайта оралады; олар трафикті әдейі баяу арттырады.
1:59 Әрбір деректер орталығы ондаған мегаваттты тастаған, және оны бір қадамда кері қайтару екінші істен шығу болады.
git blame — бөліну
2:05 git blame. Facebook, елу бес пайыз: пәрмен тексерілді, тексерушіде қате болды, бір пәрмен әрбір маршрутизаторға жетті. DNS дизайны, жиырма бес: пропорция сезімі жоқ денсаулық тексеруі. Бір желі, он бес: құралдар, желіден тыс, төсбелгілер. Сөрелер, бес, өз жұмысын істегені үшін. Зақымдау радиусы: үш жарым миллиард пайдаланушы, алты сағатқа жуық. Акция бес пайызға төмендеп жабылды, Цукербергтен алты миллиард, қағаз жүзінде.
Зақымдау радиусы
2:27 Сол күні Telegram жетпіс миллион тіркелуді талап етті. Шешім, апаттан кейінгі талдау: NEEDS REVIEW. Сол кештегі мәлімдеме, бір күн ішінде аты аталған автордың апаттан кейінгі талдауы, аудит-құрал қатесі ашық ағылшын тілінде мойындалды.
Шешім + дүйсенбі сызығы
2:38 Түзету тізімі: тестілеу мен жаттығуларды күшейту. Өндірістік желіден есіктерді алу туралы ештеңе жоқ. Дүйсенбі: желіден тыс қолжетімділігіңізді және есігіңізді өзіңіз басқармайтын желіге қойыңыз. Әлі де айтуға рұқсат етілмеген оқиғаны маған жіберіңіз, пікірлерде немесе the daily diff dot dev мекенжайына. Және бүгінгі айырмашылық осы. Мен Axrisi-ден Никомын.
2:58 Жауапкершілікпен біріктіріңіз.
Дереккөздер
- Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
- Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
- Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
- Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
- Andy Stone (Facebook), 16:07 UTCtwitter.com
- Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
- Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
- Hacker News (2,589 points)news.ycombinator.com
- The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
- Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
- Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
- Krebs on Securitykrebsonsecurity.com



