Фејсбук се избриша самиот од интернетот. Шест часа.
Фејсбук ја отстранува сопствената адреса од интернетот, а кога неговите инженери ќе пристигнат за да ја вратат, читачите на значки исто така не работат, бидејќи тие работат на Фејсбук.
Фејсбук ја отстранува сопствената адреса од интернетот, а кога неговите инженери ќе пристигнат за да ја вратат, читачите на значки исто така не работат, бидејќи тие работат на Фејсбук. 4 октомври 2021 година, 15:40 UTC: рутинска командна за одржување на 'рбетот ги исклучува сите врски помеѓу центрите за податоци на Фејсбук; алатката за ревизија направена да го блокира има грешка; name-серверите на Фејсбук, неспособни да стигнат до центрите за податоци, ги повлекуваат своите BGP рути по дизајн - и facebook.com, Instagram, WhatsApp и Messenger исчезнуваат од DNS скоро шест часа. Внатрешните алатки, out-of-band пристапот и канцелариските значки работат на истата мрежа, така што за поправката се потребни луѓе кај регалите.
Прочитајте го пишаното издание (англиски) ↗
Што покрива ова видео
- Фејсбук ја отстранува сопствената адреса
- Потврди: Meta Engineering, Cloudflare, Hacker News
- Ова е The Daily Diff, постмортем
- Временска рамка: 15:39 команда → 15:40 повлечено → 21:20 вратено
- Механизам: здравствената проверка што ве брише, DNS бурата 30×, вратите
Прашања и одговори
Што го предизвика прекинот на Facebook, Instagram и WhatsApp во октомври 2021 година?
Рутинска наредба за одржување на 'рбетот ги исклучи сите врски помеѓу центрите за податоци на Facebook, а алатката за ревизија наменета да ги блокира таквите наредби имаше грешка. Според инженерскиот извештај на Мета, тоа ги исклучи центрите за податоци еден од друг. До 15:40 UTC Cloudflare виде дека рутите до серверите за имиња на Facebook се повлечени, и facebook.com враќаше SERVFAIL додека повторно не се реши во 21:20.
Зошто DNS серверите на Facebook се отстранија од интернет?
Серверите за имиња беа дизајнирани да ги повлечат своите BGP рути кога не можеа да стигнат до центрите за податоци. Тоа правило е разумно кога едно место не работи. Кога целиот 'рбет не работеше, секој сервер за имиња се прогласи за нездрав одеднаш и престана да ја рекламира својата адреса. Серверите сè уште работеа, но никој не можеше да ги најде.
Зошто инженерите на Facebook не можеа да го поправат прекинот од далечина?
Внатрешните алатки, надворешниот пристап и читачите на значки во канцелариите, сите работеа на истата мрежа што не работеше. Инженерите мораа да одат до центрите за податоци, каде што раковите беа заштитени од секој со физички пристап. The New York Times објави дека вработените биле заклучени надвор од зградите со неработни значки во 18:51 UTC.
Како прекинот на Facebook влијаеше на остатокот од интернетот?
Апликациите се обидуваа повторно, а корисниците се превчитаа, па решавачот на Cloudflare виде триесет пати поголемо оптоварување од нормалното за страница која не беше достапна. Епизодата го става радиусот на ударот на три и пол милијарди корисници речиси шест часа. Исто така, известува дека Telegram тврди седумдесет милиони пријавувања тој ден.
Дали посмортумот на Facebook ги поправи основните проблеми зад прекинот?
Пресметката на The Daily Diff беше NEEDS REVIEW. Facebook издаде изјава истата вечер, објави посмортум со именуван автор во рок од еден ден и ја призна грешката во алатката за ревизија на едноставен англиски јазик. Неговата листа за поправки се фокусираше на посилно тестирање и вежби и не кажа ништо за отстранување на вратите од производната мрежа. Епизодата советува да се постави надворешен пристап на мрежа со која не управувате.
Преведен транскрипт
Преведено од оригиналната англиска нарација. Достапното аудио и наслови се контролирани од YouTube.
Фејсбук ја отстранува сопствената адреса
0:00 Фејсбук ја отстранува сопствената адреса од интернетот, а кога неговите инженери ќе пристигнат за да ја вратат, читачите на значки исто така не работат, бидејќи тие работат на Фејсбук. Сопствениот постмортем на Мета, следниот ден: рутинска команда за одржување ги исклучува сите врски на 'рбетот, а алатката изградена да блокира вакви команди има грешка.
Потврди: Meta Engineering, Cloudflare, Hacker News
0:16 Cloudflare, однадвор: во 15:40 UTC рутите до name-серверите на Фејсбук исчезнуваат, а dig facebook.com враќа SERVFAIL насекаде на планетата. Како се случува, зошто безбедносна карактеристика го влошува, и кој е виновен. Ова е The Daily Diff, постмортем. Рано попладне, UTC.
Ова е The Daily Diff, постмортем
0:34 Командата наменета за проверка на слободниот капацитет на 'рбетот наместо тоа ги исклучува сите врски помеѓу центрите за податоци на Фејсбук, а алатката за ревизија изградена токму за ова
Временска рамка: 15:39 команда → 15:40 повлечено → 21:20 вратено
0:41 ја пропушта. 15:40. BGP фидот на Cloudflare се полни со повлекувања; DNS префиксите на Фејсбук ја напуштаат табелата за рутирање. Во рок од една минута инженерите на Cloudflare се во соба и се прашуваат дали тие го скршиле 1.1.1.1. 15:45, Hacker News, две илјади и шестотини поени. 16:07, портпаролот на Фејсбук, на Твитер од сите места: некои луѓе имаат проблеми со пристап до нашите апликации. Некои луѓе се три и пол милијарди.
1:06 18:51, The New York Times: вработени заклучени надвор од нивните згради, значки неактивни. 19:52, CTO се извинува. 21:00, по пет часа, рутите се враќаат; 21:20, facebook.com се решава. Зошто дефект на 'рбетот го брише Фејсбук од интернетот?
Механизам: здравствената проверка што ве брише, DNS бурата 30×, вратите
1:20 Неговите name-сервери имаат правило: не можат да стигнат до центрите за податоци, декларирај се како нездрав, престани да ја рекламираш својата адреса. Разумно кога една локација се расипува. Кога целиот 'рбет ќе падне, секој name-сервер го прави тоа одеднаш. Серверите се активни. Никој не може да ги најде. Безбедносна карактеристика претвора мрежен дефект во дефект на постоење. Потоа интернетот се натрупува: апликациите повторно се обидуваат, корисниците повторно вчитуваат,
1:39 а resolver-от на Cloudflare гледа триесет пати поголем од неговото нормално оптоварување, за страница што ја нема. И вратите. Алатки, out-of-band пристап, значки: иста мрежа. Инженерите возат до центрите за податоци, не можат да влезат, а потоа среќаваат регали зацврстени против секој со физички пристап. Изграден да го забави напаѓачот, го забавува и сопственикот. 'Рбетот се враќа; тие полека го зголемуваат сообраќајот, намерно.
1:59 Секој центар за податоци испуштил десетици мегавати, а враќањето на тоа во еден чекор е втор прекин.
git blame — поделбата
2:05 git blame. Фејсбук, педесет и пет проценти: командата била ревидирана, ревизорот имал грешка, една команда стигнала до секој рутер. DNS дизајнот, дваесет и пет: здравствена проверка без чувство за пропорција. Една мрежа, петнаесет: алатки, out-of-band, значки. Регалите, пет, за извршување на својата работа. Радиус на експлозија: три и пол милијарди корисници, скоро шест часа. Акциите паѓаат за пет проценти, шест милијарди од Цукерберг,
Радиус на експлозија
2:27 на хартија. Телеграм тврди седумдесет милиони пријавувања тој ден. Пресуда, постмортем: NEEDS REVIEW. Изјава истата вечер, постмортем со име на автор во рок од еден ден, грешката во алатката за ревизија признаена на јасен англиски јазик.
Пресуда + линијата за понеделник
2:38 Листата за поправки: зајакнување на тестирањето и вежбите. Ништо за отстранување на вратите од продукциската мрежа. Понеделник: ставете го вашиот out-of-band пристап, и вашата врата, на мрежа што не ја операрате. Испратете ми го инцидентот за кој сè уште не ви е дозволено да зборувате, во коментари, или на the daily diff dot dev. И тоа е diff-от за денес. Јас сум Нико од Axrisi.
2:58 Спојувајте одговорно.
Извори
- Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
- Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
- Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
- Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
- Andy Stone (Facebook), 16:07 UTCtwitter.com
- Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
- Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
- Hacker News (2,589 points)news.ycombinator.com
- The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
- Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
- Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
- Krebs on Securitykrebsonsecurity.com



