Фејсбук се избриша самиот од интернетот. Шест часа.

Што покрива ова видео

• Фејсбук ја отстранува сопствената адреса
• Потврди: Meta Engineering, Cloudflare, Hacker News
• Ова е The Daily Diff, постмортем
• Временска рамка: 15:39 команда → 15:40 повлечено → 21:20 вратено
• Механизам: здравствената проверка што ве брише, DNS бурата 30×, вратите

Преведен транскрипт

Преведено од оригиналната англиска нарација. Достапното аудио и наслови се контролирани од YouTube.

Фејсбук ја отстранува сопствената адреса

0:00 Фејсбук ја отстранува сопствената адреса од интернетот, а кога неговите инженери ќе пристигнат за да ја вратат, читачите на значки исто така не работат, бидејќи тие работат на Фејсбук. Сопствениот постмортем на Мета, следниот ден: рутинска команда за одржување ги исклучува сите врски на 'рбетот, а алатката изградена да блокира вакви команди има грешка.

Потврди: Meta Engineering, Cloudflare, Hacker News

0:16 Cloudflare, однадвор: во 15:40 UTC рутите до name-серверите на Фејсбук исчезнуваат, а dig facebook.com враќа SERVFAIL насекаде на планетата. Како се случува, зошто безбедносна карактеристика го влошува, и кој е виновен. Ова е The Daily Diff, постмортем. Рано попладне, UTC.

Ова е The Daily Diff, постмортем

0:34 Командата наменета за проверка на слободниот капацитет на 'рбетот наместо тоа ги исклучува сите врски помеѓу центрите за податоци на Фејсбук, а алатката за ревизија изградена токму за ова

Временска рамка: 15:39 команда → 15:40 повлечено → 21:20 вратено

0:41 ја пропушта. 15:40. BGP фидот на Cloudflare се полни со повлекувања; DNS префиксите на Фејсбук ја напуштаат табелата за рутирање. Во рок од една минута инженерите на Cloudflare се во соба и се прашуваат дали тие го скршиле 1.1.1.1. 15:45, Hacker News, две илјади и шестотини поени. 16:07, портпаролот на Фејсбук, на Твитер од сите места: некои луѓе имаат проблеми со пристап до нашите апликации. Некои луѓе се три и пол милијарди.

1:06 18:51, The New York Times: вработени заклучени надвор од нивните згради, значки неактивни. 19:52, CTO се извинува. 21:00, по пет часа, рутите се враќаат; 21:20, facebook.com се решава. Зошто дефект на 'рбетот го брише Фејсбук од интернетот?

Механизам: здравствената проверка што ве брише, DNS бурата 30×, вратите

1:20 Неговите name-сервери имаат правило: не можат да стигнат до центрите за податоци, декларирај се како нездрав, престани да ја рекламираш својата адреса. Разумно кога една локација се расипува. Кога целиот 'рбет ќе падне, секој name-сервер го прави тоа одеднаш. Серверите се активни. Никој не може да ги најде. Безбедносна карактеристика претвора мрежен дефект во дефект на постоење. Потоа интернетот се натрупува: апликациите повторно се обидуваат, корисниците повторно вчитуваат,

1:39 а resolver-от на Cloudflare гледа триесет пати поголем од неговото нормално оптоварување, за страница што ја нема. И вратите. Алатки, out-of-band пристап, значки: иста мрежа. Инженерите возат до центрите за податоци, не можат да влезат, а потоа среќаваат регали зацврстени против секој со физички пристап. Изграден да го забави напаѓачот, го забавува и сопственикот. 'Рбетот се враќа; тие полека го зголемуваат сообраќајот, намерно.

1:59 Секој центар за податоци испуштил десетици мегавати, а враќањето на тоа во еден чекор е втор прекин.

git blame — поделбата

2:05 git blame. Фејсбук, педесет и пет проценти: командата била ревидирана, ревизорот имал грешка, една команда стигнала до секој рутер. DNS дизајнот, дваесет и пет: здравствена проверка без чувство за пропорција. Една мрежа, петнаесет: алатки, out-of-band, значки. Регалите, пет, за извршување на својата работа. Радиус на експлозија: три и пол милијарди корисници, скоро шест часа. Акциите паѓаат за пет проценти, шест милијарди од Цукерберг,

Радиус на експлозија

2:27 на хартија. Телеграм тврди седумдесет милиони пријавувања тој ден. Пресуда, постмортем: NEEDS REVIEW. Изјава истата вечер, постмортем со име на автор во рок од еден ден, грешката во алатката за ревизија признаена на јасен англиски јазик.

Пресуда + линијата за понеделник

2:38 Листата за поправки: зајакнување на тестирањето и вежбите. Ништо за отстранување на вратите од продукциската мрежа. Понеделник: ставете го вашиот out-of-band пристап, и вашата врата, на мрежа што не ја операрате. Испратете ми го инцидентот за кој сè уште не ви е дозволено да зборувате, во коментари, или на the daily diff dot dev. И тоа е diff-от за денес. Јас сум Нико од Axrisi.

2:58 Спојувајте одговорно.

Извори

1. Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
2. Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
3. Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
4. Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
5. Andy Stone (Facebook), 16:07 UTCtwitter.com
6. Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
7. Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
8. Hacker News (2,589 points)news.ycombinator.com
9. The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
10. Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
11. Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
12. Krebs on Securitykrebsonsecurity.com