Facebook удалил себя из интернета. Шесть часов.
Facebook удаляет собственный адрес из интернета, и когда его инженеры приходят, чтобы вернуть его, считыватели пропусков тоже не работают, потому что они работают на Facebook.
Facebook удаляет собственный адрес из интернета, и когда его инженеры приходят, чтобы вернуть его, считыватели пропусков тоже не работают, потому что они работают на Facebook. 4 октября 2021 года, 15:40 UTC: рутинная команда по обслуживанию магистральной сети отключает все соединения между центрами обработки данных Facebook; инструмент аудита, созданный для блокировки этого, содержит ошибку; серверы имен Facebook, не имея возможности достичь центров обработки данных, по замыслу отзывают свои собственные BGP-маршруты — и facebook.com, Instagram, WhatsApp и Messenger исчезают из DNS почти на шесть часов. Внутренние инструменты, внеполосный доступ и офисные пропуска работают через ту же сеть, поэтому для устранения неполадок нужны люди на стойках.
Читать письменное издание (на английском) ↗
Что освещается в этом видео
- Facebook удаляет собственный адрес
- Источники: Meta Engineering, Cloudflare, Hacker News
- Это The Daily Diff, постмортем
- Хронология: 15:39 команда → 15:40 отозвано → 21:20 восстановлено
- Механизм: проверка работоспособности, которая вас удаляет, 30-кратный DNS-шторм, двери
Вопросы и ответы
Что вызвало сбой Facebook, Instagram и WhatsApp в октябре 2021 года?
Команда планового обслуживания магистральной сети отключила все соединения между центрами обработки данных Facebook, а инструмент аудита, предназначенный для блокировки таких команд, имел ошибку. Согласно инженерной записке Meta, это отключило центры обработки данных друг от друга. К 15:40 UTC Cloudflare увидел, что маршруты к серверам имен Facebook были отозваны, и facebook.com возвращал SERVFAIL, пока не разрешился снова в 21:20.
Почему DNS-серверы Facebook удалили себя из интернета?
Серверы имен были разработаны для отзыва своих собственных маршрутов BGP, когда они не могли достичь центров обработки данных. Это правило разумно, когда выходит из строя один сайт. Когда вся магистральная сеть вышла из строя, каждый сервер имен объявил себя неработоспособным одновременно и прекратил рекламировать свой адрес. Серверы все еще работали, но никто не мог их найти.
Почему инженеры Facebook не смогли устранить сбой удаленно?
Внутренние инструменты, внеполосный доступ и считыватели пропусков в офисе — все работало в той же сети, которая вышла из строя. Инженерам пришлось ехать в центры обработки данных, где стойки были защищены от любого, кто имел физический доступ. The New York Times сообщила, что сотрудники были заперты в зданиях с неработающими пропусками в 18:51 UTC.
Как сбой Facebook повлиял на остальную часть интернета?
Приложения пытались повторно подключиться, а пользователи перезагружали страницы, поэтому резолвер Cloudflare увидел в тридцать раз больше обычной нагрузки для недоступного сайта. Этот эпизод оценивает радиус поражения в три с половиной миллиарда пользователей в течение почти шести часов. Также сообщается, что Telegram заявил о семидесяти миллионах регистраций в тот день.
Устранило ли посмертное расследование Facebook основные проблемы, вызвавшие сбой?
Вердикт The Daily Diff был NEEDS REVIEW. Facebook опубликовал заявление в тот же вечер, опубликовал посмертное расследование с указанием автора в течение дня и признал ошибку в инструменте аудита простым языком. Его список исправлений сосредоточился на усилении тестирования и тренировок и ничего не сказал об отключении дверей от производственной сети. Этот эпизод советует размещать внеполосный доступ в сети, которой вы не управляете.
Переведенная стенограмма
Переведено с оригинального английского повествования. Доступные аудио и субтитры контролируются YouTube.
Facebook удаляет собственный адрес
0:00 Facebook удаляет собственный адрес из интернета, и когда его инженеры приходят, чтобы вернуть его, считыватели пропусков тоже не работают, потому что они работают на Facebook. Собственный постмортем Meta, на следующий день: рутинная команда обслуживания отключает все магистральные соединения, а инструмент, созданный для блокировки таких команд, имеет ошибку.
Источники: Meta Engineering, Cloudflare, Hacker News
0:16 Cloudflare, со стороны: в 15:40 UTC маршруты к серверам имен Facebook исчезают, и dig facebook.com возвращает SERVFAIL по всей планете. Как это происходит, почему функция безопасности ухудшает ситуацию, и кто виноват. Это The Daily Diff, постмортем. Ранний полдень, UTC.
Это The Daily Diff, постмортем
0:34 Команда, предназначенная для проверки свободной пропускной способности магистрали, вместо этого отключает все соединения между центрами обработки данных Facebook, а инструмент аудита, созданный для перехвата именно этого,
Хронология: 15:39 команда → 15:40 отозвано → 21:20 восстановлено
0:41 пропускает её. 15:40. Лента BGP Cloudflare заполняется отзывами; DNS-префиксы Facebook покидают таблицу маршрутизации. В течение минуты инженеры Cloudflare находятся в комнате, задаваясь вопросом, не сломали ли они 1.1.1.1. 15:45, Hacker News, две тысячи шестьсот баллов. 16:07, представитель Facebook, в Twitter, откуда угодно: у некоторых людей возникают проблемы с доступом к нашим приложениям. «Некоторые люди» — это три с половиной миллиарда.
1:06 18:51, The New York Times: сотрудники заблокированы вне своих зданий, пропуска не работают. 19:52, технический директор извиняется. 21:00, спустя пять часов, маршруты возвращаются; 21:20, facebook.com разрешается. Почему сбой магистрали удаляет Facebook из интернета?
Механизм: проверка работоспособности, которая вас удаляет, 30-кратный DNS-шторм, двери
1:20 Его серверы имен имеют правило: не могу достичь центров обработки данных, объяви себя неработоспособным, прекрати рекламировать свой адрес. Разумно, когда один сайт выходит из строя. Когда выходит из строя вся магистраль, каждый сервер имен делает это одновременно. Серверы работают. Никто не может их найти. Функция безопасности превращает сетевой сбой в сбой существования. Затем интернет наваливается: приложения повторяют попытки, пользователи перезагружают,
1:39 и резолвер Cloudflare видит в тридцать раз обычную нагрузку, для сайта, которого нет. И двери. Инструменты, внеполосный доступ, пропуска: та же сеть. Инженеры едут в центры обработки данных, не могут попасть внутрь, затем сталкиваются со стойками, защищенными от любого физического доступа. Созданный для замедления злоумышленника, он замедляет и владельца. Магистраль возвращается; они медленно наращивают трафик, намеренно.
1:59 Каждый центр обработки данных отключил десятки мегаватт, и обратное действие за один шаг — это второе отключение.
git blame — разделение
2:05 git blame. Facebook, пятьдесят пять процентов: команда была проверена, у аудитора была ошибка, одна команда достигла каждого маршрутизатора. Дизайн DNS, двадцать пять: проверка работоспособности без чувства меры. Одна сеть, пятнадцать: инструменты, внеполосный доступ, пропуска. Стойки, пять, за выполнение своей работы. Радиус поражения: три с половиной миллиарда пользователей, почти шесть часов. Акции закрываются на пять процентов ниже, шесть миллиардов от Цукерберга,
Радиус поражения
2:27 на бумаге. Telegram заявляет о семидесяти миллионах регистраций в тот день. Вердикт, постмортем: NEEDS REVIEW. Заявление тем же вечером, постмортем с указанием автора в течение дня, признана ошибка инструмента аудита на простом английском языке.
Вердикт + понедельничная строка
2:38 Список исправлений: усилить тестирование и тренировки. Ничего о снятии дверей с производственной сети. Понедельник: разместите свой внеполосный доступ и свою дверь в сети, которую вы не эксплуатируете. Пришлите мне инцидент, о котором вам до сих пор не разрешено говорить, в комментариях или на daily diff dot dev. И это The Daily Diff на сегодня. Я Нико из Axrisi.
2:58 Merge responsibly.
Источники
- Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
- Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
- Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
- Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
- Andy Stone (Facebook), 16:07 UTCtwitter.com
- Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
- Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
- Hacker News (2,589 points)news.ycombinator.com
- The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
- Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
- Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
- Krebs on Securitykrebsonsecurity.com



