+− THE DAILY DIFFdev & AI news
NEEDS REVIEW

Facebook видалив себе з інтернету. Шість годин.

Facebook видаляє власну адресу з інтернету, і коли її інженери прибувають, щоб відновити її, зчитувачі перепусток також не працюють, тому що вони працюють на Facebook.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Facebook видаляє власну адресу з інтернету, і коли її інженери прибувають, щоб відновити її, зчитувачі перепусток також не працюють, тому що вони працюють на Facebook. 4 жовтня 2021 року, 15:40 UTC: звичайна команда з обслуговування магістральної мережі вимикає кожен зв'язок між центрами обробки даних Facebook; інструмент аудиту, створений для її блокування, має помилку; сервери імен Facebook, не маючи змоги досягти центрів обробки даних, за задумом відкликають власні маршрути BGP — і facebook.com, Instagram, WhatsApp та Messenger зникають з DNS майже на шість годин. Внутрішні інструменти, позасмуговий доступ та офісні перепустки працюють у тій самій мережі, тому для виправлення потрібні люди біля стійок.

Читати письмову версію (англійською) ↗

Що охоплює це відео

  • Facebook видаляє власну адресу
  • Квитанції: Meta Engineering, Cloudflare, Hacker News
  • Це The Daily Diff, посмертний аналіз
  • Хронологія: 15:39 команда → 15:40 відкликано → 21:20 відновлено
  • Механізм: перевірка працездатності, яка вас видаляє, DNS-шторм у 30 разів, двері

Запитання та відповіді

Що спричинило збій Facebook, Instagram і WhatsApp у жовтні 2021 року?

Команда планового обслуговування магістральної мережі вивела з ладу кожне з'єднання між центрами обробки даних Facebook, а інструмент аудиту, призначений для блокування таких команд, мав помилку. Згідно з технічним описом Meta, це відключило центри обробки даних один від одного. До 15:40 UTC Cloudflare побачив, що маршрути до серверів імен Facebook були відкликані, і facebook.com повертав SERVFAIL, доки він знову не запрацював о 21:20.

Дивіться цю частину 0:40 · engineering.fb.com · blog.cloudflare.com

Чому DNS-сервери Facebook видалили себе з інтернету?

Сервери імен були розроблені для відкликання власних BGP-маршрутів, коли вони не могли досягти центрів обробки даних. Це правило є розумним, коли виходить з ладу один сайт. Коли вийшла з ладу вся магістральна мережа, кожен сервер імен одночасно оголосив себе непрацездатним і припинив рекламувати свою адресу. Сервери все ще працювали, але ніхто не міг їх знайти.

Дивіться цю частину 1:20 · engineering.fb.com · blog.cloudflare.com

Чому інженери Facebook не змогли усунути збій віддалено?

Внутрішні інструменти, позасмуговий доступ і зчитувачі бейджів в офісі працювали в тій самій мережі, яка вийшла з ладу. Інженерам довелося їхати до центрів обробки даних, де стійки були захищені від будь-кого з фізичним доступом. The New York Times повідомила про працівників, заблокованих поза будівлями з недійсними бейджами о 18:51 UTC.

Дивіться цю частину 1:20 · engineering.fb.com · twitter.com · www.nytimes.com

Як збій Facebook вплинув на решту інтернету?

Додатки повторно намагалися підключитися, а користувачі перезавантажували сторінки, тому роздільник Cloudflare бачив у тридцять разів більше звичайного навантаження для сайту, який був недоступний. Цей епізод свідчить про радіус ураження в три з половиною мільярди користувачів протягом майже шести годин. Також повідомляється, що Telegram заявив про сімдесят мільйонів реєстрацій того дня.

Дивіться цю частину 2:25 · blog.cloudflare.com · www.reuters.com

Чи усунуло Facebook основні проблеми, що спричинили збій, після його аналізу?

Вердикт The Daily Diff був NEEDS REVIEW. Facebook випустив заяву того ж вечора, опублікував посмертний звіт з іменем автора протягом дня та чітко визнав помилку в інструменті аудиту. Їхній список виправлень зосереджувався на посиленому тестуванні та навчаннях і нічого не говорив про відключення від виробничої мережі. Цей епізод радить розміщувати позасмуговий доступ у мережі, якою ви не керуєте.

Дивіться цю частину 2:38 · engineering.fb.com · engineering.fb.com

Перекладена стенограма

Перекладено з оригінальної англійської розповіді. Доступне аудіо та субтитри контролюються YouTube.

Facebook видаляє власну адресу

0:00 Facebook видаляє власну адресу з інтернету, і коли її інженери прибувають, щоб відновити її, зчитувачі перепусток також не працюють, тому що вони працюють на Facebook. Власний посмертний аналіз Meta, наступного дня: звичайна команда з обслуговування вимикає кожен магістральний зв'язок, а інструмент, створений для блокування таких команд, має помилку.

Квитанції: Meta Engineering, Cloudflare, Hacker News

0:16 Cloudflare, ззовні: о 15:40 UTC маршрути до серверів імен Facebook зникають, і dig facebook.com повертає SERVFAIL по всьому світу. Як це відбувається, чому функція безпеки погіршує ситуацію і хто винен. Це The Daily Diff, посмертний аналіз. Рано вдень, UTC.

Це The Daily Diff, посмертний аналіз

0:34 Команда, призначена для перевірки вільної ємності магістралі, замість цього вимикає кожен зв'язок між центрами обробки даних Facebook, а інструмент аудиту, створений для виявлення саме цього,

Хронологія: 15:39 команда → 15:40 відкликано → 21:20 відновлено

0:41 пропускає її. 15:40. Стрічка BGP Cloudflare заповнюється відкликаннями; DNS Facebook префікси залишають таблицю маршрутизації. Протягом хвилини інженери Cloudflare перебувають у кімнаті, задаючись питанням, чи не зламали вони 1.1.1.1. 15:45, Hacker News, дві тисячі шістсот балів. 16:07, речник Facebook, серед усіх місць у Twitter: деякі люди мають проблеми з доступом до наших додатків. Деякі люди — це три з половиною мільярди.

1:06 18:51, The New York Times: співробітники заблоковані у своїх будівлях, перепустки не працюють. 19:52, технічний директор вибачається. 21:00, через п'ять годин, маршрути повертаються; 21:20, facebook.com вирішується. Чому збій у магістралі видаляє Facebook з інтернету?

Механізм: перевірка працездатності, яка вас видаляє, DNS-шторм у 30 разів, двері

1:20 Його сервери імен мають правило: не можуть досягти центрів обробки даних, оголосіть себе нездоровими, припиніть рекламувати свою адресу. Розумно, коли один сайт виходить з ладу. Коли вся магістраль виходить з ладу, кожен сервер імен робить це одночасно. Сервери працюють. Ніхто не може їх знайти. Функція безпеки перетворює мережевий збій на збій існування. Потім інтернет накопичується: додатки повторюють спроби, користувачі перезавантажуються,

1:39 і резольвер Cloudflare бачить у тридцять разів більше звичайного навантаження, для сайту, якого немає. І двері. Інструменти, позасмуговий доступ, перепустки: та ж мережа. Інженери їдуть до центрів обробки даних, не можуть потрапити всередину, потім зустрічають стійки, укріплені проти будь-кого з фізичним доступом. Створено для уповільнення зловмисника, але це також уповільнює власника. Магістраль повертається; вони повільно, навмисно нарощують трафік.

1:59 Кожен центр обробки даних скинув десятки мегават, і зворотний процес за один крок є другим відключенням.

git blame — розкол

2:05 git blame. Facebook, п'ятдесят п'ять відсотків: команда була перевірена, аудитор мав помилку, одна команда досягла кожного маршрутизатора. Дизайн DNS, двадцять п'ять: перевірка працездатності без почуття пропорції. Одна мережа, п'ятнадцять: інструменти, позасмуговий доступ, перепустки. Стійки, п'ять, за виконання своєї роботи. Радіус ураження: три з половиною мільярди користувачів, майже шість годин. Акції закриваються з падінням на п'ять відсотків, шість мільярдів від Цукерберга,

Радіус ураження

2:27 на папері. Telegram заявляє про сімдесят мільйонів реєстрацій того дня. Вердикт, посмертний аналіз: NEEDS REVIEW. Заява того ж вечора, посмертний аналіз з іменем автора протягом дня, помилка інструмента аудиту визнана простою мовою.

Вердикт + понеділкова лінія

2:38 Список виправлень: посилити тестування та навчання. Нічого про зняття дверей з виробничої мережі. Понеділок: розмістіть свій позасмуговий доступ і свої двері в мережі, якою ви не керуєте. Надішліть мені інцидент, про який вам досі не дозволено говорити, у коментарях, або на the daily diff dot dev. І це The Daily Diff за сьогодні. Я Ніко з Axrisi.

2:58 Зливайте відповідально.

Джерела

  1. Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
  2. Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
  3. Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
  4. Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
  5. Andy Stone (Facebook), 16:07 UTCtwitter.com
  6. Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
  7. Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
  8. Hacker News (2,589 points)news.ycombinator.com
  9. The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
  10. Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
  11. Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
  12. Krebs on Securitykrebsonsecurity.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Пов'язані відео

postmortem · uk · 25 вер. 2026 р.

Мільйонна частка секунди зупинила авіатрафік Великої Британії. Шість годин.

О 10:00 у вівторок, 8 вересня, один звичайний запит коду транспондера в Національній системі повітряного простору (NAS) NATS переривається повідомленням з вищим пріоритетом, доки він частково оновлює

3:06 ↗
postmortem · uk · 22 вер. 2026 р.

Перезавантаження відкинуло Telstra у 2006 рік. Дев'ять мільйонів телефонів.

Інженер у Мельбурні о 2:50 ночі знову вмикає шасі синхронізації, і до сніданку найбільша мобільна мережа Австралії погоджується, що зараз листопад 2006 року. 8 липня 2026 року: GPS-карта в шасі NTP Te

3:15 ↗