+− THE DAILY DIFFdev & AI news
NEEDS REVIEW

Facebook интернеттен өзүн өчүрдү. Алты саат.

Facebook өзүнүн дарегин интернеттен өчүрөт, ал эми анын инженерлери аны кайра коюу үчүн келгенде, бейджик окугучтары да иштебей калат, анткени алар Facebookта иштейт.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Facebook өзүнүн дарегин интернеттен өчүрөт, ал эми анын инженерлери аны кайра коюу үчүн келгенде, бейджик окугучтары да иштебей калат, анткени алар Facebookта иштейт. 2021-жыл, 4-октябрь, 15:40 UTC: кезектеги магистралдык тейлөө буйругу Facebookтун маалымат борборлорунун ортосундагы ар бир байланышты үзөт; аны бөгөттөө үчүн түзүлгөн аудит куралында мүчүлүштүк бар; Facebookтун аталыш серверлери, маалымат борборлоруна жете албай, BGP маршруттарын долбоор боюнча өз алдынча алып салышат — жана facebook.com, Instagram, WhatsApp жана Messenger DNSтен дээрлик алты саатка жоголот. Ички куралдар, тармактан тышкаркы жетүү жана кеңсе бейджиктери бир эле тармакта иштейт, ошондуктан оңдоо үчүн стеллаждарда адамдар керек.

Жазма басылышын окуу (Англисче) ↗

Бул видео эмнелерди камтыйт

  • Facebook өз дарегин алып салат
  • Квитанциялар: Meta Engineering, Cloudflare, Hacker News
  • Бул The Daily Diff, постмортем
  • Убакыт тилкеси: 15:39 буйрук → 15:40 алынды → 21:20 кайра
  • Механизм: сизди жок кылган ден соолукту текшерүү, 30× DNS бороону, эшиктер

Суроолор жана жооптор

2021-жылдын октябрындагы Facebook, Instagram жана WhatsApp тармактарынын үзгүлтүккө учурашына эмне себеп болду?

Кезектеги пландалган тейлөө командасы Facebookтун маалымат борборлорунун ортосундагы бардык байланыштарды үзгүлтүккө учураткан, ал эми мындай буйруктарды бөгөттөөгө арналган аудит куралында мүчүлүштүк болгон. Metaнын инженердик отчетуна ылайык, бул маалымат борборлорунун бири-биринен ажырап калышына алып келген. Саат 15:40 UTC боюнча Cloudflare Facebookтун аталыш серверлерине болгон маршруттардын алынып салынганын байкап, facebook.com кайра саат 21:20да чечилгенге чейин SERVFAIL кайтарды.

Бул бөлүктү көрүү 0:40 · engineering.fb.com · blog.cloudflare.com

Эмне үчүн Facebookтун DNS серверлери өздөрүн интернеттен алып салышкан?

Аталыш серверлери маалымат борборлоруна жете албаганда, өздөрүнүн BGP маршруттарын алып салуу үчүн иштелип чыккан. Бир сайт иштебей калганда, бул эреже акылга сыярлык. Бүтүндөй негизги тармак иштебей калганда, ар бир аталыш сервери дароо өзүн жараксыз деп жарыялап, өз дарегин жарнамалоону токтоткон. Серверлер дагы эле иштеп жаткан, бирок эч ким аларды таба алган эмес.

Бул бөлүктү көрүү 1:20 · engineering.fb.com · blog.cloudflare.com

Эмне үчүн Facebook инженерлери үзгүлтүктү алыстан оңдой алышкан жок?

Ички куралдар, тармактан тышкаркы жеткиликтүүлүк жана кеңседеги төш белги окугучтар иштебей калган тармакта иштеген. Инженерлер маалымат борборлоруна барышы керек болчу, ал жердеги текчелер физикалык жеткиликтүүлүгү бар адамдардан корголгон. New York Times гезити кызматкерлердин имараттардан саат 18:51 UTC боюнча өлгөн төш белгилери менен кулпуланып калганын билдирген.

Бул бөлүктү көрүү 1:20 · engineering.fb.com · twitter.com · www.nytimes.com

Facebookтун үзгүлтүккө учурашы интернеттин калган бөлүгүнө кандай таасир этти?

Колдонмолор кайра аракет кылып, колдонуучулар кайра жүктөшкөндүктөн, Cloudflareдин чечүүчүсү жеткиликсиз сайт үчүн кадимки жүктөмүнөн отуз эсе көп жүктөм көргөн. Бул эпизод алты саатка жакын үч жарым миллиард колдонуучуга таасир эткен. Ошондой эле Telegram ошол күнү жетимиш миллион каттоодон өткөнүн билдирген.

Бул бөлүктү көрүү 2:25 · blog.cloudflare.com · www.reuters.com

Facebookтун постюмортеми үзгүлтүктүн артындагы негизги көйгөйлөрдү чечтиби?

The Daily Diffтин чечими NEEDS REVIEW болгон. Facebook ошол эле кечинде билдирүү жасап, бир күндүн ичинде автордун аты көрсөтүлгөн постюмортем жарыялап, аудит куралындагы мүчүлүштүктү ачык эле мойнуна алган. Анын оңдоо тизмеси күчтүүрөөк сыноолорго жана машыгууларга багытталган жана өндүрүш тармагынан эшиктерди алуу жөнүндө эч нерсе айткан эмес. Бул эпизод сиз иштетпеген тармакка тармактан тышкаркы жеткиликтүүлүктү орнотууну сунуштайт.

Бул бөлүктү көрүү 2:38 · engineering.fb.com · engineering.fb.com

Котормо стенограмма

Англис тилиндеги баштапкы баяндамадан которулган. Жеткиликтүү аудио жана коштомо жазуулар YouTube тарабынан көзөмөлдөнөт.

Facebook өз дарегин алып салат

0:00 Facebook интернеттен өз дарегин алып салат, ал эми анын инженерлери аны кайра орнотууга келгенде, бейджик окугучтар да иштебей калат, анткени алар Facebookта иштейт. Метанын өзүнүн постмортеми, эртеси: кезектеги тейлөө буйругу ар бир магистралдык байланышты үзөт, жана андай буйруктарды бөгөттөө үчүн түзүлгөн куралда мүчүлүштүк бар.

Квитанциялар: Meta Engineering, Cloudflare, Hacker News

0:16 Cloudflare, сырттан: 15:40 UTC убагында Facebookтун аталыш серверлерине болгон маршруттар жоголот, жана dig facebook.com планетанын бардык жеринде SERVFAIL кайтарат. Кантип болот, эмне үчүн коопсуздук өзгөчөлүгү абалды начарлатат жана ким күнөөлүү. Бул The Daily Diff, постмортем. Күндүн эртең мененки бөлүгү, UTC.

Бул The Daily Diff, постмортем

0:34 Бош магистралдык кубаттуулукту текшерүү үчүн арналган буйрук анын ордуна ар бир байланышты үзөт Facebookтун маалымат борборлорунун ортосунда, жана дал ушуну кармаш үчүн түзүлгөн аудит куралы

Убакыт тилкеси: 15:39 буйрук → 15:40 алынды → 21:20 кайра

0:41 аны өткөрүп жиберет. 15:40. Cloudflare'дин BGP каналы алынып салуулар менен толот; Facebookтун DNS префикстери маршруттук таблицадан чыгат. Бир мүнөттүн ичинде Cloudflare'дин инженерлери бир бөлмөдө алар 1.1.1.1ди бузуп алыштыбы деп ойлонуп отурушат. 15:45, Hacker News, жыйырма алты жүз упай. 16:07, Facebookтун басма сөз катчысы, Twitterде: кээ бир адамдар биздин колдонмолорго кирүүдө кыйынчылыктарга туш болууда. Кээ бир адамдар – бул үч жарым миллиард.

1:06 18:51, New York Times: кызматкерлер имараттарынан кулпуланып калышты, бейджиктери иштебей калды. 19:52, CTO кечирим сурайт. 21:00, беш сааттан кийин, маршруттар кайтып келет; 21:20, facebook.com чечилет. Эмне үчүн магистралдык ката Facebookту интернеттен жок кылат?

Механизм: сизди жок кылган ден соолукту текшерүү, 30× DNS бороону, эшиктер

1:20 Анын аталыш серверлеринде эреже бар: маалымат борборлоруна жете албайт, өзүңүздү ден-соолугу начар деп жарыялаңыз, дарегиңизди жарнамалоону токтотуңуз. Бир сайт начар болгондо акылга сыярлык. Бардык магистрал иштебей калганда, ар бир аталыш сервери аны бир убакта аткарат. Серверлер иштейт. Эч ким аларды таба албайт. Коопсуздук функциясы тармактык катаны бар болуу катасына айландырат. Андан кийин интернет толуп кетет: колдонмолор кайра аракет кылат, колдонуучулар кайра жүктөйт,

1:39 жана Cloudflare'дин чечүүчүсү кадимки жүктөмүнөн отуз эсе көп жүктү көрөт, жок сайт үчүн. Жана эшиктер. Куралдар, тармактан тышкаркы жетүү, бейджиктер: ошол эле тармак. Инженерлер маалымат борборлоруна барышат, кире алышпайт, анан физикалык жеткиликтүүлүгү бар ар бир адамга каршы бекемделген стеллаждарды табышат. Кол салуучуну жайлатуу үчүн курулган, ал ээсин да жайлатат. Магистрал кайтып келет; алар трафикти атайын жай ылдамдатышат.

1:59 Ар бир маалымат борбору ондогон мегаваттты жоготту, жана муну бир кадамда артка кайтаруу экинчи өчүрүү болуп саналат.

git blame — бөлүштүрүү

2:05 git blame. Facebook, элүү беш пайыз: буйрук текшерилген, текшерүүчүдө мүчүлүштүк болгон, бир буйрук ар бир роутерге жеткен. DNS дизайны, жыйырма беш: пропорция сезими жок ден соолукту текшерүү. Бир тармак, он беш: куралдар, тармактан тышкары, бейджиктер. Стеллаждар, беш, өз ишин аткарганы үчүн. Жарылуу радиусу: үч жарым миллиард колдонуучу, дээрлик алты саат. Акция беш пайызга төмөндөйт, Цукербергден алты миллиард, кагаз жүзүндө.

Жарылуу радиусу

2:27 Телеграм ошол күнү жетимиш миллион каттоодон өтүүнү талап кылат. Өкүм, постмортем: карап чыгуу керек. Ошол эле кечиндеги билдирүү, бир күндүн ичинде аты-жөнү көрсөтүлгөн автордун постмортеми, аудит куралындагы мүчүлүштүк ачык англисче моюнга алынды.

Өкүм + дүйшөмбү линиясы

2:38 Оңдоо тизмеси: тестирлөөнү жана машыгууларды күчөтүү. Өндүрүш тармагынан эшиктерди алуу жөнүндө эч нерсе жок. Дүйшөмбү: тармактан тышкаркы кирүү мүмкүнчүлүгүңүздү жана эшигиңизди, сиз иштетпеген тармакка коюңуз. Мага дагы эле сүйлөөгө уруксат берилбеген окуяны жөнөтүңүз, комментарийлерде, же the daily diff dot dev дарегине. Жана бүгүнкү айырма ушул. Мен Axrisi'ден Никомун.

2:58 Жоопкерчиликтүү түрдө бириктириңиз.

Булактар

  1. Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
  2. Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
  3. Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
  4. Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
  5. Andy Stone (Facebook), 16:07 UTCtwitter.com
  6. Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
  7. Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
  8. Hacker News (2,589 points)news.ycombinator.com
  9. The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
  10. Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
  11. Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
  12. Krebs on Securitykrebsonsecurity.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Окшош видеолор

postmortem · ky · 2026-ж., 25-сен.

Бир миллисекунддук мүчүлүштүк Улуу Британиянын аба кыймылын токтотту. Алты саатка.

Шейшемби күнү, 8-сентябрда, саат 10:00дө NATSтын Улуттук Аба Мейкиндиги Системасынын (NAS) ичиндеги бир кадимки squawk-кодун суроосу, ал баалуулукту жарым-жартылай жаңыртып жаткан кезде, жогорку артык

3:06 ↗
postmortem · ky · 2026-ж., 22-сен.

Кайра жүктөлгөн Telstraны 2006-жылга кайтарды. Тогуз миллион телефон.

Мельбурндагы инженер эртең мененки саат 2:50дө убакыт шассисин кайра иштетет, ал эми эртең менен Австралиянын эң чоң мобилдик тармагы 2006-жылдын ноябры экенине макул болот. 2026-жылдын 8-июлу: Telstr

3:15 ↗