Фејсбук се избрисао са интернета. Шест сати.
Фејсбук уклања своју адресу са интернета, а када његови инжењери дођу да је врате, читачи значки такође не раде, јер раде на Фејсбуку.
Фејсбук уклања своју адресу са интернета, а када његови инжењери дођу да је врате, читачи значки такође не раде, јер раде на Фејсбуку. 4. октобар 2021, 15:40 УТЦ: рутинска команда за одржавање окоснице искључује сваку везу између Фејсбукових центара података; алат за ревизију направљен да то блокира има грешку; Фејсбукови сервери имена, неспособни да дођу до центара података, повлаче сопствене БГП руте по дизајну — и facebook.com, Instagram, WhatsApp и Messenger нестају из ДНС-а на скоро шест сати. Интерни алати, ванпојасни приступ и канцеларијске значке возе исту мрежу, тако да је за поправку потребно присуство људи код рекова.
Прочитајте писано издање (енглески) ↗
Шта овај видео покрива
- Фејсбук уклања своју адресу
- Признанице: Meta Engineering, Cloudflare, Hacker News
- Ово је The Daily Diff, постмортем
- Временска линија: 15:39 команда → 15:40 повучено → 21:20 назад
- Механизам: провера здравља која вас брише, 30× ДНС олуја, врата
Питања и одговори
Шта је проузроковало прекид рада Фејсбука, Инстаграма и Вотсапа у октобру 2021. године?
Рутинска наредба за одржавање окоснице оборила је сваку везу између Фејсбукових центара података, а алат за ревизију који је требало да блокира такве наредбе имао је грешку. Према инжењерском извештају Мете, то је раздвојило центре података један од другог. До 15:40 УТЦ Cloudflare је приметио да су руте до Фејсбукових сервера имена повучене, а facebook.com је враћао SERVFAIL док се поново није решио у 21:20.
Зашто су Фејсбукови ДНС сервери уклонили себе са интернета?
Сервери имена су били дизајнирани да повуку сопствене БГП руте када нису могли да дођу до центара података. То правило је разумно када једно место откаже. Када је цела окосница отказала, сваки сервер имена се одмах прогласио неисправним и престао да оглашава своју адресу. Сервери су и даље радили, али нико није могао да их пронађе.
Зашто Фејсбукови инжењери нису могли да поправе прекид даљински?
Интерни алати, ванпојасни приступ и читачи картица у канцеларији, сви су радили на истој мрежи која је отказала. Инжењери су морали да оду у центре података, где су рацкови били заштићени од било кога са физичким приступом. The New York Times је известио да су запослени били закључани изван зграда са нефункционалним значкама у 18:51 УТЦ.
Како је прекид рада Фејсбука утицао на остатак интернета?
Апликације су покушавале поново, а корисници су поново учитавали, тако да је Cloudflare-ов решавач видео тридесет пута веће оптерећење од нормалног за сајт који није био доступан. Епизода ставља радијус експлозије на три и по милијарде корисника током скоро шест сати. Такође се извештава да је Телеграм тог дана тврдио седамдесет милиона пријава.
Да ли је Фејсбуков постмортем поправио корене проблеме иза прекида?
Пресуда The Daily Diff-а је била NEEDS REVIEW. Фејсбук је исте вечери објавио изјаву, објавио постмортем са именом аутора у року од једног дана и на јасном енглеском језику признао грешку у алату за ревизију. Његова листа поправки се фокусирала на снажније тестирање и вежбе и ништа није рекла о скидању врата са продукционе мреже. Епизода саветује постављање ванпојасног приступа на мрежу којом не управљате.
Преведени транскрипт
Преведено са оригиналне енглеске нарације. Доступни аудио и титлови контролисани су од стране YouTube-а.
Фејсбук уклања своју адресу
0:00 Фејсбук уклања сопствену адресу са интернета, а када његови инжењери стигну да је врате, читачи значки такође не раде, јер раде на Фејсбуку. Метин постмортем, сутрадан: рутинска команда за одржавање искључује сваку везу окоснице, а алат направљен да блокира такве команде има грешку.
Признанице: Meta Engineering, Cloudflare, Hacker News
0:16 Cloudflare, споља: у 15:40 УТЦ руте до Фејсбукових сервера имена нестају, а dig facebook.com враћа SERVFAIL свуда на планети. Како се то дешава, зашто сигурносна функција погоршава ствари, и ко је крив. Ово је The Daily Diff, постмортем. Рано поподне, УТЦ.
Ово је The Daily Diff, постмортем
0:34 Команда намењена провери слободног капацитета окоснице уместо тога искључује сваку везу између Фејсбукових центара података, а алат за ревизију направљен да ухвати управо ово
Временска линија: 15:39 команда → 15:40 повучено → 21:20 назад
0:41 пропушта је. 15:40. Cloudflare-ов BGP фид се пуни повлачењима; Фејсбукови ДНС префикси напуштају табелу рутирања. У року од минута Cloudflare-ови инжењери су у соби и питају се да ли су покварили 1.1.1.1. 15:45, Hacker News, две хиљаде шест стотина поена. 16:07, Фејсбуков портпарол, на Твитеру од свих места: неки људи имају проблема са приступом нашим апликацијама. Неки људи су три и по милијарде.
1:06 18:51, New York Times: запослени закључани из својих зграда, значке не раде. 19:52, ЦТО се извињава. 21:00, пет сати касније, руте се враћају; 21:20, facebook.com се резолвира. Зашто грешка у окосници брише Фејсбук са интернета?
Механизам: провера здравља која вас брише, 30× ДНС олуја, врата
1:20 Његови сервери имена имају правило: не могу да дођу до центара података, прогласи се нездравим, престани да оглашаваш своју адресу. Разумно када једно место крене лоше. Када цела окосница откаже, сваки сервер имена то ради одједном. Сервери раде. Нико не може да их пронађе. Сигурносна функција претвара мрежну грешку у грешку постојања. Затим интернет наваљује: апликације покушавају поново, корисници освежавају,
1:39 и Cloudflare-ов резолвер види тридесет пута веће оптерећење од уобичајеног, за сајт који не постоји. И врата. Алати, ванпојасни приступ, значке: иста мрежа. Инжењери возе до центара података, не могу да уђу, затим наилазе на рекове ојачане против било кога са физичким приступом. Направљено да успори нападача, успорава и власника. Окосница се враћа; намерно полако повећавају саобраћај.
1:59 Сваки центар података је испустио десетине мегавата, а обртање тога у једном кораку је други прекид.
git blame — подела
2:05 git blame. Фејсбук, педесет пет посто: команда је ревидирана, ревизор је имао грешку, једна команда је стигла до сваког рутера. ДНС дизајн, двадесет пет: провера здравља без осећаја за пропорцију. Једна мрежа, петнаест: алати, ванпојасни, значке. Рекови, пет, за обављање свог посла. Радијус дејства: три и по милијарде корисника, скоро шест сати. Акције падају пет посто, шест милијарди мање за Закерберга,
Радијус дејства
2:27 на папиру. Телеграм тврди седамдесет милиона пријава тог дана. Пресуда, постмортем: NEEDS REVIEW. Изјава исто вече, постмортем са именованим аутором у року од једног дана, грешка у алату за ревизију призната једноставним енглеским језиком.
Пресуда + понедељак линија
2:38 Листа поправки: појачати тестирање и вежбе. Ништа о скидању врата са продукционе мреже. Понедељак: ставите свој ванпојасни приступ, и своја врата, на мрежу коју не оперативно не користите. Пошаљите ми инцидент о којем још увек не смете да причате, у коментарима, или на the daily diff dot dev. И то је The Daily Diff за данас. Ја сам Нико из Axrisi.
2:58 Merge responsibly.
Извори
- Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
- Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
- Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
- Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
- Andy Stone (Facebook), 16:07 UTCtwitter.com
- Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
- Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
- Hacker News (2,589 points)news.ycombinator.com
- The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
- Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
- Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
- Krebs on Securitykrebsonsecurity.com



