Фејсбук се избрисао са интернета. Шест сати.

Шта овај видео покрива

• Фејсбук уклања своју адресу
• Признанице: Meta Engineering, Cloudflare, Hacker News
• Ово је The Daily Diff, постмортем
• Временска линија: 15:39 команда → 15:40 повучено → 21:20 назад
• Механизам: провера здравља која вас брише, 30× ДНС олуја, врата

Преведени транскрипт

Преведено са оригиналне енглеске нарације. Доступни аудио и титлови контролисани су од стране YouTube-а.

Фејсбук уклања своју адресу

0:00 Фејсбук уклања сопствену адресу са интернета, а када његови инжењери стигну да је врате, читачи значки такође не раде, јер раде на Фејсбуку. Метин постмортем, сутрадан: рутинска команда за одржавање искључује сваку везу окоснице, а алат направљен да блокира такве команде има грешку.

Признанице: Meta Engineering, Cloudflare, Hacker News

0:16 Cloudflare, споља: у 15:40 УТЦ руте до Фејсбукових сервера имена нестају, а dig facebook.com враћа SERVFAIL свуда на планети. Како се то дешава, зашто сигурносна функција погоршава ствари, и ко је крив. Ово је The Daily Diff, постмортем. Рано поподне, УТЦ.

Ово је The Daily Diff, постмортем

0:34 Команда намењена провери слободног капацитета окоснице уместо тога искључује сваку везу између Фејсбукових центара података, а алат за ревизију направљен да ухвати управо ово

Временска линија: 15:39 команда → 15:40 повучено → 21:20 назад

0:41 пропушта је. 15:40. Cloudflare-ов BGP фид се пуни повлачењима; Фејсбукови ДНС префикси напуштају табелу рутирања. У року од минута Cloudflare-ови инжењери су у соби и питају се да ли су покварили 1.1.1.1. 15:45, Hacker News, две хиљаде шест стотина поена. 16:07, Фејсбуков портпарол, на Твитеру од свих места: неки људи имају проблема са приступом нашим апликацијама. Неки људи су три и по милијарде.

1:06 18:51, New York Times: запослени закључани из својих зграда, значке не раде. 19:52, ЦТО се извињава. 21:00, пет сати касније, руте се враћају; 21:20, facebook.com се резолвира. Зашто грешка у окосници брише Фејсбук са интернета?

Механизам: провера здравља која вас брише, 30× ДНС олуја, врата

1:20 Његови сервери имена имају правило: не могу да дођу до центара података, прогласи се нездравим, престани да оглашаваш своју адресу. Разумно када једно место крене лоше. Када цела окосница откаже, сваки сервер имена то ради одједном. Сервери раде. Нико не може да их пронађе. Сигурносна функција претвара мрежну грешку у грешку постојања. Затим интернет наваљује: апликације покушавају поново, корисници освежавају,

1:39 и Cloudflare-ов резолвер види тридесет пута веће оптерећење од уобичајеног, за сајт који не постоји. И врата. Алати, ванпојасни приступ, значке: иста мрежа. Инжењери возе до центара података, не могу да уђу, затим наилазе на рекове ојачане против било кога са физичким приступом. Направљено да успори нападача, успорава и власника. Окосница се враћа; намерно полако повећавају саобраћај.

1:59 Сваки центар података је испустио десетине мегавата, а обртање тога у једном кораку је други прекид.

git blame — подела

2:05 git blame. Фејсбук, педесет пет посто: команда је ревидирана, ревизор је имао грешку, једна команда је стигла до сваког рутера. ДНС дизајн, двадесет пет: провера здравља без осећаја за пропорцију. Једна мрежа, петнаест: алати, ванпојасни, значке. Рекови, пет, за обављање свог посла. Радијус дејства: три и по милијарде корисника, скоро шест сати. Акције падају пет посто, шест милијарди мање за Закерберга,

Радијус дејства

2:27 на папиру. Телеграм тврди седамдесет милиона пријава тог дана. Пресуда, постмортем: NEEDS REVIEW. Изјава исто вече, постмортем са именованим аутором у року од једног дана, грешка у алату за ревизију призната једноставним енглеским језиком.

Пресуда + понедељак линија

2:38 Листа поправки: појачати тестирање и вежбе. Ништа о скидању врата са продукционе мреже. Понедељак: ставите свој ванпојасни приступ, и своја врата, на мрежу коју не оперативно не користите. Пошаљите ми инцидент о којем још увек не смете да причате, у коментарима, или на the daily diff dot dev. И то је The Daily Diff за данас. Ја сам Нико из Axrisi.

2:58 Merge responsibly.

Извори

1. Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
2. Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
3. Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
4. Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
5. Andy Stone (Facebook), 16:07 UTCtwitter.com
6. Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
7. Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
8. Hacker News (2,589 points)news.ycombinator.com
9. The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
10. Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
11. Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
12. Krebs on Securitykrebsonsecurity.com