Facebook выдаліў сябе з інтэрнэту. Шэсць гадзін.

Што ахоплівае гэта відэа

• Facebook выдаляе свой уласны адрас
• Квітанцыі: Meta Engineering, Cloudflare, Hacker News
• Гэта The Daily Diff, постмартэм
• Храналогія: 15:39 каманда → 15:40 адклікана → 21:20 назад
• Механізм: праверка здароўя, якая вас выдаляе, 30× DNS шторм, дзверы

Перакладзеная стэнаграма

Перакладзена з арыгінальнай англійскай агучкі. Даступнае аўдыя і субтытры кантралююцца YouTube.

Facebook выдаляе свой уласны адрас

0:00 Facebook выдаляе свой уласны адрас з інтэрнэту, і калі яго інжынеры прыбываюць, каб вярнуць яго, счытвальнікі пропускаў таксама не працуюць, таму што яны працуюць на Facebook. Уласны постмартэм Meta, на наступны дзень: руцінная каманда па абслугоўванні адключае ўсе магістральныя злучэнні, а інструмент, створаны для блакавання такіх каманд, мае памылку.

Квітанцыі: Meta Engineering, Cloudflare, Hacker News

0:16 Cloudflare, звонку: у 15:40 UTC маршруты да сервераў імёнаў Facebook знікаюць, і dig facebook.com вяртае SERVFAIL па ўсім свеце. Як гэта адбываецца, чаму функцыя бяспекі робіць горш, і хто вінаваты. Гэта The Daily Diff, постмартэм. Ранні пасляабед, UTC.

Гэта The Daily Diff, постмартэм

0:34 Каманда, прызначаная для праверкі свабоднай магутнасці магістралі, замест гэтага адключае ўсе злучэнні паміж цэнтрамі апрацоўкі дадзеных Facebook, а інструмент аўдыту, створаны для выяўлення менавіта гэтага,

Храналогія: 15:39 каманда → 15:40 адклікана → 21:20 назад

0:41 прапускае яго. 15:40. Стужка BGP Cloudflare запаўняецца адкліканнямі; DNS Facebook прэфіксы пакідаюць табліцу маршрутызацыі. На працягу хвіліны інжынеры Cloudflare знаходзяцца ў пакоі, разважаючы, ці паламалі яны 1.1.1.1. 15:45, Hacker News, дзве тысячы шэсцьсот ачкоў. 16:07, прадстаўнік Facebook, у Twitter, сярод усіх месцаў: некаторыя людзі маюць праблемы з доступам да нашых праграм. Некаторыя людзі — гэта тры з паловай мільярды.

1:06 18:51, The New York Times: супрацоўнікі заблакаваны ў сваіх будынках, пропускі не працуюць. 19:52, тэхнічны дырэктар прыносіць прабачэнні. 21:00, праз пяць гадзін, маршруты вяртаюцца; 21:20, facebook.com вырашаецца. Чаму няспраўнасць магістралі выдаляе Facebook з інтэрнэту?

Механізм: праверка здароўя, якая вас выдаляе, 30× DNS шторм, дзверы

1:20 Яго серверы імёнаў маюць правіла: не можаш дасягнуць цэнтраў апрацоўкі дадзеных, аб'яві сябе нездаровым, спыні рэкламаваць свой адрас. Разумна, калі адзін сайт выходзіць з ладу. Калі ўся магістраль выходзіць з ладу, кожны сервер імёнаў робіць гэта адначасова. Серверы працуюць. Ніхто не можа іх знайсці. Функцыя бяспекі ператварае сеткавую няспраўнасць у няспраўнасць існавання. Затым інтэрнэт навальваецца: праграмы паўтараюць спробы, карыстальнікі перазагружаюць,

1:39 і вырашальнік Cloudflare бачыць у трыццаць разоў большую нагрузку, чым звычайна, для сайта, якога няма. І дзверы. Інструменты, пазадыяпазонны доступ, пропускі: тая ж сетка. Інжынеры едуць у цэнтры апрацоўкі дадзеных, не могуць трапіць, затым сустракаюць стойкі, умацаваныя ад любога з фізічным доступам. Створана, каб запаволіць нападніка, запавольвае і ўладальніка. Магістраль вяртаецца; яны павольна нарошчваюць трафік, мэтанакіравана.

1:59 Кожны цэнтр апрацоўкі дадзеных страціў дзясяткі мегават, і адмена гэтага за адзін крок гэта другое адключэнне.

git blame — падзел

2:05 git blame. Facebook, пяцьдзесят пяць працэнтаў: каманда была праверана, аўдытар меў памылку, адна каманда дасягнула кожнага маршрутызатара. Дызайн DNS, дваццаць пяць: праверка здароўя без пачуцця меры. Адна сетка, пятнаццаць: інструменты, пазадыяпазонны доступ, пропускі. Стойкі, пяць, за выкананне сваёй працы. Радыус паражэння: тры з паловай мільярды карыстальнікаў, амаль шэсць гадзін. Акцыі зачыніліся са зніжэннем на пяць працэнтаў, шэсць мільярдаў ад Цукерберга,

Радыус паражэння

2:27 на паперы. Telegram заяўляе пра семдзесят мільёнаў рэгістрацый у той дзень. Вердыкт, постмартэм: NEEDS REVIEW. Заява ў той жа вечар, постмартэм з названым аўтарам на працягу дня, памылка ў інструменце аўдыту прызнана на зразумелай англійскай мове.

Вердыкт + лінія панядзелка

2:38 Спіс выпраўленняў: узмацніць тэставанне і вучэнні. Нічога пра зняцце дзвярэй з працоўнай сеткі. Панядзелак: размясціце свой пазадыяпазонны доступ і свае дзверы ў сетцы, якой вы не кіруеце. Дашліце мне інцыдэнт, пра які вам усё яшчэ не дазваляецца гаварыць, у каментарах або на daily diff dot dev. І гэта The Daily Diff на сёння. Я Ніка з Axrisi.

2:58 Merge responsibly.

Крыніцы

1. Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
2. Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
3. Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
4. Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
5. Andy Stone (Facebook), 16:07 UTCtwitter.com
6. Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
7. Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
8. Hacker News (2,589 points)news.ycombinator.com
9. The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
10. Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
11. Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
12. Krebs on Securitykrebsonsecurity.com