Facebook выдаліў сябе з інтэрнэту. Шэсць гадзін.
Facebook выдаляе свой уласны адрас з інтэрнэту, і калі яго інжынеры прыбываюць, каб вярнуць яго, счытвальнікі пропускаў таксама не працуюць, таму што яны працуюць на Facebook.
Facebook выдаляе свой уласны адрас з інтэрнэту, і калі яго інжынеры прыбываюць, каб вярнуць яго, счытвальнікі пропускаў таксама не працуюць, таму што яны працуюць на Facebook. 4 кастрычніка 2021 г., 15:40 UTC: руцінная каманда па абслугоўванні магістралі адключае ўсе злучэнні паміж цэнтрамі апрацоўкі дадзеных Facebook; інструмент аўдыту, створаны для блакавання гэтага, мае памылку; серверы імёнаў Facebook, не маючы магчымасці дасягнуць цэнтраў апрацоўкі дадзеных, адклікаюць свае маршруты BGP па задуме — і facebook.com, Instagram, WhatsApp і Messenger знікаюць з DNS амаль на шэсць гадзін. Унутраныя інструменты, пазадыяпазонны доступ і офісныя пропускі працуюць у той жа сетцы, таму для выпраўлення патрэбны людзі ля стоек.
Чытаць пісьмовае выданне (англійская) ↗
Што ахоплівае гэта відэа
- Facebook выдаляе свой уласны адрас
- Квітанцыі: Meta Engineering, Cloudflare, Hacker News
- Гэта The Daily Diff, постмартэм
- Храналогія: 15:39 каманда → 15:40 адклікана → 21:20 назад
- Механізм: праверка здароўя, якая вас выдаляе, 30× DNS шторм, дзверы
Пытанні і адказы
Што выклікала адключэнне Facebook, Instagram і WhatsApp у кастрычніку 2021 года?
Звычайная каманда па тэхнічным абслугоўванні магістральнай сеткі адключыла ўсе злучэнні паміж цэнтрамі апрацоўкі дадзеных Facebook, а інструмент аўдыту, прызначаны для блакавання такіх каманд, меў памылку. Згодна з інжынерным апісаннем Meta, гэта адключыла цэнтры апрацоўкі дадзеных адзін ад аднаго. Да 15:40 UTC Cloudflare зафіксаваў адкліканне маршрутаў да сервераў імёнаў Facebook, і facebook.com вяртаў SERVFAIL, пакуль не быў зноў вырашаны ў 21:20.
Чаму серверы DNS Facebook выдалілі сябе з Інтэрнэту?
Серверы імёнаў былі распрацаваны для адклікання ўласных маршрутаў BGP, калі яны не маглі дасягнуць цэнтраў апрацоўкі дадзеных. Гэта правіла разумна, калі адзін сайт выходзіць са строю. Калі ўся магістральная сетка выйшла са строю, кожны сервер імёнаў адначасова абвясціў сябе нездаровым і спыніў рэкламаваць свой адрас. Серверы ўсё яшчэ працавалі, але ніхто не мог іх знайсці.
Чаму інжынеры Facebook не змаглі ліквідаваць збой выдалена?
Унутраныя інструменты, пазапалосавы доступ і счытвальнікі офісных бэйджаў - усё гэта працавала на той жа сетцы, якая выйшла са строю. Інжынерам прыйшлося ісці ў цэнтры апрацоўкі дадзеных, дзе стойкі былі абаронены ад любога з фізічным доступам. The New York Times паведаміла, што супрацоўнікі былі заблакіраваны ў будынках з непрацуючымі бэйджамі ў 18:51 UTC.
Як збой Facebook паўплываў на астатнюю частку Інтэрнэту?
Праграмы паўтаралі спробы, а карыстальнікі перазагружалі старонкі, таму рэзальвер Cloudflare зафіксаваў трыццаць разоў больш за звычайную нагрузку для сайта, які быў недаступны. Эпізод ацэньвае радыус паражэння ў тры з паловай мільярда карыстальнікаў на працягу амаль шасці гадзін. Ён таксама паведамляе, што Telegram заявіў аб сямідзесяці мільёнах рэгістрацый у той дзень.
Ці выправіў пасляаварыйны аналіз Facebook асноўныя праблемы, якія прывялі да збою?
Вердыкт The Daily Diff быў NEEDS REVIEW. Facebook выпусціў заяву ў той жа вечар, апублікаваў пасляаварыйны аналіз з пазначаным аўтарам на працягу дня і прызнаў памылку ў інструменце аўдыту простымі словамі. Яго спіс выпраўленняў быў сканцэнтраваны на больш моцным тэставанні і трэніроўках і нічога не сказаў пра зняцце дзвярэй з вытворчай сеткі. Эпізод раіць размяшчаць пазапалосавы доступ у сетцы, якой вы не кіруеце.
Перакладзеная стэнаграма
Перакладзена з арыгінальнай англійскай агучкі. Даступнае аўдыя і субтытры кантралююцца YouTube.
Facebook выдаляе свой уласны адрас
0:00 Facebook выдаляе свой уласны адрас з інтэрнэту, і калі яго інжынеры прыбываюць, каб вярнуць яго, счытвальнікі пропускаў таксама не працуюць, таму што яны працуюць на Facebook. Уласны постмартэм Meta, на наступны дзень: руцінная каманда па абслугоўванні адключае ўсе магістральныя злучэнні, а інструмент, створаны для блакавання такіх каманд, мае памылку.
Квітанцыі: Meta Engineering, Cloudflare, Hacker News
0:16 Cloudflare, звонку: у 15:40 UTC маршруты да сервераў імёнаў Facebook знікаюць, і dig facebook.com вяртае SERVFAIL па ўсім свеце. Як гэта адбываецца, чаму функцыя бяспекі робіць горш, і хто вінаваты. Гэта The Daily Diff, постмартэм. Ранні пасляабед, UTC.
Гэта The Daily Diff, постмартэм
0:34 Каманда, прызначаная для праверкі свабоднай магутнасці магістралі, замест гэтага адключае ўсе злучэнні паміж цэнтрамі апрацоўкі дадзеных Facebook, а інструмент аўдыту, створаны для выяўлення менавіта гэтага,
Храналогія: 15:39 каманда → 15:40 адклікана → 21:20 назад
0:41 прапускае яго. 15:40. Стужка BGP Cloudflare запаўняецца адкліканнямі; DNS Facebook прэфіксы пакідаюць табліцу маршрутызацыі. На працягу хвіліны інжынеры Cloudflare знаходзяцца ў пакоі, разважаючы, ці паламалі яны 1.1.1.1. 15:45, Hacker News, дзве тысячы шэсцьсот ачкоў. 16:07, прадстаўнік Facebook, у Twitter, сярод усіх месцаў: некаторыя людзі маюць праблемы з доступам да нашых праграм. Некаторыя людзі — гэта тры з паловай мільярды.
1:06 18:51, The New York Times: супрацоўнікі заблакаваны ў сваіх будынках, пропускі не працуюць. 19:52, тэхнічны дырэктар прыносіць прабачэнні. 21:00, праз пяць гадзін, маршруты вяртаюцца; 21:20, facebook.com вырашаецца. Чаму няспраўнасць магістралі выдаляе Facebook з інтэрнэту?
Механізм: праверка здароўя, якая вас выдаляе, 30× DNS шторм, дзверы
1:20 Яго серверы імёнаў маюць правіла: не можаш дасягнуць цэнтраў апрацоўкі дадзеных, аб'яві сябе нездаровым, спыні рэкламаваць свой адрас. Разумна, калі адзін сайт выходзіць з ладу. Калі ўся магістраль выходзіць з ладу, кожны сервер імёнаў робіць гэта адначасова. Серверы працуюць. Ніхто не можа іх знайсці. Функцыя бяспекі ператварае сеткавую няспраўнасць у няспраўнасць існавання. Затым інтэрнэт навальваецца: праграмы паўтараюць спробы, карыстальнікі перазагружаюць,
1:39 і вырашальнік Cloudflare бачыць у трыццаць разоў большую нагрузку, чым звычайна, для сайта, якога няма. І дзверы. Інструменты, пазадыяпазонны доступ, пропускі: тая ж сетка. Інжынеры едуць у цэнтры апрацоўкі дадзеных, не могуць трапіць, затым сустракаюць стойкі, умацаваныя ад любога з фізічным доступам. Створана, каб запаволіць нападніка, запавольвае і ўладальніка. Магістраль вяртаецца; яны павольна нарошчваюць трафік, мэтанакіравана.
1:59 Кожны цэнтр апрацоўкі дадзеных страціў дзясяткі мегават, і адмена гэтага за адзін крок гэта другое адключэнне.
git blame — падзел
2:05 git blame. Facebook, пяцьдзесят пяць працэнтаў: каманда была праверана, аўдытар меў памылку, адна каманда дасягнула кожнага маршрутызатара. Дызайн DNS, дваццаць пяць: праверка здароўя без пачуцця меры. Адна сетка, пятнаццаць: інструменты, пазадыяпазонны доступ, пропускі. Стойкі, пяць, за выкананне сваёй працы. Радыус паражэння: тры з паловай мільярды карыстальнікаў, амаль шэсць гадзін. Акцыі зачыніліся са зніжэннем на пяць працэнтаў, шэсць мільярдаў ад Цукерберга,
Радыус паражэння
2:27 на паперы. Telegram заяўляе пра семдзесят мільёнаў рэгістрацый у той дзень. Вердыкт, постмартэм: NEEDS REVIEW. Заява ў той жа вечар, постмартэм з названым аўтарам на працягу дня, памылка ў інструменце аўдыту прызнана на зразумелай англійскай мове.
Вердыкт + лінія панядзелка
2:38 Спіс выпраўленняў: узмацніць тэставанне і вучэнні. Нічога пра зняцце дзвярэй з працоўнай сеткі. Панядзелак: размясціце свой пазадыяпазонны доступ і свае дзверы ў сетцы, якой вы не кіруеце. Дашліце мне інцыдэнт, пра які вам усё яшчэ не дазваляецца гаварыць, у каментарах або на daily diff dot dev. І гэта The Daily Diff на сёння. Я Ніка з Axrisi.
2:58 Merge responsibly.
Крыніцы
- Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
- Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
- Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
- Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
- Andy Stone (Facebook), 16:07 UTCtwitter.com
- Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
- Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
- Hacker News (2,589 points)news.ycombinator.com
- The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
- Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
- Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
- Krebs on Securitykrebsonsecurity.com



