Facebook özünü internetdən sildi. Altı saat.

Bu videoda nələr əhatə olunur

• Facebook öz ünvanını silir
• Qəbzlər: Meta Engineering, Cloudflare, Hacker News
• Bu The Daily Diff, postmortemdir
• Zaman cədvəli: 15:39 əmr → 15:40 geri çəkildi → 21:20 geri
• Mexanizm: sizi silən sağlamlıq yoxlaması, 30× DNS fırtınası, qapılar

Tərcümə olunmuş transkript

Orijinal ingilis dilindəki nəqldən tərcümə edilmişdir. Mövcud audio və subtitrlər YouTube tərəfindən idarə olunur.

Facebook öz ünvanını silir

0:00 Facebook öz ünvanını internetdən silir və mühəndisləri onu geri qoymaq üçün gələndə, nişan oxuyucuları da işləmir, çünki onlar Facebook-da işləyir. Metanın öz postmortemi, növbəti gün: rutin bir baxım əmri hər bir onurğa əlaqəsini kəsir və belə əmrləri bloklamaq üçün qurulmuş alətdə bir səhv var.

Qəbzlər: Meta Engineering, Cloudflare, Hacker News

0:16 Cloudflare, kənardan: 15:40 UTC-də Facebook-un ad serverlərinə gedən marşrutlar yox olur və dig facebook.com planetin hər yerində SERVFAIL qaytarır. Necə baş verir, niyə təhlükəsizlik xüsusiyyəti vəziyyəti pisləşdirir və günah kimdədir. Bu The Daily Diff, postmortemdir. Günortadan əvvəl, UTC.

Bu The Daily Diff, postmortemdir

0:34 Boş onurğa tutumunu yoxlamaq üçün nəzərdə tutulmuş bir əmr əvəzinə hər bir əlaqəni kəsir Facebook-un məlumat mərkəzləri arasında və bunu tutmaq üçün qurulmuş audit aləti

Zaman cədvəli: 15:39 əmr → 15:40 geri çəkildi → 21:20 geri

0:41 bunu ötürür. 15:40. Cloudflare-in BGP yayımı geri çəkmələrlə dolur; Facebook-un DNS prefiksleri marşrutlaşdırma cədvəlini tərk edir. Bir dəqiqə ərzində Cloudflare-in mühəndisləri bir otaqda 1.1.1.1-i pozub-pozmadıklarını düşünürlər. 15:45, Hacker News, iki min altı yüz xal. 16:07, Facebook-un sözçüsü, xüsusilə Twitter-də: bəzi insanlar tətbiqlərimizə daxil olmaqda çətinlik çəkir. Bəzi insanlar üç yarım milyarddır.

1:06 18:51, New York Times: işçilər binalarından çöldə qalıblar, nişanlar işləmir. 19:52, CTO üzr istəyir. 21:00, beş saat sonra, marşrutlar qayıdır; 21:20, facebook.com həll edilir. Niyə bir onurğa səhvi Facebook-u internetdən silir?

Mexanizm: sizi silən sağlamlıq yoxlaması, 30× DNS fırtınası, qapılar

1:20 Ad serverlərinin bir qaydası var: məlumat mərkəzlərinə çata bilmirsinizsə, özünüzü qeyri-sağlam elan edin, ünvanınızı reklam etməyi dayandırın. Bir sayt pis olanda məntiqlidir. Bütün onurğa işləmədikdə, hər bir ad serveri bunu eyni anda edir. Serverlər işləyir. Heç kim onları tapa bilmir. Təhlükəsizlik xüsusiyyəti şəbəkə səhvini mövcudluq səhvinə çevirir. Sonra internet üst-üstə yığılır: tətbiqlər yenidən cəhd edir, istifadəçilər yenidən yükləyir,

1:39 və Cloudflare-in resolveri normal yükləmənin otuz qatını görür, orada olmayan bir sayt üçün. Və qapılar. Alətlər, kənar giriş, nişanlar: eyni şəbəkə. Mühəndislər məlumat mərkəzlərinə gedirlər, içəri girə bilmirlər, sonra fiziki girişə qarşı möhkəmləndirilmiş rəflərlə qarşılaşırlar. Bir hücumçunu yavaşlatmaq üçün qurulub, sahibi də yavaşlatır. Onurğa qayıdır; onlar məqsədli şəkildə trafikin həcmini yavaş-yavaş artırırlar.

1:59 Hər bir məlumat mərkəzi onlarla meqavatt itirib və bunu bir addımda geri qaytarmaq ikinci bir kəsilmədir.

git blame — parçalanma

2:05 git blame. Facebook, əlli beş faiz: əmr audit edildi, auditorun səhvi var idi, bir əmr hər bir routerə çatdı. DNS dizaynı, iyirmi beş: nisbət hissi olmayan bir sağlamlıq yoxlaması. Bir şəbəkə, on beş: alətlər, kənar, nişanlar. Rəflər, beş, öz işlərini gördükləri üçün. Partlayış radiusu: üç yarım milyard istifadəçi, demək olar ki, altı saat. Səhm beş faiz aşağı bağlanır, Zuckerberg-dən altı milyard aşağı,

Partlayış radiusu

2:27 kağız üzərində. Telegram həmin gün yetmiş milyon qeydiyyat olduğunu iddia edir. Hökm, postmortem: NEEDS REVIEW. Eyni axşam açıqlaması, bir gün ərzində adı qeyd olunan müəllif tərəfindən postmortem, audit aləti səhvi açıq İngilis dilində etiraf edildi.

Hökm + Bazar ertəsi xətti

2:38 Düzəlişlər siyahısı: sınaq və məşqləri gücləndirmək. İstehsal şəbəkəsindən qapıların götürülməsi haqqında heç nə yoxdur. Bazar ertəsi: kənar girişinizi və qapınızı idarə etmədiyiniz bir şəbəkəyə yerləşdirin. Hələ danışmağa icazə verilməyən hadisəni mənə göndərin, şərhlərdə, ya da the daily diff dot dev-də. Və bu, bu gün üçün fərqdir. Mən Axrisi-dən Nikoyum.

2:58 Məsuliyyətlə birləşdirin.

Mənbələr

1. Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
2. Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
3. Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
4. Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
5. Andy Stone (Facebook), 16:07 UTCtwitter.com
6. Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
7. Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
8. Hacker News (2,589 points)news.ycombinator.com
9. The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
10. Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
11. Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
12. Krebs on Securitykrebsonsecurity.com