+− THE DAILY DIFFdev & AI news
NEEDS REVIEW

Facebook özünü internetdən sildi. Altı saat.

Facebook öz ünvanını internetdən silir və mühəndisləri onu geri qoymaq üçün gələndə, nişan oxuyucuları da işləmir, çünki onlar Facebook-da işləyir.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Facebook öz ünvanını internetdən silir və mühəndisləri onu geri qoymaq üçün gələndə, nişan oxuyucuları da işləmir, çünki onlar Facebook-da işləyir. 4 Oktyabr 2021, 15:40 UTC: rutin bir onurğa-baxım əmri Facebook-un məlumat mərkəzləri arasındakı hər bir əlaqəni kəsir; onu bloklamaq üçün qurulmuş audit alətində bir səhv var; Facebook-un ad serverləri, məlumat mərkəzlərinə çata bilmədikdə, dizaynla öz BGP marşrutlarını geri çəkir – və facebook.com, Instagram, WhatsApp və Messenger demək olar ki, altı saat ərzində DNS-dən yox olur. Daxili alətlər, kənar giriş və ofis nişanları eyni şəbəkədə işlədiyi üçün təmir üçün şəbəkə rəflərində insanlar lazımdır.

Yazılı nəşri oxuyun (İngiliscə) ↗

Bu videoda nələr əhatə olunur

  • Facebook öz ünvanını silir
  • Qəbzlər: Meta Engineering, Cloudflare, Hacker News
  • Bu The Daily Diff, postmortemdir
  • Zaman cədvəli: 15:39 əmr → 15:40 geri çəkildi → 21:20 geri
  • Mexanizm: sizi silən sağlamlıq yoxlaması, 30× DNS fırtınası, qapılar

Suallar və cavablar

2021-ci ilin oktyabr ayında Facebook, Instagram və WhatsApp-ın fəaliyyətinin dayanmasına nə səbəb oldu?

Rutin magistral şəbəkəyə texniki xidmət əmri Facebook-un məlumat mərkəzləri arasındakı hər bir əlaqəni kəsdi və belə əmrləri bloklamaq üçün nəzərdə tutulmuş audit alətində bir səhv var idi. Meta-nın mühəndislik hesabatına görə, bu, məlumat mərkəzlərini bir-birindən ayırdı. UTC saat 15:40-a qədər Cloudflare Facebook-un ad serverlərinə gedən marşrutların geri çəkildiyini gördü və facebook.com 21:20-də yenidən işə başlayana qədər SERVFAIL qaytardı.

Bu hissəyə baxın 0:40 · engineering.fb.com · blog.cloudflare.com

Niyə Facebook-un DNS serverləri özlərini internetdən çıxartdı?

Ad serverləri məlumat mərkəzlərinə çata bilmədikdə öz BGP marşrutlarını geri çəkmək üçün nəzərdə tutulmuşdu. Bu qayda bir sayt uğursuz olduqda məntiqlidir. Bütün magistral şəbəkə uğursuz olduqda, hər bir ad serveri dərhal özünü sağlam olmayan elan etdi və öz ünvanını reklam etməyi dayandırdı. Serverlər hələ də işləyirdi, lakin heç kim onları tapa bilmədi.

Bu hissəyə baxın 1:20 · engineering.fb.com · blog.cloudflare.com

Niyə Facebook mühəndisləri kəsintini uzaqdan düzəldə bilmədilər?

Daxili alətlər, kənar çıxış və ofis nişan oxuyucuları hamısı uğursuz olan eyni şəbəkədə işləyirdi. Mühəndislər məlumat mərkəzlərinə getməli oldular, burada rəflər fiziki girişi olan hər kəsə qarşı möhkəmləndirilmişdi. The New York Times, UTC saat 18:51-də ölü nişanları olan işçilərin binalara buraxılmadığını bildirdi.

Bu hissəyə baxın 1:20 · engineering.fb.com · twitter.com · www.nytimes.com

Facebook kəsintisi internetin qalan hissəsinə necə təsir etdi?

Tətbiqlər yenidən cəhd etdi və istifadəçilər yenidən yüklədi, buna görə Cloudflare-in həll edicisi əlçatmaz olan bir sayt üçün normal yükün otuz qatını gördü. Bu hadisə altı saata yaxın üç yarım milyard istifadəçi üçün partlayış radiusunu göstərir. O, həmçinin bildirir ki, Telegram həmin gün yetmiş milyon qeydiyyatdan keçdiyini iddia edib.

Bu hissəyə baxın 2:25 · blog.cloudflare.com · www.reuters.com

Facebook-un postmortemi kəsintinin arxasındakı əsas problemləri həll etdimi?

The Daily Diff-in qərarı NEEDS REVIEW idi. Facebook həmin axşam bəyanat verdi, bir gün ərzində adı qeyd olunmuş müəllifin postmortemini dərc etdi və audit alətindəki səhvi açıq şəkildə etiraf etdi. Düzəlişlər siyahısı daha güclü sınaqlara və təlimlərə yönəldilmişdi və istehsal şəbəkəsinin qapılarının çıxarılması haqqında heç nə demirdi. Epizod, işlətmədiyiniz bir şəbəkədə kənar çıxışın qoyulmasını məsləhət görür.

Bu hissəyə baxın 2:38 · engineering.fb.com · engineering.fb.com

Tərcümə olunmuş transkript

Orijinal ingilis dilindəki nəqldən tərcümə edilmişdir. Mövcud audio və subtitrlər YouTube tərəfindən idarə olunur.

Facebook öz ünvanını silir

0:00 Facebook öz ünvanını internetdən silir və mühəndisləri onu geri qoymaq üçün gələndə, nişan oxuyucuları da işləmir, çünki onlar Facebook-da işləyir. Metanın öz postmortemi, növbəti gün: rutin bir baxım əmri hər bir onurğa əlaqəsini kəsir və belə əmrləri bloklamaq üçün qurulmuş alətdə bir səhv var.

Qəbzlər: Meta Engineering, Cloudflare, Hacker News

0:16 Cloudflare, kənardan: 15:40 UTC-də Facebook-un ad serverlərinə gedən marşrutlar yox olur və dig facebook.com planetin hər yerində SERVFAIL qaytarır. Necə baş verir, niyə təhlükəsizlik xüsusiyyəti vəziyyəti pisləşdirir və günah kimdədir. Bu The Daily Diff, postmortemdir. Günortadan əvvəl, UTC.

Bu The Daily Diff, postmortemdir

0:34 Boş onurğa tutumunu yoxlamaq üçün nəzərdə tutulmuş bir əmr əvəzinə hər bir əlaqəni kəsir Facebook-un məlumat mərkəzləri arasında və bunu tutmaq üçün qurulmuş audit aləti

Zaman cədvəli: 15:39 əmr → 15:40 geri çəkildi → 21:20 geri

0:41 bunu ötürür. 15:40. Cloudflare-in BGP yayımı geri çəkmələrlə dolur; Facebook-un DNS prefiksleri marşrutlaşdırma cədvəlini tərk edir. Bir dəqiqə ərzində Cloudflare-in mühəndisləri bir otaqda 1.1.1.1-i pozub-pozmadıklarını düşünürlər. 15:45, Hacker News, iki min altı yüz xal. 16:07, Facebook-un sözçüsü, xüsusilə Twitter-də: bəzi insanlar tətbiqlərimizə daxil olmaqda çətinlik çəkir. Bəzi insanlar üç yarım milyarddır.

1:06 18:51, New York Times: işçilər binalarından çöldə qalıblar, nişanlar işləmir. 19:52, CTO üzr istəyir. 21:00, beş saat sonra, marşrutlar qayıdır; 21:20, facebook.com həll edilir. Niyə bir onurğa səhvi Facebook-u internetdən silir?

Mexanizm: sizi silən sağlamlıq yoxlaması, 30× DNS fırtınası, qapılar

1:20 Ad serverlərinin bir qaydası var: məlumat mərkəzlərinə çata bilmirsinizsə, özünüzü qeyri-sağlam elan edin, ünvanınızı reklam etməyi dayandırın. Bir sayt pis olanda məntiqlidir. Bütün onurğa işləmədikdə, hər bir ad serveri bunu eyni anda edir. Serverlər işləyir. Heç kim onları tapa bilmir. Təhlükəsizlik xüsusiyyəti şəbəkə səhvini mövcudluq səhvinə çevirir. Sonra internet üst-üstə yığılır: tətbiqlər yenidən cəhd edir, istifadəçilər yenidən yükləyir,

1:39 və Cloudflare-in resolveri normal yükləmənin otuz qatını görür, orada olmayan bir sayt üçün. Və qapılar. Alətlər, kənar giriş, nişanlar: eyni şəbəkə. Mühəndislər məlumat mərkəzlərinə gedirlər, içəri girə bilmirlər, sonra fiziki girişə qarşı möhkəmləndirilmiş rəflərlə qarşılaşırlar. Bir hücumçunu yavaşlatmaq üçün qurulub, sahibi də yavaşlatır. Onurğa qayıdır; onlar məqsədli şəkildə trafikin həcmini yavaş-yavaş artırırlar.

1:59 Hər bir məlumat mərkəzi onlarla meqavatt itirib və bunu bir addımda geri qaytarmaq ikinci bir kəsilmədir.

git blame — parçalanma

2:05 git blame. Facebook, əlli beş faiz: əmr audit edildi, auditorun səhvi var idi, bir əmr hər bir routerə çatdı. DNS dizaynı, iyirmi beş: nisbət hissi olmayan bir sağlamlıq yoxlaması. Bir şəbəkə, on beş: alətlər, kənar, nişanlar. Rəflər, beş, öz işlərini gördükləri üçün. Partlayış radiusu: üç yarım milyard istifadəçi, demək olar ki, altı saat. Səhm beş faiz aşağı bağlanır, Zuckerberg-dən altı milyard aşağı,

Partlayış radiusu

2:27 kağız üzərində. Telegram həmin gün yetmiş milyon qeydiyyat olduğunu iddia edir. Hökm, postmortem: NEEDS REVIEW. Eyni axşam açıqlaması, bir gün ərzində adı qeyd olunan müəllif tərəfindən postmortem, audit aləti səhvi açıq İngilis dilində etiraf edildi.

Hökm + Bazar ertəsi xətti

2:38 Düzəlişlər siyahısı: sınaq və məşqləri gücləndirmək. İstehsal şəbəkəsindən qapıların götürülməsi haqqında heç nə yoxdur. Bazar ertəsi: kənar girişinizi və qapınızı idarə etmədiyiniz bir şəbəkəyə yerləşdirin. Hələ danışmağa icazə verilməyən hadisəni mənə göndərin, şərhlərdə, ya da the daily diff dot dev-də. Və bu, bu gün üçün fərqdir. Mən Axrisi-dən Nikoyum.

2:58 Məsuliyyətlə birləşdirin.

Mənbələr

  1. Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
  2. Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
  3. Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
  4. Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
  5. Andy Stone (Facebook), 16:07 UTCtwitter.com
  6. Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
  7. Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
  8. Hacker News (2,589 points)news.ycombinator.com
  9. The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
  10. Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
  11. Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
  12. Krebs on Securitykrebsonsecurity.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Əlaqəli videolar