فیسبوک خودش را از اینترنت حذف کرد. شش ساعت.
فیسبوک آدرس خودش را از اینترنت حذف میکند و وقتی مهندسانش برای برگرداندن آن میرسند، کارتخوانها نیز از کار افتادهاند، زیرا آنها روی فیسبوک اجرا میشوند.
فیسبوک آدرس خودش را از اینترنت حذف میکند و وقتی مهندسانش برای برگرداندن آن میرسند، کارتخوانها نیز از کار افتادهاند، زیرا آنها روی فیسبوک اجرا میشوند. 4 اکتبر 2021، 15:40 UTC: یک دستور معمول نگهداری زیرساخت هر پیوند بین مراکز داده فیسبوک را قطع میکند؛ ابزار ممیزی که برای جلوگیری از آن ساخته شده است دارای یک اشکال است؛ سرورهای نام فیسبوک، که قادر به دسترسی به مراکز داده نیستند، مسیرهای BGP خود را طبق طراحی پس میگیرند — و facebook.com، Instagram، WhatsApp و Messenger تقریباً به مدت شش ساعت از DNS ناپدید میشوند. ابزارهای داخلی، دسترسی خارج از باند و کارتهای شناسایی اداری روی همان شبکه کار میکنند، بنابراین رفع مشکل نیاز به حضور افراد در رکها دارد.
نسخه نوشتاری را بخوانید (انگلیسی) ↗
این ویدیو چه مواردی را پوشش میدهد
- فیسبوک آدرس خودش را حذف میکند
- رسیدها: Meta Engineering, Cloudflare, Hacker News
- این The Daily Diff است، پس از واقعه
- جدول زمانی: دستور 15:39 ← پس گرفته شده 15:40 ← بازگشت 21:20
- سازوکار: بررسی سلامت که شما را حذف میکند، طوفان DNS سی برابری، درها
سوالات متداول
چه چیزی باعث قطع شدن فیسبوک، اینستاگرام و واتساپ در اکتبر ۲۰۲۱ شد؟
یک دستور معمول تعمیر و نگهداری شبکه اصلی، تمام پیوندهای بین مراکز داده فیسبوک را قطع کرد و ابزار حسابرسی که قرار بود چنین دستوراتی را مسدود کند، یک نقص داشت. طبق گزارش مهندسی متا، این امر مراکز داده را از یکدیگر جدا کرد. در ساعت ۱۵:۴۰ UTC، Cloudflare مشاهده کرد که مسیرهای به سرورهای نام فیسبوک حذف شدهاند و facebook.com تا ساعت ۲۱:۲۰ که دوباره حل شد، SERVFAIL را برگرداند.
چرا سرورهای DNS فیسبوک خود را از اینترنت حذف کردند؟
سرورهای نام طوری طراحی شده بودند که در صورت عدم دسترسی به مراکز داده، مسیرهای BGP خود را حذف کنند. این قانون در صورت خرابی یک سایت منطقی است. هنگامی که کل شبکه اصلی از کار افتاد، هر سرور نام فوراً خود را ناسالم اعلام کرد و تبلیغ آدرس خود را متوقف کرد. سرورها هنوز کار میکردند، اما هیچ کس نمیتوانست آنها را پیدا کند.
چرا مهندسان فیسبوک نتوانستند قطعی را از راه دور برطرف کنند؟
ابزارهای داخلی، دسترسی خارج از باند و کارتخوانهای دفتر همگی روی همان شبکهای کار میکردند که از کار افتاده بود. مهندسان مجبور شدند به مراکز داده بروند، جایی که رکها در برابر هر کسی با دسترسی فیزیکی محافظت شده بودند. نیویورک تایمز گزارش داد که کارمندان در ساعت ۱۸:۵۱ UTC با کارتهای از کار افتاده از ساختمانها بیرون مانده بودند.
قطعی فیسبوک چه تاثیری بر بقیه اینترنت داشت؟
برنامهها دوباره تلاش کردند و کاربران دوباره بارگیری کردند، بنابراین حلکننده Cloudflare سی برابر بار عادی خود را برای سایتی که قابل دسترسی نبود، مشاهده کرد. این حادثه، شعاع انفجار را برای تقریباً شش ساعت به سه و نیم میلیارد کاربر میرساند. همچنین گزارش میدهد که تلگرام در آن روز هفتاد میلیون ثبت نام جدید را ادعا کرده است.
آیا گزارش پس از وقوع فیسبوک، مشکلات اصلی پشت قطعی را برطرف کرد؟
رای The Daily Diff، NEEDS REVIEW بود. فیسبوک در همان شب بیانیهای صادر کرد، گزارش پس از وقوع با نام نویسنده را ظرف یک روز منتشر کرد و نقص ابزار حسابرسی را به زبان ساده پذیرفت. لیست رفع مشکلات آن بر آزمایش و تمرینات قویتر تمرکز داشت و در مورد برداشتن درها از شبکه تولیدی چیزی نگفت. این حادثه توصیه میکند که دسترسی خارج از باند را روی شبکهای قرار دهید که شما آن را اداره نمیکنید.
رونوشت ترجمه شده
ترجمه شده از روایت اصلی انگلیسی. صوت و زیرنویسهای موجود توسط YouTube کنترل میشوند.
فیسبوک آدرس خودش را حذف میکند
0:00 فیسبوک آدرس خودش را از اینترنت حذف میکند، و وقتی مهندسانش برای برگرداندن آن میرسند، کارتخوانها نیز از کار افتادهاند، زیرا آنها روی فیسبوک اجرا میشوند. پس از واقعه متا، روز بعد: یک دستور نگهداری معمول هر پیوند زیرساختی را قطع میکند، و ابزاری که برای جلوگیری از دستوراتی مانند آن ساخته شده است، اشکالی دارد.
رسیدها: Meta Engineering, Cloudflare, Hacker News
0:16 Cloudflare، از بیرون: در 15:40 UTC مسیرها به سرورهای نام فیسبوک ناپدید میشوند، و dig facebook.com در هر جای سیاره SERVFAIL برمیگرداند. چگونه اتفاق میافتد، چرا یک ویژگی ایمنی آن را بدتر میکند، و چه کسی مقصر است. این The Daily Diff است، پس از واقعه. اوایل بعدازظهر، UTC.
این The Daily Diff است، پس از واقعه
0:34 یک دستور که قرار بود ظرفیت خالی زیرساخت را بررسی کند، در عوض هر پیوند بین مراکز داده فیسبوک را قطع میکند، و ابزار ممیزی که دقیقاً برای گرفتن این مورد ساخته شده است
جدول زمانی: دستور 15:39 ← پس گرفته شده 15:40 ← بازگشت 21:20
0:41 آن را تأیید میکند. 15:40. خوراک BGP Cloudflare با پسگیری پر میشود؛ پیشوندهای DNS فیسبوک جدول مسیریابی را ترک میکنند. در عرض یک دقیقه مهندسان Cloudflare در اتاقی هستند و از خود میپرسند که آیا آنها 1.1.1.1 را خراب کردهاند. 15:45، Hacker News، دو هزار و ششصد امتیاز. 16:07، سخنگوی فیسبوک، از توییتر: برخی افراد در دسترسی به برنامههای ما مشکل دارند. برخی افراد یعنی سه و نیم میلیارد نفر.
1:06 18:51، نیویورک تایمز: کارکنان از ساختمانهای خود بیرون ماندهاند، کارتها از کار افتادهاند. 19:52، مدیر فنی عذرخواهی میکند. 21:00، پنج ساعت بعد، مسیرها بازمیگردند؛ 21:20، facebook.com حل میشود. چرا یک نقص در زیرساخت فیسبوک را از اینترنت حذف میکند؟
سازوکار: بررسی سلامت که شما را حذف میکند، طوفان DNS سی برابری، درها
1:20 سرورهای نام آن یک قانون دارند: نمیتوانند به مراکز داده دسترسی پیدا کنند، خودتان را ناسالم اعلام کنید، تبلیغ آدرس خود را متوقف کنید. معقول است وقتی یک سایت خراب میشود. وقتی کل زیرساخت از کار میافتد، هر سرور نام آن را یکباره انجام میدهد. سرورها فعال هستند. هیچکس نمیتواند آنها را پیدا کند. یک ویژگی ایمنی، نقص شبکه را به نقص وجود تبدیل میکند. سپس اینترنت فشار میآورد: برنامهها دوباره تلاش میکنند، کاربران دوباره بارگذاری میکنند،
1:39 و resolver Cloudflare سی برابر بار عادی خود را میبیند، برای سایتی که وجود ندارد. و درها. ابزارها، دسترسی خارج از باند، کارتها: یک شبکه. مهندسان به مراکز داده رانندگی میکنند، نمیتوانند وارد شوند، سپس با رکهای مقاومشده در برابر هر کسی با دسترسی فیزیکی مواجه میشوند. ساخته شده برای کند کردن یک مهاجم، مالک را نیز کند میکند. زیرساخت بازمیگردد؛ آنها ترافیک را به آرامی، و عمداً افزایش میدهند.
1:59 هر مرکز داده دهها مگاوات را کاهش داده است، و معکوس کردن آن در یک مرحله یک قطعی دوم است.
git blame — تقسیم
2:05 git blame. فیسبوک، پنجاه و پنج درصد: دستور ممیزی شد، ممیز اشکال داشت، یک دستور به هر روتر رسید. طراحی DNS، بیست و پنج: یک بررسی سلامت بدون حس تناسب. یک شبکه، پانزده: ابزارها، خارج از باند، کارتها. رکها، پنج، برای انجام کارشان. شعاع انفجار: سه و نیم میلیارد کاربر، تقریباً شش ساعت. سهام با پنج درصد کاهش بسته میشود، شش میلیارد دلار از زاکربرگ،
شعاع انفجار
2:27 روی کاغذ. تلگرام مدعی هفتاد میلیون ثبتنام در آن روز است. حکم، پس از واقعه: NEEDS REVIEW. بیانیه همان شب، پس از واقعه با نام نویسنده در عرض یک روز، اشکال ابزار ممیزی به صراحت پذیرفته شد.
حکم + خط دوشنبه
2:38 لیست رفع مشکل: تقویت تستها و تمرینها. هیچ چیز در مورد جدا کردن درها از شبکه تولیدی نیست. دوشنبه: دسترسی خارج از باند خود، و درب خود را، در شبکهای قرار دهید که شما آن را مدیریت نمیکنید. حادثهای را که هنوز اجازه ندارید دربارهاش صحبت کنید، در نظرات، یا در daily diff dot dev برای من بفرستید. و این تفاوت امروز است. من نیکو از Axrisi هستم.
2:58 Merge responsibly.
منابع
- Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
- Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
- Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
- Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
- Andy Stone (Facebook), 16:07 UTCtwitter.com
- Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
- Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
- Hacker News (2,589 points)news.ycombinator.com
- The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
- Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
- Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
- Krebs on Securitykrebsonsecurity.com



