فیس‌بوک خودش را از اینترنت حذف کرد. شش ساعت.
فیس‌بوک آدرس خودش را از اینترنت حذف می‌کند و وقتی مهندسانش برای برگرداندن آن می‌رسند، کارت‌خوان‌ها نیز از کار افتاده‌اند، زیرا آن‌ها روی فیس‌بوک اجرا می‌شوند.
فیس‌بوک آدرس خودش را از اینترنت حذف می‌کند و وقتی مهندسانش برای برگرداندن آن می‌رسند، کارت‌خوان‌ها نیز از کار افتاده‌اند، زیرا آن‌ها روی فیس‌بوک اجرا می‌شوند. 4 اکتبر 2021، 15:40 UTC: یک دستور معمول نگهداری زیرساخت هر پیوند بین مراکز داده فیس‌بوک را قطع می‌کند؛ ابزار ممیزی که برای جلوگیری از آن ساخته شده است دارای یک اشکال است؛ سرورهای نام فیس‌بوک، که قادر به دسترسی به مراکز داده نیستند، مسیرهای BGP خود را طبق طراحی پس می‌گیرند — و facebook.com، Instagram، WhatsApp و Messenger تقریباً به مدت شش ساعت از DNS ناپدید می‌شوند. ابزارهای داخلی، دسترسی خارج از باند و کارت‌های شناسایی اداری روی همان شبکه کار می‌کنند، بنابراین رفع مشکل نیاز به حضور افراد در رک‌ها دارد.
نسخه نوشتاری را بخوانید (انگلیسی) ↗
این ویدیو چه مواردی را پوشش می‌دهد
- فیس‌بوک آدرس خودش را حذف می‌کند
- رسیدها: Meta Engineering, Cloudflare, Hacker News
- این The Daily Diff است، پس از واقعه
- جدول زمانی: دستور 15:39 ← پس گرفته شده 15:40 ← بازگشت 21:20
- سازوکار: بررسی سلامت که شما را حذف می‌کند، طوفان DNS سی برابری، درها
رونوشت ترجمه شده
ترجمه شده از روایت اصلی انگلیسی. صوت و زیرنویس‌های موجود توسط YouTube کنترل می‌شوند.
فیس‌بوک آدرس خودش را حذف می‌کند
0:00 فیس‌بوک آدرس خودش را از اینترنت حذف می‌کند، و وقتی مهندسانش برای برگرداندن آن می‌رسند، کارت‌خوان‌ها نیز از کار افتاده‌اند، زیرا آن‌ها روی فیس‌بوک اجرا می‌شوند. پس از واقعه متا، روز بعد: یک دستور نگهداری معمول هر پیوند زیرساختی را قطع می‌کند، و ابزاری که برای جلوگیری از دستوراتی مانند آن ساخته شده است، اشکالی دارد.
رسیدها: Meta Engineering, Cloudflare, Hacker News
0:16 Cloudflare، از بیرون: در 15:40 UTC مسیرها به سرورهای نام فیس‌بوک ناپدید می‌شوند، و dig facebook.com در هر جای سیاره SERVFAIL برمی‌گرداند. چگونه اتفاق می‌افتد، چرا یک ویژگی ایمنی آن را بدتر می‌کند، و چه کسی مقصر است. این The Daily Diff است، پس از واقعه. اوایل بعدازظهر، UTC.
این The Daily Diff است، پس از واقعه
0:34 یک دستور که قرار بود ظرفیت خالی زیرساخت را بررسی کند، در عوض هر پیوند بین مراکز داده فیس‌بوک را قطع می‌کند، و ابزار ممیزی که دقیقاً برای گرفتن این مورد ساخته شده است
جدول زمانی: دستور 15:39 ← پس گرفته شده 15:40 ← بازگشت 21:20
0:41 آن را تأیید می‌کند. 15:40. خوراک BGP Cloudflare با پس‌گیری پر می‌شود؛ پیشوندهای DNS فیس‌بوک جدول مسیریابی را ترک می‌کنند. در عرض یک دقیقه مهندسان Cloudflare در اتاقی هستند و از خود می‌پرسند که آیا آن‌ها 1.1.1.1 را خراب کرده‌اند. 15:45، Hacker News، دو هزار و ششصد امتیاز. 16:07، سخنگوی فیس‌بوک، از توییتر: برخی افراد در دسترسی به برنامه‌های ما مشکل دارند. برخی افراد یعنی سه و نیم میلیارد نفر.
1:06 18:51، نیویورک تایمز: کارکنان از ساختمان‌های خود بیرون مانده‌اند، کارت‌ها از کار افتاده‌اند. 19:52، مدیر فنی عذرخواهی می‌کند. 21:00، پنج ساعت بعد، مسیرها بازمی‌گردند؛ 21:20، facebook.com حل می‌شود. چرا یک نقص در زیرساخت فیس‌بوک را از اینترنت حذف می‌کند؟
سازوکار: بررسی سلامت که شما را حذف می‌کند، طوفان DNS سی برابری، درها
1:20 سرورهای نام آن یک قانون دارند: نمی‌توانند به مراکز داده دسترسی پیدا کنند، خودتان را ناسالم اعلام کنید، تبلیغ آدرس خود را متوقف کنید. معقول است وقتی یک سایت خراب می‌شود. وقتی کل زیرساخت از کار می‌افتد، هر سرور نام آن را یکباره انجام می‌دهد. سرورها فعال هستند. هیچ‌کس نمی‌تواند آن‌ها را پیدا کند. یک ویژگی ایمنی، نقص شبکه را به نقص وجود تبدیل می‌کند. سپس اینترنت فشار می‌آورد: برنامه‌ها دوباره تلاش می‌کنند، کاربران دوباره بارگذاری می‌کنند،
1:39 و resolver Cloudflare سی برابر بار عادی خود را می‌بیند، برای سایتی که وجود ندارد. و درها. ابزارها، دسترسی خارج از باند، کارت‌ها: یک شبکه. مهندسان به مراکز داده رانندگی می‌کنند، نمی‌توانند وارد شوند، سپس با رک‌های مقاوم‌شده در برابر هر کسی با دسترسی فیزیکی مواجه می‌شوند. ساخته شده برای کند کردن یک مهاجم، مالک را نیز کند می‌کند. زیرساخت بازمی‌گردد؛ آن‌ها ترافیک را به آرامی، و عمداً افزایش می‌دهند.
1:59 هر مرکز داده ده‌ها مگاوات را کاهش داده است، و معکوس کردن آن در یک مرحله یک قطعی دوم است.
git blame — تقسیم
2:05 git blame. فیس‌بوک، پنجاه و پنج درصد: دستور ممیزی شد، ممیز اشکال داشت، یک دستور به هر روتر رسید. طراحی DNS، بیست و پنج: یک بررسی سلامت بدون حس تناسب. یک شبکه، پانزده: ابزارها، خارج از باند، کارت‌ها. رک‌ها، پنج، برای انجام کارشان. شعاع انفجار: سه و نیم میلیارد کاربر، تقریباً شش ساعت. سهام با پنج درصد کاهش بسته می‌شود، شش میلیارد دلار از زاکربرگ،
شعاع انفجار
2:27 روی کاغذ. تلگرام مدعی هفتاد میلیون ثبت‌نام در آن روز است. حکم، پس از واقعه: NEEDS REVIEW. بیانیه همان شب، پس از واقعه با نام نویسنده در عرض یک روز، اشکال ابزار ممیزی به صراحت پذیرفته شد.
حکم + خط دوشنبه
2:38 لیست رفع مشکل: تقویت تست‌ها و تمرین‌ها. هیچ چیز در مورد جدا کردن درها از شبکه تولیدی نیست. دوشنبه: دسترسی خارج از باند خود، و درب خود را، در شبکه‌ای قرار دهید که شما آن را مدیریت نمی‌کنید. حادثه‌ای را که هنوز اجازه ندارید درباره‌اش صحبت کنید، در نظرات، یا در daily diff dot dev برای من بفرستید. و این تفاوت امروز است. من نیکو از Axrisi هستم.
2:58 Merge responsibly.
منابع
- Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
- Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
- Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
- Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
- Andy Stone (Facebook), 16:07 UTCtwitter.com
- Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
- Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
- Hacker News (2,589 points)news.ycombinator.com
- The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
- Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
- Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
- Krebs on Securitykrebsonsecurity.com
