فيسبوك حذفت نفسها من الإنترنت. ست ساعات.
تزيل فيسبوك عنوانها الخاص من الإنترنت، وعندما يصل مهندسوها لإعادته، تكون قارئات الشارات معطلة أيضًا، لأنها تعمل على فيسبوك.
تزيل فيسبوك عنوانها الخاص من الإنترنت، وعندما يصل مهندسوها لإعادته، تكون قارئات الشارات معطلة أيضًا، لأنها تعمل على فيسبوك. 4 أكتوبر 2021، الساعة 15:40 بالتوقيت العالمي المنسق: يؤدي أمر روتيني لصيانة العمود الفقري إلى إيقاف كل رابط بين مراكز بيانات فيسبوك؛ تحتوي أداة التدقيق المصممة لمنع ذلك على خطأ؛ خوادم أسماء فيسبوك، غير القادرة على الوصول إلى مراكز البيانات، تسحب مسارات BGP الخاصة بها عن قصد – وتختفي facebook.com و Instagram و WhatsApp و Messenger من DNS لمدة ست ساعات تقريبًا. الأدوات الداخلية والوصول خارج النطاق وشارات المكتب تعمل على نفس الشبكة، لذا فإن الإصلاح يتطلب أشخاصًا عند الرفوف.
اقرأ النسخة المكتوبة (الإنجليزية) ↗
ما يغطيه هذا الفيديو
- فيسبوك تزيل عنوانها الخاص
- الإيصالات: هندسة ميتا، Cloudflare، Hacker News
- هذا هو The Daily Diff، تقرير ما بعد الكارثة
- الجدول الزمني: أمر 15:39 ← سحب 15:40 ← عودة 21:20
- الآلية: الفحص الصحي الذي يحذفك، عاصفة DNS بقوة 30×، الأبواب
أسئلة وأجوبة
ما الذي سبب انقطاع فيسبوك وإنستغرام وواتساب في أكتوبر 2021؟
تسبب أمر صيانة روتيني للشبكة الأساسية في تعطيل كل رابط بين مراكز بيانات فيسبوك، وكان أداة التدقيق التي كان من المفترض أن تمنع مثل هذه الأوامر تحتوي على خطأ. وفقًا لكتابة هندسة ميتا، فقد فصل ذلك مراكز البيانات عن بعضها البعض. بحلول الساعة 15:40 بالتوقيت العالمي المنسق، رأت Cloudflare أن المسارات إلى خوادم أسماء فيسبوك قد سُحبت، وعادت facebook.com بخطأ SERVFAIL حتى تم حلها مرة أخرى في الساعة 21:20.
لماذا أزالت خوادم DNS الخاصة بفيسبوك نفسها من الإنترنت؟
صُممت خوادم الأسماء لسحب مسارات BGP الخاصة بها عندما لا تتمكن من الوصول إلى مراكز البيانات. هذه القاعدة معقولة عندما يفشل موقع واحد. عندما فشلت الشبكة الأساسية بأكملها، أعلنت كل خادم اسم عن نفسه بأنه غير سليم في وقت واحد وتوقف عن الإعلان عن عنوانه. كانت الخوادم لا تزال تعمل، ولكن لم يتمكن أحد من العثور عليها.
لماذا لم يتمكن مهندسو فيسبوك من إصلاح الانقطاع عن بُعد؟
كانت الأدوات الداخلية، والوصول خارج النطاق، وقارئات شارات المكتب تعمل جميعها على نفس الشبكة التي تعطلت. كان على المهندسين الذهاب إلى مراكز البيانات، حيث كانت الرفوف محصنة ضد أي شخص لديه وصول مادي. ذكرت صحيفة نيويورك تايمز أن الموظفين حُبسوا خارج المباني بشارات غير صالحة في الساعة 18:51 بالتوقيت العالمي المنسق.
كيف أثر انقطاع فيسبوك على بقية الإنترنت؟
أعادت التطبيقات المحاولة، وأعاد المستخدمون التحميل، لذلك رأى محلل Cloudflare ثلاثين ضعف الحمل العادي لموقع لا يمكن الوصول إليه. تضع هذه الحادثة نصف قطر الانفجار عند ثلاثة ونصف مليار مستخدم لمدة ست ساعات تقريبًا. كما تشير إلى أن تيليجرام ادعت سبعين مليون اشتراك في ذلك اليوم.
هل أصلحت مراجعة فيسبوك بعد الحادث المشكلات الجذرية وراء الانقطاع؟
كان حكم The Daily Diff هو NEEDS REVIEW. أصدرت فيسبوك بيانًا في نفس المساء، ونشرت مراجعة بعد الحادث بقلم مؤلف معروف في غضون يوم واحد، واعترفت بوجود خطأ في أداة التدقيق بوضوح. ركزت قائمة الإصلاحات على اختبارات وتدريبات أقوى ولم تذكر شيئًا عن إزالة الأبواب عن شبكة الإنتاج. تنصح هذه الحادثة بوضع الوصول خارج النطاق على شبكة لا تديرها.
النص المترجم
مترجم من السرد الإنجليزي الأصلي. يتم التحكم في الصوت والتعليقات التوضيحية المتاحة بواسطة YouTube.
فيسبوك تزيل عنوانها الخاص
0:00 فيسبوك تزيل عنوانها الخاص من الإنترنت، وعندما يصل مهندسوها لإعادته، تكون قارئات الشارات معطلة أيضًا، لأنها تعمل على فيسبوك. تقرير ميتا الخاص بما بعد الكارثة، في اليوم التالي: يؤدي أمر صيانة روتيني إلى إيقاف كل رابط أساسي، وتحتوي الأداة المصممة لحظر مثل هذه الأوامر على خطأ.
الإيصالات: هندسة ميتا، Cloudflare، Hacker News
0:16 Cloudflare، من الخارج: في الساعة 15:40 بالتوقيت العالمي المنسق، تختفي المسارات إلى خوادم أسماء فيسبوك، وتُرجع dig facebook.com SERVFAIL في كل مكان على الكوكب. كيف يحدث ذلك، ولماذا تزيد ميزة الأمان الأمر سوءًا، ومن يتحمل اللوم. هذا هو The Daily Diff، تقرير ما بعد الكارثة. أوائل بعد الظهر، بالتوقيت العالمي المنسق.
هذا هو The Daily Diff، تقرير ما بعد الكارثة
0:34 أمر كان من المفترض أن يتحقق من سعة العمود الفقري المجانية يؤدي بدلاً من ذلك إلى إيقاف كل رابط بين مراكز بيانات فيسبوك، وتمرره أداة التدقيق المصممة لالتقاط هذا الأمر بالضبط.
الجدول الزمني: أمر 15:39 ← سحب 15:40 ← عودة 21:20
0:41 وتمرره. 15:40. تتملأ خلاصة BGP الخاصة بـ Cloudflare بالانسحابات؛ تغادر بادئات DNS الخاصة بفيسبوك جدول التوجيه. في غضون دقيقة، يكون مهندسو Cloudflare في غرفة يتساءلون عما إذا كانوا قد عطلوا 1.1.1.1. 15:45، Hacker News، ألفان وستمائة نقطة. 16:07، المتحدث باسم فيسبوك، على تويتر بالذات: يواجه بعض الأشخاص مشكلة في الوصول إلى تطبيقاتنا. بعض الناس هم ثلاثة مليارات ونصف.
1:06 18:51، نيويورك تايمز: الموظفون محبوسون خارج مبانيهم، الشارات ميتة. 19:52، الرئيس التنفيذي للتكنولوجيا يعتذر. 21:00، بعد خمس ساعات، تعود المسارات؛ 21:20، facebook.com يحل. لماذا يتسبب عطل في العمود الفقري في حذف فيسبوك من الإنترنت؟
الآلية: الفحص الصحي الذي يحذفك، عاصفة DNS بقوة 30×، الأبواب
1:20 خوادم أسماء النطاقات لديها قاعدة: لا يمكنها الوصول إلى مراكز البيانات، تعلن عن نفسها غير صحية، وتتوقف عن الإعلان عن عنوانها. معقول عندما يصبح موقع واحد سيئًا. عندما يتعطل العمود الفقري بأكمله، تفعل كل خوادم أسماء النطاقات ذلك في وقت واحد. الخوادم تعمل. لا أحد يستطيع العثور عليها. ميزة أمان تحول عطلًا في الشبكة إلى عطل وجودي. ثم يتراكم الإنترنت: تعيد التطبيقات المحاولة، يعيد المستخدمون التحميل،
1:39 ويرى محلل Cloudflare ثلاثين ضعف حمولته العادية، لموقع غير موجود. والأبواب. الأدوات، الوصول خارج النطاق، الشارات: نفس الشبكة. يتوجه المهندسون إلى مراكز البيانات، لا يمكنهم الدخول، ثم يواجهون رفوفًا محصنة ضد أي شخص لديه وصول مادي. مصممة لإبطاء المهاجم، لكنها تبطئ المالك أيضًا. يعود العمود الفقري؛ يرفعون حركة المرور ببطء، عن قصد.
1:59 كل مركز بيانات قد فقد عشرات الميغاواط، وعكس ذلك في خطوة واحدة هو انقطاع ثانٍ.
git blame — الانقسام
2:05 git blame. فيسبوك، خمسة وخمسون بالمائة: تم تدقيق الأمر، المدقق كان به الخطأ، أمر واحد وصل إلى كل موجه. تصميم DNS، خمسة وعشرون: فحص صحي بدون إحساس بالتناسب. شبكة واحدة، خمسة عشر: أدوات، خارج النطاق، شارات. الرفوف، خمسة، لأداء وظيفتها. نطاق الانفجار: ثلاثة مليارات ونصف مستخدم، ما يقرب من ست ساعات. أغلق السهم بانخفاض خمسة بالمائة، ستة مليارات من ثروة زوكربيرغ،
نطاق الانفجار
2:27 على الورق. يدعي تيليجرام سبعين مليون مشترك في ذلك اليوم. الحكم، تقرير ما بعد الكارثة: NEEDS REVIEW. بيان في نفس المساء، تقرير ما بعد الكارثة بمؤلف محدد خلال يوم، تم الإقرار بخطأ أداة التدقيق باللغة الإنجليزية الواضحة.
الحكم + خط الاثنين
2:38 قائمة الإصلاح: تعزيز الاختبارات والتدريبات. لا شيء عن إزالة الأبواب من شبكة الإنتاج. الاثنين: ضع وصولك خارج النطاق، وبابك، على شبكة لا تديرها. أرسل لي الحادث الذي ما زلت غير مسموح لك بالتحدث عنه، في التعليقات، أو على the daily diff dot dev. وهذا هو الـ diff لليوم. أنا نيكو من Axrisi.
2:58 Merge responsibly.
المصادر
- Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
- Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
- Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
- Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
- Andy Stone (Facebook), 16:07 UTCtwitter.com
- Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
- Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
- Hacker News (2,589 points)news.ycombinator.com
- The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
- Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
- Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
- Krebs on Securitykrebsonsecurity.com



