+− THE DAILY DIFFdev & AI news
NEEDS REVIEW

फेसबुक ने खुद को इंटरनेट से हटा दिया। छह घंटे।

फेसबुक ने इंटरनेट से अपना पता हटा दिया, और जब उसके इंजीनियर इसे वापस लाने पहुंचे, तो बैज रीडर भी बंद हो गए, क्योंकि वे फेसबुक पर चलते हैं।

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

फेसबुक ने इंटरनेट से अपना पता हटा दिया, और जब उसके इंजीनियर इसे वापस लाने पहुंचे, तो बैज रीडर भी बंद हो गए, क्योंकि वे फेसबुक पर चलते हैं। 4 अक्टूबर, 2021, 15:40 यूटीसी: एक नियमित बैकबोन-रखरखाव कमांड फेसबुक के डेटा केंद्रों के बीच हर लिंक को नीचे ले जाता है; इसे ब्लॉक करने के लिए बनाया गया ऑडिट टूल में एक बग है; फेसबुक के नाम सर्वर, डेटा केंद्रों तक पहुंचने में असमर्थ, डिजाइन के अनुसार अपने स्वयं के बीजीपी मार्गों को वापस ले लेते हैं - और facebook.com, इंस्टाग्राम, व्हाट्सएप और मैसेंजर लगभग छह घंटे तक डीएनएस से गायब हो जाते हैं। आंतरिक उपकरण, आउट-ऑफ-बैंड एक्सेस और कार्यालय बैज एक ही नेटवर्क पर चलते हैं, इसलिए फिक्स के लिए रैक पर लोगों की आवश्यकता होती है।

लिखित संस्करण पढ़ें (अंग्रेजी) ↗

इस वीडियो में क्या शामिल है

  • फेसबुक ने अपना पता हटा दिया
  • रसीदें: मेटा इंजीनियरिंग, क्लाउडफ्लेयर, हैकर न्यूज
  • यह The Daily Diff, पोस्टमॉर्टम है
  • समयरेखा: 15:39 कमांड → 15:40 वापस लिया गया → 21:20 वापस
  • तंत्र: स्वास्थ्य जांच जो आपको हटा देती है, 30× डीएनएस तूफान, दरवाजे

प्रश्न और उत्तर

अक्टूबर 2021 में Facebook, Instagram और WhatsApp के बंद होने का क्या कारण था?

एक नियमित बैकबोन रखरखाव कमांड ने Facebook के डेटा केंद्रों के बीच हर लिंक को हटा दिया, और ऐसे कमांड को ब्लॉक करने के लिए बनाए गए ऑडिट टूल में एक बग था। Meta के इंजीनियरिंग राइट-अप के अनुसार, इसने डेटा केंद्रों को एक-दूसरे से डिस्कनेक्ट कर दिया। 15:40 UTC तक Cloudflare ने Facebook के नाम सर्वर के मार्गों को वापस ले लिया, और facebook.com ने SERVFAIL वापस कर दिया जब तक कि यह 21:20 पर फिर से हल नहीं हो गया।

यह भाग देखें 0:40 · engineering.fb.com · blog.cloudflare.com

Facebook के DNS सर्वर ने खुद को इंटरनेट से क्यों हटा दिया?

नाम सर्वर को अपने स्वयं के BGP मार्गों को वापस लेने के लिए डिज़ाइन किया गया था जब वे डेटा केंद्रों तक नहीं पहुंच सकते थे। यह नियम तब समझदार होता है जब एक साइट विफल हो जाती है। जब पूरी बैकबोन विफल हो गई, तो हर नाम सर्वर ने एक ही बार में खुद को अस्वस्थ घोषित कर दिया और अपने पते का विज्ञापन करना बंद कर दिया। सर्वर अभी भी चल रहे थे, लेकिन कोई भी उन्हें ढूंढ नहीं सका।

यह भाग देखें 1:20 · engineering.fb.com · blog.cloudflare.com

Facebook इंजीनियर दूर से आउटेज को क्यों ठीक नहीं कर पाए?

आंतरिक उपकरण, आउट-ऑफ-बैंड एक्सेस और ऑफिस बैज रीडर सभी उसी नेटवर्क पर चल रहे थे जो विफल हो गया था। इंजीनियरों को डेटा केंद्रों पर जाना पड़ा, जहां रैक को भौतिक पहुंच वाले किसी भी व्यक्ति के खिलाफ कठोर किया गया था। न्यूयॉर्क टाइम्स ने 18:51 UTC पर मृत बैज के साथ इमारतों से बाहर बंद कर्मचारियों की सूचना दी।

यह भाग देखें 1:20 · engineering.fb.com · twitter.com · www.nytimes.com

Facebook आउटेज ने बाकी इंटरनेट को कैसे प्रभावित किया?

ऐप्स ने फिर से कोशिश की और उपयोगकर्ताओं ने फिर से लोड किया, इसलिए Cloudflare के रिजॉल्वर ने एक ऐसी साइट के लिए अपने सामान्य भार का तीस गुना देखा जो पहुंच योग्य नहीं थी। यह प्रकरण साढ़े तीन अरब उपयोगकर्ताओं के लिए लगभग छह घंटे तक विस्फोट त्रिज्या रखता है। यह यह भी बताता है कि टेलीग्राम ने उस दिन सत्तर मिलियन साइन-अप का दावा किया था।

यह भाग देखें 2:25 · blog.cloudflare.com · www.reuters.com

क्या Facebook के पोस्टमॉर्टम ने आउटेज के पीछे की जड़ समस्याओं को ठीक किया?

The Daily Diff का फैसला NEEDS REVIEW था। Facebook ने उसी शाम एक बयान जारी किया, एक दिन के भीतर एक नामित-लेखक पोस्टमॉर्टम प्रकाशित किया और ऑडिट-टूल बग को स्पष्ट अंग्रेजी में स्वीकार किया। इसकी फिक्स सूची मजबूत परीक्षण और ड्रिल पर केंद्रित थी और उत्पादन नेटवर्क से दरवाजे हटाने के बारे में कुछ भी नहीं कहा। यह प्रकरण आपको एक ऐसे नेटवर्क पर आउट-ऑफ-बैंड एक्सेस रखने की सलाह देता है जिसे आप संचालित नहीं करते हैं।

यह भाग देखें 2:38 · engineering.fb.com · engineering.fb.com

अनुवादित प्रतिलेख

मूल अंग्रेजी कथन से अनुवादित। उपलब्ध ऑडियो और कैप्शन YouTube द्वारा नियंत्रित होते हैं।

फेसबुक ने अपना पता हटा दिया

0:00 फेसबुक इंटरनेट से अपना पता हटा देता है, और जब उसके इंजीनियर इसे वापस लाने के लिए पहुंचते हैं, तो बैज रीडर भी बंद हो जाते हैं, क्योंकि वे फेसबुक पर चलते हैं। मेटा का अपना पोस्टमॉर्टम, अगले दिन: एक नियमित रखरखाव कमांड हर एक को नीचे ले जाता है बैकबोन लिंक, और इस तरह के कमांड को ब्लॉक करने के लिए बनाए गए टूल में एक बग है।

रसीदें: मेटा इंजीनियरिंग, क्लाउडफ्लेयर, हैकर न्यूज

0:16 क्लाउडफ्लेयर, बाहर से: 15:40 यूटीसी पर फेसबुक के नाम सर्वर के मार्ग गायब हो जाते हैं, और dig facebook.com ग्रह पर हर जगह SERVFAIL लौटाता है। यह कैसे होता है, सुरक्षा सुविधा इसे क्यों बदतर बनाती है, और किसे दोष मिलता है। यह The Daily Diff, पोस्टमॉर्टम है। दोपहर की शुरुआत, यूटीसी।

यह The Daily Diff, पोस्टमॉर्टम है

0:34 एक कमांड जिसका उद्देश्य मुक्त बैकबोन क्षमता की जांच करना था, इसके बजाय हर लिंक को नीचे ले जाता है फेसबुक के डेटा केंद्रों के बीच, और ठीक इसी को पकड़ने के लिए बनाया गया ऑडिट टूल

समयरेखा: 15:39 कमांड → 15:40 वापस लिया गया → 21:20 वापस

0:41 इसे पास कर देता है। 15:40. क्लाउडफ्लेयर का बीजीपी फीड निकासी से भर जाता है; फेसबुक का डीएनएस उपसर्ग रूटिंग टेबल छोड़ देते हैं। एक मिनट के भीतर क्लाउडफ्लेयर के इंजीनियर एक कमरे में यह सोच रहे हैं कि क्या उन्होंने 1.1.1.1 को तोड़ दिया। 15:45, हैकर न्यूज, छब्बीस सौ पॉइंट्स। 16:07, फेसबुक के प्रवक्ता, ट्विटर पर ही: कुछ लोगों को हमारे ऐप्स तक पहुंचने में परेशानी हो रही है। कुछ लोग साढ़े तीन अरब हैं।

1:06 18:51, द न्यूयॉर्क टाइम्स: कर्मचारियों को उनकी इमारतों से बाहर निकाल दिया गया, बैज मृत। 19:52, सीटीओ माफी मांगता है। 21:00, पांच घंटे में, मार्ग वापस आते हैं; 21:20, facebook.com हल हो जाता है। एक बैकबोन खराबी फेसबुक को इंटरनेट से क्यों हटा देती है?

तंत्र: स्वास्थ्य जांच जो आपको हटा देती है, 30× डीएनएस तूफान, दरवाजे

1:20 इसके नाम सर्वर का एक नियम है: डेटा केंद्रों तक नहीं पहुंच सकते, खुद को अस्वस्थ घोषित करें, अपने पते का विज्ञापन करना बंद करें। समझदार जब एक साइट खराब हो जाती है। जब पूरा बैकबोन चला जाता है, तो हर नाम सर्वर एक साथ ऐसा करता है। सर्वर चालू हैं। कोई उन्हें ढूंढ नहीं सकता। एक सुरक्षा सुविधा एक नेटवर्क खराबी को एक अस्तित्वगत खराबी में बदल देती है। फिर इंटरनेट पर ढेर हो जाता है: ऐप्स फिर से कोशिश करते हैं, उपयोगकर्ता फिर से लोड करते हैं,

1:39 और क्लाउडफ्लेयर का रिजॉल्वर अपने सामान्य भार का तीस गुना देखता है, एक ऐसी साइट के लिए जो वहां नहीं है। और दरवाजे। उपकरण, आउट-ऑफ-बैंड एक्सेस, बैज: एक ही नेटवर्क। इंजीनियर डेटा केंद्रों तक ड्राइव करते हैं, अंदर नहीं जा सकते, फिर रैक से मिलते हैं जो कठोर हैं किसी भी भौतिक पहुंच वाले व्यक्ति के खिलाफ। हमलावर को धीमा करने के लिए बनाया गया, यह मालिक को भी धीमा कर देता है। बैकबोन वापस आता है; वे जानबूझकर धीरे-धीरे यातायात बढ़ाते हैं।

1:59 प्रत्येक डेटा केंद्र ने दसियों मेगावाट गिरा दिए हैं, और इसे एक कदम में उलटना एक दूसरा आउटेज है।

git blame — विभाजन

2:05 git blame. फेसबुक, पचपन प्रतिशत: कमांड का ऑडिट किया गया था, ऑडिटर में बग था, एक कमांड हर राउटर तक पहुंच गया। डीएनएस डिजाइन, पच्चीस: अनुपात की भावना के बिना एक स्वास्थ्य जांच। एक नेटवर्क, पंद्रह: उपकरण, आउट-ऑफ-बैंड, बैज। रैक, पांच, अपना काम करने के लिए। विस्फोट त्रिज्या: साढ़े तीन अरब उपयोगकर्ता, लगभग छह घंटे। स्टॉक पांच प्रतिशत नीचे बंद होता है, जुकरबर्ग के छह अरब नीचे,

विस्फोट त्रिज्या

2:27 कागज पर। टेलीग्राम उस दिन सत्तर मिलियन साइन-अप का दावा करता है। निर्णय, पोस्टमॉर्टम: NEEDS REVIEW। उसी शाम का बयान, एक दिन के भीतर नामित-लेखक पोस्टमॉर्टम, ऑडिट-टूल बग को सादे अंग्रेजी में स्वीकार किया गया।

निर्णय + सोमवार की पंक्ति

2:38 फिक्स सूची: परीक्षण और अभ्यास को मजबूत करें। उत्पादन नेटवर्क से दरवाजे हटाने के बारे में कुछ भी नहीं। सोमवार: अपनी आउट-ऑफ-बैंड एक्सेस, और अपना दरवाजा, एक ऐसे नेटवर्क पर रखें जिसे आप संचालित नहीं करते हैं संचालित करते हैं। मुझे वह घटना भेजें जिसके बारे में आपको अभी भी बात करने की अनुमति नहीं है, टिप्पणियों में, या the daily diff dot dev पर। और आज के लिए यही अंतर है। मैं Axrisi से Niko हूं।

2:58 Merge responsibly.

स्रोत

  1. Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
  2. Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
  3. Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
  4. Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
  5. Andy Stone (Facebook), 16:07 UTCtwitter.com
  6. Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
  7. Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
  8. Hacker News (2,589 points)news.ycombinator.com
  9. The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
  10. Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
  11. Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
  12. Krebs on Securitykrebsonsecurity.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

संबंधित वीडियो

postmortem · hi · 19 सित॰ 2026

Google Cloud एक खाली फ़ील्ड पर क्रैश हो गया। तीन घंटे।

कुछ खाली फ़ील्ड वाली एक नीति पंक्ति एक नल पॉइंटर से टकराती है, और Google Cloud एक साथ हर क्षेत्र में क्रैश हो जाता है - फिर Cloudflare भी इसके साथ गिर जाता है। 12 जून, 2025, 17:49 यूटीसी: सर्विस कंट्र

2:57 ↗
postmortem · hi · 25 सित॰ 2026

एक मिलीसेकंड के बग ने यूके हवाई यातायात को रोक दिया। छह घंटे तक।

मंगलवार, 8 सितंबर को सुबह 10:00 बजे, NATS के राष्ट्रीय हवाई क्षेत्र प्रणाली (NAS) के अंदर एक नियमित स्क्वॉक-कोड अनुरोध को एक उच्च-प्राथमिकता वाले संदेश द्वारा बाधित किया जाता है, जबकि यह एक मान को अपड

3:06 ↗
postmortem · hi · 22 सित॰ 2026

एक रीबूट ने टेल्स्ट्रा को 2006 में पहुँचा दिया। नब्बे लाख फोन।

मेलबर्न में एक इंजीनियर सुबह 2:50 बजे एक टाइमिंग चेसिस को फिर से चालू करता है, और नाश्ते तक ऑस्ट्रेलिया का सबसे बड़ा मोबाइल नेटवर्क सहमत है कि यह नवंबर 2006 है। 8 जुलाई, 2026: टेल्स्ट्रा के NTP चेसिस

3:15 ↗
postmortem · hi · 12 सित॰ 2026

एक रेगुलर एक्सप्रेशन ने Cloudflare को 27 मिनट के लिए बंद कर दिया।

2 जुलाई, 2019, 13:42 UTC: Cloudflare के वेब एप्लिकेशन फ़ायरवॉल के लिए एक नया नियम लगभग दो सेकंड में 180 से अधिक शहरों में लाइव हो जाता है। यह सिमुलेट मोड में एक XSS नियम है, इसलिए यह कुछ भी ब्लॉक नहीं

3:00 ↗