+− THE DAILY DIFFdev & AI news
NEEDS REVIEW

फेसबुकने स्वतःला इंटरनेटवरून हटवले. सहा तास.

फेसबुकने स्वतःचा पत्ता इंटरनेटवरून काढून टाकला, आणि जेव्हा तिचे अभियंते तो परत ठेवण्यासाठी आले, तेव्हा बॅज रीडरही बंद होते, कारण ते फेसबुकवर चालतात.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

फेसबुकने स्वतःचा पत्ता इंटरनेटवरून काढून टाकला, आणि जेव्हा तिचे अभियंते तो परत ठेवण्यासाठी आले, तेव्हा बॅज रीडरही बंद होते, कारण ते फेसबुकवर चालतात. 4 ऑक्टोबर 2021, 15:40 UTC: एका सामान्य बॅकबोन-देखभाल आदेशामुळे फेसबुकच्या डेटा केंद्रांमधील प्रत्येक दुवा तुटला; तो ब्लॉक करण्यासाठी बनवलेल्या ऑडिट टूलमध्ये एक बग होता; फेसबुकचे नेम सर्व्हर, डेटा केंद्रांपर्यंत पोहोचू न शकल्यामुळे, त्यांनी स्वतःचे BGP मार्ग काढून घेतले - आणि facebook.com, Instagram, WhatsApp आणि Messenger सुमारे सहा तास DNS वरून गायब झाले. अंतर्गत साधने, आउट-ऑफ-बँड ऍक्सेस आणि ऑफिस बॅजेस समान नेटवर्कवर चालतात, त्यामुळे दुरुस्तीसाठी रॅकवर लोकांना (प्रत्यक्ष उपस्थित) असणे आवश्यक आहे.

लिखित आवृत्ती वाचा (इंग्रजी) ↗

या व्हिडिओमध्ये काय समाविष्ट आहे

  • फेसबुकने स्वतःचा पत्ता काढून टाकला
  • पावत्या: Meta Engineering, Cloudflare, Hacker News
  • हा The Daily Diff, पोस्टमॉर्टम आहे
  • वेळापत्रक: 15:39 आदेश → 15:40 मागे घेतले → 21:20 परत
  • यंत्रणा: तुम्हाला डिलीट करणारी आरोग्य तपासणी, 30× DNS वादळ, दरवाजे

प्रश्न आणि उत्तरे

ऑक्टोबर 2021 मधील Facebook, Instagram आणि WhatsApp आउटेजचे कारण काय होते?

एक नियमित बॅकबोन देखभाल कमांडने Facebook च्या डेटा केंद्रांमधील प्रत्येक लिंक खाली आणली आणि अशा कमांड्सना ब्लॉक करण्यासाठी असलेल्या ऑडिट टूलमध्ये एक बग होता. Meta च्या अभियांत्रिकी लेखनानुसार, त्यामुळे डेटा केंद्रे एकमेकांपासून डिस्कनेक्ट झाली. 15:40 UTC पर्यंत Cloudflare ने Facebook च्या नेम सर्व्हरकडे जाणारे मार्ग काढून टाकलेले पाहिले आणि 21:20 पर्यंत ते पुन्हा निराकरण होईपर्यंत facebook.com ने SERVFAIL परत केले.

हा भाग पहा 0:40 · engineering.fb.com · blog.cloudflare.com

Facebook च्या DNS सर्व्हरने स्वतःला इंटरनेटवरून का काढून टाकले?

जेव्हा नेम सर्व्हर डेटा केंद्रांपर्यंत पोहोचू शकत नव्हते, तेव्हा त्यांनी स्वतःचे BGP मार्ग काढून टाकण्यासाठी डिझाइन केले होते. जेव्हा एक साइट अयशस्वी होते, तेव्हा हा नियम योग्य असतो. जेव्हा संपूर्ण बॅकबोन अयशस्वी झाला, तेव्हा प्रत्येक नेम सर्व्हरने स्वतःला एकाच वेळी अस्वास्थ्यकर घोषित केले आणि आपले पत्ते जाहिरात करणे थांबवले. सर्व्हर अजूनही चालू होते, परंतु कोणीही त्यांना शोधू शकले नाही.

हा भाग पहा 1:20 · engineering.fb.com · blog.cloudflare.com

Facebook अभियंते आउटेज दूरस्थपणे का दुरुस्त करू शकले नाहीत?

अंतर्गत साधने, आउट-ऑफ-बँड ॲक्सेस आणि ऑफिस बॅज रीडर सर्व त्याच नेटवर्कवर चालत होते जे अयशस्वी झाले होते. अभियंत्यांना डेटा केंद्रांवर जावे लागले, जिथे रॅक्स शारीरिक प्रवेश असलेल्या कोणापासूनही सुरक्षित होते. द न्यूयॉर्क टाइम्सने 18:51 UTC वाजता मृत बॅज असलेल्या कर्मचाऱ्यांना इमारतींच्या बाहेर बंद केलेले असल्याची नोंद केली.

हा भाग पहा 1:20 · engineering.fb.com · twitter.com · www.nytimes.com

Facebook आउटेजने उर्वरित इंटरनेटवर कसा परिणाम केला?

ॲप्सने पुन्हा प्रयत्न केले आणि वापरकर्त्यांनी पुन्हा लोड केले, त्यामुळे Cloudflare च्या रिझॉल्व्हरने पोहोचू न शकणाऱ्या साइटसाठी त्याच्या सामान्य लोडच्या तीस पट भार पाहिला. या घटनेने जवळजवळ सहा तासांसाठी साडेतीन अब्ज वापरकर्त्यांचा स्फोट त्रिज्या दर्शविली. त्यात Telegram ने त्या दिवशी सत्तर दशलक्ष साइन-अपचा दावा केला असल्याचेही नमूद केले आहे.

हा भाग पहा 2:25 · blog.cloudflare.com · www.reuters.com

Facebook च्या पोस्टमॉर्तमने आउटेजमागील मूळ समस्यांचे निराकरण केले का?

द डेली डिफचा निकाल NEEDS REVIEW होता. Facebook ने त्याच संध्याकाळी एक विधान जारी केले, एका दिवसाच्या आत नामित-लेखक पोस्टमॉर्तम प्रकाशित केले आणि साध्या इंग्रजीमध्ये ऑडिट-टूल बग कबूल केला. त्याच्या दुरुस्ती यादीने मजबूत चाचणी आणि ड्रिल्सवर लक्ष केंद्रित केले आणि उत्पादन नेटवर्कमधून दरवाजे काढण्याबद्दल काहीही सांगितले नाही. हा भाग तुम्हाला ऑपरेट न करणाऱ्या नेटवर्कवर आउट-ऑफ-बँड ॲक्सेस ठेवण्याचा सल्ला देतो.

हा भाग पहा 2:38 · engineering.fb.com · engineering.fb.com

अनुवादित प्रतिलेख

मूळ इंग्रजी निवेदनातून अनुवादित. उपलब्ध ऑडिओ आणि मथळे YouTube द्वारे नियंत्रित आहेत.

फेसबुकने स्वतःचा पत्ता काढून टाकला

0:00 फेसबुकने स्वतःचा पत्ता इंटरनेटवरून काढून टाकला, आणि जेव्हा तिचे अभियंते तो परत ठेवण्यासाठी आले, तेव्हा बॅज रीडरही बंद होते, कारण ते फेसबुकवर चालतात. मेटाचे स्वतःचे पोस्टमॉर्टम, दुसऱ्या दिवशी: एका सामान्य देखभाल आदेशामुळे प्रत्येक बॅकबोन दुवा तुटला, आणि अशा आदेशांना ब्लॉक करण्यासाठी बनवलेल्या टूलमध्ये एक बग होता.

पावत्या: Meta Engineering, Cloudflare, Hacker News

0:16 Cloudflare, बाहेरून: 15:40 UTC वाजता फेसबुकच्या नेम सर्व्हरचे मार्ग गायब झाले, आणि dig facebook.com ने ग्रहावर सर्वत्र SERVFAIL परत केले. हे कसे घडते, सुरक्षितता वैशिष्ट्य ते अधिक वाईट का करते, आणि कोणाला दोष दिला जातो. हा The Daily Diff, पोस्टमॉर्टम आहे. दुपारच्या सुरुवातीला, UTC.

हा The Daily Diff, पोस्टमॉर्टम आहे

0:34 मोकळी बॅकबोन क्षमता तपासण्यासाठी असलेला आदेश त्याऐवजी प्रत्येक दुवा फेसबुकच्या डेटा केंद्रांमध्ये बंद करतो, आणि हेच पकडण्यासाठी बनवलेले ऑडिट टूल

वेळापत्रक: 15:39 आदेश → 15:40 मागे घेतले → 21:20 परत

0:41 त्याला परवानगी देते. 15:40. Cloudflare चे BGP फीड काढण्याने भरते; फेसबुकचे DNS prefixes राउटिंग टेबल सोडतात. एका मिनिटात Cloudflare चे अभियंते एका खोलीत विचार करत होते की त्यांनी 1.1.1.1 खराब केले का. 15:45, Hacker News, सव्वीसशे गुण. 16:07, फेसबुकचा प्रवक्ता, ट्विटरवर: काही लोकांना आमच्या ॲप्समध्ये प्रवेश करण्यात अडचण येत आहे. काही लोक म्हणजे साडेतीन अब्ज.

1:06 18:51, न्यूयॉर्क टाइम्स: कर्मचाऱ्यांचे त्यांच्या इमारतींमध्ये प्रवेश बंद, बॅजेस बंद. 19:52, CTO माफी मागतात. 21:00, पाच तासांनंतर, मार्ग परत येतात; 21:20, facebook.com निराकरण होते. बॅकबोनमधील दोष फेसबुकला इंटरनेटवरून का हटवतो?

यंत्रणा: तुम्हाला डिलीट करणारी आरोग्य तपासणी, 30× DNS वादळ, दरवाजे

1:20 त्याच्या नेम सर्व्हरचा एक नियम आहे: डेटा केंद्रांपर्यंत पोहोचू शकत नाही, स्वतःला अस्वस्थ घोषित करा, तुमच्या पत्त्याची जाहिरात करणे थांबवा. एक साइट खराब झाल्यास योग्य. जेव्हा संपूर्ण बॅकबोन जातो, तेव्हा प्रत्येक नेम सर्व्हर ते एकाच वेळी करतो. सर्व्हर चालू आहेत. कोणीही त्यांना शोधू शकत नाही. एक सुरक्षितता वैशिष्ट्य नेटवर्क दोषाला अस्तित्वाच्या दोषात बदलते. मग इंटरनेटवर गर्दी होते: ॲप्स पुन्हा प्रयत्न करतात, वापरकर्ते रीलोड करतात,

1:39 आणि Cloudflare चा रिजॉल्वर त्याच्या सामान्य भाराच्या तीस पट भार पाहतो, अस्तित्वात नसलेल्या साइटसाठी. आणि दरवाजे. साधने, आउट-ऑफ-बँड ऍक्सेस, बॅजेस: समान नेटवर्क. अभियंते डेटा केंद्रांमध्ये गाडी चालवतात, प्रवेश मिळत नाही, मग रॅक भेटतात जे शारीरिक प्रवेश असलेल्या कोणासाठीही मजबूत केलेले आहेत. आक्रमणकर्त्याला धीमा करण्यासाठी बनवलेले, ते मालकालाही धीमा करते. बॅकबोन परत येतो; ते हेतुपुरस्सर, हळूहळू ट्रॅफिक वाढवतात.

1:59 प्रत्येक डेटा केंद्राने दशभर मेगावॅट कमी केले आहेत, आणि ते एकाच टप्प्यात उलट करणे ही दुसरी आउटेज आहे.

git blame — विभाजन

2:05 git blame. फेसबुक, पंचावन्न टक्के: आदेश तपासला गेला, ऑडिटरमध्ये बग होता, एका आदेशाने प्रत्येक राउटरपर्यंत पोहोचले. DNS डिझाइन, पंचवीस: प्रमाणात भान नसलेली आरोग्य तपासणी. एक नेटवर्क, पंधरा: साधने, आउट-ऑफ-बँड, बॅजेस. रॅक, पाच, त्यांचे काम केल्याबद्दल. ब्लास्ट त्रिज्या: साडेतीन अब्ज वापरकर्ते, सुमारे सहा तास. शेअर पाच टक्क्यांनी खाली बंद होतो, झुकरबर्गचे सहा अब्ज कमी,

ब्लास्ट त्रिज्या

2:27 कागदावर. त्या दिवशी टेलिग्रामने सत्तर दशलक्ष साइन-अपचा दावा केला. निकाल, पोस्टमॉर्टम: NEEDS REVIEW. त्याच संध्याकाळचे विधान, एका दिवसात नामनिर्देशित-लेखक पोस्टमॉर्टम, ऑडिट-टूल बग साध्या इंग्रजीमध्ये कबूल केला.

निकाल + सोमवारची वेळ

2:38 दुरुस्ती सूची: चाचणी आणि सरावांना बळकट करा. उत्पादन नेटवर्कवरून दरवाजे काढण्याबद्दल काहीही नाही. सोमवार: तुमचा आउट-ऑफ-बँड ऍक्सेस, आणि तुमचा दरवाजा, तुम्ही ऑपरेट करत नसलेल्या नेटवर्कवर ठेवा. तुम्ही अजूनही बोलण्याची परवानगी नसलेली घटना मला पाठवा, टिप्पण्यांमध्ये, किंवा daily diff dot dev वर. आणि हा आजचा diff आहे. मी Axrisi चा Niko आहे.

2:58 जबाबदारीने विलीन करा.

स्रोत

  1. Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
  2. Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
  3. Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
  4. Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
  5. Andy Stone (Facebook), 16:07 UTCtwitter.com
  6. Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
  7. Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
  8. Hacker News (2,589 points)news.ycombinator.com
  9. The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
  10. Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
  11. Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
  12. Krebs on Securitykrebsonsecurity.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

संबंधित व्हिडिओ

postmortem · mr · १९ सप्टें, २०२६

Google Cloud एका रिकाम्या फील्डवर क्रॅश झाले. तीन तास.

काही रिकाम्या फील्ड्स असलेली एक पॉलिसी रो नल् पॉइंटरला हिट करते आणि Google Cloud एकाच वेळी प्रत्येक प्रदेशात क्रॅश होते — नंतर Cloudflare देखील त्यासोबत कोसळते. १२ जून २०२५, १७:४९ UTC: Service Control

2:57 ↗
postmortem · mr · २५ सप्टें, २०२६

एक मिलिसेकंदाच्या दोषामुळे यूकेमधील हवाई वाहतूक थांबली. सहा तास.

मंगळवार, 8 सप्टेंबर रोजी 10:00 वाजता, NATS च्या राष्ट्रीय हवाई क्षेत्र प्रणाली (NAS) मधील एक नियमित स्क्वॉक-कोड विनंती उच्च-प्राधान्य संदेशामुळे खंडित झाली, जेव्हा ती एका मूल्याचे अपडेट करण्याच्या मध्

3:06 ↗
postmortem · mr · २२ सप्टें, २०२६

एका रीबूटमुळे टेलस्ट्रा 2006 मध्ये पोहोचले. नव्वद लाख फोन.

मेलबर्नमधील एका अभियंत्याने पहाटे 2:50 वाजता टायमिंग चेसिस पुन्हा चालू केले आणि नाश्त्यापर्यंत ऑस्ट्रेलियाच्या सर्वात मोठ्या मोबाइल नेटवर्कने मान्य केले की तो नोव्हेंबर 2006 आहे. 8 जुलै 2026: टेलस्ट्र

3:15 ↗
postmortem · mr · १२ सप्टें, २०२६

एका रेगएक्सने क्लाउडफ्लेअरला 27 मिनिटांसाठी खाली पाडले.

2 जुलै 2019, 13:42 UTC: क्लाउडफ्लेअरच्या वेब ॲप्लिकेशन फायरवॉलसाठी एक नवीन नियम अंदाजे दोन सेकंदात 180+ शहरांमध्ये लाइव्ह होतो. हा सिम्युलेट मोडमधील XSS नियम आहे, त्यामुळे तो काहीही ब्लॉक करत नाही, पर

3:00 ↗