+− THE DAILY DIFFdev & AI news
NEEDS REVIEW

फेसबुक इन्टरनेटबाट हट्यो। छ घन्टा।

फेसबुकले इन्टरनेटबाट आफ्नो ठेगाना हटायो, र जब यसका इन्जिनियरहरू यसलाई फिर्ता राख्न आइपुग्छन्, ब्याच रिडरहरू पनि बन्द हुन्छन्, किनभने तिनीहरू फेसबुकमा चल्छन्।

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

फेसबुकले इन्टरनेटबाट आफ्नो ठेगाना हटायो, र जब यसका इन्जिनियरहरू यसलाई फिर्ता राख्न आइपुग्छन्, ब्याच रिडरहरू पनि बन्द हुन्छन्, किनभने तिनीहरू फेसबुकमा चल्छन्। अक्टोबर ४, २०२१, १५:४० UTC: एक सामान्य ब्याकबोन-मर्मत आदेशले फेसबुकका डाटा केन्द्रहरू बीचको हरेक लिङ्क बन्द गर्छ; यसलाई रोक्नका लागि बनाइएको अडिट उपकरणमा बग छ; फेसबुकका नाम सर्भरहरू, डाटा केन्द्रहरूमा पुग्न नसक्दा, डिजाइन अनुसार आफ्नै BGP मार्गहरू फिर्ता लिन्छन् — र facebook.com, Instagram, WhatsApp र Messenger लगभग छ घन्टासम्म DNS बाट गायब हुन्छन्। आन्तरिक उपकरणहरू, आउट-अफ-ब्यान्ड पहुँच र कार्यालयका ब्याचहरू एउटै नेटवर्कमा चल्छन्, त्यसैले समाधानका लागि र्याकहरूमा मानिसहरू चाहिन्छ।

लिखित संस्करण पढ्नुहोस् (अंग्रेजी) ↗

यो भिडियोले के समेट्छ

  • फेसबुकले आफ्नो ठेगाना हटायो
  • रसिदहरू: मेटा इन्जिनियरिङ्, क्लाउडफ्लेयर, ह्याकर न्यूज
  • यो The Daily Diff, पोस्टमोर्टम हो
  • समयरेखा: १५:३९ आदेश → १५:४० फिर्ता → २१:२० फिर्ता
  • प्रक्रिया: तपाईंलाई मेटाउने स्वास्थ्य जाँच, ३०× DNS आँधी, ढोकाहरू

प्रश्न र उत्तर

अक्टोबर २०२१ मा फेसबुक, इन्स्टाग्राम र ह्वाट्सएपमा भएको अवरोधको कारण के थियो?

एक सामान्य ब्याकबोन मर्मत आदेशले फेसबुकका डाटा सेन्टरहरू बीचको प्रत्येक लिङ्कलाई निष्क्रिय बनायो, र त्यस्ता आदेशहरूलाई रोक्नको लागि बनाइएको अडिट उपकरणमा बग थियो। मेटाको इन्जिनियरिङ राइट-अप अनुसार, त्यसले डाटा सेन्टरहरूलाई एक अर्काबाट विच्छेद गर्यो। 15:40 UTC सम्म क्लाउडफ्लेयरले फेसबुकको नाम सर्भरहरूको मार्गहरू हटाइएको देख्यो, र facebook.com ले 21:20 मा फेरि समाधान नभएसम्म SERVFAIL फर्कायो।

यो भाग हेर्नुहोस् 0:40 · engineering.fb.com · blog.cloudflare.com

फेसबुकको DNS सर्भरहरूले इन्टरनेटबाट आफूलाई किन हटायो?

नाम सर्भरहरू डाटा सेन्टरहरूमा पुग्न नसक्दा आफ्नै BGP मार्गहरू फिर्ता लिन डिजाइन गरिएका थिए। यो नियम एक साइट असफल हुँदा समझदार हुन्छ। जब पूरै ब्याकबोन असफल भयो, प्रत्येक नाम सर्भरले एकैचोटि आफूलाई अस्वस्थ घोषित गर्यो र आफ्नो ठेगानाको विज्ञापन गर्न बन्द गर्यो। सर्भरहरू अझै चलिरहेका थिए, तर कसैले तिनीहरूलाई फेला पार्न सकेन।

यो भाग हेर्नुहोस् 1:20 · engineering.fb.com · blog.cloudflare.com

फेसबुकका इन्जिनियरहरूले टाढैबाट अवरोध किन समाधान गर्न सकेनन्?

आन्तरिक उपकरणहरू, आउट-अफ-ब्यान्ड पहुँच र कार्यालय ब्याज रिडरहरू सबै असफल भएको समान नेटवर्कमा चलेका थिए। इन्जिनियरहरूलाई डाटा सेन्टरहरूमा जानु पर्यो, जहाँ र्याकहरू भौतिक पहुँच भएका जो कोहीबाट पनि सुरक्षित गरिएका थिए। न्यूयोर्क टाइम्सले 18:51 UTC मा मृत ब्याजहरूका कारण कर्मचारीहरू भवनहरूबाट बाहिर निकालिएको रिपोर्ट गर्यो।

यो भाग हेर्नुहोस् 1:20 · engineering.fb.com · twitter.com · www.nytimes.com

फेसबुकको अवरोधले इन्टरनेटको बाँकी भागलाई कसरी असर गर्यो?

एपहरूले पुन: प्रयास गरे र प्रयोगकर्ताहरूले पुन: लोड गरे, त्यसैले क्लाउडफ्लेयरको रिजोल्भरले पहुँचयोग्य नभएको साइटको लागि सामान्य भन्दा तीस गुणा बढी लोड देख्यो। यस घटनाले करिब छ घण्टाको लागि साढे तीन बिलियन प्रयोगकर्ताहरूलाई असर गरेको थियो। यसले टेलिग्रामले त्यस दिन सत्तरी मिलियन साइन-अप भएको दाबी गरेको पनि रिपोर्ट गर्यो।

यो भाग हेर्नुहोस् 2:25 · blog.cloudflare.com · www.reuters.com

फेसबुकको पोस्टमोर्टमले अवरोधको पछाडिका मुख्य समस्याहरू समाधान गर्यो?

The Daily Diff को फैसला NEEDS REVIEW थियो। फेसबुकले सोही साँझ एउटा बयान जारी गर्यो, एक दिन भित्र नामित-लेखक पोस्टमोर्टम प्रकाशित गर्यो र सामान्य भाषामा अडिट-टूल बग स्वीकार गर्यो। यसको समाधान सूचीले बलियो परीक्षण र अभ्यासहरूमा ध्यान केन्द्रित गर्यो र उत्पादन नेटवर्कका ढोकाहरू हटाउने बारे केही पनि भनेन। यस घटनाले तपाईंले सञ्चालन नगर्ने नेटवर्कमा आउट-अफ-ब्यान्ड पहुँच राख्न सल्लाह दिन्छ।

यो भाग हेर्नुहोस् 2:38 · engineering.fb.com · engineering.fb.com

अनुवादित ट्रान्सक्रिप्ट

मूल अंग्रेजी कथाबाट अनुवादित। उपलब्ध अडियो र क्याप्सनहरू YouTube द्वारा नियन्त्रित हुन्छन्।

फेसबुकले आफ्नो ठेगाना हटायो

0:00 फेसबुकले इन्टरनेटबाट आफ्नो ठेगाना हटायो, र जब यसका इन्जिनियरहरू यसलाई फिर्ता राख्न आइपुग्छन्, ब्याच रिडरहरू पनि बन्द हुन्छन्, किनभने तिनीहरू फेसबुकमा चल्छन्। मेटाको आफ्नै पोस्टमोर्टम, भोलिपल्ट: एक सामान्य मर्मत आदेशले हरेक ब्याकबोन लिङ्क बन्द गर्छ, र त्यस्ता आदेशहरू रोक्नका लागि बनाइएको उपकरणमा बग छ।

रसिदहरू: मेटा इन्जिनियरिङ्, क्लाउडफ्लेयर, ह्याकर न्यूज

0:16 क्लाउडफ्लेयर, बाहिरबाट: १५:४० UTC मा फेसबुकका नाम सर्भरहरूमा जाने मार्गहरू गायब हुन्छन्, र dig facebook.com ले ग्रहभरि SERVFAIL फर्काउँछ। यो कसरी हुन्छ, सुरक्षा सुविधाले किन यसलाई अझ खराब बनाउँछ, र कसलाई दोष दिइन्छ। यो The Daily Diff, पोस्टमोर्टम हो। दिउँसोको सुरुतिर, UTC।

यो The Daily Diff, पोस्टमोर्टम हो

0:34 खाली ब्याकबोन क्षमता जाँच गर्ने उद्देश्यले दिइएको आदेशले फेसबुकका डाटा केन्द्रहरू बीचको हरेक लिङ्क बन्द गर्छ, र ठ्याक्कै यसलाई समात्नका लागि बनाइएको अडिट उपकरणले

समयरेखा: १५:३९ आदेश → १५:४० फिर्ता → २१:२० फिर्ता

0:41 यसलाई अगाडि बढ्न दिन्छ। १५:४०। क्लाउडफ्लेयरको BGP फिड फिर्ता लिने जानकारीले भरिन्छ; फेसबुकका DNS प्रिफिक्सहरू राउटिङ तालिकाबाट हट्छन्। एक मिनेटभित्र क्लाउडफ्लेयरका इन्जिनियरहरू एउटा कोठामा उनीहरूले १.१.१.१ बिगारेका हुन् कि भनी सोच्दै हुन्छन्। १५:४५, ह्याकर न्यूज, छब्बीस सय अंक। १६:०७, फेसबुकका प्रवक्ता, ट्विटरमा: केही मानिसहरूलाई हाम्रा एपहरू पहुँच गर्न समस्या भइरहेको छ। केही मानिसहरू साढे तीन अर्ब हुन्।

1:06 १८:५१, न्यूयोर्क टाइम्स: कर्मचारीहरू आफ्ना भवनहरूबाट बाहिर निकालिए, ब्याचहरू मृत। १९:५२, CTO ले माफी माग्छन्। २१:००, पाँच घण्टाभित्र, मार्गहरू फर्किन्छन्; २१:२०, facebook.com समाधान हुन्छ। ब्याकबोन त्रुटिले फेसबुकलाई इन्टरनेटबाट किन मेटाउँछ?

प्रक्रिया: तपाईंलाई मेटाउने स्वास्थ्य जाँच, ३०× DNS आँधी, ढोकाहरू

1:20 यसका नाम सर्भरहरूमा एउटा नियम छ: डाटा केन्द्रहरूमा पुग्न सकिएन, आफूलाई अस्वस्थ घोषणा गर, आफ्नो ठेगानाको विज्ञापन बन्द गर। एउटा साइट बिग्रँदा यो समझदार हुन्छ। जब सम्पूर्ण ब्याकबोन जान्छ, हरेक नाम सर्भरले एकै पटक गर्छ। सर्भरहरू चलिरहेका छन्। कसैले तिनीहरूलाई फेला पार्न सक्दैन। एउटा सुरक्षा सुविधाले नेटवर्क त्रुटिलाई अस्तित्व त्रुटिमा परिणत गर्छ। त्यसपछि इन्टरनेटमा समस्या थपिन्छ: एपहरूले फेरि प्रयास गर्छन्, प्रयोगकर्ताहरूले रिलोड गर्छन्,

1:39 र क्लाउडफ्लेयरको रिजोल्भरले सामान्य लोडको तीस गुणा देख्छ, एउटा साइटका लागि जुन त्यहाँ छैन। र ढोकाहरू। उपकरणहरू, आउट-अफ-ब्यान्ड पहुँच, ब्याचहरू: एउटै नेटवर्क। इन्जिनियरहरू डाटा केन्द्रहरूमा जान्छन्, भित्र पस्न सक्दैनन्, त्यसपछि शारीरिक पहुँच भएका जो कोही विरुद्ध कडा बनाइएका र्याकहरू भेट्छन्। आक्रमणकारीलाई ढिलो गर्न बनाइएको, यसले मालिकलाई पनि ढिलो गर्छ। ब्याकबोन फर्किन्छ; तिनीहरूले जानाजानी ट्राफिक बिस्तारै बढाउँछन्।

1:59 हरेक डाटा केन्द्रले दशौं मेगावाट छोडेको छ, र यसलाई एकै चरणमा उल्टाउनु दोस्रो आउटेज हो।

git blame — विभाजन

2:05 git blame। फेसबुक, पचपन्न प्रतिशत: आदेशको अडिट गरिएको थियो, अडिटरमा बग थियो, एउटै आदेश हरेक राउटरमा पुग्यो। DNS डिजाइन, पच्चीस: अनुपातको भावना नभएको स्वास्थ्य जाँच। एउटै नेटवर्क, पन्ध्र: उपकरणहरू, आउट-अफ-ब्यान्ड, ब्याचहरू। र्याकहरू, पाँच, आफ्नो काम गरेकोमा। विस्फोट त्रिज्या: साढे तीन अर्ब प्रयोगकर्ताहरू, लगभग छ घण्टा। स्टक पाँच प्रतिशतले घट्छ, जुकरबर्गको छ अर्ब,

विस्फोट त्रिज्या

2:27 कागजमा। टेलिग्रामले त्यस दिन सत्तरी मिलियन साइन-अप भएको दाबी गर्छ। निर्णय, पोस्टमोर्टम: NEEDS REVIEW। सोही साँझको बयान, एक दिनभित्र नाम तोकिएको लेखक पोस्टमोर्टम, अडिट-टूल बग स्पष्ट अंग्रेजीमा स्वीकार गरियो।

निर्णय + सोमबारको लाइन

2:38 समाधान सूची: परीक्षण र अभ्यासहरू बलियो बनाउने। उत्पादन नेटवर्कबाट ढोकाहरू हटाउने बारे केही छैन। सोमबार: आफ्नो आउट-अफ-ब्यान्ड पहुँच, र आफ्नो ढोका, तपाईंले सञ्चालन नगर्ने नेटवर्कमा राख्नुहोस्। तपाईंले अझै पनि कुरा गर्न अनुमति नभएको घटना मलाई पठाउनुहोस्, टिप्पणीहरूमा, वा daily diff dot dev मा। र आजको लागि यति नै diff। म Axrisi बाट Niko हुँ।

2:58 जिम्मेवारीपूर्वक मर्ज गर्नुहोस्।

स्रोतहरू

  1. Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
  2. Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
  3. Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
  4. Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
  5. Andy Stone (Facebook), 16:07 UTCtwitter.com
  6. Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
  7. Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
  8. Hacker News (2,589 points)news.ycombinator.com
  9. The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
  10. Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
  11. Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
  12. Krebs on Securitykrebsonsecurity.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

सम्बन्धित भिडियोहरू

postmortem · ne · २०२६ सेप्टेम्बर १९

गुगल क्लाउड खाली फिल्डमा क्र्यास भयो। तीन घण्टासम्म।

केही खाली फिल्डहरू भएको नीति पङ्क्तिले नल पोइन्टरमा हिर्काउँछ, र गुगल क्लाउड एकैचोटि सबै क्षेत्रमा क्र्यास हुन्छ — त्यसपछि क्लाउडफ्लेयर पनि त्यसको साथमा खस्छ। जून १२, २०२५, १७:४९ UTC: सर्भिस कन्ट्रोल,

2:57 ↗
postmortem · ne · २०२६ सेप्टेम्बर २५

एक मिलिसेकेन्डको बगले बेलायतको हवाई यातायात रोक्यो। छ घण्टा।

मंगलबार, सेप्टेम्बर ८ को बिहान १०:०० बजे, NATS को नेशनल एयरस्पेस सिस्टम (NAS) भित्रको एउटा सामान्य स्क्वाक-कोड अनुरोधलाई उच्च प्राथमिकताको सन्देशले अवरुद्ध गर्‍यो, जबकि यो मान अद्यावधिक गर्ने आधा बाटो

3:06 ↗
postmortem · ne · २०२६ सेप्टेम्बर २२

रिबुटले टेल्स्ट्रालाई 2006 मा पुर्यायो। ९० लाख फोनहरू।

मेलबर्नमा एक इन्जिनियरले बिहान २:५० बजे टाइमिंग चेसिसलाई फेरि अन गर्छन्, र बिहानको नास्तासम्ममा अष्ट्रेलियाको सबैभन्दा ठूलो मोबाइल नेटवर्क नोभेम्बर २००६ भएको कुरामा सहमत हुन्छ। जुलाई ८, २०२६: टेल्स्ट्

3:15 ↗
postmortem · ne · २०२६ सेप्टेम्बर १२

एउटा रेगुलर एक्सप्रेसनले क्लाउडफ्लेरलाई २७ मिनेटसम्म बन्द गर्‍यो।

जुलाई २, २०१९, १३:४२ UTC: क्लाउडफ्लेरको वेब एप्लिकेसन फायरवालको लागि एउटा नयाँ नियम लगभग दुई सेकेन्डमा १८०+ शहरहरूमा लाइभ हुन्छ। यो सिमुलेट मोडमा एउटा XSS नियम हो, त्यसैले यसले केही रोक्दैन, तर यसले प

3:00 ↗