फेसबुक इन्टरनेटबाट हट्यो। छ घन्टा।
फेसबुकले इन्टरनेटबाट आफ्नो ठेगाना हटायो, र जब यसका इन्जिनियरहरू यसलाई फिर्ता राख्न आइपुग्छन्, ब्याच रिडरहरू पनि बन्द हुन्छन्, किनभने तिनीहरू फेसबुकमा चल्छन्।
फेसबुकले इन्टरनेटबाट आफ्नो ठेगाना हटायो, र जब यसका इन्जिनियरहरू यसलाई फिर्ता राख्न आइपुग्छन्, ब्याच रिडरहरू पनि बन्द हुन्छन्, किनभने तिनीहरू फेसबुकमा चल्छन्। अक्टोबर ४, २०२१, १५:४० UTC: एक सामान्य ब्याकबोन-मर्मत आदेशले फेसबुकका डाटा केन्द्रहरू बीचको हरेक लिङ्क बन्द गर्छ; यसलाई रोक्नका लागि बनाइएको अडिट उपकरणमा बग छ; फेसबुकका नाम सर्भरहरू, डाटा केन्द्रहरूमा पुग्न नसक्दा, डिजाइन अनुसार आफ्नै BGP मार्गहरू फिर्ता लिन्छन् — र facebook.com, Instagram, WhatsApp र Messenger लगभग छ घन्टासम्म DNS बाट गायब हुन्छन्। आन्तरिक उपकरणहरू, आउट-अफ-ब्यान्ड पहुँच र कार्यालयका ब्याचहरू एउटै नेटवर्कमा चल्छन्, त्यसैले समाधानका लागि र्याकहरूमा मानिसहरू चाहिन्छ।
लिखित संस्करण पढ्नुहोस् (अंग्रेजी) ↗
यो भिडियोले के समेट्छ
- फेसबुकले आफ्नो ठेगाना हटायो
- रसिदहरू: मेटा इन्जिनियरिङ्, क्लाउडफ्लेयर, ह्याकर न्यूज
- यो The Daily Diff, पोस्टमोर्टम हो
- समयरेखा: १५:३९ आदेश → १५:४० फिर्ता → २१:२० फिर्ता
- प्रक्रिया: तपाईंलाई मेटाउने स्वास्थ्य जाँच, ३०× DNS आँधी, ढोकाहरू
प्रश्न र उत्तर
अक्टोबर २०२१ मा फेसबुक, इन्स्टाग्राम र ह्वाट्सएपमा भएको अवरोधको कारण के थियो?
एक सामान्य ब्याकबोन मर्मत आदेशले फेसबुकका डाटा सेन्टरहरू बीचको प्रत्येक लिङ्कलाई निष्क्रिय बनायो, र त्यस्ता आदेशहरूलाई रोक्नको लागि बनाइएको अडिट उपकरणमा बग थियो। मेटाको इन्जिनियरिङ राइट-अप अनुसार, त्यसले डाटा सेन्टरहरूलाई एक अर्काबाट विच्छेद गर्यो। 15:40 UTC सम्म क्लाउडफ्लेयरले फेसबुकको नाम सर्भरहरूको मार्गहरू हटाइएको देख्यो, र facebook.com ले 21:20 मा फेरि समाधान नभएसम्म SERVFAIL फर्कायो।
फेसबुकको DNS सर्भरहरूले इन्टरनेटबाट आफूलाई किन हटायो?
नाम सर्भरहरू डाटा सेन्टरहरूमा पुग्न नसक्दा आफ्नै BGP मार्गहरू फिर्ता लिन डिजाइन गरिएका थिए। यो नियम एक साइट असफल हुँदा समझदार हुन्छ। जब पूरै ब्याकबोन असफल भयो, प्रत्येक नाम सर्भरले एकैचोटि आफूलाई अस्वस्थ घोषित गर्यो र आफ्नो ठेगानाको विज्ञापन गर्न बन्द गर्यो। सर्भरहरू अझै चलिरहेका थिए, तर कसैले तिनीहरूलाई फेला पार्न सकेन।
फेसबुकका इन्जिनियरहरूले टाढैबाट अवरोध किन समाधान गर्न सकेनन्?
आन्तरिक उपकरणहरू, आउट-अफ-ब्यान्ड पहुँच र कार्यालय ब्याज रिडरहरू सबै असफल भएको समान नेटवर्कमा चलेका थिए। इन्जिनियरहरूलाई डाटा सेन्टरहरूमा जानु पर्यो, जहाँ र्याकहरू भौतिक पहुँच भएका जो कोहीबाट पनि सुरक्षित गरिएका थिए। न्यूयोर्क टाइम्सले 18:51 UTC मा मृत ब्याजहरूका कारण कर्मचारीहरू भवनहरूबाट बाहिर निकालिएको रिपोर्ट गर्यो।
फेसबुकको अवरोधले इन्टरनेटको बाँकी भागलाई कसरी असर गर्यो?
एपहरूले पुन: प्रयास गरे र प्रयोगकर्ताहरूले पुन: लोड गरे, त्यसैले क्लाउडफ्लेयरको रिजोल्भरले पहुँचयोग्य नभएको साइटको लागि सामान्य भन्दा तीस गुणा बढी लोड देख्यो। यस घटनाले करिब छ घण्टाको लागि साढे तीन बिलियन प्रयोगकर्ताहरूलाई असर गरेको थियो। यसले टेलिग्रामले त्यस दिन सत्तरी मिलियन साइन-अप भएको दाबी गरेको पनि रिपोर्ट गर्यो।
फेसबुकको पोस्टमोर्टमले अवरोधको पछाडिका मुख्य समस्याहरू समाधान गर्यो?
The Daily Diff को फैसला NEEDS REVIEW थियो। फेसबुकले सोही साँझ एउटा बयान जारी गर्यो, एक दिन भित्र नामित-लेखक पोस्टमोर्टम प्रकाशित गर्यो र सामान्य भाषामा अडिट-टूल बग स्वीकार गर्यो। यसको समाधान सूचीले बलियो परीक्षण र अभ्यासहरूमा ध्यान केन्द्रित गर्यो र उत्पादन नेटवर्कका ढोकाहरू हटाउने बारे केही पनि भनेन। यस घटनाले तपाईंले सञ्चालन नगर्ने नेटवर्कमा आउट-अफ-ब्यान्ड पहुँच राख्न सल्लाह दिन्छ।
अनुवादित ट्रान्सक्रिप्ट
मूल अंग्रेजी कथाबाट अनुवादित। उपलब्ध अडियो र क्याप्सनहरू YouTube द्वारा नियन्त्रित हुन्छन्।
फेसबुकले आफ्नो ठेगाना हटायो
0:00 फेसबुकले इन्टरनेटबाट आफ्नो ठेगाना हटायो, र जब यसका इन्जिनियरहरू यसलाई फिर्ता राख्न आइपुग्छन्, ब्याच रिडरहरू पनि बन्द हुन्छन्, किनभने तिनीहरू फेसबुकमा चल्छन्। मेटाको आफ्नै पोस्टमोर्टम, भोलिपल्ट: एक सामान्य मर्मत आदेशले हरेक ब्याकबोन लिङ्क बन्द गर्छ, र त्यस्ता आदेशहरू रोक्नका लागि बनाइएको उपकरणमा बग छ।
रसिदहरू: मेटा इन्जिनियरिङ्, क्लाउडफ्लेयर, ह्याकर न्यूज
0:16 क्लाउडफ्लेयर, बाहिरबाट: १५:४० UTC मा फेसबुकका नाम सर्भरहरूमा जाने मार्गहरू गायब हुन्छन्, र dig facebook.com ले ग्रहभरि SERVFAIL फर्काउँछ। यो कसरी हुन्छ, सुरक्षा सुविधाले किन यसलाई अझ खराब बनाउँछ, र कसलाई दोष दिइन्छ। यो The Daily Diff, पोस्टमोर्टम हो। दिउँसोको सुरुतिर, UTC।
यो The Daily Diff, पोस्टमोर्टम हो
0:34 खाली ब्याकबोन क्षमता जाँच गर्ने उद्देश्यले दिइएको आदेशले फेसबुकका डाटा केन्द्रहरू बीचको हरेक लिङ्क बन्द गर्छ, र ठ्याक्कै यसलाई समात्नका लागि बनाइएको अडिट उपकरणले
समयरेखा: १५:३९ आदेश → १५:४० फिर्ता → २१:२० फिर्ता
0:41 यसलाई अगाडि बढ्न दिन्छ। १५:४०। क्लाउडफ्लेयरको BGP फिड फिर्ता लिने जानकारीले भरिन्छ; फेसबुकका DNS प्रिफिक्सहरू राउटिङ तालिकाबाट हट्छन्। एक मिनेटभित्र क्लाउडफ्लेयरका इन्जिनियरहरू एउटा कोठामा उनीहरूले १.१.१.१ बिगारेका हुन् कि भनी सोच्दै हुन्छन्। १५:४५, ह्याकर न्यूज, छब्बीस सय अंक। १६:०७, फेसबुकका प्रवक्ता, ट्विटरमा: केही मानिसहरूलाई हाम्रा एपहरू पहुँच गर्न समस्या भइरहेको छ। केही मानिसहरू साढे तीन अर्ब हुन्।
1:06 १८:५१, न्यूयोर्क टाइम्स: कर्मचारीहरू आफ्ना भवनहरूबाट बाहिर निकालिए, ब्याचहरू मृत। १९:५२, CTO ले माफी माग्छन्। २१:००, पाँच घण्टाभित्र, मार्गहरू फर्किन्छन्; २१:२०, facebook.com समाधान हुन्छ। ब्याकबोन त्रुटिले फेसबुकलाई इन्टरनेटबाट किन मेटाउँछ?
प्रक्रिया: तपाईंलाई मेटाउने स्वास्थ्य जाँच, ३०× DNS आँधी, ढोकाहरू
1:20 यसका नाम सर्भरहरूमा एउटा नियम छ: डाटा केन्द्रहरूमा पुग्न सकिएन, आफूलाई अस्वस्थ घोषणा गर, आफ्नो ठेगानाको विज्ञापन बन्द गर। एउटा साइट बिग्रँदा यो समझदार हुन्छ। जब सम्पूर्ण ब्याकबोन जान्छ, हरेक नाम सर्भरले एकै पटक गर्छ। सर्भरहरू चलिरहेका छन्। कसैले तिनीहरूलाई फेला पार्न सक्दैन। एउटा सुरक्षा सुविधाले नेटवर्क त्रुटिलाई अस्तित्व त्रुटिमा परिणत गर्छ। त्यसपछि इन्टरनेटमा समस्या थपिन्छ: एपहरूले फेरि प्रयास गर्छन्, प्रयोगकर्ताहरूले रिलोड गर्छन्,
1:39 र क्लाउडफ्लेयरको रिजोल्भरले सामान्य लोडको तीस गुणा देख्छ, एउटा साइटका लागि जुन त्यहाँ छैन। र ढोकाहरू। उपकरणहरू, आउट-अफ-ब्यान्ड पहुँच, ब्याचहरू: एउटै नेटवर्क। इन्जिनियरहरू डाटा केन्द्रहरूमा जान्छन्, भित्र पस्न सक्दैनन्, त्यसपछि शारीरिक पहुँच भएका जो कोही विरुद्ध कडा बनाइएका र्याकहरू भेट्छन्। आक्रमणकारीलाई ढिलो गर्न बनाइएको, यसले मालिकलाई पनि ढिलो गर्छ। ब्याकबोन फर्किन्छ; तिनीहरूले जानाजानी ट्राफिक बिस्तारै बढाउँछन्।
1:59 हरेक डाटा केन्द्रले दशौं मेगावाट छोडेको छ, र यसलाई एकै चरणमा उल्टाउनु दोस्रो आउटेज हो।
git blame — विभाजन
2:05 git blame। फेसबुक, पचपन्न प्रतिशत: आदेशको अडिट गरिएको थियो, अडिटरमा बग थियो, एउटै आदेश हरेक राउटरमा पुग्यो। DNS डिजाइन, पच्चीस: अनुपातको भावना नभएको स्वास्थ्य जाँच। एउटै नेटवर्क, पन्ध्र: उपकरणहरू, आउट-अफ-ब्यान्ड, ब्याचहरू। र्याकहरू, पाँच, आफ्नो काम गरेकोमा। विस्फोट त्रिज्या: साढे तीन अर्ब प्रयोगकर्ताहरू, लगभग छ घण्टा। स्टक पाँच प्रतिशतले घट्छ, जुकरबर्गको छ अर्ब,
विस्फोट त्रिज्या
2:27 कागजमा। टेलिग्रामले त्यस दिन सत्तरी मिलियन साइन-अप भएको दाबी गर्छ। निर्णय, पोस्टमोर्टम: NEEDS REVIEW। सोही साँझको बयान, एक दिनभित्र नाम तोकिएको लेखक पोस्टमोर्टम, अडिट-टूल बग स्पष्ट अंग्रेजीमा स्वीकार गरियो।
निर्णय + सोमबारको लाइन
2:38 समाधान सूची: परीक्षण र अभ्यासहरू बलियो बनाउने। उत्पादन नेटवर्कबाट ढोकाहरू हटाउने बारे केही छैन। सोमबार: आफ्नो आउट-अफ-ब्यान्ड पहुँच, र आफ्नो ढोका, तपाईंले सञ्चालन नगर्ने नेटवर्कमा राख्नुहोस्। तपाईंले अझै पनि कुरा गर्न अनुमति नभएको घटना मलाई पठाउनुहोस्, टिप्पणीहरूमा, वा daily diff dot dev मा। र आजको लागि यति नै diff। म Axrisi बाट Niko हुँ।
2:58 जिम्मेवारीपूर्वक मर्ज गर्नुहोस्।
स्रोतहरू
- Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
- Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
- Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
- Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
- Andy Stone (Facebook), 16:07 UTCtwitter.com
- Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
- Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
- Hacker News (2,589 points)news.ycombinator.com
- The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
- Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
- Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
- Krebs on Securitykrebsonsecurity.com



