फेसबुकने स्वतःला इंटरनेटवरून हटवले. सहा तास.

या व्हिडिओमध्ये काय समाविष्ट आहे

• फेसबुकने स्वतःचा पत्ता काढून टाकला
• पावत्या: Meta Engineering, Cloudflare, Hacker News
• हा The Daily Diff, पोस्टमॉर्टम आहे
• वेळापत्रक: 15:39 आदेश → 15:40 मागे घेतले → 21:20 परत
• यंत्रणा: तुम्हाला डिलीट करणारी आरोग्य तपासणी, 30× DNS वादळ, दरवाजे

अनुवादित प्रतिलेख

मूळ इंग्रजी निवेदनातून अनुवादित. उपलब्ध ऑडिओ आणि मथळे YouTube द्वारे नियंत्रित आहेत.

फेसबुकने स्वतःचा पत्ता काढून टाकला

0:00 फेसबुकने स्वतःचा पत्ता इंटरनेटवरून काढून टाकला, आणि जेव्हा तिचे अभियंते तो परत ठेवण्यासाठी आले, तेव्हा बॅज रीडरही बंद होते, कारण ते फेसबुकवर चालतात. मेटाचे स्वतःचे पोस्टमॉर्टम, दुसऱ्या दिवशी: एका सामान्य देखभाल आदेशामुळे प्रत्येक बॅकबोन दुवा तुटला, आणि अशा आदेशांना ब्लॉक करण्यासाठी बनवलेल्या टूलमध्ये एक बग होता.

पावत्या: Meta Engineering, Cloudflare, Hacker News

0:16 Cloudflare, बाहेरून: 15:40 UTC वाजता फेसबुकच्या नेम सर्व्हरचे मार्ग गायब झाले, आणि dig facebook.com ने ग्रहावर सर्वत्र SERVFAIL परत केले. हे कसे घडते, सुरक्षितता वैशिष्ट्य ते अधिक वाईट का करते, आणि कोणाला दोष दिला जातो. हा The Daily Diff, पोस्टमॉर्टम आहे. दुपारच्या सुरुवातीला, UTC.

हा The Daily Diff, पोस्टमॉर्टम आहे

0:34 मोकळी बॅकबोन क्षमता तपासण्यासाठी असलेला आदेश त्याऐवजी प्रत्येक दुवा फेसबुकच्या डेटा केंद्रांमध्ये बंद करतो, आणि हेच पकडण्यासाठी बनवलेले ऑडिट टूल

वेळापत्रक: 15:39 आदेश → 15:40 मागे घेतले → 21:20 परत

0:41 त्याला परवानगी देते. 15:40. Cloudflare चे BGP फीड काढण्याने भरते; फेसबुकचे DNS prefixes राउटिंग टेबल सोडतात. एका मिनिटात Cloudflare चे अभियंते एका खोलीत विचार करत होते की त्यांनी 1.1.1.1 खराब केले का. 15:45, Hacker News, सव्वीसशे गुण. 16:07, फेसबुकचा प्रवक्ता, ट्विटरवर: काही लोकांना आमच्या ॲप्समध्ये प्रवेश करण्यात अडचण येत आहे. काही लोक म्हणजे साडेतीन अब्ज.

1:06 18:51, न्यूयॉर्क टाइम्स: कर्मचाऱ्यांचे त्यांच्या इमारतींमध्ये प्रवेश बंद, बॅजेस बंद. 19:52, CTO माफी मागतात. 21:00, पाच तासांनंतर, मार्ग परत येतात; 21:20, facebook.com निराकरण होते. बॅकबोनमधील दोष फेसबुकला इंटरनेटवरून का हटवतो?

यंत्रणा: तुम्हाला डिलीट करणारी आरोग्य तपासणी, 30× DNS वादळ, दरवाजे

1:20 त्याच्या नेम सर्व्हरचा एक नियम आहे: डेटा केंद्रांपर्यंत पोहोचू शकत नाही, स्वतःला अस्वस्थ घोषित करा, तुमच्या पत्त्याची जाहिरात करणे थांबवा. एक साइट खराब झाल्यास योग्य. जेव्हा संपूर्ण बॅकबोन जातो, तेव्हा प्रत्येक नेम सर्व्हर ते एकाच वेळी करतो. सर्व्हर चालू आहेत. कोणीही त्यांना शोधू शकत नाही. एक सुरक्षितता वैशिष्ट्य नेटवर्क दोषाला अस्तित्वाच्या दोषात बदलते. मग इंटरनेटवर गर्दी होते: ॲप्स पुन्हा प्रयत्न करतात, वापरकर्ते रीलोड करतात,

1:39 आणि Cloudflare चा रिजॉल्वर त्याच्या सामान्य भाराच्या तीस पट भार पाहतो, अस्तित्वात नसलेल्या साइटसाठी. आणि दरवाजे. साधने, आउट-ऑफ-बँड ऍक्सेस, बॅजेस: समान नेटवर्क. अभियंते डेटा केंद्रांमध्ये गाडी चालवतात, प्रवेश मिळत नाही, मग रॅक भेटतात जे शारीरिक प्रवेश असलेल्या कोणासाठीही मजबूत केलेले आहेत. आक्रमणकर्त्याला धीमा करण्यासाठी बनवलेले, ते मालकालाही धीमा करते. बॅकबोन परत येतो; ते हेतुपुरस्सर, हळूहळू ट्रॅफिक वाढवतात.

1:59 प्रत्येक डेटा केंद्राने दशभर मेगावॅट कमी केले आहेत, आणि ते एकाच टप्प्यात उलट करणे ही दुसरी आउटेज आहे.

git blame — विभाजन

2:05 git blame. फेसबुक, पंचावन्न टक्के: आदेश तपासला गेला, ऑडिटरमध्ये बग होता, एका आदेशाने प्रत्येक राउटरपर्यंत पोहोचले. DNS डिझाइन, पंचवीस: प्रमाणात भान नसलेली आरोग्य तपासणी. एक नेटवर्क, पंधरा: साधने, आउट-ऑफ-बँड, बॅजेस. रॅक, पाच, त्यांचे काम केल्याबद्दल. ब्लास्ट त्रिज्या: साडेतीन अब्ज वापरकर्ते, सुमारे सहा तास. शेअर पाच टक्क्यांनी खाली बंद होतो, झुकरबर्गचे सहा अब्ज कमी,

ब्लास्ट त्रिज्या

2:27 कागदावर. त्या दिवशी टेलिग्रामने सत्तर दशलक्ष साइन-अपचा दावा केला. निकाल, पोस्टमॉर्टम: NEEDS REVIEW. त्याच संध्याकाळचे विधान, एका दिवसात नामनिर्देशित-लेखक पोस्टमॉर्टम, ऑडिट-टूल बग साध्या इंग्रजीमध्ये कबूल केला.

निकाल + सोमवारची वेळ

2:38 दुरुस्ती सूची: चाचणी आणि सरावांना बळकट करा. उत्पादन नेटवर्कवरून दरवाजे काढण्याबद्दल काहीही नाही. सोमवार: तुमचा आउट-ऑफ-बँड ऍक्सेस, आणि तुमचा दरवाजा, तुम्ही ऑपरेट करत नसलेल्या नेटवर्कवर ठेवा. तुम्ही अजूनही बोलण्याची परवानगी नसलेली घटना मला पाठवा, टिप्पण्यांमध्ये, किंवा daily diff dot dev वर. आणि हा आजचा diff आहे. मी Axrisi चा Niko आहे.

2:58 जबाबदारीने विलीन करा.

स्रोत

1. Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
2. Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
3. Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
4. Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
5. Andy Stone (Facebook), 16:07 UTCtwitter.com
6. Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
7. Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
8. Hacker News (2,589 points)news.ycombinator.com
9. The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
10. Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
11. Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
12. Krebs on Securitykrebsonsecurity.com