ഫേസ്ബുക്ക് ഇൻ്റർനെറ്റിൽ നിന്ന് സ്വയം അപ്രത്യക്ഷമായി. ആറ് മണിക്കൂർ.
ഫേസ്ബുക്ക് ഇൻ്റർനെറ്റിൽ നിന്ന് അതിൻ്റെ സ്വന്തം വിലാസം നീക്കം ചെയ്തു, അത് തിരികെ സ്ഥാപിക്കാൻ എഞ്ചിനീയർമാർ എത്തിയപ്പോൾ, ബാഡ്ജ് റീഡറുകളും പ്രവർത്തനരഹിതമായി, കാരണം അവ ഫേസ്ബുക്കിലാണ് പ്രവർത്തിക്കുന്നത്.
ഫേസ്ബുക്ക് ഇൻ്റർനെറ്റിൽ നിന്ന് അതിൻ്റെ സ്വന്തം വിലാസം നീക്കം ചെയ്തു, അത് തിരികെ സ്ഥാപിക്കാൻ എഞ്ചിനീയർമാർ എത്തിയപ്പോൾ, ബാഡ്ജ് റീഡറുകളും പ്രവർത്തനരഹിതമായി, കാരണം അവ ഫേസ്ബുക്കിലാണ് പ്രവർത്തിക്കുന്നത്. 2021 ഒക്ടോബർ 4, 15:40 UTC: ഒരു പതിവ് ബാക്ക്ബോൺ മെയിൻ്റനൻസ് കമാൻഡ് ഫേസ്ബുക്കിൻ്റെ ഡാറ്റാ സെൻ്ററുകൾ തമ്മിലുള്ള എല്ലാ ലിങ്കുകളും പ്രവർത്തനരഹിതമാക്കി; അത് തടയാൻ നിർമ്മിച്ച ഓഡിറ്റ് ടൂളിന് ഒരു ബഗ് ഉണ്ടായിരുന്നു; ഡാറ്റാ സെൻ്ററുകളിൽ എത്താൻ കഴിയാതെ വന്ന ഫേസ്ബുക്കിൻ്റെ നെയിം സെർവറുകൾ, രൂപകൽപ്പന പ്രകാരം അവയുടെ BGP റൂട്ടുകൾ പിൻവലിച്ചു — അങ്ങനെ facebook.com, Instagram, WhatsApp, Messenger എന്നിവ ഏകദേശം ആറ് മണിക്കൂറോളം DNS-ൽ നിന്ന് അപ്രത്യക്ഷമായി. ഇൻ്റേണൽ ടൂളുകൾ, ഔട്ട്-ഓഫ്-ബാൻഡ് ആക്സസ്, ഓഫീസ് ബാഡ്ജുകൾ എന്നിവയെല്ലാം ഒരേ നെറ്റ്വർക്കിൽ ആയതിനാൽ, പ്രശ്നം പരിഹരിക്കാൻ ആളുകൾക്ക് റാക്കുകളിൽ എത്തേണ്ടി വന്നു.
എഴുതിയ പതിപ്പ് വായിക്കുക (ഇംഗ്ലീഷ്) ↗
ഈ വീഡിയോയിൽ ഉൾപ്പെടുന്ന കാര്യങ്ങൾ
- ഫേസ്ബുക്ക് അതിൻ്റെ സ്വന്തം വിലാസം നീക്കം ചെയ്യുന്നു
- തെളിവുകൾ: Meta Engineering, Cloudflare, Hacker News
- ഇത് The Daily Diff, പോസ്റ്റ്മോർട്ടം
- ടൈംലൈൻ: 15:39 കമാൻഡ് → 15:40 പിൻവലിച്ചു → 21:20 തിരികെ
- മെക്കാനിസം: നിങ്ങളെ ഇല്ലാതാക്കുന്ന ഹെൽത്ത് ചെക്ക്, 30× DNS കൊടുങ്കാറ്റ്, വാതിലുകൾ
ചോദ്യോത്തരങ്ങൾ
2021 ഒക്ടോബറിലുണ്ടായ Facebook, Instagram, WhatsApp എന്നിവയുടെ തകർച്ചയ്ക്ക് കാരണമെന്താണ്?
സാധാരണയായി ചെയ്യുന്ന ബാക്ക്ബോൺ മെയിന്റനൻസ് കമാൻഡ് Facebook-ൻ്റെ ഡാറ്റാ സെന്ററുകൾക്കിടയിലുള്ള എല്ലാ ലിങ്കുകളും തകരാറിലാക്കി. അത്തരം കമാൻഡുകൾ തടയാൻ ഉദ്ദേശിച്ചുള്ള ഓഡിറ്റ് ടൂളിന് ഒരു ബഗ് ഉണ്ടായിരുന്നു. Meta-യുടെ എഞ്ചിനീയറിംഗ് റിപ്പോർട്ട് അനുസരിച്ച്, അത് ഡാറ്റാ സെന്ററുകളെ പരസ്പരം വിച്ഛേദിച്ചു. 15:40 UTC-ഓടെ Cloudflare Facebook-ൻ്റെ നെയിം സെർവറുകളിലേക്കുള്ള റൂട്ടുകൾ പിൻവലിക്കുന്നത് കണ്ടു, facebook.com 21:20-ന് വീണ്ടും പ്രവർത്തിക്കുന്നതുവരെ SERVFAIL എന്ന് കാണിച്ചു.
എന്തുകൊണ്ടാണ് Facebook-ൻ്റെ DNS സെർവറുകൾ ഇൻ്റർനെറ്റിൽ നിന്ന് സ്വയം നീക്കം ചെയ്തത്?
ഡാറ്റാ സെന്ററുകളിൽ എത്താൻ കഴിയാതെ വരുമ്പോൾ സ്വന്തം BGP റൂട്ടുകൾ പിൻവലിക്കാൻ നെയിം സെർവറുകൾ രൂപകൽപ്പന ചെയ്തിരുന്നു. ഒരു സൈറ്റ് പരാജയപ്പെടുമ്പോൾ ആ നിയമം യുക്തിസഹമാണ്. മുഴുവൻ ബാക്ക്ബോണും പരാജയപ്പെട്ടപ്പോൾ, ഓരോ നെയിം സെർവറും ഒരേ സമയം സ്വയം അനാരോഗ്യകരമാണെന്ന് പ്രഖ്യാപിക്കുകയും അതിൻ്റെ വിലാസം പരസ്യം ചെയ്യുന്നത് നിർത്തുകയും ചെയ്തു. സെർവറുകൾ പ്രവർത്തിക്കുന്നുണ്ടായിരുന്നു, പക്ഷേ ആർക്കും അവ കണ്ടെത്താനായില്ല.
എന്തുകൊണ്ടാണ് Facebook എഞ്ചിനീയർമാർക്ക് വിദൂരമായി തകരാർ പരിഹരിക്കാൻ കഴിയാതിരുന്നത്?
ആന്തരിക ഉപകരണങ്ങൾ, ഔട്ട്-ഓഫ്-ബാൻഡ് ആക്സസ്, ഓഫീസ് ബാഡ്ജ് റീഡറുകൾ എന്നിവയെല്ലാം പരാജയപ്പെട്ട അതേ നെറ്റ്വർക്കിലാണ് പ്രവർത്തിച്ചിരുന്നത്. എഞ്ചിനീയർമാർക്ക് ഡാറ്റാ സെന്ററുകളിലേക്ക് പോകേണ്ടിവന്നു, അവിടെ റാക്കുകൾക്ക് ഭൗതികമായി ആക്സസ് ഉള്ള ആർക്കും പ്രവേശിക്കാൻ കഴിയാത്തവിധം സുരക്ഷാ ക്രമീകരണങ്ങൾ ഉണ്ടായിരുന്നു. 18:51 UTC-ന് ബാഡ്ജുകൾ പ്രവർത്തിക്കാത്തതുകൊണ്ട് ജീവനക്കാർക്ക് കെട്ടിടങ്ങളിൽ പ്രവേശിക്കാൻ കഴിഞ്ഞില്ലെന്ന് The New York Times റിപ്പോർട്ട് ചെയ്തു.
Facebook തകരാർ ഇൻ്റർനെറ്റിൻ്റെ മറ്റ് ഭാഗങ്ങളെ എങ്ങനെ ബാധിച്ചു?
ആപ്പുകൾ വീണ്ടും ശ്രമിക്കുകയും ഉപയോക്താക്കൾ റീലോഡ് ചെയ്യുകയും ചെയ്തു, അതിനാൽ Cloudflare-ൻ്റെ റിസോൾവർ എത്താൻ കഴിയാത്ത ഒരു സൈറ്റിനായി സാധാരണ ലോഡിൻ്റെ മുപ്പത് മടങ്ങ് കണ്ടു. ഈ സംഭവം ഏകദേശം ആറ് മണിക്കൂറോളം മൂന്നര ബില്യൺ ഉപയോക്താക്കളെ ബാധിച്ചു. അന്ന് എഴുപത് ദശലക്ഷം ആളുകൾ ടെലിഗ്രാമിൽ സൈൻ അപ്പ് ചെയ്തതായും ഇത് റിപ്പോർട്ട് ചെയ്യുന്നു.
Facebook-ൻ്റെ പോസ്റ്റ്മോർട്ടം തകരാറിന് പിന്നിലെ അടിസ്ഥാന പ്രശ്നങ്ങൾ പരിഹരിച്ചോ?
The Daily Diff-ൻ്റെ വിധി NEEDS REVIEW എന്നായിരുന്നു. Facebook അതേ വൈകുന്നേരം ഒരു പ്രസ്താവന പുറത്തിറക്കി, ഒരു ദിവസത്തിനുള്ളിൽ പേരുള്ള ഒരു രചയിതാവിൻ്റെ പോസ്റ്റ്മോർട്ടം പ്രസിദ്ധീകരിച്ചു, ഓഡിറ്റ്-ടൂൾ ബഗ് വ്യക്തമായ ഇംഗ്ലീഷിൽ സമ്മതിച്ചു. ഇതിൻ്റെ പരിഹാര പട്ടിക ശക്തമായ പരിശോധനയിലും പരിശീലനങ്ങളിലും ശ്രദ്ധ കേന്ദ്രീകരിച്ചു, ഉൽപ്പാദന നെറ്റ്വർക്കിൽ നിന്ന് വാതിലുകൾ നീക്കം ചെയ്യുന്നതിനെക്കുറിച്ച് ഒന്നും പറഞ്ഞില്ല. നിങ്ങൾ പ്രവർത്തിപ്പിക്കാത്ത ഒരു നെറ്റ്വർക്കിൽ ഔട്ട്-ഓഫ്-ബാൻഡ് ആക്സസ് നൽകാൻ ഈ സംഭവം നിർദ്ദേശിക്കുന്നു.
വിവർത്തനം ചെയ്ത ട്രാൻസ്ക്രിപ്റ്റ്
യഥാർത്ഥ ഇംഗ്ലീഷ് ആഖ്യാനത്തിൽ നിന്ന് വിവർത്തനം ചെയ്തത്. ലഭ്യമായ ഓഡിയോയും അടിക്കുറിപ്പുകളും YouTube നിയന്ത്രിക്കുന്നു.
ഫേസ്ബുക്ക് അതിൻ്റെ സ്വന്തം വിലാസം നീക്കം ചെയ്യുന്നു
0:00 ഫേസ്ബുക്ക് ഇൻ്റർനെറ്റിൽ നിന്ന് അതിൻ്റെ സ്വന്തം വിലാസം നീക്കം ചെയ്യുന്നു, അതിൻ്റെ എഞ്ചിനീയർമാർ അത് തിരികെ സ്ഥാപിക്കാൻ എത്തുമ്പോൾ, ബാഡ്ജ് റീഡറുകളും പ്രവർത്തനരഹിതമാണ്, കാരണം അവ ഫേസ്ബുക്കിലാണ് പ്രവർത്തിക്കുന്നത്. മെറ്റായുടെ സ്വന്തം പോസ്റ്റ്മോർട്ടം, അടുത്ത ദിവസം: ഒരു പതിവ് മെയിൻ്റനൻസ് കമാൻഡ് എല്ലാ ബാക്ക്ബോൺ ലിങ്കുകളും പ്രവർത്തനരഹിതമാക്കുന്നു, അത്തരം കമാൻഡുകൾ തടയാൻ നിർമ്മിച്ച ടൂളിന് ഒരു ബഗ് ഉണ്ട്.
തെളിവുകൾ: Meta Engineering, Cloudflare, Hacker News
0:16 Cloudflare, പുറത്തു നിന്ന്: 15:40 UTC-ന് ഫേസ്ബുക്കിൻ്റെ നെയിം സെർവറുകളിലേക്കുള്ള റൂട്ടുകൾ അപ്രത്യക്ഷമാകുന്നു, dig facebook.com പ്ലാനറ്റിൽ എല്ലായിടത്തും SERVFAIL എന്ന് തിരികെ നൽകുന്നു. അതെങ്ങനെ സംഭവിക്കുന്നു, എന്തുകൊണ്ടാണ് ഒരു സുരക്ഷാ ഫീച്ചർ അതിനെ കൂടുതൽ വഷളാക്കുന്നത്, ആർക്കാണ് കുറ്റം. ഇത് The Daily Diff, പോസ്റ്റ്മോർട്ടം. ഉച്ചയ്ക്ക് ശേഷം, UTC.
ഇത് The Daily Diff, പോസ്റ്റ്മോർട്ടം
0:34 ഫ്രീ ബാക്ക്ബോൺ ശേഷി പരിശോധിക്കാൻ ഉദ്ദേശിച്ച ഒരു കമാൻഡ് അതിനുപകരം ഫേസ്ബുക്കിൻ്റെ ഡാറ്റാ സെൻ്ററുകൾ തമ്മിലുള്ള എല്ലാ ലിങ്കുകളും പ്രവർത്തനരഹിതമാക്കുന്നു, ഇത് കൃത്യമായി പിടിക്കാൻ നിർമ്മിച്ച ഓഡിറ്റ് ടൂൾ
ടൈംലൈൻ: 15:39 കമാൻഡ് → 15:40 പിൻവലിച്ചു → 21:20 തിരികെ
0:41 അതിന് അനുമതി നൽകുന്നു. 15:40. Cloudflare-ൻ്റെ BGP ഫീഡ് പിൻവലിക്കലുകൾ കൊണ്ട് നിറയുന്നു; ഫേസ്ബുക്കിൻ്റെ DNS പ്രിഫിക്സുകൾ റൂട്ടിംഗ് പട്ടികയിൽ നിന്ന് പുറത്തുപോകുന്നു. ഒരു മിനിറ്റിനുള്ളിൽ Cloudflare-ൻ്റെ എഞ്ചിനീയർമാർ 1.1.1.1 അവർ തകർത്തോ എന്ന് ആശ്ചര്യപ്പെട്ട് ഒരു മുറിയിലാണ്. 15:45, Hacker News, രണ്ടായിരത്തി അറുന്നൂറ് പോയിൻ്റുകൾ. 16:07, ഫേസ്ബുക്കിൻ്റെ വക്താവ്, എല്ലാ സ്ഥലങ്ങളിലും വെച്ച് Twitter-ൽ: ചില ആളുകൾക്ക് ഞങ്ങളുടെ ആപ്പുകൾ ആക്സസ് ചെയ്യാൻ ബുദ്ധിമുട്ടുണ്ട്. ചില ആളുകൾ എന്നത് മുന്നര ബില്യൺ ആണ്.
1:06 18:51, The New York Times: ജീവനക്കാർക്ക് അവരുടെ കെട്ടിടങ്ങളിൽ നിന്ന് പുറത്താക്കി, ബാഡ്ജുകൾ പ്രവർത്തനരഹിതമായി. 19:52, CTO മാപ്പ് പറയുന്നു. 21:00, അഞ്ച് മണിക്കൂറിന് ശേഷം, റൂട്ടുകൾ തിരികെ വരുന്നു; 21:20, facebook.com പരിഹരിക്കുന്നു. എന്തുകൊണ്ടാണ് ഒരു ബാക്ക്ബോൺ തകരാർ ഫേസ്ബുക്കിനെ ഇൻ്റർനെറ്റിൽ നിന്ന് ഇല്ലാതാക്കുന്നത്?
മെക്കാനിസം: നിങ്ങളെ ഇല്ലാതാക്കുന്ന ഹെൽത്ത് ചെക്ക്, 30× DNS കൊടുങ്കാറ്റ്, വാതിലുകൾ
1:20 അതിൻ്റെ നെയിം സെർവറുകൾക്ക് ഒരു നിയമമുണ്ട്: ഡാറ്റാ സെൻ്ററുകളിൽ എത്താൻ കഴിയില്ലെങ്കിൽ, നിങ്ങൾ അനാരോഗ്യകരമാണെന്ന് പ്രഖ്യാപിക്കുക, നിങ്ങളുടെ വിലാസം പരസ്യം ചെയ്യുന്നത് നിർത്തുക. ഒരു സൈറ്റ് മോശമാകുമ്പോൾ ഇത് ന്യായമാണ്. മുഴുവൻ ബാക്ക്ബോണും പോകുമ്പോൾ, എല്ലാ നെയിം സെർവറുകളും അത് ഒരേസമയം ചെയ്യുന്നു. സെർവറുകൾ പ്രവർത്തനക്ഷമമാണ്. ആർക്കും അവരെ കണ്ടെത്താൻ കഴിയുന്നില്ല. ഒരു സുരക്ഷാ ഫീച്ചർ ഒരു നെറ്റ്വർക്ക് തകരാറിനെ ഒരു അസ്തിത്വ തകരാറാക്കി മാറ്റുന്നു. പിന്നീട് ഇൻ്റർനെറ്റ് കുമിഞ്ഞു കൂടുന്നു: ആപ്പുകൾ വീണ്ടും ശ്രമിക്കുന്നു, ഉപയോക്താക്കൾ റീലോഡ് ചെയ്യുന്നു,
1:39 Cloudflare-ൻ്റെ റിസോൾവർ അതിൻ്റെ സാധാരണ ലോഡിൻ്റെ മുപ്പത് ഇരട്ടി കാണുന്നു, അവിടെയില്ലാത്ത ഒരു സൈറ്റിന് വേണ്ടി. വാതിലുകളും. ടൂളുകൾ, ഔട്ട്-ഓഫ്-ബാൻഡ് ആക്സസ്, ബാഡ്ജുകൾ: ഒരേ നെറ്റ്വർക്ക്. എഞ്ചിനീയർമാർ ഡാറ്റാ സെൻ്ററുകളിലേക്ക് ഡ്രൈവ് ചെയ്യുന്നു, പ്രവേശിക്കാൻ കഴിയുന്നില്ല, പിന്നീട് ഫിസിക്കൽ ആക്സസ് ഉള്ള ആർക്കും എതിരായി ഉറപ്പിച്ച റാക്കുകളെ കണ്ടുമുട്ടുന്നു. ഒരു അക്രമിയെ മന്ദഗതിയിലാക്കാൻ നിർമ്മിച്ചത്, അത് ഉടമയെയും മന്ദഗതിയിലാക്കുന്നു. ബാക്ക്ബോൺ തിരികെ വരുന്നു; അവർ ട്രാഫിക് സാവധാനം വർദ്ധിപ്പിക്കുന്നു, മനഃപൂർവ്വം.
1:59 ഓരോ ഡാറ്റാ സെൻ്ററും പതിനായിരക്കണക്കിന് മെഗാവാട്ട് കുറച്ചിട്ടുണ്ട്, ഒറ്റയടിക്ക് അത് തിരികെ കൊണ്ടുവരുന്നത് രണ്ടാമത്തെ തകരാറാണ്.
git blame — വിഭജനം
2:05 git blame. ഫേസ്ബുക്ക്, അമ്പത്തിയഞ്ച് ശതമാനം: കമാൻഡ് ഓഡിറ്റ് ചെയ്തു, ഓഡിറ്ററിന് ബഗ് ഉണ്ടായിരുന്നു, ഒരു കമാൻഡ് എല്ലാ റൂട്ടറുകളിലും എത്തി. DNS രൂപകൽപ്പന, ഇരുപത്തിയഞ്ച്: അനുപാതബോധമില്ലാത്ത ഒരു ഹെൽത്ത് ചെക്ക്. ഒരു നെറ്റ്വർക്ക്, പതിനഞ്ച്: ടൂളുകൾ, ഔട്ട്-ഓഫ്-ബാൻഡ്, ബാഡ്ജുകൾ. റാക്കുകൾ, അഞ്ച്, അവരുടെ ജോലി ചെയ്തതിന്. സ്ഫോടന പരിധി: മുന്നര ബില്യൺ ഉപയോക്താക്കൾ, ഏകദേശം ആറ് മണിക്കൂർ. ഓഹരി അഞ്ച് ശതമാനം ഇടിഞ്ഞു, സക്കർബർഗിന് ആറ് ബില്യൺ നഷ്ടം,
സ്ഫോടന പരിധി
2:27 കടലാസിൽ. അന്ന് ടെലിഗ്രാം എഴുപത് ദശലക്ഷം സൈൻ-അപ്പുകൾ അവകാശപ്പെടുന്നു. വിധി, പോസ്റ്റ്മോർട്ടം: NEEDS REVIEW. അതേ സായാഹ്നത്തിലെ പ്രസ്താവന, ഒരു ദിവസത്തിനുള്ളിൽ പേരുള്ള രചയിതാവിൻ്റെ പോസ്റ്റ്മോർട്ടം, ഓഡിറ്റ്-ടൂൾ ബഗ് വ്യക്തമായി സമ്മതിച്ചു.
വിധി + തിങ്കളാഴ്ചത്തെ ലൈൻ
2:38 പരിഹാര പട്ടിക: പരിശോധനയും ഡ്രില്ലുകളും ശക്തിപ്പെടുത്തുക. പ്രൊഡക്ഷൻ നെറ്റ്വർക്കിൽ നിന്ന് വാതിലുകൾ നീക്കം ചെയ്യുന്നതിനെക്കുറിച്ച് ഒന്നുമില്ല. തിങ്കളാഴ്ച: നിങ്ങളുടെ ഔട്ട്-ഓഫ്-ബാൻഡ് ആക്സസ്സും നിങ്ങളുടെ വാതിലും നിങ്ങൾ പ്രവർത്തിക്കാത്ത ഒരു നെറ്റ്വർക്കിൽ സ്ഥാപിക്കുക. നിങ്ങൾക്ക് ഇപ്പോഴും സംസാരിക്കാൻ അനുവാദമില്ലാത്ത സംഭവം എനിക്ക് അയക്കുക, കമൻ്റുകളിൽ, അല്ലെങ്കിൽ the daily diff dot dev-ൽ. അതാണ് ഇന്നത്തെ diff. ഞാൻ Axrisi-ൽ നിന്നുള്ള Niko ആണ്.
2:58 Merge responsibly.
ഉറവിടങ്ങൾ
- Meta Engineering, "More details about the October 4 outage" (Santosh Janardhan, Oct 5, 2021)engineering.fb.com
- Meta Engineering, "Update about the October 4th outage" (Oct 4, 2021)engineering.fb.com
- Cloudflare, "Understanding how Facebook disappeared from the Internet" (Oct 4, 2021)blog.cloudflare.com
- Mark Zuckerberg, note to employees (Oct 5, 2021)www.facebook.com
- Andy Stone (Facebook), 16:07 UTCtwitter.com
- Sheera Frenkel (NYT), 18:51 UTC, the badgestwitter.com
- Mike Schroepfer (Facebook CTO), 19:52 UTCtwitter.com
- Hacker News (2,589 points)news.ycombinator.com
- The New York Times, "Gone in Minutes, Out for Hours"www.nytimes.com
- Forbes, "Zuckerberg Loses $5.9B in a Day" (estimate)www.forbes.com
- Reuters, Telegram's 70 million sign-ups (Durov's figure)www.reuters.com
- Krebs on Securitykrebsonsecurity.com



