ഒരു അധിക ഫീൽഡ് 8.5 ദശലക്ഷം പിസികളെ തകരാറിലാക്കി. 78 മിനിറ്റ്.
ജൂലൈ 19, 2024, 04:09 UTC: ക്രൗഡ്‌സ്‌ട്രൈക്ക് വിൻഡോസ് ഫാൽക്കൺ സെൻസറുകളിലേക്ക് ചാനൽ ഫയൽ 291 — റാപ്പിഡ് റെസ്‌പോൺസ് കണ്ടന്റ് അപ്ഡേറ്റ് — അയയ്‌ക്കുന്നു.
ജൂലൈ 19, 2024, 04:09 UTC: ക്രൗഡ്‌സ്‌ട്രൈക്ക് വിൻഡോസ് ഫാൽക്കൺ സെൻസറുകളിലേക്ക് ചാനൽ ഫയൽ 291 — റാപ്പിഡ് റെസ്‌പോൺസ് കണ്ടന്റ് അപ്ഡേറ്റ് — അയയ്‌ക്കുന്നു. അത് നൽകുന്ന ടെംപ്ലേറ്റ് ഫെബ്രുവരിയിൽ 21 ഇൻപുട്ട് ഫീൽഡുകളായി പ്രഖ്യാപിച്ചു; ഇൻപുട്ടുകൾ നൽകുന്ന കോഡ് 20-ന്റെ ഒരു അറേ ഉണ്ടാക്കുന്നു. നാല് മാസത്തേക്ക് ഫീൽഡ് 21 ഒന്നും വായിക്കുന്നില്ല, കാരണം എല്ലാ നിയമങ്ങളും അതിനെ ഒരു വൈൽഡ്കാർഡായി ഉപേക്ഷിക്കുന്നു. ഈ അപ്ഡേറ്റ് അവിടെ ഒരു യഥാർത്ഥ പാറ്റേൺ ഇടുന്നു. ക്ലൗഡ്-സൈഡ് കണ്ടന്റ് വാലിഡേറ്റർ പ്രഖ്യാപനത്തിനെതിരെ 21 എണ്ണം കണക്കാക്കുകയും അത് പാസാക്കുകയും ചെയ്യുന്നു; സെൻസറിന്റെ കണ്ടന്റ് ഇന്റർപ്രെറ്റർ, ബൗണ്ടുകൾ പരിശോധിക്കാതെ, കെർണൽ മോഡിൽ സ്ലോട്ട് 21 വായിക്കുകയും വിൻഡോസ് പേജ്-ഫോൾട്ടുകൾ സംഭവിക്കുകയും ചെയ്യുന്നു: PAGE_FAULT_IN_NONPAGED_AREA, csagent.sys. ഡ്രൈവർ ബൂട്ടിന്റെ തുടക്കത്തിൽ മനഃപൂർവ്വം ലോഡ് ചെയ്യുകയും അതേ ഫയൽ വായിക്കുകയും വീണ്ടും ക്രാഷ് ചെയ്യുകയും ചെയ്യുന്നു — ബൂട്ട് ലൂപ്പ്. 05:27 UTC-ന്, 78 മിനിറ്റിനുശേഷം ഇത് മാറ്റിമറിച്ചു, പക്ഷേ 8.5 ദശലക്ഷം മെഷീനുകൾക്ക് (മൈക്രോസോഫ്റ്റിന്റെ കണക്ക്, വിൻഡോസിന്റെ 1% -ൽ താഴെ) ഇതിനകം ഫയൽ ലഭിച്ചു, കൂടാതെ ഓരോ കീബോർഡിലും ഒരു മനുഷ്യൻ മുഖേനയുള്ള ഒരു പരിഹാരമുണ്ട്: സേഫ് മോഡ്, C-00000291*.sys ഇല്ലാതാക്കുക, BitLocker റിക്കവറി കീ. എയർലൈനുകൾ, ആശുപത്രികൾ, ബാങ്കുകൾ, 911 സെന്ററുകൾ എന്നിവ നിലച്ചു; ഡെൽറ്റ ഏകദേശം 7,000 ഫ്ലൈറ്റുകൾ റദ്ദാക്കുകയും ക്രൗഡ്‌സ്‌ട്രൈക്കിൽ നിന്നും മൈക്രോസോഫ്റ്റിൽ നിന്നും കുറഞ്ഞത് $500 ദശലക്ഷം ഡോളർ നഷ്ടപരിഹാരം ആവശ്യപ്പെടുകയും ചെയ്യുന്നു; പാരാമെട്രിക്സ് ഫോർച്യൂൺ 500-ന്റെ ബിൽ ഏകദേശം $5.4 ബില്യൺ ആയി കണക്കാക്കുന്നു. ക്രൗഡ്‌സ്‌ട്രൈക്കിന്റെ സ്വന്തം റൂട്ട് കോസ് അനാലിസിസ്, പ്രിലിമിനറി പോസ്റ്റ് ഇൻസിഡന്റ് റിവ്യൂ, മൈക്രോസോഫ്റ്റിന്റെ ബ്ലോഗ്, ഡെൽറ്റയുടെ 8-K, ഹൗസ് സാക്ഷ്യം എന്നിവയിൽ നിന്നുള്ള പോസ്റ്റ്‌മോർട്ടം. ഗിറ്റ് ബ്ലെയിം: 65 ക്രൗഡ്‌സ്‌ട്രൈക്ക് / 25 കെർണൽ-മോഡ് ഡിസൈൻ / 10 വെള്ളിയാഴ്ച. പരിഹാരത്തെക്കുറിച്ചുള്ള വിധി: SHIP IT, കഷ്ടിച്ച്.
എഴുതിയ പതിപ്പ് വായിക്കുക (ഇംഗ്ലീഷ്) ↗
ഈ വീഡിയോയിൽ ഉൾപ്പെടുന്ന കാര്യങ്ങൾ
- ഫെബ്രുവരി 28 - ഏപ്രിൽ 24, 2024: സെൻസർ 7.11 ഐപിസി ടെംപ്ലേറ്റ് ടൈപ്പ് അയയ്‌ക്കുന്നു (21 ഫീൽഡുകൾ പ്രഖ്യാപിച്ചു, 20 എണ്ണം നൽകി); മാർച്ച് 5-ന് സ്ട്രെസ് ടെസ്റ്റ് പാസ്സാകുന്നു; ഫീൽഡ് 21 ഒരു വൈൽഡ്കാർഡ് ആയതിനാൽ നാല് ഉദാഹരണങ്ങൾ പ്രവർത്തിക്കുന്നു.
- ജൂലൈ 19, 04:09 UTC: രണ്ട് പുതിയ ടെംപ്ലേറ്റ് ഉദാഹരണങ്ങൾ; കണ്ടന്റ് വാലിഡേറ്ററിന്റെ ലോജിക് പിശക് നോൺ-വൈൽഡ്കാർഡ് ഒന്നിനെ കടത്തിവിടുന്നു; കെർണലിൽ ഔട്ട്-ഓഫ്-ബൗണ്ട്സ് റീഡ്; 05:27 UTC-ന് മാറ്റിമറിച്ചു.
- ജൂലൈ 19–29: മാനുവൽ പരിഹാരം (സേഫ് മോഡ്, ഫയൽ ഇല്ലാതാക്കുക, ബിറ്റ്‌ലോക്കർ കീ); ജൂലൈ 24-ഓടെ ~97% സെൻസറുകളും ജൂലൈ 29-ഓടെ ~99% സെൻസറുകളും സാധാരണ നിലയിലായി.
- ജൂലൈ 25 - ഓഗസ്റ്റ് 19: റൺടൈം ബൗണ്ടുകൾ പരിശോധിക്കുക, കംപൈൽ-ടൈം ഫീൽഡ്-കൗണ്ട് വാലിഡേഷൻ, വാലിഡേറ്റർ പരിശോധനകൾ, കാനറി + ഡിപ്ലോയ്മെന്റ് റിംഗുകൾ, റാപ്പിഡ് റെസ്‌പോൺസ് കണ്ടന്റിൽ ഉപഭോക്തൃ നിയന്ത്രണം, രണ്ട് സ്വതന്ത്ര അവലോകനങ്ങൾ; ഓഗസ്റ്റ് 6-ന് ക്രാഷ് ഡംപോടുകൂടിയ പൂർണ്ണ RCA.
വിവർത്തനം ചെയ്ത ട്രാൻസ്ക്രിപ്റ്റ്
യഥാർത്ഥ ഇംഗ്ലീഷ് ആഖ്യാനത്തിൽ നിന്ന് വിവർത്തനം ചെയ്തത്. ലഭ്യമായ ഓഡിയോയും അടിക്കുറിപ്പുകളും YouTube നിയന്ത്രിക്കുന്നു.
0:00 ഒരു സുരക്ഷാ അപ്ഡേറ്റ് ഇരുപത്തിയൊന്ന് ഫീൽഡുകൾ ഇരുപത് എണ്ണത്തിനായി നിർമ്മിച്ച ഒരു ഡ്രൈവറിലേക്ക് കൊണ്ടുവരുന്നു, എട്ടര ദശലക്ഷം വിൻഡോസ് മെഷീനുകൾ പ്രഭാതഭക്ഷണത്തിന് മുമ്പ് ബ്ലൂ-സ്‌ക്രീൻ ചെയ്യുന്നു. ജൂലൈ 19, 2024, 04:09 UTC. ക്രൗഡ്‌സ്‌ട്രൈക്ക് ചാനൽ ഫയൽ 291 എല്ലാ ഫാൽക്കൺ സെൻസറുകളിലേക്കും അയയ്‌ക്കുന്നു. എഴുപത്തിയെട്ട് മിനിറ്റിനുശേഷം അവർ അത് പിൻവലിക്കുന്നു; അപ്പോഴേക്കും എയർലൈനുകൾ, ആശുപത്രികളും ബാങ്കുകളും ഒരേ നീല ചതുരത്തിലേക്ക് നോക്കുന്നു. സിഇഒയുടെ ആദ്യ പോസ്റ്റ് ഇതൊരു സൈബർ ആക്രമണമല്ലെന്ന് പറയുന്നു, അത് ശരിയാണ്, അതല്ല വിഷയം. ഇത് എങ്ങനെ സംഭവിക്കുന്നു, എന്തുകൊണ്ട് ഇത് സാധ്യമാകുന്നു, ആർക്കാണ് കുറ്റം.
0:27 ഇതാണ് The Daily Diff, പോസ്റ്റ്‌മോർട്ടം. ഫെബ്രുവരി 28. സെൻസർ 7.11 നെയിംഡ് പൈപ്പുകൾക്കായി ഒരു പുതിയ ഡിറ്റക്ടർ അയയ്‌ക്കുന്നു. ഇത് ഇരുപത്തിയൊന്ന് ഇൻപുട്ട് ഫീൽഡുകൾ പ്രഖ്യാപിക്കുന്നു; അത് നൽകുന്ന കോഡ് ഒരു അറേ ഉണ്ടാക്കുന്നു ഇരുപത് എണ്ണത്തിന്റെ. ആരും ശ്രദ്ധിക്കുന്നില്ല: നാല് മാസത്തേക്ക് എല്ലാ നിയമങ്ങളും ഫീൽഡ് ഇരുപത്തിയൊന്നിനെ ഒരു വൈൽഡ്കാർഡായി ഉപേക്ഷിക്കുന്നു, ആരും ഒരു വൈൽഡ്കാർഡ് വായിക്കുന്നില്ല. ഒരു സ്ട്രെസ് ടെസ്റ്റ് പാസ്സാകുന്നു, നാല് നിയമങ്ങൾ അയയ്‌ക്കുന്നു, എല്ലാം ശരിയാണ്. ജൂലൈ 19, 04:09. രണ്ട് പുതിയ നിയമങ്ങൾ; ഒന്ന് ഫീൽഡ് ഇരുപത്തിയൊന്നിൽ ഒരു യഥാർത്ഥ പാറ്റേൺ ഇടുന്നു.
0:51 ക്ലൗഡ് വാലിഡേറ്റർ പ്രഖ്യാപനത്തിനെതിരെ ഇരുപത്തിയൊന്ന് എണ്ണം കണക്കാക്കുകയും ശരിയാണെന്ന് പറയുകയും ചെയ്യുന്നു. എല്ലാ ഓൺലൈൻ വിൻഡോസ് ഹോസ്റ്റുകളും ഒരേസമയം അത് ഡൗൺലോഡ് ചെയ്യുന്നു, കാരണം കാനറി റിംഗ് ഇല്ല. സെൻസർ സ്ലോട്ട് ഇരുപത്തിയൊന്ന് വായിക്കുന്നു, അത് അതിന്റെ മെമ്മറി അല്ല, കെർണലുകൾ ചെയ്യുന്ന കാര്യങ്ങൾ കെർണൽ ചെയ്യുന്നു. 05:27, മാറ്റിമറിച്ചു. റീബൂട്ട് ചെയ്തവർക്കെല്ലാം വളരെ വൈകി: ഡ്രൈവർ തുടക്കത്തിൽ ലോഡ് ചെയ്യുന്നു ബൂട്ട് ചെയ്യുക, അതേ ഫയൽ വായിക്കുക, വീണ്ടും ക്രാഷ് ചെയ്യുക. ബൂട്ട് ലൂപ്പ്. എന്തുകൊണ്ടാണ് ഇത് സാധ്യമാകുന്നത്? നിയമങ്ങൾ ക്ലൗഡിൽ നിന്ന് പുഷ് ചെയ്യുന്ന കോൺഫിഗറേഷനാണ്, അതിനാൽ കോഡ് കോഡ് ഒഴിവാക്കുന്നില്ല
1:16 പൈപ്പ്ലൈൻ. ഇന്റർപ്രെറ്ററിന് ബൗണ്ടുകൾ പരിശോധിക്കാൻ കഴിയില്ല; അത് വാലിഡേറ്ററിനെ വിശ്വസിക്കുന്നു, വാലിഡേറ്റർ പ്രഖ്യാപനത്തെ വിശ്വസിക്കുന്നു. ഇതെല്ലാം കെർണൽ മോഡിൽ പ്രവർത്തിക്കുന്നു, അവിടെ ഒരു മോശം പോയിന്റർ ഒരു അപവാദമല്ല, മറിച്ച് ഒരു പേജ് ഫോൾട്ട് വിൻഡോസ് പറയുന്നു try-except ഉപയോഗിച്ച് സംരക്ഷിക്കാൻ കഴിയില്ലെന്ന്. പാട്രിക് വാർഡ്‌ലെ അന്ന് ഉച്ചയ്ക്ക് ഒരു ക്രാഷ് ഡമ്പിൽ നിന്ന് ഇത് വായിക്കുന്നു: ഇൻഡക്സ് പൂജ്യം x പതിന്നാല്, സ്ലോട്ട് ഇരുപത്തിയൊന്ന്. പരിഹാരം മാനുവലാണ്. സേഫ് മോഡ്, C-00000291 ഇല്ലാതാക്കുക, റീബൂട്ട് ചെയ്യുക. ബിറ്റ്‌ലോക്കറിനൊപ്പം, ആദ്യം ഒരു നാൽപ്പത്തിയെട്ട് അക്ക ടൈപ്പ് ചെയ്യുക
1:43 ഒരു സെർവറിൽ സ്ഥിതിചെയ്യുന്ന റിക്കവറി കീ അതും നീലയാണ്. ഗിറ്റ് ബ്ലെയിം. ക്രൗഡ്‌സ്‌ട്രൈക്ക്, അറുപത്തിയഞ്ച് ശതമാനം: RCA ആറ് കണ്ടെത്തലുകൾ പട്ടികപ്പെടുത്തുന്നു, ആറാമത്തെ കണ്ടെത്തൽ ഒരു പൂർണ്ണ വാക്യമാണ്: ടെംപ്ലേറ്റ് ഉദാഹരണങ്ങൾക്ക് സ്റ്റേജ്ഡ് ഡിപ്ലോയ്മെന്റ് ഉണ്ടായിരിക്കണം. കെർണൽ-മോഡ് ഡിസൈൻ, ഇരുപത്തിയഞ്ച്: ക്രൗഡ്‌സ്‌ട്രൈക്ക് പറയുന്നു വിൻഡോസിന് കഴിയില്ല എന്നിട്ടും കെർണലിന് പുറത്ത് സുരക്ഷ ഹോസ്റ്റ് ചെയ്യുന്നു, മൈക്രോസോഫ്റ്റ് ഒരു മൈക്രോസോഫ്റ്റ് സംഭവമല്ലെന്ന് പറയുന്നു, പേജ് ഫോൾട്ട് ശ്രദ്ധിക്കുന്നില്ല.
2:05 വെള്ളിയാഴ്ച, പത്ത്. കമ്മിറ്റ് സന്ദേശം കോഡല്ലെന്ന് പറയുന്നു. ബ്ലാസ്റ്റ് റേഡിയസ്: എട്ടര ദശലക്ഷം ഉപകരണങ്ങൾ, വിൻഡോസിന്റെ ഒരു ശതമാനത്തിൽ താഴെ. ഡെൽറ്റ ഏഴായിരം വിമാനങ്ങൾ റദ്ദാക്കുകയും അഞ്ഞൂറ് ദശലക്ഷം ഡോളറിനായി കേസ് കൊടുക്കുകയും ചെയ്യുന്നു, മൈക്രോസോഫ്റ്റും ഉൾപ്പെടുന്നു. ഇൻഷുറൻസ് കമ്പനികൾ ഫോർച്യൂൺ 500 ബിൽ ഏകദേശം അഞ്ച് ബില്യൺ ഡോളറായി കണക്കാക്കുന്നു. ഹാക്കർ ന്യൂസ്: നാലായിരത്തി അഞ്ഞൂറ് പോയിന്റുകൾ. വിരോധാഭാസം: പുതിയ ആക്രമണ രീതികൾ കണ്ടെത്താൻ ഉദ്ദേശിച്ചുള്ള ഒരു അപ്ഡേറ്റ് ഒരെണ്ണം പുറത്തുവിട്ടു. വിധി, പോസ്റ്റ്‌മോർട്ടം: SHIP IT, കഷ്ടിച്ച്.
2:27 ആറ് ദിവസത്തിനുള്ളിൽ ബൗണ്ടുകൾ പരിശോധിക്കുക, സ്റ്റേജ്ഡ് റിംഗുകൾ, ഉള്ളടക്ക അപ്‌ഡേറ്റുകളിൽ ഉപഭോക്തൃ നിയന്ത്രണം, രണ്ട് പുറത്തുനിന്നുള്ള അവലോകനങ്ങൾ. കഷ്ടിച്ച്, കാരണം ഇതെല്ലാം ഇതിനകം ഒരു സാധാരണ നടപടിക്രമമായിരുന്നു. തിങ്കളാഴ്ച: നിങ്ങളുടെ ഏജന്റ് ക്ലൗഡിൽ നിന്ന് വലിച്ചെടുക്കുന്നതെന്തും ഒരു കാനറി റിംഗ് ലഭിക്കുന്നു. എന്തെങ്കിലും എവിടെയെങ്കിലും പാഴ്സ് ചെയ്യുമ്പോൾ കോൺഫിഗറേഷൻ കോഡായി മാറുന്നു, അവിടെ അത് തെറ്റ് വരുത്തുന്നില്ല. നിങ്ങൾക്ക് ഇപ്പോഴും സംസാരിക്കാൻ അനുവാദമില്ലാത്ത സംഭവം എനിക്ക് അയയ്ക്കുക, കമന്റുകളിൽ, അല്ലെങ്കിൽ daily diff dot dev-ൽ. അതാണ് ഇന്നത്തെ ഡിഫ്.
2:48 ഞാൻ Axrisi-ൽ നിന്നുള്ള നിക്കോ ആണ്. ഉത്തരവാദിത്തത്തോടെ ലയിപ്പിക്കുക.
ഉറവിടങ്ങൾ
- CrowdStrike, Root Cause Analysis — Channel File 291 (Aug 6, 2024, 12 pp.)www.crowdstrike.com
- CrowdStrike, Executive Summary of the RCA (Aug 6, 2024)www.crowdstrike.com
- CrowdStrike, Preliminary Post Incident Review (Jul 24, 2024)www.crowdstrike.com
- CrowdStrike, Remediation and Guidance Hub — Channel File 291 (the workaround steps)www.crowdstrike.com
- CrowdStrike, tech alert of Jul 19, 2024 (archived: Safe Mode → delete C-00000291*.sys → BitLocker key)web.archive.org
- Microsoft, David Weston, "Helping our customers through the CrowdStrike outage" (Jul 20, 2024; the 8.5 million figure)blogs.microsoft.com
- Delta Air Lines, Form 8-K (Aug 8, 2024; ~7,000 cancellations, at least $500 million)www.sec.gov
- Adam Meyers (CrowdStrike SVP), written testimony, House Homeland Security Subcommittee (Sep 24, 2024)homeland.house.gov
- George Kurtz on X, Jul 19, 2024, 09:45 UTCx.com
- Patrick Wardle on X, Jul 19, 2024 (the crash-dump index 0x14)x.com
- Hacker News, Jul 19, 2024 — "CrowdStrike Update: Windows Bluescreen and Boot Loops" (4,489 points)news.ycombinator.com
- The Guardian, Jul 24, 2024 — "CrowdStrike global outage to cost US Fortune 500 companies $5.4bn" (Parametrix estimate)www.theguardian.com
- Hacker News, Jul 21, 2024 — "Initial details about why CrowdStrike's CSAgent.sys crashed" (519 points)news.ycombinator.com
- Wikipedia — 2024 CrowdStrike-related IT outagesen.wikipedia.org
