አንድ ተጨማሪ መስክ 8.5 ሚሊዮን ፒሲዎችን አበላሸ። 78 ደቂቃዎች።
ጁላይ 19, 2024, 04:09 UTC: CrowdStrike የቻናል ፋይል 291 — የራፒድ ሪስፖንስ ኮንቴንት ማዘመኛ — ሁሉንም የዊንዶውስ ፋልኮን ሴንሰር ኦንላይን ይልካል። የሚያቀርበው አብነት በየካቲት ወር በ21 የግብዓት መስኮች ተገልጿል፤ ግብዓቶቹን የሚያቀርበው ኮድ የ20 ድርድር ይገነባል። ለአራት ወራት ማንም መስክ 21ን አያነብም፣ ምክንያቱም እያንዳንዱ ህግ እንደ ዋይልድካርድ ስለሚተወው። ይህ ዝማኔ እውነተኛ ቅደም ተከተል ያስቀምጣል። የደመናው ኮንቴንት ቫሊደተር በምልክቱ ላይ 21ን ይቆጥራል እና ያልፋል፤ የሴንሰሩ ኮንቴንት ኢንተርፕሪተር፣ ያለ ወሰን ፍተሻ፣ ስሎት 21ን በከርነል ሞድ ያነባል እና ዊንዶውስ ገጽ-ስህተቶችን ያሳያል፡ PAGE_FAULT_IN_NONPAGED_AREA, csagent.sys.
ጁላይ 19, 2024, 04:09 UTC: CrowdStrike የቻናል ፋይል 291 — የራፒድ ሪስፖንስ ኮንቴንት ማዘመኛ — ሁሉንም የዊንዶውስ ፋልኮን ሴንሰር ኦንላይን ይልካል። የሚያቀርበው አብነት በየካቲት ወር በ21 የግብዓት መስኮች ተገልጿል፤ ግብዓቶቹን የሚያቀርበው ኮድ የ20 ድርድር ይገነባል። ለአራት ወራት ማንም መስክ 21ን አያነብም፣ ምክንያቱም እያንዳንዱ ህግ እንደ ዋይልድካርድ ስለሚተወው። ይህ ዝማኔ እውነተኛ ቅደም ተከተል ያስቀምጣል። የደመናው ኮንቴንት ቫሊደተር በምልክቱ ላይ 21ን ይቆጥራል እና ያልፋል፤ የሴንሰሩ ኮንቴንት ኢንተርፕሪተር፣ ያለ ወሰን ፍተሻ፣ ስሎት 21ን በከርነል ሞድ ያነባል እና ዊንዶውስ ገጽ-ስህተቶችን ያሳያል፡ PAGE_FAULT_IN_NONPAGED_AREA, csagent.sys. ነጂው ሆን ተብሎ በማስነሳት መጀመሪያ ላይ ይጫናል፣ ተመሳሳይ ፋይል ያነባል፣ እንደገና ይበላሻል — የማስነሳት ምልልስ። በ05:27 UTC፣ ከ78 ደቂቃዎች በኋላ ተመልሷል፣ ነገር ግን 8.5 ሚሊዮን ማሽኖች (የማይክሮሶፍት ቆጠራ፣ ከ1% በታች የዊንዶውስ) ፋይሉን አስቀድመው አግኝተዋል፣ እና መፍትሄው በእያንዳንዱ ኪቦርድ ላይ ያለ ሰው ነው፡ ሴፍ ሞድ፣ C-00000291*.sys መሰረዝ፣ BitLocker መልሶ ማግኛ ቁልፍ። አየር መንገዶች፣ ሆስፒታሎች፣ ባንኮች እና 911 ማዕከሎች ይቆማሉ፤ ዴልታ ወደ 7,000 የሚጠጉ በረራዎችን ሰርዟል እና ከCrowdStrike እና Microsoft ቢያንስ 500 ሚሊዮን ዶላር ይጠይቃል፤ Parametrix የFortune 500 ሂሳብን ወደ 5.4 ቢሊዮን ዶላር ያቀርባል። የድህረ ሞት ትንታኔ ከCrowdStrike የራሱ Root Cause Analysis፣ የPreliminary Post Incident Review፣ የማይክሮሶፍት ብሎግ፣ የዴልታ 8-K እና የሃውስ ምስክርነት የተወሰደ። Git blame: 65 CrowdStrike / 25 የከርነል-ሞድ ዲዛይን / 10 አርብ። በመፍትሄው ላይ ያለው ፍርድ፡ SHIP IT, በጠባብ።
ይህ ቪዲዮ ምን ይሸፍናል
- የካቲት 28 – ሚያዝያ 24, 2024: ሴንሰር 7.11 የIPC አብነት አይነትን ይልካል (21 መስኮች ተገልጸዋል, 20 ቀርበዋል); የጭንቀት ሙከራ መጋቢት 5 ያልፋል; አራት ምሳሌዎች ይሰራሉ ምክንያቱም መስክ 21 ዋይልድካርድ ነው
- ጁላይ 19, 04:09 UTC: ሁለት አዲስ የአብነት ምሳሌዎች; የይዘት ማረጋገጫ አመክንዮ ስህተት ዋይልድካርድ ያልሆነውን እንዲያልፍ ይፈቅዳል; በከርነል ውስጥ ከወሰን በላይ ንባብ; 05:27 UTC ተመልሷል
- ጁላይ 19–29: በእጅ ማስተካከያ (ሴፍ ሞድ, ፋይሉን መሰረዝ, BitLocker ቁልፍ); ~97% ሴንሰሮች በጁላይ 24 ይመለሳሉ, ~99% በጁላይ 29
- ጁላይ 25 – ነሐሴ 19: የሩንታይም ወሰን ፍተሻ, የኮምፓይል-ጊዜ መስክ-ቆጠራ ማረጋገጫ, የማረጋገጫ ፍተሻዎች, ካናሪ + የትግበራ ቀለበቶች, የደንበኞች ቁጥጥር በፈጣን ምላሽ ይዘት ላይ, ሁለት ገለልተኛ ግምገማዎች; ሙሉ RCA ከክራሽ ድምፕ ጋር ነሐሴ 6
ጥያቄዎች እና መልሶች
የጁላይ 2024 የCrowdStrike ዝመና የዊንዶውስ ኮምፒተሮችን እንዲበላሽ ያደረገው ምንድን ነው?
የይዘት ማዘመኛ ከሴንሰሩ ኮድ ከሚጠበቀው ያነሰ ግብአት አቅርቧል። በCrowdStrike የስር መንስኤ ትንተና መሰረት፣ አብነቱ በ21 ግብአት መስኮች ሲገለጽ፣ እሱን የሚመገበው ኮድ የ20 ድርድር ፈጠረ። የጁላይ 19 ዝመና በመስክ 21 ላይ ትክክለኛ ስርዓተ-ጥለት አስገብቷል፣ እና ሴንሰሩ በከርነል ሞድ ውስጥ ድርደሩን አልፎ በማንበብ የገጽ ስህተት አስከትሏል።
የCrowdStrike የይዘት ማረጋገጫ ከወሰን ውጭ ያለውን ንባብ ለምን አላገኘም?
የማረጋገጫ መሳሪያው ይዘቱን ከአብነት መግለጫው ጋር አነጻጽሮታል፣ እና መግለጫው 21 መስኮች እንዳሉት ተናግሯል። የደመናው የይዘት ማረጋገጫ መሳሪያ 21 መስኮችን በመቁጠር ፋይሉን አሳልፏል። የሴንሰሩ የይዘት ተርጓሚ ምንም የወሰን ፍተሻ ስላልነበረው፣ የማረጋገጫ መሳሪያውን አመነ፣ እና የማረጋገጫ መሳሪያው መግለጫውን አመነ። ለአራት ወራት ቀደም ባሉት ህጎች መስክ 21 እንደ ዋይልድካርድ ተትቶ ነበር፣ ስለዚህ ምንም ነገር እስካሁን አላነበበውም።
የተጎዱ የዊንዶውስ ማሽኖች CrowdStrike መጥፎውን ዝመና ካስወገደ በኋላም ለምን መበላሸታቸውን ቀጠሉ?
ሾፌሩ ቡት በሚጀምርበት ጊዜ ቀድሞ ይጫናል እና ተመሳሳይ የቻናል ፋይል ያነባል፣ ስለዚህ የተቀበለው ማንኛውም ማሽን በእያንዳንዱ ዳግም ማስጀመር ላይ እንደገና ይበላሻል። CrowdStrike ፋይሉን በ05:27 UTC፣ ከታተመ ከ78 ደቂቃዎች በኋላ መልሶታል። ማገገሚያው በእጅ የሚደረግ ሲሆን፣ ሴፍ ሞድ፣ C-00000291*.sys መሰረዝ እና፣ ከBitLocker ጋር፣ የመልሶ ማግኛ ቁልፍ ያስፈልገው ነበር።
የCrowdStrike መቋረጥ ምን ያህል ትልቅ ተጽዕኖ አሳድሯል?
ማይክሮሶፍት 8.5 ሚሊዮን የተጎዱ የዊንዶውስ ማሽኖችን፣ ከዊንዶውስ መሳሪያዎች 1% በታች መሆኑን ቆጥሯል። ዴልታ ኤር ላይንስ ወደ 7,000 የሚጠጉ በረራዎች መሰረዛቸውን እና በForm 8-K ውስጥ ከCrowdStrike እና ማይክሮሶፍት ቢያንስ 500 ሚሊዮን ዶላር እንደጠየቀ ተናግሯል። ዘ ጋርዲያን የፓራሜትሪክስ ግምት ፎርቹን 500 ኩባንያዎችን ወደ 5.4 ቢሊዮን ዶላር እንዳስወጣ ዘግቧል።
የCrowdStrike መጠገኛ በደመና ለሚሰራጭ የደህንነት ይዘት ደህንነቱን ለማረጋገጥ በቂ ነው?
የDaily Diff ፍርድ SHIP IT ነበር፣ ትንሽ ለጥቂት። CrowdStrike የሩንታይም ወሰን ፍተሻ፣ ደረጃ በደረጃ የሚሰራጩ ቀለበቶች፣ ደንበኞች በይዘት ዝመናዎች ላይ ያላቸው ቁጥጥር እና ሁለት ገለልተኛ ግምገማዎችን ጨምሯል። ትዕይንቱ ትንሽ ለጥቂት ነው የሚለው ይህ ሁሉ ቀድሞውንም መደበኛ አሰራር ስለነበር ነው። ምክሩ ወኪል ከደመና የሚያወጣው ማንኛውም ነገር በመጀመሪያ በካናሪ ቀለበት ውስጥ ማለፍ አለበት።
የተተረጎመ ግልባጭ
ከዋናው የእንግሊዝኛ ትረካ የተተረጎመ። የሚገኙ ኦዲዮ እና መግለጫ ጽሑፎች በYouTube ቁጥጥር ስር ናቸው።
0:00 አንድ የደህንነት ዝመና ሃያ አንድ መስኮችን ሃያ ለተገነባው ነጂ ያስተላልፋል። እና ስምንት ተኩል ሚሊዮን የዊንዶውስ ማሽኖች ቁርስ በፊት ሰማያዊ ስክሪን ያሳያሉ። ጁላይ 19, 2024, 04:09 UTC። CrowdStrike ቻናል ፋይል 291ን ወደ ሁሉም ፋልኮን ሴንሰር ይልካል። ሰባ ስምንት ደቂቃ በኋላ ይሰርዙታል; በዚያን ጊዜ አየር መንገዶች፣ ሆስፒታሎች እና ባንኮች ተመሳሳይ ሰማያዊ አራት ማዕዘን ይመለከታሉ። የዋና ስራ አስፈፃሚው የመጀመሪያ ልጥፍ የሳይበር ጥቃት አይደለም ይላል፣ እውነት ነው፣ እና ነጥቡም አይደለም። እንዴት እንደሚሆን፣ ለምን እንደሚቻል፣ እና ጥፋተኛው ማን ነው።
0:27 ይህ The Daily Diff፣ ድህረ ሞት ትንታኔ ነው። የካቲት 28። ሴንሰር 7.11 ለተሰየሙ ቧንቧዎች አዲስ መመርመሪያ ይልካል። ሃያ አንድ የግብዓት መስኮችን ይገልጻል፤ ግብዓቶቹን የሚያቀርበው ኮድ የ ሃያ ድርድር ይገነባል። ማንም አያስተውልም፡ ለአራት ወራት እያንዳንዱ ህግ መስክ ሃያ አንድን እንደ ዋይልድካርድ ይተዋል፣ እና ማንም ዋይልድካርድ አያነብም። የጭንቀት ሙከራ ያልፋል፣ አራት ህጎች ይለቀቃሉ፣ ሁሉም ደህና ናቸው። ጁላይ 19፣ 04:09። ሁለት አዲስ ህጎች፤ አንዱ እውነተኛ ቅደም ተከተል በመስክ ሃያ አንድ ያስቀምጣል።
0:51 የደመናው ማረጋገጫ ሰጪ ሃያ አንድን ከማብራሪያው ጋር ይቆጥራል እና ደህና ይላል። ሁሉም የመስመር ላይ ዊንዶውስ አስተናጋጆች ወዲያውኑ ያወርዱታል፣ ምክንያቱም የካናሪ ቀለበት የለም። ሴንሰሩ ስሎት ሃያ አንድን ያነባል፣ ይህም የማስታወሻው አይደለም፣ እና ከርነል ከርነሎች የሚያደርጉትን ያደርጋል። 05:27፣ ተመልሷል። እንደገና ለጀመረ ማንኛውም ሰው በጣም ዘግይቷል፡ ነጂው በማስነሳት መጀመሪያ ላይ ይጫናል ፣ ተመሳሳይ ፋይል ያነባል፣ እና እንደገና ይበላሻል። የማስነሳት ምልልስ። ይህ እንዴት ሊሆን ቻለ? ህጎቹ ከደመና የሚገፉ ውቅሮች ናቸው፣ ስለዚህ ኮድ የኮድ
1:16 ፓይፕላይኑን አይዘልም። አስተርጓሚው የወሰን ፍተሻ የለውም፤ ማረጋገጫ ሰጪውን ያምናል፣ እና ማረጋገጫ ሰጪው ማብራሪያውን ያምናልናል። እና ሁሉም በከርነል ሞድ ውስጥ ይሰራሉ፣ መጥፎ ጠቋሚ ስህተት ሳይሆን ዊንዶውስ በመሞከር-ከመከላከል ጋር ሊጠበቅ አይችልም የሚለው የገጽ ስህተት ነው። ፓትሪክ ዋርድል በዚያ ከሰዓት ከክራሽ ድምፕ ያነበዋል፡ ኢንዴክስ ዜሮ x አስራ አራት፣ ስሎት ሃያ አንድ። መፍትሄው በእጅ ነው። ሴፍ ሞድ፣ C-00000291 መሰረዝ፣ እንደገና ማስነሳት። ከBitLocker ጋር፣ መጀመሪያ አርባ ስምንት አሃዝ
1:43 የመልሶ ማግኛ ቁልፍ መተየብ ያስፈልጋል ሰማያዊ በሆነ አገልጋይ ላይ የሚገኝ። git blame. CrowdStrike፣ ስልሳ አምስት በመቶ፡ የRCA ስድስት ግኝቶችን ይዘረዝራል፣ እና ስድስተኛው ግኝት ሙሉ ዓረፍተ ነገር ነው፡ የአብነት ምሳሌዎች የተራዘመ መዘርጋት ሊኖራቸው ይገባል። የከርነል-ሞድ ዲዛይን፣ ሃያ አምስት በመቶ፡ CrowdStrike ዊንዶውስ ገና ከከርነል ውጪ ደህንነትን ማስተናገድ እንደማይችል ይናገራል፣ ማይክሮሶፍት የማይክሮሶፍት ክስተት አይደለም ይላል፣ እና የገጽ ስህተት አይጨነቅም።
2:05 አርብ፣ አስር በመቶ። የኮሚት መልዕክቱ ኮድ አይደለም ይላል። የጉዳት መጠን፡ ስምንት ተኩል ሚሊዮን መሳሪያዎች፣ ከዊንዶውስ አንድ በመቶ በታች። ዴልታ ሰባት ሺህ በረራዎችን ሰርዟል እና አምስት መቶ ሚሊዮን ለመጠየቅ ከሰሰ፣ ማይክሮሶፍትን ጨምሮ። ኢንሹራንሶች የ Fortune 500 ሂሳብን ወደ አምስት ቢሊዮን ያጠጋሉ። Hacker News: አርባ አምስት መቶ ነጥቦች። አስቂኙ ነገር፡ አዲስ የጥቃት ዘዴዎችን ለመለየት የታሰበ ዝማኔ አንዱን አስከትሏል። ፍርድ፣ ድህረ ሞት ትንታኔ፡ SHIP IT፣ በጠባብ።
2:27 በስድስት ቀናት ውስጥ የወሰን ፍተሻ፣ የተራዘሙ ቀለበቶች፣ በይዘት ዝማኔዎች ላይ የደንበኛ ቁጥጥር፣ ሁለት ውጪ ግምገማዎች። በጠባብ፣ ምክንያቱም ያ ሁሉ አስቀድሞ መደበኛ አሰራር ነበር። ሰኞ፡ ወኪልዎ ከደመና የሚያወርደው ማንኛውም ነገር የካናሪ ቀለበት ያገኛል። ውቅረት ኮድ ነው የሆነ ነገር ማስረከብ በማይችልበት ቦታ ሲተረጉመው። ገና እንድትናገር ያልተፈቀደልህን ክስተት ላክልኝ፣ በአስተያየቶቹ ውስጥ፣ ወይም በ the daily diff dot dev ላይ። እና ለዛሬ ያለው ልዩነት ይሄ ነው።
2:48 እኔ ኒኮ ነኝ ከAxrisi። በኃላፊነት አዋህድ።
ምንጮች
- CrowdStrike, Root Cause Analysis — Channel File 291 (Aug 6, 2024, 12 pp.)www.crowdstrike.com
- CrowdStrike, Executive Summary of the RCA (Aug 6, 2024)www.crowdstrike.com
- CrowdStrike, Preliminary Post Incident Review (Jul 24, 2024)www.crowdstrike.com
- CrowdStrike, Remediation and Guidance Hub — Channel File 291 (the workaround steps)www.crowdstrike.com
- CrowdStrike, tech alert of Jul 19, 2024 (archived: Safe Mode → delete C-00000291*.sys → BitLocker key)web.archive.org
- Microsoft, David Weston, "Helping our customers through the CrowdStrike outage" (Jul 20, 2024; the 8.5 million figure)blogs.microsoft.com
- Delta Air Lines, Form 8-K (Aug 8, 2024; ~7,000 cancellations, at least $500 million)www.sec.gov
- Adam Meyers (CrowdStrike SVP), written testimony, House Homeland Security Subcommittee (Sep 24, 2024)homeland.house.gov
- George Kurtz on X, Jul 19, 2024, 09:45 UTCx.com
- Patrick Wardle on X, Jul 19, 2024 (the crash-dump index 0x14)x.com
- Hacker News, Jul 19, 2024 — "CrowdStrike Update: Windows Bluescreen and Boot Loops" (4,489 points)news.ycombinator.com
- The Guardian, Jul 24, 2024 — "CrowdStrike global outage to cost US Fortune 500 companies $5.4bn" (Parametrix estimate)www.theguardian.com
- Hacker News, Jul 21, 2024 — "Initial details about why CrowdStrike's CSAgent.sys crashed" (519 points)news.ycombinator.com
- Wikipedia — 2024 CrowdStrike-related IT outagesen.wikipedia.org



