አንድ ተጨማሪ መስክ 8.5 ሚሊዮን ፒሲዎችን አበላሸ። 78 ደቂቃዎች።
ጁላይ 19, 2024, 04:09 UTC: CrowdStrike የቻናል ፋይል 291 — የራፒድ ሪስፖንስ ኮንቴንት ማዘመኛ — ሁሉንም የዊንዶውስ ፋልኮን ሴንሰር ኦንላይን ይልካል። የሚያቀርበው አብነት በየካቲት ወር በ21 የግብዓት መስኮች ተገልጿል፤ ግብዓቶቹን የሚያቀርበው ኮድ የ20 ድርድር ይገነባል። ለአራት ወራት ማንም መስክ 21ን አያነብም፣ ምክንያቱም እያንዳንዱ ህግ እንደ ዋይልድካርድ ስለሚተወው። ይህ ዝማኔ እውነተኛ ቅደም ተከተል ያስቀምጣል። የደመናው ኮንቴንት ቫሊደተር በምልክቱ ላይ 21ን ይቆጥራል እና ያልፋል፤ የሴንሰሩ ኮንቴንት ኢንተርፕሪተር፣ ያለ ወሰን ፍተሻ፣ ስሎት 21ን በከርነል ሞድ ያነባል እና ዊንዶውስ ገጽ-ስህተቶችን ያሳያል፡ PAGE_FAULT_IN_NONPAGED_AREA, csagent.sys.
ጁላይ 19, 2024, 04:09 UTC: CrowdStrike የቻናል ፋይል 291 — የራፒድ ሪስፖንስ ኮንቴንት ማዘመኛ — ሁሉንም የዊንዶውስ ፋልኮን ሴንሰር ኦንላይን ይልካል። የሚያቀርበው አብነት በየካቲት ወር በ21 የግብዓት መስኮች ተገልጿል፤ ግብዓቶቹን የሚያቀርበው ኮድ የ20 ድርድር ይገነባል። ለአራት ወራት ማንም መስክ 21ን አያነብም፣ ምክንያቱም እያንዳንዱ ህግ እንደ ዋይልድካርድ ስለሚተወው። ይህ ዝማኔ እውነተኛ ቅደም ተከተል ያስቀምጣል። የደመናው ኮንቴንት ቫሊደተር በምልክቱ ላይ 21ን ይቆጥራል እና ያልፋል፤ የሴንሰሩ ኮንቴንት ኢንተርፕሪተር፣ ያለ ወሰን ፍተሻ፣ ስሎት 21ን በከርነል ሞድ ያነባል እና ዊንዶውስ ገጽ-ስህተቶችን ያሳያል፡ PAGE_FAULT_IN_NONPAGED_AREA, csagent.sys. ነጂው ሆን ተብሎ በማስነሳት መጀመሪያ ላይ ይጫናል፣ ተመሳሳይ ፋይል ያነባል፣ እንደገና ይበላሻል — የማስነሳት ምልልስ። በ05:27 UTC፣ ከ78 ደቂቃዎች በኋላ ተመልሷል፣ ነገር ግን 8.5 ሚሊዮን ማሽኖች (የማይክሮሶፍት ቆጠራ፣ ከ1% በታች የዊንዶውስ) ፋይሉን አስቀድመው አግኝተዋል፣ እና መፍትሄው በእያንዳንዱ ኪቦርድ ላይ ያለ ሰው ነው፡ ሴፍ ሞድ፣ C-00000291*.sys መሰረዝ፣ BitLocker መልሶ ማግኛ ቁልፍ። አየር መንገዶች፣ ሆስፒታሎች፣ ባንኮች እና 911 ማዕከሎች ይቆማሉ፤ ዴልታ ወደ 7,000 የሚጠጉ በረራዎችን ሰርዟል እና ከCrowdStrike እና Microsoft ቢያንስ 500 ሚሊዮን ዶላር ይጠይቃል፤ Parametrix የFortune 500 ሂሳብን ወደ 5.4 ቢሊዮን ዶላር ያቀርባል። የድህረ ሞት ትንታኔ ከCrowdStrike የራሱ Root Cause Analysis፣ የPreliminary Post Incident Review፣ የማይክሮሶፍት ብሎግ፣ የዴልታ 8-K እና የሃውስ ምስክርነት የተወሰደ። Git blame: 65 CrowdStrike / 25 የከርነል-ሞድ ዲዛይን / 10 አርብ። በመፍትሄው ላይ ያለው ፍርድ፡ SHIP IT, በጠባብ።
ይህ ቪዲዮ ምን ይሸፍናል
- የካቲት 28 – ሚያዝያ 24, 2024: ሴንሰር 7.11 የIPC አብነት አይነትን ይልካል (21 መስኮች ተገልጸዋል, 20 ቀርበዋል); የጭንቀት ሙከራ መጋቢት 5 ያልፋል; አራት ምሳሌዎች ይሰራሉ ምክንያቱም መስክ 21 ዋይልድካርድ ነው
- ጁላይ 19, 04:09 UTC: ሁለት አዲስ የአብነት ምሳሌዎች; የይዘት ማረጋገጫ አመክንዮ ስህተት ዋይልድካርድ ያልሆነውን እንዲያልፍ ይፈቅዳል; በከርነል ውስጥ ከወሰን በላይ ንባብ; 05:27 UTC ተመልሷል
- ጁላይ 19–29: በእጅ ማስተካከያ (ሴፍ ሞድ, ፋይሉን መሰረዝ, BitLocker ቁልፍ); ~97% ሴንሰሮች በጁላይ 24 ይመለሳሉ, ~99% በጁላይ 29
- ጁላይ 25 – ነሐሴ 19: የሩንታይም ወሰን ፍተሻ, የኮምፓይል-ጊዜ መስክ-ቆጠራ ማረጋገጫ, የማረጋገጫ ፍተሻዎች, ካናሪ + የትግበራ ቀለበቶች, የደንበኞች ቁጥጥር በፈጣን ምላሽ ይዘት ላይ, ሁለት ገለልተኛ ግምገማዎች; ሙሉ RCA ከክራሽ ድምፕ ጋር ነሐሴ 6
የተተረጎመ ግልባጭ
ከዋናው የእንግሊዝኛ ትረካ የተተረጎመ። የሚገኙ ኦዲዮ እና መግለጫ ጽሑፎች በYouTube ቁጥጥር ስር ናቸው።
0:00 አንድ የደህንነት ዝመና ሃያ አንድ መስኮችን ሃያ ለተገነባው ነጂ ያስተላልፋል። እና ስምንት ተኩል ሚሊዮን የዊንዶውስ ማሽኖች ቁርስ በፊት ሰማያዊ ስክሪን ያሳያሉ። ጁላይ 19, 2024, 04:09 UTC። CrowdStrike ቻናል ፋይል 291ን ወደ ሁሉም ፋልኮን ሴንሰር ይልካል። ሰባ ስምንት ደቂቃ በኋላ ይሰርዙታል; በዚያን ጊዜ አየር መንገዶች፣ ሆስፒታሎች እና ባንኮች ተመሳሳይ ሰማያዊ አራት ማዕዘን ይመለከታሉ። የዋና ስራ አስፈፃሚው የመጀመሪያ ልጥፍ የሳይበር ጥቃት አይደለም ይላል፣ እውነት ነው፣ እና ነጥቡም አይደለም። እንዴት እንደሚሆን፣ ለምን እንደሚቻል፣ እና ጥፋተኛው ማን ነው።
0:27 ይህ The Daily Diff፣ ድህረ ሞት ትንታኔ ነው። የካቲት 28። ሴንሰር 7.11 ለተሰየሙ ቧንቧዎች አዲስ መመርመሪያ ይልካል። ሃያ አንድ የግብዓት መስኮችን ይገልጻል፤ ግብዓቶቹን የሚያቀርበው ኮድ የ ሃያ ድርድር ይገነባል። ማንም አያስተውልም፡ ለአራት ወራት እያንዳንዱ ህግ መስክ ሃያ አንድን እንደ ዋይልድካርድ ይተዋል፣ እና ማንም ዋይልድካርድ አያነብም። የጭንቀት ሙከራ ያልፋል፣ አራት ህጎች ይለቀቃሉ፣ ሁሉም ደህና ናቸው። ጁላይ 19፣ 04:09። ሁለት አዲስ ህጎች፤ አንዱ እውነተኛ ቅደም ተከተል በመስክ ሃያ አንድ ያስቀምጣል።
0:51 የደመናው ማረጋገጫ ሰጪ ሃያ አንድን ከማብራሪያው ጋር ይቆጥራል እና ደህና ይላል። ሁሉም የመስመር ላይ ዊንዶውስ አስተናጋጆች ወዲያውኑ ያወርዱታል፣ ምክንያቱም የካናሪ ቀለበት የለም። ሴንሰሩ ስሎት ሃያ አንድን ያነባል፣ ይህም የማስታወሻው አይደለም፣ እና ከርነል ከርነሎች የሚያደርጉትን ያደርጋል። 05:27፣ ተመልሷል። እንደገና ለጀመረ ማንኛውም ሰው በጣም ዘግይቷል፡ ነጂው በማስነሳት መጀመሪያ ላይ ይጫናል ፣ ተመሳሳይ ፋይል ያነባል፣ እና እንደገና ይበላሻል። የማስነሳት ምልልስ። ይህ እንዴት ሊሆን ቻለ? ህጎቹ ከደመና የሚገፉ ውቅሮች ናቸው፣ ስለዚህ ኮድ የኮድ
1:16 ፓይፕላይኑን አይዘልም። አስተርጓሚው የወሰን ፍተሻ የለውም፤ ማረጋገጫ ሰጪውን ያምናል፣ እና ማረጋገጫ ሰጪው ማብራሪያውን ያምናልናል። እና ሁሉም በከርነል ሞድ ውስጥ ይሰራሉ፣ መጥፎ ጠቋሚ ስህተት ሳይሆን ዊንዶውስ በመሞከር-ከመከላከል ጋር ሊጠበቅ አይችልም የሚለው የገጽ ስህተት ነው። ፓትሪክ ዋርድል በዚያ ከሰዓት ከክራሽ ድምፕ ያነበዋል፡ ኢንዴክስ ዜሮ x አስራ አራት፣ ስሎት ሃያ አንድ። መፍትሄው በእጅ ነው። ሴፍ ሞድ፣ C-00000291 መሰረዝ፣ እንደገና ማስነሳት። ከBitLocker ጋር፣ መጀመሪያ አርባ ስምንት አሃዝ
1:43 የመልሶ ማግኛ ቁልፍ መተየብ ያስፈልጋል ሰማያዊ በሆነ አገልጋይ ላይ የሚገኝ። git blame. CrowdStrike፣ ስልሳ አምስት በመቶ፡ የRCA ስድስት ግኝቶችን ይዘረዝራል፣ እና ስድስተኛው ግኝት ሙሉ ዓረፍተ ነገር ነው፡ የአብነት ምሳሌዎች የተራዘመ መዘርጋት ሊኖራቸው ይገባል። የከርነል-ሞድ ዲዛይን፣ ሃያ አምስት በመቶ፡ CrowdStrike ዊንዶውስ ገና ከከርነል ውጪ ደህንነትን ማስተናገድ እንደማይችል ይናገራል፣ ማይክሮሶፍት የማይክሮሶፍት ክስተት አይደለም ይላል፣ እና የገጽ ስህተት አይጨነቅም።
2:05 አርብ፣ አስር በመቶ። የኮሚት መልዕክቱ ኮድ አይደለም ይላል። የጉዳት መጠን፡ ስምንት ተኩል ሚሊዮን መሳሪያዎች፣ ከዊንዶውስ አንድ በመቶ በታች። ዴልታ ሰባት ሺህ በረራዎችን ሰርዟል እና አምስት መቶ ሚሊዮን ለመጠየቅ ከሰሰ፣ ማይክሮሶፍትን ጨምሮ። ኢንሹራንሶች የ Fortune 500 ሂሳብን ወደ አምስት ቢሊዮን ያጠጋሉ። Hacker News: አርባ አምስት መቶ ነጥቦች። አስቂኙ ነገር፡ አዲስ የጥቃት ዘዴዎችን ለመለየት የታሰበ ዝማኔ አንዱን አስከትሏል። ፍርድ፣ ድህረ ሞት ትንታኔ፡ SHIP IT፣ በጠባብ።
2:27 በስድስት ቀናት ውስጥ የወሰን ፍተሻ፣ የተራዘሙ ቀለበቶች፣ በይዘት ዝማኔዎች ላይ የደንበኛ ቁጥጥር፣ ሁለት ውጪ ግምገማዎች። በጠባብ፣ ምክንያቱም ያ ሁሉ አስቀድሞ መደበኛ አሰራር ነበር። ሰኞ፡ ወኪልዎ ከደመና የሚያወርደው ማንኛውም ነገር የካናሪ ቀለበት ያገኛል። ውቅረት ኮድ ነው የሆነ ነገር ማስረከብ በማይችልበት ቦታ ሲተረጉመው። ገና እንድትናገር ያልተፈቀደልህን ክስተት ላክልኝ፣ በአስተያየቶቹ ውስጥ፣ ወይም በ the daily diff dot dev ላይ። እና ለዛሬ ያለው ልዩነት ይሄ ነው።
2:48 እኔ ኒኮ ነኝ ከAxrisi። በኃላፊነት አዋህድ።
ምንጮች
- CrowdStrike, Root Cause Analysis — Channel File 291 (Aug 6, 2024, 12 pp.)www.crowdstrike.com
- CrowdStrike, Executive Summary of the RCA (Aug 6, 2024)www.crowdstrike.com
- CrowdStrike, Preliminary Post Incident Review (Jul 24, 2024)www.crowdstrike.com
- CrowdStrike, Remediation and Guidance Hub — Channel File 291 (the workaround steps)www.crowdstrike.com
- CrowdStrike, tech alert of Jul 19, 2024 (archived: Safe Mode → delete C-00000291*.sys → BitLocker key)web.archive.org
- Microsoft, David Weston, "Helping our customers through the CrowdStrike outage" (Jul 20, 2024; the 8.5 million figure)blogs.microsoft.com
- Delta Air Lines, Form 8-K (Aug 8, 2024; ~7,000 cancellations, at least $500 million)www.sec.gov
- Adam Meyers (CrowdStrike SVP), written testimony, House Homeland Security Subcommittee (Sep 24, 2024)homeland.house.gov
- George Kurtz on X, Jul 19, 2024, 09:45 UTCx.com
- Patrick Wardle on X, Jul 19, 2024 (the crash-dump index 0x14)x.com
- Hacker News, Jul 19, 2024 — "CrowdStrike Update: Windows Bluescreen and Boot Loops" (4,489 points)news.ycombinator.com
- The Guardian, Jul 24, 2024 — "CrowdStrike global outage to cost US Fortune 500 companies $5.4bn" (Parametrix estimate)www.theguardian.com
- Hacker News, Jul 21, 2024 — "Initial details about why CrowdStrike's CSAgent.sys crashed" (519 points)news.ycombinator.com
- Wikipedia — 2024 CrowdStrike-related IT outagesen.wikipedia.org
