+− THE DAILY DIFFdev & AI news
SHIP IT

አንድ ተጨማሪ መስክ 8.5 ሚሊዮን ፒሲዎችን አበላሸ። 78 ደቂቃዎች።

ጁላይ 19, 2024, 04:09 UTC: CrowdStrike የቻናል ፋይል 291 — የራፒድ ሪስፖንስ ኮንቴንት ማዘመኛ — ሁሉንም የዊንዶውስ ፋልኮን ሴንሰር ኦንላይን ይልካል። የሚያቀርበው አብነት በየካቲት ወር በ21 የግብዓት መስኮች ተገልጿል፤ ግብዓቶቹን የሚያቀርበው ኮድ የ20 ድርድር ይገነባል። ለአራት ወራት ማንም መስክ 21ን አያነብም፣ ምክንያቱም እያንዳንዱ ህግ እንደ ዋይልድካርድ ስለሚተወው። ይህ ዝማኔ እውነተኛ ቅደም ተከተል ያስቀምጣል። የደመናው ኮንቴንት ቫሊደተር በምልክቱ ላይ 21ን ይቆጥራል እና ያልፋል፤ የሴንሰሩ ኮንቴንት ኢንተርፕሪተር፣ ያለ ወሰን ፍተሻ፣ ስሎት 21ን በከርነል ሞድ ያነባል እና ዊንዶውስ ገጽ-ስህተቶችን ያሳያል፡ PAGE_FAULT_IN_NONPAGED_AREA, csagent.sys.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

ጁላይ 19, 2024, 04:09 UTC: CrowdStrike የቻናል ፋይል 291 — የራፒድ ሪስፖንስ ኮንቴንት ማዘመኛ — ሁሉንም የዊንዶውስ ፋልኮን ሴንሰር ኦንላይን ይልካል። የሚያቀርበው አብነት በየካቲት ወር በ21 የግብዓት መስኮች ተገልጿል፤ ግብዓቶቹን የሚያቀርበው ኮድ የ20 ድርድር ይገነባል። ለአራት ወራት ማንም መስክ 21ን አያነብም፣ ምክንያቱም እያንዳንዱ ህግ እንደ ዋይልድካርድ ስለሚተወው። ይህ ዝማኔ እውነተኛ ቅደም ተከተል ያስቀምጣል። የደመናው ኮንቴንት ቫሊደተር በምልክቱ ላይ 21ን ይቆጥራል እና ያልፋል፤ የሴንሰሩ ኮንቴንት ኢንተርፕሪተር፣ ያለ ወሰን ፍተሻ፣ ስሎት 21ን በከርነል ሞድ ያነባል እና ዊንዶውስ ገጽ-ስህተቶችን ያሳያል፡ PAGE_FAULT_IN_NONPAGED_AREA, csagent.sys. ነጂው ሆን ተብሎ በማስነሳት መጀመሪያ ላይ ይጫናል፣ ተመሳሳይ ፋይል ያነባል፣ እንደገና ይበላሻል — የማስነሳት ምልልስ። በ05:27 UTC፣ ከ78 ደቂቃዎች በኋላ ተመልሷል፣ ነገር ግን 8.5 ሚሊዮን ማሽኖች (የማይክሮሶፍት ቆጠራ፣ ከ1% በታች የዊንዶውስ) ፋይሉን አስቀድመው አግኝተዋል፣ እና መፍትሄው በእያንዳንዱ ኪቦርድ ላይ ያለ ሰው ነው፡ ሴፍ ሞድ፣ C-00000291*.sys መሰረዝ፣ BitLocker መልሶ ማግኛ ቁልፍ። አየር መንገዶች፣ ሆስፒታሎች፣ ባንኮች እና 911 ማዕከሎች ይቆማሉ፤ ዴልታ ወደ 7,000 የሚጠጉ በረራዎችን ሰርዟል እና ከCrowdStrike እና Microsoft ቢያንስ 500 ሚሊዮን ዶላር ይጠይቃል፤ Parametrix የFortune 500 ሂሳብን ወደ 5.4 ቢሊዮን ዶላር ያቀርባል። የድህረ ሞት ትንታኔ ከCrowdStrike የራሱ Root Cause Analysis፣ የPreliminary Post Incident Review፣ የማይክሮሶፍት ብሎግ፣ የዴልታ 8-K እና የሃውስ ምስክርነት የተወሰደ። Git blame: 65 CrowdStrike / 25 የከርነል-ሞድ ዲዛይን / 10 አርብ። በመፍትሄው ላይ ያለው ፍርድ፡ SHIP IT, በጠባብ።

የጽሑፍ እትሙን ያንብቡ (እንግሊዝኛ) ↗

ይህ ቪዲዮ ምን ይሸፍናል

  • የካቲት 28 – ሚያዝያ 24, 2024: ሴንሰር 7.11 የIPC አብነት አይነትን ይልካል (21 መስኮች ተገልጸዋል, 20 ቀርበዋል); የጭንቀት ሙከራ መጋቢት 5 ያልፋል; አራት ምሳሌዎች ይሰራሉ ምክንያቱም መስክ 21 ዋይልድካርድ ነው
  • ጁላይ 19, 04:09 UTC: ሁለት አዲስ የአብነት ምሳሌዎች; የይዘት ማረጋገጫ አመክንዮ ስህተት ዋይልድካርድ ያልሆነውን እንዲያልፍ ይፈቅዳል; በከርነል ውስጥ ከወሰን በላይ ንባብ; 05:27 UTC ተመልሷል
  • ጁላይ 19–29: በእጅ ማስተካከያ (ሴፍ ሞድ, ፋይሉን መሰረዝ, BitLocker ቁልፍ); ~97% ሴንሰሮች በጁላይ 24 ይመለሳሉ, ~99% በጁላይ 29
  • ጁላይ 25 – ነሐሴ 19: የሩንታይም ወሰን ፍተሻ, የኮምፓይል-ጊዜ መስክ-ቆጠራ ማረጋገጫ, የማረጋገጫ ፍተሻዎች, ካናሪ + የትግበራ ቀለበቶች, የደንበኞች ቁጥጥር በፈጣን ምላሽ ይዘት ላይ, ሁለት ገለልተኛ ግምገማዎች; ሙሉ RCA ከክራሽ ድምፕ ጋር ነሐሴ 6

ጥያቄዎች እና መልሶች

የጁላይ 2024 የCrowdStrike ዝመና የዊንዶውስ ኮምፒተሮችን እንዲበላሽ ያደረገው ምንድን ነው?

የይዘት ማዘመኛ ከሴንሰሩ ኮድ ከሚጠበቀው ያነሰ ግብአት አቅርቧል። በCrowdStrike የስር መንስኤ ትንተና መሰረት፣ አብነቱ በ21 ግብአት መስኮች ሲገለጽ፣ እሱን የሚመገበው ኮድ የ20 ድርድር ፈጠረ። የጁላይ 19 ዝመና በመስክ 21 ላይ ትክክለኛ ስርዓተ-ጥለት አስገብቷል፣ እና ሴንሰሩ በከርነል ሞድ ውስጥ ድርደሩን አልፎ በማንበብ የገጽ ስህተት አስከትሏል።

www.crowdstrike.com · www.crowdstrike.com

የCrowdStrike የይዘት ማረጋገጫ ከወሰን ውጭ ያለውን ንባብ ለምን አላገኘም?

የማረጋገጫ መሳሪያው ይዘቱን ከአብነት መግለጫው ጋር አነጻጽሮታል፣ እና መግለጫው 21 መስኮች እንዳሉት ተናግሯል። የደመናው የይዘት ማረጋገጫ መሳሪያ 21 መስኮችን በመቁጠር ፋይሉን አሳልፏል። የሴንሰሩ የይዘት ተርጓሚ ምንም የወሰን ፍተሻ ስላልነበረው፣ የማረጋገጫ መሳሪያውን አመነ፣ እና የማረጋገጫ መሳሪያው መግለጫውን አመነ። ለአራት ወራት ቀደም ባሉት ህጎች መስክ 21 እንደ ዋይልድካርድ ተትቶ ነበር፣ ስለዚህ ምንም ነገር እስካሁን አላነበበውም።

www.crowdstrike.com · www.crowdstrike.com

የተጎዱ የዊንዶውስ ማሽኖች CrowdStrike መጥፎውን ዝመና ካስወገደ በኋላም ለምን መበላሸታቸውን ቀጠሉ?

ሾፌሩ ቡት በሚጀምርበት ጊዜ ቀድሞ ይጫናል እና ተመሳሳይ የቻናል ፋይል ያነባል፣ ስለዚህ የተቀበለው ማንኛውም ማሽን በእያንዳንዱ ዳግም ማስጀመር ላይ እንደገና ይበላሻል። CrowdStrike ፋይሉን በ05:27 UTC፣ ከታተመ ከ78 ደቂቃዎች በኋላ መልሶታል። ማገገሚያው በእጅ የሚደረግ ሲሆን፣ ሴፍ ሞድ፣ C-00000291*.sys መሰረዝ እና፣ ከBitLocker ጋር፣ የመልሶ ማግኛ ቁልፍ ያስፈልገው ነበር።

web.archive.org · www.crowdstrike.com · blogs.microsoft.com

የCrowdStrike መቋረጥ ምን ያህል ትልቅ ተጽዕኖ አሳድሯል?

ማይክሮሶፍት 8.5 ሚሊዮን የተጎዱ የዊንዶውስ ማሽኖችን፣ ከዊንዶውስ መሳሪያዎች 1% በታች መሆኑን ቆጥሯል። ዴልታ ኤር ላይንስ ወደ 7,000 የሚጠጉ በረራዎች መሰረዛቸውን እና በForm 8-K ውስጥ ከCrowdStrike እና ማይክሮሶፍት ቢያንስ 500 ሚሊዮን ዶላር እንደጠየቀ ተናግሯል። ዘ ጋርዲያን የፓራሜትሪክስ ግምት ፎርቹን 500 ኩባንያዎችን ወደ 5.4 ቢሊዮን ዶላር እንዳስወጣ ዘግቧል።

blogs.microsoft.com · www.sec.gov · www.theguardian.com

የCrowdStrike መጠገኛ በደመና ለሚሰራጭ የደህንነት ይዘት ደህንነቱን ለማረጋገጥ በቂ ነው?

የDaily Diff ፍርድ SHIP IT ነበር፣ ትንሽ ለጥቂት። CrowdStrike የሩንታይም ወሰን ፍተሻ፣ ደረጃ በደረጃ የሚሰራጩ ቀለበቶች፣ ደንበኞች በይዘት ዝመናዎች ላይ ያላቸው ቁጥጥር እና ሁለት ገለልተኛ ግምገማዎችን ጨምሯል። ትዕይንቱ ትንሽ ለጥቂት ነው የሚለው ይህ ሁሉ ቀድሞውንም መደበኛ አሰራር ስለነበር ነው። ምክሩ ወኪል ከደመና የሚያወጣው ማንኛውም ነገር በመጀመሪያ በካናሪ ቀለበት ውስጥ ማለፍ አለበት።

www.crowdstrike.com · www.crowdstrike.com

የተተረጎመ ግልባጭ

ከዋናው የእንግሊዝኛ ትረካ የተተረጎመ። የሚገኙ ኦዲዮ እና መግለጫ ጽሑፎች በYouTube ቁጥጥር ስር ናቸው።

0:00 አንድ የደህንነት ዝመና ሃያ አንድ መስኮችን ሃያ ለተገነባው ነጂ ያስተላልፋል። እና ስምንት ተኩል ሚሊዮን የዊንዶውስ ማሽኖች ቁርስ በፊት ሰማያዊ ስክሪን ያሳያሉ። ጁላይ 19, 2024, 04:09 UTC። CrowdStrike ቻናል ፋይል 291ን ወደ ሁሉም ፋልኮን ሴንሰር ይልካል። ሰባ ስምንት ደቂቃ በኋላ ይሰርዙታል; በዚያን ጊዜ አየር መንገዶች፣ ሆስፒታሎች እና ባንኮች ተመሳሳይ ሰማያዊ አራት ማዕዘን ይመለከታሉ። የዋና ስራ አስፈፃሚው የመጀመሪያ ልጥፍ የሳይበር ጥቃት አይደለም ይላል፣ እውነት ነው፣ እና ነጥቡም አይደለም። እንዴት እንደሚሆን፣ ለምን እንደሚቻል፣ እና ጥፋተኛው ማን ነው።

0:27 ይህ The Daily Diff፣ ድህረ ሞት ትንታኔ ነው። የካቲት 28። ሴንሰር 7.11 ለተሰየሙ ቧንቧዎች አዲስ መመርመሪያ ይልካል። ሃያ አንድ የግብዓት መስኮችን ይገልጻል፤ ግብዓቶቹን የሚያቀርበው ኮድ የ ሃያ ድርድር ይገነባል። ማንም አያስተውልም፡ ለአራት ወራት እያንዳንዱ ህግ መስክ ሃያ አንድን እንደ ዋይልድካርድ ይተዋል፣ እና ማንም ዋይልድካርድ አያነብም። የጭንቀት ሙከራ ያልፋል፣ አራት ህጎች ይለቀቃሉ፣ ሁሉም ደህና ናቸው። ጁላይ 19፣ 04:09። ሁለት አዲስ ህጎች፤ አንዱ እውነተኛ ቅደም ተከተል በመስክ ሃያ አንድ ያስቀምጣል።

0:51 የደመናው ማረጋገጫ ሰጪ ሃያ አንድን ከማብራሪያው ጋር ይቆጥራል እና ደህና ይላል። ሁሉም የመስመር ላይ ዊንዶውስ አስተናጋጆች ወዲያውኑ ያወርዱታል፣ ምክንያቱም የካናሪ ቀለበት የለም። ሴንሰሩ ስሎት ሃያ አንድን ያነባል፣ ይህም የማስታወሻው አይደለም፣ እና ከርነል ከርነሎች የሚያደርጉትን ያደርጋል። 05:27፣ ተመልሷል። እንደገና ለጀመረ ማንኛውም ሰው በጣም ዘግይቷል፡ ነጂው በማስነሳት መጀመሪያ ላይ ይጫናል ፣ ተመሳሳይ ፋይል ያነባል፣ እና እንደገና ይበላሻል። የማስነሳት ምልልስ። ይህ እንዴት ሊሆን ቻለ? ህጎቹ ከደመና የሚገፉ ውቅሮች ናቸው፣ ስለዚህ ኮድ የኮድ

1:16 ፓይፕላይኑን አይዘልም። አስተርጓሚው የወሰን ፍተሻ የለውም፤ ማረጋገጫ ሰጪውን ያምናል፣ እና ማረጋገጫ ሰጪው ማብራሪያውን ያምናልናል። እና ሁሉም በከርነል ሞድ ውስጥ ይሰራሉ፣ መጥፎ ጠቋሚ ስህተት ሳይሆን ዊንዶውስ በመሞከር-ከመከላከል ጋር ሊጠበቅ አይችልም የሚለው የገጽ ስህተት ነው። ፓትሪክ ዋርድል በዚያ ከሰዓት ከክራሽ ድምፕ ያነበዋል፡ ኢንዴክስ ዜሮ x አስራ አራት፣ ስሎት ሃያ አንድ። መፍትሄው በእጅ ነው። ሴፍ ሞድ፣ C-00000291 መሰረዝ፣ እንደገና ማስነሳት። ከBitLocker ጋር፣ መጀመሪያ አርባ ስምንት አሃዝ

1:43 የመልሶ ማግኛ ቁልፍ መተየብ ያስፈልጋል ሰማያዊ በሆነ አገልጋይ ላይ የሚገኝ። git blame. CrowdStrike፣ ስልሳ አምስት በመቶ፡ የRCA ስድስት ግኝቶችን ይዘረዝራል፣ እና ስድስተኛው ግኝት ሙሉ ዓረፍተ ነገር ነው፡ የአብነት ምሳሌዎች የተራዘመ መዘርጋት ሊኖራቸው ይገባል። የከርነል-ሞድ ዲዛይን፣ ሃያ አምስት በመቶ፡ CrowdStrike ዊንዶውስ ገና ከከርነል ውጪ ደህንነትን ማስተናገድ እንደማይችል ይናገራል፣ ማይክሮሶፍት የማይክሮሶፍት ክስተት አይደለም ይላል፣ እና የገጽ ስህተት አይጨነቅም።

2:05 አርብ፣ አስር በመቶ። የኮሚት መልዕክቱ ኮድ አይደለም ይላል። የጉዳት መጠን፡ ስምንት ተኩል ሚሊዮን መሳሪያዎች፣ ከዊንዶውስ አንድ በመቶ በታች። ዴልታ ሰባት ሺህ በረራዎችን ሰርዟል እና አምስት መቶ ሚሊዮን ለመጠየቅ ከሰሰ፣ ማይክሮሶፍትን ጨምሮ። ኢንሹራንሶች የ Fortune 500 ሂሳብን ወደ አምስት ቢሊዮን ያጠጋሉ። Hacker News: አርባ አምስት መቶ ነጥቦች። አስቂኙ ነገር፡ አዲስ የጥቃት ዘዴዎችን ለመለየት የታሰበ ዝማኔ አንዱን አስከትሏል። ፍርድ፣ ድህረ ሞት ትንታኔ፡ SHIP IT፣ በጠባብ።

2:27 በስድስት ቀናት ውስጥ የወሰን ፍተሻ፣ የተራዘሙ ቀለበቶች፣ በይዘት ዝማኔዎች ላይ የደንበኛ ቁጥጥር፣ ሁለት ውጪ ግምገማዎች። በጠባብ፣ ምክንያቱም ያ ሁሉ አስቀድሞ መደበኛ አሰራር ነበር። ሰኞ፡ ወኪልዎ ከደመና የሚያወርደው ማንኛውም ነገር የካናሪ ቀለበት ያገኛል። ውቅረት ኮድ ነው የሆነ ነገር ማስረከብ በማይችልበት ቦታ ሲተረጉመው። ገና እንድትናገር ያልተፈቀደልህን ክስተት ላክልኝ፣ በአስተያየቶቹ ውስጥ፣ ወይም በ the daily diff dot dev ላይ። እና ለዛሬ ያለው ልዩነት ይሄ ነው።

2:48 እኔ ኒኮ ነኝ ከAxrisi። በኃላፊነት አዋህድ።

ምንጮች

  1. CrowdStrike, Root Cause Analysis — Channel File 291 (Aug 6, 2024, 12 pp.)www.crowdstrike.com
  2. CrowdStrike, Executive Summary of the RCA (Aug 6, 2024)www.crowdstrike.com
  3. CrowdStrike, Preliminary Post Incident Review (Jul 24, 2024)www.crowdstrike.com
  4. CrowdStrike, Remediation and Guidance Hub — Channel File 291 (the workaround steps)www.crowdstrike.com
  5. CrowdStrike, tech alert of Jul 19, 2024 (archived: Safe Mode → delete C-00000291*.sys → BitLocker key)web.archive.org
  6. Microsoft, David Weston, "Helping our customers through the CrowdStrike outage" (Jul 20, 2024; the 8.5 million figure)blogs.microsoft.com
  7. Delta Air Lines, Form 8-K (Aug 8, 2024; ~7,000 cancellations, at least $500 million)www.sec.gov
  8. Adam Meyers (CrowdStrike SVP), written testimony, House Homeland Security Subcommittee (Sep 24, 2024)homeland.house.gov
  9. George Kurtz on X, Jul 19, 2024, 09:45 UTCx.com
  10. Patrick Wardle on X, Jul 19, 2024 (the crash-dump index 0x14)x.com
  11. Hacker News, Jul 19, 2024 — "CrowdStrike Update: Windows Bluescreen and Boot Loops" (4,489 points)news.ycombinator.com
  12. The Guardian, Jul 24, 2024 — "CrowdStrike global outage to cost US Fortune 500 companies $5.4bn" (Parametrix estimate)www.theguardian.com
  13. Hacker News, Jul 21, 2024 — "Initial details about why CrowdStrike's CSAgent.sys crashed" (519 points)news.ycombinator.com
  14. Wikipedia — 2024 CrowdStrike-related IT outagesen.wikipedia.org

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

ተዛማጅ ቪዲዮዎች

postmortem · am · 12 ሴፕቴ 2026

አንድ regex ክላውድፍሌርን አጠፋ። 27 ደቂቃዎች።

ጁላይ 2፣ 2019፣ 13:42 UTC: አንድ አዲስ የCloudflare ዌብ አፕሊኬሽን ፋየርዎል ህግ በ180+ ከተሞች ውስጥ በሁለት ሰከንዶች ውስጥ ስራ ይጀምራል። ይህ በሲሙሌት ሁነታ ያለ የXSS ህግ ነው፣ ስለዚህ ምንም አያግድም፣ ግን አሁንም በእያንዳንዱ ጥያቄ ላይ ይሰራል፣ እና በ.*(?:.*=.*) ያበቃል። PC

3:00 ↗
postmortem · am · 25 ሴፕቴ 2026

አንድ ሚሊሰከንድ ስህተት የዩኬ አየር ትራፊክን አቆመ። ስድስት ሰዓታት።

ማክሰኞ መስከረም 8 ከጠዋቱ 10:00 ላይ፣ በNATS ብሔራዊ የአየር ክልል ሲስተም (NAS) ውስጥ አንድ መደበኛ የስኳክ-ኮድ ጥያቄ እሴት በማዘመን ላይ እያለ ከፍተኛ ቅድሚያ ባለው መልእክት ተቋርጧል። የመጋለጥ መስኮቱ አንድ ሚሊሰከንድ ያህል ነው። ጥያቄው የተሳሳተ ሆኖ ይቀጥላል፣ የበረራ መረጃው ይበላሻል፣ እና ከ

3:06 ↗
postmortem · am · 22 ሴፕቴ 2026

ዳግም ማስነሳት ቴልስትራን ወደ 2006 አስመለሰ። ዘጠኝ ሚሊዮን ስልኮች።

በሜልበርን የሚገኝ አንድ መሃንዲስ ከጠዋቱ 2:50 ላይ የሰዓት አሰራር ቻሲስን እንደገና ሲያስጀምር፣ በቁርስ ሰአት የአውስትራሊያ ትልቁ የሞባይል አውታረ መረብ ህዳር 2006 እንደሆነ ተስማማ። ጁላይ 8, 2026: በቴልስትራ የኤንቲፒ ቻሲስ ውስጥ ያለ የጂፒኤስ ካርድ የሃይል አቅርቦት ጥገና በሚደረግበት ጊዜ እንደገና

3:15 ↗
postmortem · am · 19 ሴፕቴ 2026

Google Cloud ባዶ በሆነ መስክ ላይ ተበላሸ። ሶስት ሰዓታት።

ጥቂት ባዶ መስኮች ያለው የፖሊሲ ረድፍ ባዶ ጠቋሚ ሲመታ Google Cloud በአንድ ጊዜ በሁሉም ክልል ይበላሻል — ከዚያም Cloudflare ከእሱ ጋር ይወድቃል። ሰኔ 12፣ 2025፣ 17:49 UTC፡ Service Control፣ እያንዳንዱን የGoogle Cloud ኤፒአይ ጥያቄ የሚያፀድቀው ሁለትዮሽ፣ “ያልታሰቡ ባዶ

2:57 ↗