Një fushë shtesë rrëzoi 8.5 milionë PC. 78 minuta.
19 korrik 2024, 04:09 UTC: CrowdStrike shtyn Kanalin File 291 — një përditësim i Përmbajtjes së Përgjigjes së Shpejtë — në çdo sensor Windows Falcon online.
19 korrik 2024, 04:09 UTC: CrowdStrike shtyn Kanalin File 291 — një përditësim i Përmbajtjes së Përgjigjes së Shpejtë — në çdo sensor Windows Falcon online. Shabloni që ushqen ishte deklaruar me 21 fusha hyrjeje në shkurt; kodi që furnizon hyrjet ndërton një varg prej 20. Për katër muaj asgjë nuk lexon fushën 21, sepse çdo rregull e lë atë si një "wildcard". Ky përditësim vendos një model të vërtetë atje. Validatori i Përmbajtjes në anën e "cloud" numëron 21 kundër deklaratës dhe e kalon; Interpreteri i Përmbajtjes së sensorit, pa kontroll kufijsh, lexon vendin 21 në modalitetin kernel dhe shkakton gabime faqeje në Windows: PAGE_FAULT_IN_NONPAGED_AREA, csagent.sys. Drejtuesi ngarkohet qëllimisht herët në boot, lexon të njëjtin skedar, rrëzohet përsëri — "boot loop". U anulua në 05:27 UTC, 78 minuta më vonë, por 8.5 milionë makina (numri i Microsoft, nën 1% të Windows) e kanë tashmë skedarin, dhe zgjidhja është një njeri në çdo tastierë: Safe Mode, fshi C-00000291*.sys, çelësi i rikuperimit BitLocker. Linjat ajrore, spitalet, bankat dhe qendrat 911 ndalen; Delta anulon rreth 7,000 fluturime dhe kërkon të paktën 500 milionë dollarë nga CrowdStrike dhe Microsoft; Parametrix e vlerëson faturën e Fortune 500 pranë 5.4 miliardë dollarëve. Postmortem nga Analiza e Shkaktarit Rrënjësor e CrowdStrike, Rishikimi Paraprak Pas Incidentit, blogu i Microsoft, 8-K i Deltas dhe dëshmia në Dhomën e Përfaqësuesve. Git blame: 65 CrowdStrike / 25 dizajni i modalitetit kernel / 10 e premtja. Vendimi për rregullimin: SHIP IT, ngushtësisht.
Lexoni edicionin e shkruar (anglisht) ↗
Çfarë mbulon kjo video
- 28 shkurt – 24 prill 2024: sensori 7.11 lëshon Llojin e Shabllonit IPC (21 fusha të deklaruara, 20 të furnizuara); testi i stresit kalon më 5 mars; katër instanca funksionojnë sepse fusha 21 është një "wildcard"
- 19 korrik, 04:09 UTC: dy instanca të reja shablloni; gabimi logjik i Validatorit të Përmbajtjes lejon atë jo-wildcard të kalojë; lexim jashtë kufijve në kernel; 05:27 UTC u anulua
- 19–29 korrik: rregullim manual (Safe Mode, fshi skedarin, çelësi BitLocker); ~97% e sensorëve u kthyen në punë deri më 24 korrik, ~99% deri më 29 korrik
- 25 korrik – 19 gusht: kontrolli i kufijve në kohë ekzekutimi, vërtetimi i numrit të fushave në kohë kompilimi, kontrollet e Validatorit, "canary" + unaza vendosjeje, kontrolli i klientit mbi Përmbajtjen e Përgjigjes së Shpejtë, dy rishikime të pavarura; RCA i plotë me "crash dump" më 6 gusht
Pyetje dhe përgjigje
Çfarë bëri që përditësimi i CrowdStrike në korrik 2024 të rrëzonte kompjuterët Windows?
Një përditësim i përmbajtjes furnizoi më pak të dhëna sesa pritej nga kodi i sensorit. Sipas analizës së shkakut rrënjësor të CrowdStrike, shablloni u deklarua me 21 fusha hyrëse, ndërsa kodi që e furnizonte ndërtoi një varg prej 20. Përditësimi i 19 korrikut vendosi një model real në fushën 21, dhe sensori lexoi përtej vargut në modalitetin kernel, duke shkaktuar një gabim në faqe.
Pse vlefshmëria e përmbajtjes së CrowdStrike nuk kapi leximin jashtë kufijve?
Validatori kontrolloi përmbajtjen kundrejt deklaratës së shabllonit, dhe deklarata tha 21 fusha. Validatori i Përmbajtjes në anën e cloud-it numëroi 21 dhe kaloi skedarin. Interpreteri i Përmbajtjes i sensorit nuk kishte kontrolle kufijsh, kështu që i besoi validatorit, dhe validatori i besoi deklaratës. Për katër muaj rregullat e mëparshme e kishin lënë fushën 21 si një shenjë zëvendësimi, kështu që asgjë nuk e kishte lexuar kurrë.
Pse makinat e prekura me Windows vazhduan të rrëzoheshin pasi CrowdStrike anuloi përditësimin e keq?
Drajveri ngarkohet herët në nisje dhe lexon të njëjtin skedar kanali, kështu që çdo makinë që e kishte marrë atë u rrëzua përsëri në çdo rindezje. CrowdStrike anuloi skedarin në 05:27 UTC, 78 minuta pas shtypjes. Rimëkëmbja ishte manuale, duke kërkuar Safe Mode, fshirjen e C-00000291*.sys dhe, me BitLocker, një çelës rimëkëmbjeje.
Sa i madh ishte ndikimi i ndërprerjes së CrowdStrike?
Microsoft numëroi 8.5 milionë makina të prekura me Windows, nën 1% të pajisjeve Windows. Delta Air Lines raportoi rreth 7,000 fluturime të anuluara dhe kërkoi të paktën 500 milionë dollarë nga CrowdStrike dhe Microsoft në Formularin e saj 8-K. The Guardian raportoi një vlerësim të Parametrix që e vendosi koston për kompanitë Fortune 500 afër 5.4 miliardë dollarësh.
A është zgjidhja e CrowdStrike e mjaftueshme për ta bërë të sigurt përmbajtjen e sigurisë të shtyrë në cloud?
Vendimi i The Daily Diff ishte SHIP IT, ngushtë. CrowdStrike shtoi një kontroll kufijsh gjatë ekzekutimit, unaza të shpërndarjes së shkallëzuar, kontrollin e klientit mbi përditësimet e përmbajtjes dhe dy rishikime të pavarura. Episodi thotë ngushtë sepse e gjithë kjo ishte tashmë praktikë standarde. Këshilla e tij është që çdo gjë që një agjent tërheq nga cloud duhet të kalojë së pari nëpër një unazë kanarie.
Transkript i përkthyer
Përkthyer nga tregimi origjinal në anglisht. Audio dhe titrat e disponueshme kontrollohen nga YouTube.
0:00 Një përditësim sigurie mbart njëzetenjë fusha në një drejtues të ndërtuar për njëzet, dhe tetë milionë e gjysmë makina Windows shfaqin ekranin blu para mëngjesit. 19 korrik 2024, 04:09 UTC. CrowdStrike shtyn Kanalin File 291 në çdo sensor Falcon. Shtatëdhjetë e tetë minuta më vonë ata e tërheqin; deri atëherë linjat ajrore, spitalet dhe bankat shohin të njëjtin drejtkëndësh blu. Postimi i parë i CEO-s thotë jo një sulm kibernetik, e vërtetë, dhe jo thelbi. Si ndodh, pse është e mundur, dhe kush merr fajin.
0:27 Ky është The Daily Diff, postmortem. 28 shkurt. Sensori 7.11 lëshon një detektor të ri për tubat e emërtuar. Ai deklaron njëzetenjë fusha hyrëse; kodi që e ushqen ndërton një varg prej njëzet. Askush nuk e vë re: për katër muaj çdo rregull e lë fushën njëzet e një si një "wildcard", dhe askush nuk lexon një "wildcard". Një test stresi kalon, katër rregulla lëshohen, gjithçka në rregull. 19 korrik, 04:09. Dy rregulla të reja; njëra vendos një model të vërtetë në fushën njëzet e një.
0:51 Validatori i "cloud" numëron njëzetenjë kundër deklaratës dhe thotë mirë. Çdo host Windows online e shkarkon atë menjëherë, sepse nuk ka unazë "canary". Sensori lexon vendin njëzet e një, e cila nuk është kujtesa e tij, dhe kernel-i bën atë që bëjnë kernel-ët. 05:27, u anulua. Shumë vonë për këdo që rifilloi: drejtuesi ngarkohet herët në boot, lexon të njëjtin skedar, dhe rrëzohet përsëri. "Boot loop". Pse është kjo e mundur? Rregullat janë konfigurim i shtyrë nga "cloud", kështu që jo kodi kapërcen tubacionin
1:16 e kodit. Interpreteri nuk ka kontroll kufijsh; ai i beson validatorit, dhe validatori i beson deklaratës. Dhe gjithçka ekzekutohet në modalitetin kernel, ku një tregues i gabuar nuk është një përjashtim por një gabim faqeje Windows thotë se nuk mund të mbrohet nga "try-except". Patrick Wardle e lexon atë nga një "crash dump" atë pasdite: indeksi zero x katërmbëdhjetë, vendi njëzet e një. Rregullimi është manual. Safe Mode, fshi C-00000291, rindiz. Me BitLocker, së pari shkruani një dyzet e tetë-shifror
1:43 çelës rikuperimi që jeton në një server që është gjithashtu blu. git blame. CrowdStrike, gjashtëdhjetë e pesë përqind: RCA liston gjashtë gjetje, dhe gjetja gjashtë është një fjali e plotë: Instancat e Shabllonit duhet të kenë vendosje të shkallëzuar. Dizajni i modalitetit kernel, njëzet e pesë: CrowdStrike thotë se Windows nuk mundet ende të hostojë sigurinë jashtë kernel-it, Microsoft thotë se nuk është incident i Microsoft, dhe gabimit të faqes nuk i intereson.
2:05 E premtja, dhjetë. Mesazhi i "commit" thotë jo kod. Rrezja e shpërthimit: tetë milionë e gjysmë pajisje, nën një përqind e Windows. Delta anulon shtatë mijë fluturime dhe padit për pesëqind milionë, Microsoft përfshirë. Siguruesit e vlerësojnë faturën e Fortune 500 pranë pesë miliardë. Hacker News: katër mijë e pesëqind pikë. Ironia: një përditësim i destinuar për të zbuluar teknika të reja sulmi dorëzoi një të tillë. Vendimi, postmortem: SHIP IT, ngushtësisht.
2:27 Kontrolli i kufijve në gjashtë ditë, unaza të shkallëzuara, kontrolli i klientit mbi përditësimet e përmbajtjes, dy rishikime të jashtme. Ngushtësisht, sepse e gjithë kjo ishte praktikë standarde tashmë. E hënë: çfarëdo që agjenti juaj të tërheqë nga "cloud" merr një unazë "canary". Konfigurimi është kod në momentin që diçka e analizon atë ku nuk mund të hedhë. Më dërgoni incidentin për të cilin ende nuk ju lejohet të flisni, në komente, ose te thedaily diff dot dev. Dhe kjo është the diff për sot.
2:48 Unë jam Niko nga Axrisi. Bashkohuni me përgjegjësi.
Burimet
- CrowdStrike, Root Cause Analysis — Channel File 291 (Aug 6, 2024, 12 pp.)www.crowdstrike.com
- CrowdStrike, Executive Summary of the RCA (Aug 6, 2024)www.crowdstrike.com
- CrowdStrike, Preliminary Post Incident Review (Jul 24, 2024)www.crowdstrike.com
- CrowdStrike, Remediation and Guidance Hub — Channel File 291 (the workaround steps)www.crowdstrike.com
- CrowdStrike, tech alert of Jul 19, 2024 (archived: Safe Mode → delete C-00000291*.sys → BitLocker key)web.archive.org
- Microsoft, David Weston, "Helping our customers through the CrowdStrike outage" (Jul 20, 2024; the 8.5 million figure)blogs.microsoft.com
- Delta Air Lines, Form 8-K (Aug 8, 2024; ~7,000 cancellations, at least $500 million)www.sec.gov
- Adam Meyers (CrowdStrike SVP), written testimony, House Homeland Security Subcommittee (Sep 24, 2024)homeland.house.gov
- George Kurtz on X, Jul 19, 2024, 09:45 UTCx.com
- Patrick Wardle on X, Jul 19, 2024 (the crash-dump index 0x14)x.com
- Hacker News, Jul 19, 2024 — "CrowdStrike Update: Windows Bluescreen and Boot Loops" (4,489 points)news.ycombinator.com
- The Guardian, Jul 24, 2024 — "CrowdStrike global outage to cost US Fortune 500 companies $5.4bn" (Parametrix estimate)www.theguardian.com
- Hacker News, Jul 21, 2024 — "Initial details about why CrowdStrike's CSAgent.sys crashed" (519 points)news.ycombinator.com
- Wikipedia — 2024 CrowdStrike-related IT outagesen.wikipedia.org



