Eremu gehigarri batek 8,5 milioi PC kraskatu zituen. 78 minutu.
2024ko uztailaren 19a, 04:09 UTC: CrowdStrike-k Channel File 291 —Rapid Response Content eguneratze bat— bidaltzen die Windows Falcon sentsore guztiei, sarean.
2024ko uztailaren 19a, 04:09 UTC: CrowdStrike-k Channel File 291 —Rapid Response Content eguneratze bat— bidaltzen die Windows Falcon sentsore guztiei, sarean. Elikatzen duen txantiloia otsailean 21 sarrera-eremurekin deklaratu zen; sarrerak hornitzen dituen kodeak 20ko array bat eraikitzen du. Lau hilabetez ezerk ez du 21. eremua irakurtzen, arau guztiek komodina gisa uzten dutelako. Eguneratze honek benetako patroi bat jartzen du bertan. Hodeiko Content Validator-ek 21 deklarazioaren aurka zenbatzen ditu eta pasatzen du; sentsorearen Content Interpreter-ek, muga-egiaztapenik gabe, 21. zirrikitua irakurtzen du kernel moduan eta Windowseko orri-akatsak sortzen ditu: PAGE_FAULT_IN_NONPAGED_AREA, csagent.sys. Gidaria abiaraztean goiz kargatzen da nahita, fitxategi bera irakurtzen du, berriro kraskatzen da —abiarazte-begizta. 05:27 UTC-an leheneratu zen, 78 minutu geroago, baina 8,5 milioi makinatan (Microsoft-en kontaketa, Windowsen %1 baino gutxiago) dagoeneko fitxategia dute, eta konponbidea giza bat da teklatu bakoitzean: Modu Segurua, ezabatu C-00000291*.sys, BitLocker berreskurapen-gakoa. Airelineak, ospitaleak, bankuak eta 911 zentroak gelditzen dira; Delta-k 7.000 hegaldi inguru bertan behera uzten ditu eta gutxienez 500 milioi dolar erreklamatzen ditu CrowdStrike eta Microsoft-i; Parametrix-ek Fortune 500 faktura 5.4 bilioi dolar inguruan kokatzen du. Postmortem CrowdStrike-ren Root Cause Analysis-etik, Preliminary Post Incident Review-etik, Microsoft-en blog-etik, Delta-ren 8-K-tik eta Ganberaren testigantzatik. Git blame: %65 CrowdStrike / %25 kernel-moduaren diseinua / %10 ostirala. Konponbidearen epaia: SHIP IT, justu.
Irakurri idatzizko edizioa (ingelesez) ↗
Bideo honek zer jorratzen duen
- 2024ko otsailaren 28tik apirilaren 24ra: 7.11 sentsoreak IPC Template Type bidaltzen du (21 eremu deklaratuta, 20 hornituta); estres probak martxoaren 5ean gainditzen du; lau instantziak funtzionatzen dute 21. eremua komodina delako
- Uztailaren 19a, 04:09 UTC: bi txantiloi instantzia berri; Content Validator-en logika-erroreak komodina ez dena pasatzen uzten du; kernelan mugaz gaindiko irakurketa; 05:27 UTC-an leheneratua
- Uztailaren 19tik 29ra: eskuzko konponketa (Modu segurua, fitxategia ezabatu, BitLocker gakoa); sentsoreen %97 inguru uztailaren 24rako martxan, %99 inguru uztailaren 29rako
- Uztailaren 25etik abuztuaren 19ra: exekuzio-denborako muga-egiaztapena, konpilazio-denborako eremu-kopuruaren baliozkotzea, balioztatzailearen egiaztapenak, kanariar + hedatze-eraztunak, bezeroen kontrola Rapid Response Content-en gainean, bi berrikuspen independente; RCA osoa crash dump-arekin abuztuaren 6an
Galderak eta erantzunak
Zerk eragin zuen 2024ko uztaileko CrowdStrike eguneratzeak Windows ordenagailuak kraskatzea?
Eduki eguneratze batek sentsorearen kodeak espero zuena baino sarrera gutxiago eman zituen. CrowdStrike-ren erroko arrazoien analisiaren arabera, txantiloia 21 sarrera-eremurekin deklaratu zen, eta hura elikatzen zuen kodeak 20ko array bat eraiki zuen. Uztailaren 19ko eguneratzeak benetako eredu bat jarri zuen 21. eremuan, eta sentsoreak array-aren haratago irakurri zuen kernel moduan, orri-akats bat eraginez.
Zergatik ez zuen CrowdStrike-ren edukiaren balidazioak mugaz gaindiko irakurketa hauteman?
Balidatzaileak edukia txantiloiaren deklarazioaren aurka egiaztatu zuen, eta deklarazioak 21 eremu zituela esaten zuen. Hodeiko edukiaren balidatzaileak 21 kontatu zituen eta fitxategia onartu zuen. Sentsorearen edukiaren interpreteak ez zuen muga-egiaztapenik, beraz, balidatzailean konfiantza izan zuen, eta balidatzaileak deklarazioan konfiantza izan zuen. Aurreko lau hilabeteetan, arauek 21. eremua komodin gisa utzi zuten, beraz, inoiz ez zen ezer irakurri.
Zergatik jarraitu zuten kaltetutako Windows makinek kraskatzen CrowdStrike-k eguneratze txarra desegin ondoren?
Gidatzailea abioko lehen uneetan kargatzen da eta kanal-fitxategi bera irakurtzen du, beraz, hura jaso zuen edozein makina berriro kraskatu zen berrabiarazte bakoitzean. CrowdStrike-k fitxategia 05:27 UTC-n desegin zuen, bultzadaren ondorengo 78 minutu. Berreskurapena eskuzkoa izan zen, modu segurua, C-00000291*.sys ezabatzea eta, BitLocker-ekin, berreskurapen-gako bat behar izan zituen.
Zein handia izan zen CrowdStrike-ren etenaldiaren eragina?
Microsoft-ek 8,5 milioi kaltetutako Windows makina zenbatu zituen, Windows gailuen %1 baino gutxiago. Delta Air Lines-ek 7.000 hegaldi inguru bertan behera utzi zituela jakinarazi zuen eta CrowdStrike eta Microsoft-i gutxienez 500 milioi dolar eskatu zizkien bere 8-K formularioan. The Guardian-ek Parametrix-en estimazio bat argitaratu zuen, Fortune 500 enpresei 5,4 milioi dolar inguruko kostua ekarri ziena.
Nahikoa al da CrowdStrike-ren konponbidea hodeitik bultzatutako segurtasun-edukia segurua izateko?
The Daily Diff-en epaia SHIP IT izan zen, justu-justu. CrowdStrike-k exekuzio-denborako muga-egiaztapen bat, hedatze-eraztun eszenifikatuak, bezeroaren kontrola edukiaren eguneratzeen gainean eta bi berrikuspen independente gehitu zituen. Pasarteak justu-justu esaten du, hori guztia lehendik ere ohiko praktika zelako. Bere aholkua da agente batek hodeitik ateratzen duen edozer gauza kanariar-eraztun batetik igaro behar dela lehenik.
Itzulitako transkripzioa
Jatorrizko ingelesezko narraziotik itzulia. Eskuragarri dauden audioa eta azpitituluak YouTube-k kontrolatzen ditu.
0:00 Segurtasun eguneratze batek hogeita bat eremu daramatza hogei sortutako kontrolatzaile batera, eta zortzi milioi eta erdi Windows makinak pantaila urdina jartzen zaie gosaltzeko orduko. 2024ko uztailaren 19a, 04:09 UTC. CrowdStrike-k Channel File 291 bultzatzen du Falcon sentsore guztietara. Hirurogeita hemezortzi minutu geroago kentzen dute; ordurako airelineak, ospitaleak eta bankuak koadro urdin berari begira daude. Zuzendari Nagusiaren lehen mezuak ez zuela zibereraso bat esaten du, egia, eta ez da puntu garrantzitsuena. Nola gertatzen den, zergatik den posible, eta nork duen errua.
0:27 Hau The Daily Diff da, postmortem. Otsailak 28. Sentsore 7.11-k izeneko hodietarako detektagailu berri bat bidaltzen du. Hogeita bat sarrera-eremu deklaratzen ditu; hura elikatzen duen kodeak hogei elementuko array bat eraikitzen du. Inork ez du nabaritzen: lau hilabetez arau guztiek hogeita bat eremua komodina gisa uzten dute, eta inork ez du komodina bat irakurtzen. Estres proba bat pasatzen da, lau arau bidaltzen dira, dena ondo. Uztailak 19, 04:09. Bi arau berri; batek benetako patroi bat jartzen du hogeita bat eremuan.
0:51 Hodeiko balioztatzaileak hogeita bat zenbatzen ditu deklarazioaren aurka eta ondo dagoela dio. Sareko Windows host guztiek deskargatzen dute aldi berean, ez baitago kanariar eraztunik. Sentsoreak hogeita bat zirrikitua irakurtzen du, hau ez da bere memoria, eta kernelak kernelak egiten duena egiten du. 05:27, leheneratua. Berriro abiarazi duen edonorentzat beranduegi: kontrolatzailea goiz kargatzen da abiaraztean, fitxategi bera irakurtzen du, eta berriro kraskatzen da. Abiarazte-begizta. Zergatik da hau posible? Arauak hodeitik bultzatutako konfigurazioa dira, beraz, kodeak ez du kode-
1:16 pipeline-a saltatzen. Interpreteak ez du muga-egiaztapenik; balioztatzailean konfiantza du, eta balioztatzaileak deklarazioan konfiantza du. Eta dena kernel moduan exekutatzen da, non erakusle txar bat ez den salbuespen bat, baizik eta Windows-ek ezin duela try-except bidez babestu dioen orri-akats bat. Patrick Wardle-k crash dump batetik irakurtzen du arratsalde hartan: zero x hamalau indizea, hogeita bat zirrikitua. Konponketa eskuzkoa da. Modu Segurua, ezabatu C-00000291, berrabiarazi. BitLocker-ekin, lehenik berrogeita zortzi digituko
1:43 berreskurapen-gako bat idatzi behar da, zerbitzari batean dagoena, hau ere urdina da. git blame. CrowdStrike, hirurogeita bost ehuneko: RCAk sei aurkikuntza zerrendatzen ditu, eta seigarren aurkikuntza esaldi oso bat da: Txantiloi Instantziek etapa- hedapena izan beharko lukete. Kernel-moduaren diseinua, hogeita bost: CrowdStrike-k dio Windows-ek ezin duela oraindik segurtasuna kernelaren kanpoan hartu, Microsoft-ek dio ez dela Microsoft-en gertakari bat, eta orri-akatsari berdin zaio.
2:05 Ostirala, hamar. Commit mezuak ez dela kodea dio. Leherketa-erradioa: zortzi milioi eta erdi gailu, Windowsen ehuneko bat baino gutxiago. Delta-k zazpi mila hegaldi bertan behera uzten ditu eta bostehun milioi dolar eskatzen ditu, Microsoft barne. Aseguruek Fortune 500-en faktura bost bilioi inguruan kokatzen dute. Hacker News: berrogeita bostehun puntu. Ironia: eraso teknika berriak detektatzeko zen eguneratze batek bat sortu zuen. Epaia, postmortem: SHIP IT, justu.
2:27 Muga-egiaztapena sei egunetan, eraztun fasekatuak, bezeroen kontrola edukien eguneratzeen gainean, bi kanpoko berrikuspen. Justu, hori guztia ohiko praktika zelako dagoeneko. Astelehena: zure agenteak hodeitik ateratzen duen edozerk kanariar eraztun bat lortzen du. Konfigurazioa kodea da zerbaitek parseatzen duen unean, non ezin duen salbuespenik bota. Bidali iezadazu oraindik hitz egiteko baimenik ez duzun gertakaria, iruzkinetan, edo daily diff dot dev helbidean. Eta horixe da gaurko diff-a.
2:48 Niko naiz Axrisi-koa. Batu arduraz.
Iturriak
- CrowdStrike, Root Cause Analysis — Channel File 291 (Aug 6, 2024, 12 pp.)www.crowdstrike.com
- CrowdStrike, Executive Summary of the RCA (Aug 6, 2024)www.crowdstrike.com
- CrowdStrike, Preliminary Post Incident Review (Jul 24, 2024)www.crowdstrike.com
- CrowdStrike, Remediation and Guidance Hub — Channel File 291 (the workaround steps)www.crowdstrike.com
- CrowdStrike, tech alert of Jul 19, 2024 (archived: Safe Mode → delete C-00000291*.sys → BitLocker key)web.archive.org
- Microsoft, David Weston, "Helping our customers through the CrowdStrike outage" (Jul 20, 2024; the 8.5 million figure)blogs.microsoft.com
- Delta Air Lines, Form 8-K (Aug 8, 2024; ~7,000 cancellations, at least $500 million)www.sec.gov
- Adam Meyers (CrowdStrike SVP), written testimony, House Homeland Security Subcommittee (Sep 24, 2024)homeland.house.gov
- George Kurtz on X, Jul 19, 2024, 09:45 UTCx.com
- Patrick Wardle on X, Jul 19, 2024 (the crash-dump index 0x14)x.com
- Hacker News, Jul 19, 2024 — "CrowdStrike Update: Windows Bluescreen and Boot Loops" (4,489 points)news.ycombinator.com
- The Guardian, Jul 24, 2024 — "CrowdStrike global outage to cost US Fortune 500 companies $5.4bn" (Parametrix estimate)www.theguardian.com
- Hacker News, Jul 21, 2024 — "Initial details about why CrowdStrike's CSAgent.sys crashed" (519 points)news.ycombinator.com
- Wikipedia — 2024 CrowdStrike-related IT outagesen.wikipedia.org



