+− THE DAILY DIFFdev & AI news
SHIP IT

Jedno dodatno polje srušilo 8,5 milijuna računala. 78 minuta.

19.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

19. srpnja 2024., 04:09 UTC: CrowdStrike šalje Channel File 291 — ažuriranje sadržaja brzog odgovora — svakom online Windows Falcon senzoru. Predložak koji koristi deklariran je s 21 ulaznim poljem u veljači; kod koji dostavlja ulaze gradi niz od 20. Četiri mjeseca ništa ne čita polje 21, jer svako pravilo ostavlja to polje kao joker znak. Ovo ažuriranje stavlja pravi uzorak tamo. Cloud-strani Content Validator broji 21 u odnosu na deklaraciju i prolazi je; senzorov Content Interpreter, bez provjere granica, čita utor 21 u kernel modu i Windows javlja greške stranice: PAGE_FAULT_IN_NONPAGED_AREA, csagent.sys. Upravljački program se namjerno učitava rano pri pokretanju, čita istu datoteku, ponovno se ruši — petlja pokretanja. Vraćeno na prethodno stanje u 05:27 UTC, 78 minuta kasnije, ali 8,5 milijuna strojeva (Microsoftov broj, manje od 1% Windowsa) već ima datoteku, a rješenje je čovjek za svakom tipkovnicom: siguran način rada, izbrišite C-00000291*.sys, BitLocker ključ za oporavak. Zrakoplovne tvrtke, bolnice, banke i centri za hitne slučajeve staju; Delta otkazuje oko 7.000 letova i traži najmanje 500 milijuna dolara od CrowdStrikea i Microsofta; Parametrix procjenjuje račun Fortune 500 blizu 5,4 milijarde dolara. Postmortem iz CrowdStrikeove vlastite analize korijenskog uzroka, preliminarnog pregleda nakon incidenta, Microsoftovog bloga, Delta 8-K izvješća i svjedočenja u Zastupničkom domu. Git krivnja: 65 CrowdStrike / 25 dizajn kernel moda / 10 petak. Presuda o popravku: SHIP IT, jedva.

Pročitajte pisano izdanje (engleski) ↗

Što ovaj video pokriva

  • 28. veljače – 24. travnja 2024.: senzor 7.11 isporučuje IPC Template Type (21 deklarirano polje, 20 isporučeno); stres test prolazi 5. ožujka; četiri instance rade jer je polje 21 joker znak
  • 19. srpnja, 04:09 UTC: dvije nove Template Instance; logička pogreška Content Validatora propušta onu bez joker znaka; čitanje izvan granica u kernelu; 05:27 UTC vraćeno na prethodno stanje
  • 19. – 29. srpnja: ručna sanacija (Safe Mode, brisanje datoteke, BitLocker ključ); ~97% senzora vraćeno do 24. srpnja, ~99% do 29. srpnja
  • 25. srpnja – 19. kolovoza: provjera granica tijekom izvođenja, validacija broja polja tijekom kompilacije, provjere validatora, canary + prstenovi implementacije, korisnička kontrola nad Rapid Response Content, dvije neovisne recenzije; puna RCA s dumpom rušenja 6. kolovoza

Pitanja i odgovori

Što je uzrokovalo pad Windows računala nakon ažuriranja CrowdStrikea u srpnju 2024.?

Ažuriranje sadržaja isporučilo je manje ulaza nego što je kod senzora očekivao. Prema analizi uzroka problema tvrtke CrowdStrike, predložak je bio deklariran s 21 ulaznim poljem, dok je kod koji ga je hranio izgradio niz od 20. Ažuriranje od 19. srpnja stavilo je stvarni uzorak u polje 21, a senzor je čitao izvan niza u načinu rada jezgre, uzrokujući pogrešku stranice.

www.crowdstrike.com · www.crowdstrike.com

Zašto validacija sadržaja CrowdStrikea nije uhvatila čitanje izvan granica?

Validator je provjeravao sadržaj prema deklaraciji predloška, a deklaracija je govorila 21 polje. Validator sadržaja na strani oblaka izbrojao je 21 i proslijedio datoteku. Interpreter sadržaja senzora nije imao provjeru granica, pa je vjerovao validatoru, a validator je vjerovao deklaraciji. Četiri mjeseca ranije pravila su ostavila polje 21 kao zamjenski znak, tako da ga ništa nikada nije pročitalo.

www.crowdstrike.com · www.crowdstrike.com

Zašto su pogođeni Windows strojevi nastavili padati nakon što je CrowdStrike vratio loše ažuriranje?

Upravljački program se učitava rano pri pokretanju i čita istu datoteku kanala, pa se svaki stroj koji ju je primio ponovno srušio pri svakom ponovnom pokretanju. CrowdStrike je vratio datoteku u 05:27 UTC, 78 minuta nakon guranja. Oporavak je bio ručni, zahtijevajući siguran način rada, brisanje C-00000291*.sys i, uz BitLocker, ključ za oporavak.

web.archive.org · www.crowdstrike.com · blogs.microsoft.com

Koliki je bio utjecaj prekida rada CrowdStrikea?

Microsoft je izbrojao 8,5 milijuna pogođenih Windows strojeva, manje od 1% Windows uređaja. Delta Air Lines prijavila je oko 7.000 otkazanih letova i tražila je najmanje 500 milijuna dolara od CrowdStrikea i Microsofta u svom obrascu 8-K. The Guardian je izvijestio o procjeni Parametrixa koja je procijenila troškove za tvrtke s Fortune 500 liste na gotovo 5,4 milijarde dolara.

blogs.microsoft.com · www.sec.gov · www.theguardian.com

Je li CrowdStrikeovo rješenje dovoljno da sigurnosni sadržaj gurnut iz oblaka bude siguran?

Presuda The Daily Diffa bila je SHIP IT, s malom razlikom. CrowdStrike je dodao provjeru granica u stvarnom vremenu, fazne prstenove za implementaciju, kontrolu korisnika nad ažuriranjima sadržaja i dvije neovisne recenzije. Epizoda kaže s malom razlikom jer je sve to već bila standardna praksa. Njegov savjet je da sve što agent povuče iz oblaka prvo prođe kroz kanarski prsten.

www.crowdstrike.com · www.crowdstrike.com

Prevedeni transkript

Prevedeno iz izvornog engleskog pripovijedanja. Dostupni zvuk i titlovi kontroliraju se putem YouTubea.

0:00 Jedno sigurnosno ažuriranje nosi dvadeset i jedno polje u upravljački program napravljen za dvadeset, i osam i pol milijuna Windows strojeva dobiva plavi ekran prije doručka. 19. srpnja 2024., 04:09 UTC. CrowdStrike šalje Channel File 291 svakom Falcon senzoru. Sedamdeset i osam minuta kasnije povlače ga; do tada zrakoplovne tvrtke, bolnice i banke gledaju isti plavi pravokutnik. Prva objava izvršnog direktora kaže da nije kibernetički napad, istina, i nije poanta. Kako se dogodilo, zašto je moguće i tko snosi krivnju.

0:27 Ovo je The Daily Diff, postmortem. 28. veljače. Senzor 7.11 isporučuje novi detektor za imenovane cijevi. Deklarira dvadeset i jedno ulazno polje; kod koji ga hrani gradi niz od dvadeset. Nitko ne primjećuje: četiri mjeseca svako pravilo ostavlja polje dvadeset i jedno kao joker znak, i nitko ne čita joker znak. Stres test prolazi, četiri pravila se isporučuju, sve je u redu. 19. srpnja, 04:09. Dva nova pravila; jedno stavlja pravi uzorak u polje dvadeset i jedno.

0:51 Cloud validator broji dvadeset i jedno prema deklaraciji i kaže da je u redu. Svaki online Windows host preuzima ga odmah, jer nema canary prstena. Senzor čita utor dvadeset i jedan, što nije njegova memorija, i kernel radi što kerneli rade. 05:27, vraćeno na prethodno stanje. Prekasno za svakoga tko je ponovno pokrenuo: upravljački program se učitava rano u pokretanju, čita istu datoteku i ponovno se ruši. Petlja pokretanja. Zašto je ovo moguće? Pravila su konfiguracija gurnuta iz oblaka, tako da kod ne preskače kod

1:16 cjevovod. Tumač nema provjeru granica; vjeruje validatoru, a validator vjeruje deklaraciji. I sve se to izvodi u kernel modu, gdje loš pokazivač nije iznimka, već greška stranice koju Windows kaže da se ne može zaštititi pokušajem i iznimkom. Patrick Wardle to čita s dumpa rušenja tog popodneva: indeks nula x četrnaest, utor dvadeset i jedan. Popravak je ručni. Safe Mode, izbrišite C-00000291, ponovno pokrenite. S BitLockerom, prvo upišite četrdeset i osam znamenki

1:43 ključ za oporavak koji se nalazi na serveru koji je također plav. git blame. CrowdStrike, šezdeset i pet posto: RCA navodi šest nalaza, a nalaz šest je puna rečenica: Template Instances bi trebale imati postupno implementaciju. Dizajn kernel moda, dvadeset i pet: CrowdStrike kaže da Windows ne može još uvijek ugostiti sigurnost izvan kernela, Microsoft kaže da nije Microsoftov incident, a greška stranice ne mari.

2:05 Petak, deset. Poruka commita kaže da nije kod. Radijus eksplozije: osam i pol milijuna uređaja, manje od jedan posto Windowsa. Delta otkazuje sedam tisuća letova i tuži za petsto milijuna, uključujući Microsoft. Osiguravatelji procjenjuju račun Fortune 500 blizu pet milijardi. Hacker News: četiri tisuće petsto bodova. Ironija: ažuriranje namijenjeno otkrivanju novih tehnika napada samo je isporučilo jednu. Presuda, postmortem: SHIP IT, jedva.

2:27 Provjera granica za šest dana, fazni prstenovi, korisnička kontrola nad ažuriranjima sadržaja, dvije vanjske recenzije. Jedva, jer je sve to već bila standardna praksa. Ponedjeljak: što god vaš agent povuče iz oblaka dobiva canary prsten. Konfiguracija je kod onog trenutka kada je nešto parsira tamo gdje ne može baciti iznimku. Pošaljite mi incident o kojem još uvijek ne smijete govoriti, u komentarima, ili na daily diff dot dev. I to je diff za danas.

2:48 Ja sam Niko iz Axrisija. Spajajte odgovorno.

Izvori

  1. CrowdStrike, Root Cause Analysis — Channel File 291 (Aug 6, 2024, 12 pp.)www.crowdstrike.com
  2. CrowdStrike, Executive Summary of the RCA (Aug 6, 2024)www.crowdstrike.com
  3. CrowdStrike, Preliminary Post Incident Review (Jul 24, 2024)www.crowdstrike.com
  4. CrowdStrike, Remediation and Guidance Hub — Channel File 291 (the workaround steps)www.crowdstrike.com
  5. CrowdStrike, tech alert of Jul 19, 2024 (archived: Safe Mode → delete C-00000291*.sys → BitLocker key)web.archive.org
  6. Microsoft, David Weston, "Helping our customers through the CrowdStrike outage" (Jul 20, 2024; the 8.5 million figure)blogs.microsoft.com
  7. Delta Air Lines, Form 8-K (Aug 8, 2024; ~7,000 cancellations, at least $500 million)www.sec.gov
  8. Adam Meyers (CrowdStrike SVP), written testimony, House Homeland Security Subcommittee (Sep 24, 2024)homeland.house.gov
  9. George Kurtz on X, Jul 19, 2024, 09:45 UTCx.com
  10. Patrick Wardle on X, Jul 19, 2024 (the crash-dump index 0x14)x.com
  11. Hacker News, Jul 19, 2024 — "CrowdStrike Update: Windows Bluescreen and Boot Loops" (4,489 points)news.ycombinator.com
  12. The Guardian, Jul 24, 2024 — "CrowdStrike global outage to cost US Fortune 500 companies $5.4bn" (Parametrix estimate)www.theguardian.com
  13. Hacker News, Jul 21, 2024 — "Initial details about why CrowdStrike's CSAgent.sys crashed" (519 points)news.ycombinator.com
  14. Wikipedia — 2024 CrowdStrike-related IT outagesen.wikipedia.org

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Povezani videozapisi