+− THE DAILY DIFFdev & AI news
SHIP IT

Jedno dodatno polje srušilo je 8,5 miliona računara. 78 minuta.

19.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

19. jula 2024. godine, 04:09 UTC: CrowdStrike šalje Channel File 291 – ažuriranje sadržaja za brzi odgovor – svakom Windows Falcon senzoru na mreži. Predložak koji koristi je deklarisan sa 21 ulaznim poljem u februaru; kod koji obezbjeđuje ulaze gradi niz od 20. Četiri mjeseca ništa ne čita polje 21, jer ga svako pravilo ostavlja kao "wildcard". Ovo ažuriranje stavlja pravi obrazac tamo. Content Validator na strani oblaka broji 21 u odnosu na deklaraciju i propušta ga; Content Interpreter senzora, bez provjere granica, čita slot 21 u kernel modu i Windows generiše greške stranice: PAGE_FAULT_IN_NONPAGED_AREA, csagent.sys. Drajver se namjerno učitava rano tokom pokretanja, čita istu datoteku, ponovo se ruši – petlja pokretanja. Vraćen je u 05:27 UTC, 78 minuta kasnije, ali 8,5 miliona mašina (prema Microsoftovom brojanju, manje od 1% Windowsa) već ima datoteku, a popravak je čovjek za svakom tastaturom: Safe Mode, izbriši C-00000291*.sys, ključ za oporavak BitLocker-a. Aviokompanije, bolnice, banke i 911 centri prestaju sa radom; Delta otkazuje oko 7.000 letova i traži najmanje 500 miliona dolara od CrowdStrikea i Microsofta; Parametrix procjenjuje račun Fortune 500 blizu 5,4 milijarde dolara. Postmortem iz CrowdStrikeove vlastite analize uzroka problema, preliminarni pregled nakon incidenta, Microsoftov blog, Deltin 8-K i svjedočenje u Predstavničkom domu. Git blame: 65 CrowdStrike / 25 dizajn kernel moda / 10 petak. Presuda o popravku: SHIP IT, jedva.

Pročitajte pisano izdanje (engleski) ↗

Šta ovaj video pokriva

  • 28. februar – 24. april 2024.: senzor 7.11 isporučuje IPC Template Type (21 polje deklarisano, 20 obezbijeđeno); stres test prolazi 5. marta; četiri instance rade jer je polje 21 "wildcard"
  • 19. jul, 04:09 UTC: dvije nove Template Instances; logička greška Content Validatora propušta onu koja nije "wildcard"; čitanje izvan granica u kernelu; 05:27 UTC vraćeno
  • 19–29. jul: ručna sanacija (Safe Mode, obriši datoteku, BitLocker ključ); ~97% senzora vraćeno do 24. jula, ~99% do 29. jula
  • 25. jul – 19. august: provjera granica tokom izvršavanja, validacija broja polja tokom kompajliranja, provjere validatora, kanarinac + prstenovi za implementaciju, kontrola korisnika nad Rapid Response Content, dva nezavisna pregleda; potpuna RCA sa "crash dump"-om 6. augusta

Pitanja i odgovori

Šta je uzrokovalo pad Windows računara zbog ažuriranja CrowdStrike-a u julu 2024.?

Ažuriranje sadržaja je dostavilo manje ulaza nego što je kod senzora očekivao. Prema analizi uzroka problema od strane CrowdStrike-a, šablon je deklarisan sa 21 ulaznim poljem, dok je kod koji ga je hranio izgradio niz od 20. Ažuriranje od 19. jula stavilo je stvarni obrazac u polje 21, a senzor je čitao izvan niza u režimu jezgra, uzrokujući grešku stranice.

www.crowdstrike.com · www.crowdstrike.com

Zašto validacija sadržaja CrowdStrike-a nije uhvatila čitanje izvan granica?

Validator je provjerio sadržaj prema deklaraciji šablona, a deklaracija je navodila 21 polje. Cloud-side Content Validator je izbrojao 21 i odobrio datoteku. Interpreter sadržaja senzora nije imao provjeru granica, pa je vjerovao validatoru, a validator je vjerovao deklaraciji. Četiri mjeseca ranije, pravila su ostavljala polje 21 kao džoker, tako da ga ništa nikada nije pročitalo.

www.crowdstrike.com · www.crowdstrike.com

Zašto su pogođene Windows mašine nastavljale da padaju nakon što je CrowdStrike povukao loše ažuriranje?

Drajver se učitava rano pri pokretanju i čita istu datoteku kanala, tako da se svaka mašina koja ju je primila ponovo srušila pri svakom ponovnom pokretanju. CrowdStrike je vratio datoteku u 05:27 UTC, 78 minuta nakon guranja. Oporavak je bio ručni, zahtijevajući Safe Mode, brisanje C-00000291*.sys i, sa BitLockerom, ključ za oporavak.

web.archive.org · www.crowdstrike.com · blogs.microsoft.com

Koliko je bio veliki uticaj prekida rada CrowdStrike-a?

Microsoft je izbrojao 8,5 miliona pogođenih Windows mašina, što je manje od 1% Windows uređaja. Delta Air Lines je prijavila oko 7.000 otkazanih letova i tražila je najmanje 500 miliona dolara od CrowdStrike-a i Microsofta u svom obrascu 8-K. The Guardian je objavio procjenu Parametrixa koja je procijenila troškove za kompanije sa liste Fortune 500 na blizu 5,4 milijarde dolara.

blogs.microsoft.com · www.sec.gov · www.theguardian.com

Da li je CrowdStrike-ovo rešenje dovoljno da bezbednosni sadržaj koji se prebacuje u oblak bude siguran?

Presuda The Daily Diff-a je bila SHIP IT, ali tijesno. CrowdStrike je dodao provjeru granica tokom izvršavanja, faze implementacije, korisničku kontrolu nad ažuriranjima sadržaja i dva nezavisna pregleda. Epizoda kaže tijesno jer je sve to već bila standardna praksa. Njegov savjet je da sve što agent povuče iz oblaka prvo treba proći kroz canary ring.

www.crowdstrike.com · www.crowdstrike.com

Prevedeni transkript

Prevedeno iz originalne engleske naracije. Dostupan zvuk i titlovi kontroliše YouTube.

0:00 Jedno sigurnosno ažuriranje nosi dvadeset i jedno polje u drajver napravljen za dvadeset, i osam i po miliona Windows mašina se srušilo prije doručka. 19. jula 2024. godine, 04:09 UTC. CrowdStrike šalje Channel File 291 svakom Falcon senzoru. Sedamdeset osam minuta kasnije ga povlače; do tada aviokompanije, bolnice i banke gledaju u isti plavi pravougaonik. Prvi post CEO-a kaže da nije cybernapad, istina, i nije poenta. Kako se to događa, zašto je to moguće i ko snosi krivicu.

0:27 Ovo je The Daily Diff, postmortem. 28. februar. Senzor 7.11 isporučuje novi detektor za imenovane cijevi. Deklariše dvadeset i jedno ulazno polje; kod koji ga hrani gradi niz od dvadeset. Niko ne primjećuje: četiri mjeseca svako pravilo ostavlja polje dvadeset i jedno kao wildcard, i niko ne čita wildcard. Stres test prolazi, četiri pravila se isporučuju, sve je u redu. 19. jul, 04:09. Dva nova pravila; jedno stavlja pravi obrazac u polje dvadeset i jedno.

0:51 Cloud validator broji dvadeset i jedno u odnosu na deklaraciju i kaže da je u redu. Svaki online Windows host preuzima ga odmah, jer nema "canary ring"-a. Senzor čita slot dvadeset i jedan, što nije njegova memorija, i kernel radi ono što kerneli rade. 05:27, vraćeno. Prekasno za svakoga ko je ponovo pokrenuo: drajver se učitava rano pri pokretanju, čita istu datoteku i ponovo se ruši. Petlja pokretanja. Zašto je ovo moguće? Pravila su konfiguracija gurnuta iz oblaka, tako da kod ne preskače "code"

1:16 pipeline. Interpreter nema provjeru granica; vjeruje validatoru, a validator vjeruje deklaraciji. I sve se to pokreće u kernel modu, gdje loš pokazivač nije izuzetak već greška stranice koju Windows kaže da se ne može zaštititi pokušajem-izuzetkom. Patrick Wardle to čita iz "crash dump"-a tog popodneva: indeks nula x četrnaest, slot dvadeset i jedan. Popravak je ručni. Safe Mode, obriši C-00000291, ponovo pokreni. Sa BitLockerom, prvo unesite četrdeset osamocifreni

1:43 ključ za oporavak koji se nalazi na serveru koji je također plav. git blame. CrowdStrike, šezdeset pet posto: RCA navodi šest nalaza, a nalaz šest je cijela rečenica: Instance šablona bi trebale imati postepenu implementaciju. Dizajn kernel moda, dvadeset pet: CrowdStrike kaže da Windows ne može još uvijek ugostiti sigurnost izvan kernela, Microsoft kaže da to nije Microsoftov incident, a greška stranice se ne brine.

2:05 Petak, deset. Poruka "commit"-a kaže da nije kod. Radijus eksplozije: osam i po miliona uređaja, manje od jedan posto Windowsa. Delta otkazuje sedam hiljada letova i tuži za pet stotina miliona, uključujući Microsoft. Osiguravači procjenjuju račun Fortune 500 blizu pet milijardi. Hacker News: četiri hiljade pet stotina bodova. Ironija: ažuriranje namijenjeno otkrivanju novih tehnika napada samo je isporučilo jednu. Presuda, postmortem: SHIP IT, jedva.

2:27 Provjera granica za šest dana, fazni prstenovi, kontrola korisnika nad ažuriranjima sadržaja, dvije vanjske recenzije. Jedva, jer je sve to već bila standardna praksa. Ponedjeljak: šta god vaš agent povuče iz oblaka dobija "canary ring". Konfiguracija je kod onog trenutka kada je nešto parsira tamo gdje ne može izbaciti grešku. Pošaljite mi incident o kojem još uvijek ne smijete govoriti, u komentarima, ili na the daily diff dot dev. I to je diff za danas.

2:48 Ja sam Niko iz Axrisija. Spajajte odgovorno.

Izvori

  1. CrowdStrike, Root Cause Analysis — Channel File 291 (Aug 6, 2024, 12 pp.)www.crowdstrike.com
  2. CrowdStrike, Executive Summary of the RCA (Aug 6, 2024)www.crowdstrike.com
  3. CrowdStrike, Preliminary Post Incident Review (Jul 24, 2024)www.crowdstrike.com
  4. CrowdStrike, Remediation and Guidance Hub — Channel File 291 (the workaround steps)www.crowdstrike.com
  5. CrowdStrike, tech alert of Jul 19, 2024 (archived: Safe Mode → delete C-00000291*.sys → BitLocker key)web.archive.org
  6. Microsoft, David Weston, "Helping our customers through the CrowdStrike outage" (Jul 20, 2024; the 8.5 million figure)blogs.microsoft.com
  7. Delta Air Lines, Form 8-K (Aug 8, 2024; ~7,000 cancellations, at least $500 million)www.sec.gov
  8. Adam Meyers (CrowdStrike SVP), written testimony, House Homeland Security Subcommittee (Sep 24, 2024)homeland.house.gov
  9. George Kurtz on X, Jul 19, 2024, 09:45 UTCx.com
  10. Patrick Wardle on X, Jul 19, 2024 (the crash-dump index 0x14)x.com
  11. Hacker News, Jul 19, 2024 — "CrowdStrike Update: Windows Bluescreen and Boot Loops" (4,489 points)news.ycombinator.com
  12. The Guardian, Jul 24, 2024 — "CrowdStrike global outage to cost US Fortune 500 companies $5.4bn" (Parametrix estimate)www.theguardian.com
  13. Hacker News, Jul 21, 2024 — "Initial details about why CrowdStrike's CSAgent.sys crashed" (519 points)news.ycombinator.com
  14. Wikipedia — 2024 CrowdStrike-related IT outagesen.wikipedia.org

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Povezani videozapisi