+− THE DAILY DIFFdev & AI news
Videók / postmortem
SHIP IT

Egy extra mező 8,5 millió PC-t "leállított". 78 perc.

Közzétéve 2026. szept. 14. · 2:52 · Niko from Axrisi

2024.

2024. július 19., 04:09 UTC: A CrowdStrike elküldi a 291-es csatornafájlt – egy Rapid Response Tartalom frissítést – minden online Windows Falcon szenzornak. A sablon, amelyet betáplál, februárban 21 bemeneti mezővel lett deklarálva; a bemeneteket szállító kód 20-as tömböt épít. Négy hónapig semmi sem olvassa a 21-es mezőt, mert minden szabály helyettesítő karakterként hagyja. Ez a frissítés valódi mintát helyez oda. A felhő oldali Tartalom Hitelesítő 21-et számol a deklarációval szemben, és átengedi; a szenzor Tartalom Értelmezője, bounds check nélkül, a 21-es slotot kernel módban olvassa, és a Windows laphiba keletkezik: PAGE_FAULT_IN_NONPAGED_AREA, csagent.sys. A driver szándékosan korán töltődik be a bootoláskor, elolvassa ugyanazt a fájlt, majd újra összeomlik – boot loop. 05:27 UTC-kor, 78 perccel később visszavonták, de 8,5 millió gép (a Microsoft számlálása, kevesebb mint 1% a Windowsok közül) már rendelkezik a fájllal, és a javítás minden billentyűzetnél egy emberi beavatkozást igényel: Csökkentett mód, C-00000291*.sys törlése, BitLocker helyreállítási kulcs. Légitársaságok, kórházak, bankok és segélyhívó központok állnak le; a Delta körülbelül 7000 járatot töröl, és legalább 500 millió dollárt követel a CrowdStrike-tól és a Microsofttól; a Parametrix a Fortune 500-asok számláját közel 5,4 milliárd dollárra becsüli. Utólagos elemzés a CrowdStrike saját gyökérok-elemzéséből, az Előzetes Incidens Utáni Felülvizsgálatból, a Microsoft blogjából, a Delta 8-K jelentéséből és a Képviselőház meghallgatásából. Git blame: 65 CrowdStrike / 25 kernel-módú tervezés / 10 a péntek. Ítélet a javításról: SHIP IT, szűkösen.

Olvassa el az írott kiadást (angolul) ↗

Amit ez a videó tartalmaz

  • 2024. február 28. – április 24.: a 7.11-es szenzor szállítja az IPC Sablon típust (21 mező deklarálva, 20 biztosítva); a stresszteszt március 5-én sikeres; négy példány működik, mert a 21-es mező helyettesítő karakter
  • Július 19., 04:09 UTC: két új sablonpéldány; a Tartalom Hitelesítő logikai hibája átengedi a nem helyettesítő karaktereset; a kernelben határon kívüli olvasás; 05:27 UTC visszavonva
  • Július 19–29.: manuális helyreállítás (Csökkentett mód, fájl törlése, BitLocker kulcs); a szenzorok ~97%-a július 24-ig, ~99%-a július 29-ig visszatér
  • Július 25. – augusztus 19.: futásidejű határ ellenőrzés, fordítási idejű mezőszám-ellenőrzés, hitelesítő ellenőrzések, kanári + telepítési gyűrűk, ügyfélkontroll a Rapid Response Tartalom felett, két független felülvizsgálat; teljes RCA (gyökérok elemzés) crash dumppal augusztus 6-án

Lefordított átirat

Az eredeti angol narrációból fordítva. A rendelkezésre álló hangot és feliratokat a YouTube vezérli.

0:00 Egy biztonsági frissítés huszonegy mezőt visz egy húszra épített illesztőprogramba, és nyolc és fél millió Windows gép "kék halál"-t kap reggeli előtt. 2024. július 19., 04:09 UTC. A CrowdStrike elküldi a 291-es csatornafájlt minden Falcon szenzornak. Hetvennyolc perccel később visszavonják; addigra a légitársaságok, kórházak és bankok ugyanazt a kék téglalapot bámulják. A vezérigazgató első posztja szerint nem kibertámadás, ez igaz, de nem ez a lényeg. Hogyan történik, miért lehetséges, és ki kapja a hibát.

0:27 Ez a The Daily Diff, utólagos elemzés. Február 28. A 7.11-es szenzor új érzékelőt szállít a "named pipes"-hoz. Huszonegy bemeneti mezőt deklarál; a kódot, amely betáplálja, egy húszas tömböt épít. Senki sem veszi észre: négy hónapig minden szabály a huszonegyes mezőt helyettesítő karakterként hagyja, és senki sem olvas helyettesítő karaktert. Egy stresszteszt sikeres, négy szabály elindul, minden rendben. Július 19., 04:09. Két új szabály; az egyik valódi mintát helyez a huszonegyes mezőbe.

0:51 A felhőalapú hitelesítő húszegyet számol a deklarációval szemben, és azt mondja, rendben. Minden online Windows gazdagép azonnal letölti, mert nincs kanári gyűrű. A szenzor a huszonegyes slotot olvassa, ami nem a memóriája, és a kernel azt teszi, amit a kernelek tesznek. 05:27, visszavonva. Túl késő mindenkinek, aki újraindította: az illesztőprogram korán töltődik be a bootoláskor, elolvassa ugyanazt a fájlt, és újra összeomlik. Boot loop. Miért lehetséges ez? A szabályok a felhőből küldött konfigurációk, így nem kódok, amik kihagyják a kód

1:16 folyamatot. Az értelmezőnek nincs határ ellenőrzése; megbízik a hitelesítőben, és a hitelesítő megbízik a deklarációban. És mindez kernel módban fut, ahol egy rossz mutató nem kivétel, hanem egy laphiba, amiről a Windows azt mondja, hogy nem védhető meg try-except-tel. Patrick Wardle egy "crash dump"-ból olvassa le aznap délután: index nulla x tizennégy, slot huszonegy. A javítás manuális. Csökkentett mód, C-00000291 törlése, újraindítás. BitLocker esetén először be kell írni egy negyvennyolc számjegyű

1:43 helyreállítási kulcsot, amely egy szerveren él, ami szintén kék. git blame. CrowdStrike, hatvanöt százalék: az RCA hat megállapítást sorol fel, és a hatos megállapítás egy teljes mondat: A Sablon Példányoknak lépcsőzetes telepítéssel kell rendelkezniük. A kernel-módú tervezés, huszonöt: A CrowdStrike szerint a Windows nem tudja még a kerneltől kívül eső biztonságot biztosítani, a Microsoft szerint nem Microsoft incidens, és a laphiba nem törődik vele.

2:05 A péntek, tíz. A commit üzenet szerint nem kód. Kárterület: nyolc és fél millió eszköz, kevesebb mint egy százalék a Windowsok közül. A Delta hétezer járatot töröl, és ötszáz millió dollárt perel, beleértve a Microsoftot is. A biztosítók a Fortune 500-asok számláját közel öt milliárdra becsülik. Hacker News: négyezer-ötszáz pont. Az irónia: egy frissítés, amelyet az új támadási technikák észlelésére szántak, egyet szállított. Ítélet, utólagos elemzés: SHIP IT, szűkösen.

2:27 Határ ellenőrzés hat napon belül, lépcsőzetes gyűrűk, ügyfélkontroll a tartalomfrissítések felett, két külső felülvizsgálat. Szűkösen, mert mindez már standard gyakorlat volt. Hétfő: bármit is húz le az ügynöke a felhőből, kap egy kanári gyűrűt. A konfiguráció abban a pillanatban kód, amikor valami elemzi ott, ahol nem dobhat hibát. Küldje el nekem az incidenst, amiről még mindig nem szabad beszélnie, a kommentekben, vagy a daily diff dot dev címen. És ez a mai "diff".

2:48 Niko vagyok az Axrisi-től. Felelősen egyesítsen.

Források

  1. CrowdStrike, Root Cause Analysis — Channel File 291 (Aug 6, 2024, 12 pp.)www.crowdstrike.com
  2. CrowdStrike, Executive Summary of the RCA (Aug 6, 2024)www.crowdstrike.com
  3. CrowdStrike, Preliminary Post Incident Review (Jul 24, 2024)www.crowdstrike.com
  4. CrowdStrike, Remediation and Guidance Hub — Channel File 291 (the workaround steps)www.crowdstrike.com
  5. CrowdStrike, tech alert of Jul 19, 2024 (archived: Safe Mode → delete C-00000291*.sys → BitLocker key)web.archive.org
  6. Microsoft, David Weston, "Helping our customers through the CrowdStrike outage" (Jul 20, 2024; the 8.5 million figure)blogs.microsoft.com
  7. Delta Air Lines, Form 8-K (Aug 8, 2024; ~7,000 cancellations, at least $500 million)www.sec.gov
  8. Adam Meyers (CrowdStrike SVP), written testimony, House Homeland Security Subcommittee (Sep 24, 2024)homeland.house.gov
  9. George Kurtz on X, Jul 19, 2024, 09:45 UTCx.com
  10. Patrick Wardle on X, Jul 19, 2024 (the crash-dump index 0x14)x.com
  11. Hacker News, Jul 19, 2024 — "CrowdStrike Update: Windows Bluescreen and Boot Loops" (4,489 points)news.ycombinator.com
  12. The Guardian, Jul 24, 2024 — "CrowdStrike global outage to cost US Fortune 500 companies $5.4bn" (Parametrix estimate)www.theguardian.com
  13. Hacker News, Jul 21, 2024 — "Initial details about why CrowdStrike's CSAgent.sys crashed" (519 points)news.ycombinator.com
  14. Wikipedia — 2024 CrowdStrike-related IT outagesen.wikipedia.org

Kapcsolódó videók