+− THE DAILY DIFFdev & AI news
Myndbönd / postmortem
SHIP IT

Einn auka reitur felldi 8,5 milljón tölvur. 78 mínútur.

Birt 14. sep. 2026 · 2:52 · Niko from Axrisi

19.

19. júlí 2024, 04:09 UTC: CrowdStrike sendir rásaskrá 291 — Rapid Response efnisuppfærslu — í alla Windows Falcon nema sem eru á netinu. Sniðmátið sem það notar var gefið út með 21 inntaksreit í febrúar; kóðinn sem veitir inntökin býr til fylki af 20. Í fjóra mánuði les ekkert reit 21, því allar reglur skilja hann eftir sem almennt gildi. Þessi uppfærsla setur raunverulegt mynstur þar. Efnisstaðfestingaraðilinn í skýinu telur 21 miðað við yfirlýsinguna og samþykkir hana; efnisþýðirinn í nemanum, án þess að athuga takmörk, les rauf 21 í kjarnaham og Windows fær síðuvillu: PAGE_FAULT_IN_NONPAGED_AREA, csagent.sys. Rekillinn hleðst viljandi snemma í ræsingu, les sömu skrána, hrynur aftur — ræsingarlykkja. Hætt við klukkan 05:27 UTC, 78 mínútum síðar, en 8,5 milljón vélar (talning Microsoft, undir 1% af Windows) eru nú þegar með skrána, og lausnin er manneskja við hvert lyklaborð: Öruggur hamur, eyða C-00000291*.sys, BitLocker bata lykill. Flugfélög, sjúkrahús, bankar og 911 miðstöðvar stöðvast; Delta aflýsir um 7.000 flugferðum og krefst að minnsta kosti $500 milljóna frá CrowdStrike og Microsoft; Parametrix metur kostnað Fortune 500 nálægt $5,4 milljörðum. Eftirhöfundur úr eigin Root Cause Analysis frá CrowdStrike, Preliminary Post Incident Review, bloggi Microsoft, 8-K skýrslu Delta og vitnisburði Hússins. Git blame: 65 CrowdStrike / 25 kjarnahams hönnunin / 10 föstudagurinn. Niðurstaða um lagfæringuna: SHIP IT, naumlega.

Lestu skriflegu útgáfuna (enska) ↗

Það sem þetta myndband fjallar um

  • 28. febrúar – 24. apríl 2024: nemi 7.11 sendir IPC Template Type (21 reitir lýst yfir, 20 til staðar); álagspróf stendst 5. mars; fjögur tilfelli virka því reitur 21 er almennt gildi
  • 19. júlí, 04:09 UTC: tvö ný Template Instances; rökfræðivilla Content Validator sleppir þeim sem ekki er almennt gildi í gegn; lestur út fyrir mörk í kjarnanum; 05:27 UTC hætt við
  • 19.–29. júlí: handvirk úrbót (öruggur hamur, eyða skránni, BitLocker lykill); ~97% nema aftur í gang fyrir 24. júlí, ~99% fyrir 29. júlí
  • 25. júlí – 19. ágúst: takmörk athuguð í keyrslu, fjölda reita staðfestur við samsetningu, staðfestingar athuganir, kanarí + útfærsluhringir, stjórn viðskiptavina á Rapid Response Content, tvær óháðar úttektir; full RCA með minnishrunsgreiningu 6. ágúst

Þýtt afrit

Þýtt úr upprunalegri enskri frásögn. Tiltækt hljóð og textar eru stjórnaðir af YouTube.

0:00 Ein öryggisuppfærsla ber tuttugu og einn reit í rekil byggðan fyrir tuttugu, og átta og hálf milljón Windows véla sýnir bláan skjá fyrir morgunmat. 19. júlí 2024, 04:09 UTC. CrowdStrike sendir rásaskrá 291 til hvers Falcon nema. Sjötíu og átta mínútum síðar draga þeir hana til baka; þá starir flugfélög, sjúkrahús og bankar á sama bláa rétthyrninginn. Fyrsta færslan forstjóra segir ekki netárás, satt, og ekki málið. Hvernig það gerist, hvers vegna það er mögulegt, og hver fær sökina.

0:27 Þetta er The Daily Diff, eftirhöfundur. 28. febrúar. Nemi 7.11 sendir nýjan skynjara fyrir nafngreind rör. Það lýsir yfir tuttugu og einum inntaksreit; kóðinn sem fæðir hann byggir upp fylki af tuttugu. Enginn tekur eftir: í fjóra mánuði skilur hver regla reit tuttugu og einn eftir sem almennt gildi, og enginn les almennt gildi. Álagspróf stenst, fjórar reglur sendast, allt í lagi. 19. júlí, 04:09. Tvær nýjar reglur; önnur setur raunverulegt mynstur í reit tuttugu og einn.

0:51 Skýja staðfestingaraðilinn telur tuttugu og einn miðað við yfirlýsinguna og segir í lagi. Hver Windows vélastjórnandi á netinu hleður því niður í einu, því það er enginn kanarí hringur. Nemi les rauf tuttugu og einn, sem er ekki minnið hans, og kjarninn gerir það sem kjarnar gera. 05:27, hætt við. Of seint fyrir alla sem endurræstu: rekillinn hleðst snemma í ræsingu, les sömu skrána, og hrynur aftur. Ræsingarlykkja. Hvers vegna er þetta mögulegt? Reglurnar eru stillingar ýttar frá skýinu, svo ekki kóði sleppur kóða

1:16 pípulínu. Þýðandinn hefur engin takmörk athugun; hann treystir staðfestingaraðilanum, og staðfestingaraðilinn treystir yfirlýsingunni. Og allt keyrir í kjarnahami, þar sem slæmur bendill er ekki undantekning heldur síðuvilla sem Windows segir að ekki sé hægt að verja með try-except. Patrick Wardle les það úr minnishruni þann eftirmiðdag: vísitala núll x fjórtán, rauf tuttugu og einn. Lagfæringin er handvirk. Öruggur hamur, eyða C-00000291, endurræsa. Með BitLocker, fyrst sláðu inn fjörutíu og átta stafa

1:43 bata lykil sem býr á netþjóni sem er líka blár. git blame. CrowdStrike, sextíu og fimm prósent: RCA listar sex niðurstöður, og niðurstaða sex er full setning: Sniðmáts tilvik ættu að hafa stigskipta útfærslu. Kjarnahams hönnunin, tuttugu og fimm: CrowdStrike segir að Windows geti ekki ennþá hýst öryggi utan kjarnans, Microsoft segir ekki Microsoft atvik, og síðuvillunni er sama.

2:05 Föstudagurinn, tíu. Skilaboðin um innskráningu segja ekki kóða. Sprengju radíus: átta og hálf milljón tækja, undir einu prósenti af Windows. Delta aflýsir sjö þúsund flugferðum og krefst fimm hundruð milljóna, Microsoft innifalið. Tryggingafélög setja reikning Fortune 500 nálægt fimm milljörðum. Hacker News: fjörutíu og fimm hundruð stig. Fársagan: uppfærsla sem átti að uppgötva nýjar árásaraðferðir skilaði einni. Niðurstaða, eftirhöfundur: SHIP IT, naumlega.

2:27 Takmörk athuguð á sex dögum, stigskiptir hringir, stjórn viðskiptavina á efnisuppfærslum, tvær ytri úttektir. Naumlega, því allt þetta var staðlað vinnubrögð nú þegar. Mánudagur: hvað sem umboðsmaðurinn þinn dregur úr skýinu fær kanarí hring. Stilling er kóði þegar eitthvað þáttar hana þar sem hún getur ekki kastað. Sendu mér atvikið sem þú mátt enn ekki tala um, í athugasemdum, eða á the daily diff dot dev. Og það er diff fyrir daginn.

2:48 Ég er Niko frá Axrisi. Sameinaðu á ábyrgan hátt.

Heimildir

  1. CrowdStrike, Root Cause Analysis — Channel File 291 (Aug 6, 2024, 12 pp.)www.crowdstrike.com
  2. CrowdStrike, Executive Summary of the RCA (Aug 6, 2024)www.crowdstrike.com
  3. CrowdStrike, Preliminary Post Incident Review (Jul 24, 2024)www.crowdstrike.com
  4. CrowdStrike, Remediation and Guidance Hub — Channel File 291 (the workaround steps)www.crowdstrike.com
  5. CrowdStrike, tech alert of Jul 19, 2024 (archived: Safe Mode → delete C-00000291*.sys → BitLocker key)web.archive.org
  6. Microsoft, David Weston, "Helping our customers through the CrowdStrike outage" (Jul 20, 2024; the 8.5 million figure)blogs.microsoft.com
  7. Delta Air Lines, Form 8-K (Aug 8, 2024; ~7,000 cancellations, at least $500 million)www.sec.gov
  8. Adam Meyers (CrowdStrike SVP), written testimony, House Homeland Security Subcommittee (Sep 24, 2024)homeland.house.gov
  9. George Kurtz on X, Jul 19, 2024, 09:45 UTCx.com
  10. Patrick Wardle on X, Jul 19, 2024 (the crash-dump index 0x14)x.com
  11. Hacker News, Jul 19, 2024 — "CrowdStrike Update: Windows Bluescreen and Boot Loops" (4,489 points)news.ycombinator.com
  12. The Guardian, Jul 24, 2024 — "CrowdStrike global outage to cost US Fortune 500 companies $5.4bn" (Parametrix estimate)www.theguardian.com
  13. Hacker News, Jul 21, 2024 — "Initial details about why CrowdStrike's CSAgent.sys crashed" (519 points)news.ycombinator.com
  14. Wikipedia — 2024 CrowdStrike-related IT outagesen.wikipedia.org

Tengd myndbönd