+− THE DAILY DIFFdev & AI news
SHIP IT

Isang labis na field ang nag-crash ng 8.5 milyong PC. 78 minuto.

Hulyo 19, 2024, 04:09 UTC: Nagtulak ang CrowdStrike ng Channel File 291 — isang Rapid Response Content update — sa bawat Windows Falcon sensor na online.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Hulyo 19, 2024, 04:09 UTC: Nagtulak ang CrowdStrike ng Channel File 291 — isang Rapid Response Content update — sa bawat Windows Falcon sensor na online. Ang template na pinapakain nito ay idineklara na may 21 input fields noong Pebrero; ang code na nagbibigay ng mga input ay bumubuo ng isang array ng 20. Sa loob ng apat na buwan walang nagbabasa ng field 21, dahil bawat panuntunan ay iniiwan ito bilang isang wildcard. Naglagay ang update na ito ng totoong pattern doon. Ang cloud-side Content Validator ay bumibilang ng 21 laban sa deklarasyon at ipinapasa ito; ang Content Interpreter ng sensor, na walang bounds check, ay nagbabasa ng slot 21 sa kernel mode at Windows page-faults: PAGE_FAULT_IN_NONPAGED_AREA, csagent.sys. Ang driver ay naglo-load nang maaga sa boot sa layunin, nagbabasa ng parehong file, nag-crash muli — boot loop. Naibalik noong 05:27 UTC, 78 minuto pagkatapos, ngunit 8.5 milyong makina (bilang ng Microsoft, mas mababa sa 1% ng Windows) ay mayroon na ang file, at ang ayos ay isang tao sa bawat keyboard: Safe Mode, tanggalin ang C-00000291*.sys, BitLocker recovery key. Tumigil ang mga airline, ospital, bangko at 911 center; kinansela ng Delta ang halos 7,000 flight at naghahabol ng hindi bababa sa $500 milyon mula sa CrowdStrike at Microsoft; inilagay ng Parametrix ang bill ng Fortune 500 malapit sa $5.4 bilyon. Postmortem mula sa sariling Root Cause Analysis ng CrowdStrike, ang Preliminary Post Incident Review, blog ng Microsoft, 8-K ng Delta at ang House testimony. Git blame: 65 CrowdStrike / 25 ang disenyo ng kernel-mode / 10 ang Biyernes. Hatol sa ayos: SHIP IT, bahagya.

Basahin ang nakasulat na edisyon (English) ↗

Ang sakop ng video na ito

  • Peb 28 – Abr 24, 2024: ipinapadala ng sensor 7.11 ang IPC Template Type (21 field na idineklara, 20 ang ibinigay); ang stress test ay pumasa Mar 5; apat na instance ang gumagana dahil ang field 21 ay isang wildcard
  • Hul 19, 04:09 UTC: dalawang bagong Template Instances; pinapayagan ng logic error ng Content Validator ang non-wildcard; out-of-bounds read sa kernel; 05:27 UTC ibinalik
  • Hul 19–29: manual na pagwawasto (Safe Mode, tanggalin ang file, BitLocker key); ~97% ng mga sensor ay bumalik sa Hul 24, ~99% sa Hul 29
  • Hul 25 – Ago 19: runtime bounds check, compile-time field-count validation, Validator checks, canary + deployment rings, kontrol ng customer sa Rapid Response Content, dalawang independenteng pagsusuri; buong RCA na may crash dump sa Ago 6

Mga tanong at sagot

Ano ang sanhi ng pag-crash ng mga computer na Windows dahil sa update ng CrowdStrike noong Hulyo 2024?

Ang isang content update ay nagbigay ng mas kaunting input kaysa sa inaasahan ng code ng sensor. Ayon sa pagsusuri ng CrowdStrike sa root cause, idineklara ang template na may 21 input field habang ang code na nagpakain dito ay bumuo ng isang array ng 20. Ang update noong Hulyo 19 ay naglagay ng totoong pattern sa field 21, at nabasa ng sensor ang nakalipas na array sa kernel mode, na naging sanhi ng isang page fault.

www.crowdstrike.com · www.crowdstrike.com

Bakit hindi nahuli ng content validation ng CrowdStrike ang out-of-bounds read?

Sinuri ng validator ang nilalaman laban sa deklarasyon ng template, at sinabi ng deklarasyon na mayroong 21 field. Binilang ng cloud-side Content Validator ang 21 at ipinasa ang file. Ang Content Interpreter ng sensor ay walang bounds check, kaya nagtiwala ito sa validator, at nagtiwala ang validator sa deklarasyon. Sa loob ng apat na buwan, ang mga naunang panuntunan ay iniwan ang field 21 bilang isang wildcard, kaya wala pang nakabasa nito.

www.crowdstrike.com · www.crowdstrike.com

Bakit patuloy na nag-crash ang mga apektadong makina ng Windows pagkatapos ibalik ng CrowdStrike ang masamang update?

Maagang naglo-load ang driver sa boot at binabasa ang parehong channel file, kaya ang anumang makina na nakatanggap nito ay nag-crash muli sa bawat restart. Ibinaba ng CrowdStrike ang file sa 05:27 UTC, 78 minuto pagkatapos ng pagtulak. Ang pagbawi ay manwal, nangangailangan ng Safe Mode, pagtanggal ng C-00000291*.sys at, sa BitLocker, isang recovery key.

web.archive.org · www.crowdstrike.com · blogs.microsoft.com

Gaano kalaki ang epekto ng outage ng CrowdStrike?

Binilang ng Microsoft ang 8.5 milyong apektadong makina ng Windows, mas mababa sa 1% ng mga Windows device. Nag-ulat ang Delta Air Lines ng humigit-kumulang 7,000 nakanselang flight at nag-claim ng hindi bababa sa $500 milyon mula sa CrowdStrike at Microsoft sa Form 8-K nito. Nag-ulat ang The Guardian ng isang pagtatantya ng Parametrix na naglagay ng halaga sa mga kumpanya ng Fortune 500 malapit sa $5.4 bilyon.

blogs.microsoft.com · www.sec.gov · www.theguardian.com

Sapat na ba ang pag-aayos ng CrowdStrike upang maging ligtas ang cloud-pushed security content?

Ang hatol ng The Daily Diff ay SHIP IT, sa kakaunting paraan. Nagdagdag ang CrowdStrike ng runtime bounds check, staged deployment rings, kontrol ng customer sa mga update ng content at dalawang independiyenteng pagsusuri. Ang episode ay nagsasabing sa kakaunting paraan dahil ang lahat ng iyon ay standard practice na. Ang payo nito ay ang anumang kinukuha ng isang ahente mula sa cloud ay dapat munang dumaan sa isang canary ring.

www.crowdstrike.com · www.crowdstrike.com

Isinaling transcript

Isinalin mula sa orihinal na salaysay sa English. Ang available na audio at mga caption ay kinokontrol ng YouTube.

0:00 Isang security update ang nagdadala ng dalawampu't isang field sa isang driver na binuo para sa dalawampu, at walong milyong Windows machine ang nag-blue-screen bago mag-almusal. Hulyo 19, 2024, 04:09 UTC. Itinulak ng CrowdStrike ang Channel File 291 sa bawat Falcon sensor. Pitumpu't walong minuto pagkatapos ay binawi nila ito; sa panahong iyon, ang mga airline, mga ospital at bangko ay nakatingin sa parehong asul na rektanggulo. Ang unang post ng CEO ay nagsasabing hindi ito cyberattack, totoo, at hindi iyon ang punto. Paano ito nangyari, bakit posible ito, at sino ang sisisihin.

0:27 Ito ang The Daily Diff, postmortem. Pebrero 28. Nagpapadala ang Sensor 7.11 ng bagong detector para sa mga pinangalanang pipe. Nagdeklara ito ng dalawampu't isang input field; ang code na nagpapakain dito ay bumubuo ng isang array ng dalawampu. Walang nakakapansin: sa loob ng apat na buwan ang bawat panuntunan ay iniiwan ang field dalawampu't isa bilang isang wildcard, at walang nagbabasa ng wildcard. Isang stress test ang pumasa, apat na panuntunan ang naipadala, lahat ay maayos. Hulyo 19, 04:09. Dalawang bagong panuntunan; ang isa ay naglalagay ng totoong pattern sa field dalawampu't isa.

0:51 Ang cloud validator ay bumibilang ng dalawampu't isa laban sa deklarasyon at nagsasabing maayos. Ang bawat online na Windows host ay nagda-download nito nang sabay-sabay, dahil walang canary ring. Binabasa ng sensor ang slot dalawampu't isa, na hindi nito memorya, at ginagawa ng kernel ang ginagawa ng mga kernel. 05:27, ibinalik. Huli na para sa sinumang nag-reboot: ang driver ay naglo-load nang maaga sa boot, binabasa ang parehong file, at nag-crash muli. Boot loop. Bakit posible ito? Ang mga panuntunan ay configuration na itinulak mula sa cloud, kaya hindi code ang lumalampas sa code

1:16 pipeline. Walang bounds check ang interpreter; nagtitiwala ito sa validator, at nagtitiwala ang validator sa deklarasyon. At lahat ito ay tumatakbo sa kernel mode, kung saan ang isang masamang pointer ay hindi isang exception kundi isang page fault na sinasabi ng Windows na hindi mapoprotektahan ng try-except. Binasa ito ni Patrick Wardle mula sa isang crash dump nang hapon na iyon: index zero x labing-apat, slot dalawampu't isa. Manual ang ayos. Safe Mode, tanggalin ang C-00000291, reboot. Sa BitLocker, unang i-type ang apatnapu't walong-digit na

1:43 recovery key na nakatira sa isang server na asul din. git blame. CrowdStrike, animnapu't limang porsyento: inilista ng RCA ang anim na natuklasan, at ang natuklasan anim ay isang buong pangungusap: Ang Template Instances ay dapat na may staged deployment. Ang disenyo ng kernel-mode, dalawampu't lima: Sabi ng CrowdStrike hindi kaya ng Windows pa mag-host ng seguridad sa labas ng kernel, sabi ng Microsoft hindi ito insidente ng Microsoft, at walang pakialam ang page fault.

2:05 Ang Biyernes, sampu. Sabi ng commit message hindi code. Blast radius: walong milyong device, mas mababa sa isang porsyento ng Windows. Kinansela ng Delta ang pitong libong flight at nagdemanda ng limang daang milyon, kasama ang Microsoft. Inilagay ng mga insurer ang bill ng Fortune 500 malapit sa limang bilyon. Hacker News: apat na libo't limang daang puntos. Ang kabalintunaan: isang update na inilaan upang makita ang mga bagong teknik ng pag-atake ang naghatid ng isa. Hatol, postmortem: SHIP IT, bahagya.

2:27 Bounds check sa loob ng anim na araw, staged rings, kontrol ng customer sa content updates, dalawang labas na pagsusuri. Bahagya, dahil lahat ng iyon ay karaniwan nang practice. Lunes: anuman ang hilahin ng iyong agent mula sa cloud ay makakakuha ng canary ring. Ang configuration ay code sa sandaling may nag-parse nito kung saan hindi ito maaaring magtapon. Ipadala sa akin ang insidente na hindi mo pa rin pinapayagan na pag-usapan, sa mga komento, o sa the daily diff dot dev. At iyon ang diff para ngayon.

2:48 Ako si Niko mula sa Axrisi. Merge nang responsable.

Mga Pinagmulan

  1. CrowdStrike, Root Cause Analysis — Channel File 291 (Aug 6, 2024, 12 pp.)www.crowdstrike.com
  2. CrowdStrike, Executive Summary of the RCA (Aug 6, 2024)www.crowdstrike.com
  3. CrowdStrike, Preliminary Post Incident Review (Jul 24, 2024)www.crowdstrike.com
  4. CrowdStrike, Remediation and Guidance Hub — Channel File 291 (the workaround steps)www.crowdstrike.com
  5. CrowdStrike, tech alert of Jul 19, 2024 (archived: Safe Mode → delete C-00000291*.sys → BitLocker key)web.archive.org
  6. Microsoft, David Weston, "Helping our customers through the CrowdStrike outage" (Jul 20, 2024; the 8.5 million figure)blogs.microsoft.com
  7. Delta Air Lines, Form 8-K (Aug 8, 2024; ~7,000 cancellations, at least $500 million)www.sec.gov
  8. Adam Meyers (CrowdStrike SVP), written testimony, House Homeland Security Subcommittee (Sep 24, 2024)homeland.house.gov
  9. George Kurtz on X, Jul 19, 2024, 09:45 UTCx.com
  10. Patrick Wardle on X, Jul 19, 2024 (the crash-dump index 0x14)x.com
  11. Hacker News, Jul 19, 2024 — "CrowdStrike Update: Windows Bluescreen and Boot Loops" (4,489 points)news.ycombinator.com
  12. The Guardian, Jul 24, 2024 — "CrowdStrike global outage to cost US Fortune 500 companies $5.4bn" (Parametrix estimate)www.theguardian.com
  13. Hacker News, Jul 21, 2024 — "Initial details about why CrowdStrike's CSAgent.sys crashed" (519 points)news.ycombinator.com
  14. Wikipedia — 2024 CrowdStrike-related IT outagesen.wikipedia.org

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Mga kaugnay na video