Едно дополнително поле сруши 8,5 милиони компјутери. 78 минути.
19 јули 2024 година, 04:09 UTC: CrowdStrike го испраќа Channel File 291 — ажурирање на содржината за брз одговор — до секој Windows Falcon сензор онлајн.
19 јули 2024 година, 04:09 UTC: CrowdStrike го испраќа Channel File 291 — ажурирање на содржината за брз одговор — до секој Windows Falcon сензор онлајн. Шаблонот што го внесува беше деклариран со 21 влезно поле во февруари; кодот што ги снабдува влезовите гради низа од 20. Четири месеци ништо не го чита полето 21, бидејќи секое правило го остава како џокер. Ова ажурирање става вистинска шема таму. Cloud-side Content Validator брои 21 наспроти декларацијата и го поминува; Content Interpreter на сензорот, без проверка на границите, го чита слотот 21 во режим на кернел и Windows page-faults: PAGE_FAULT_IN_NONPAGED_AREA, csagent.sys. Драјверот се вчитува рано при подигнување намерно, ја чита истата датотека, повторно се урива — циклус на подигнување. Вратено во 05:27 UTC, 78 минути подоцна, но 8,5 милиони машини (бројот на Microsoft, под 1% од Windows) веќе ја имаат датотеката, а поправката е човек на секоја тастатура: Safe Mode, избришете C-00000291*.sys, BitLocker клуч за наплата. Авиокомпаниите, болниците, банките и центрите за итни случаи 911 престануваат со работа; Delta откажува околу 7.000 летови и бара најмалку 500 милиони долари од CrowdStrike и Microsoft; Parametrix ја проценува сметката на Fortune 500 на околу 5,4 милијарди долари. Пост-мортем од сопствената анализа на CrowdStrike за основната причина (Root Cause Analysis), прелиминарниот преглед по инцидентот (Preliminary Post Incident Review), блогот на Microsoft, Delta's 8-K и сведочењето во Претставничкиот дом. Git blame: 65 CrowdStrike / 25 дизајнот на кернел-модот / 10 петокот. Пресуда за поправката: SHIP IT, тесно.
Прочитајте го пишаното издание (англиски) ↗
Што покрива ова видео
- 28 февруари – 24 април 2024: сензор 7.11 го испорачува IPC Template Type (21 декларирано поле, 20 испорачани); стрес тестот поминува на 5 март; четири инстанци работат бидејќи полето 21 е џокер
- 19 јули, 04:09 UTC: две нови Template Instances; логичката грешка на Content Validator ја пропушта таа што не е џокер; читање надвор од границите во кернелот; 05:27 UTC вратено
- 19-29 јули: рачна санација (Safe Mode, бришење на датотеката, BitLocker клуч); ~97% од сензорите се вратени до 24 јули, ~99% до 29 јули
- 25 јули – 19 август: проверка на границите за време на извршување, валидација на бројот на полиња за време на компајлирање, проверки на Validator, канари + прстени за распоредување, контрола на клиентите врз Rapid Response Content, две независни прегледи; целосна RCA со исфрлање на падот на 6 август
Прашања и одговори
Што предизвика ажурирањето на CrowdStrike во јули 2024 година да ги сруши компјутерите со Windows?
Ажурирањето на содржината обезбеди помалку влезови отколку што очекуваше кодот на сензорот. Според анализата на основната причина на CrowdStrike, шаблонот беше деклариран со 21 влезно поле додека кодот што го внесуваше изгради низа од 20. Ажурирањето од 19 јули стави вистинска шема во полето 21, а сензорот прочита минатото на низата во кернел режим, предизвикувајќи грешка на страницата.
Зошто валидацијата на содржината на CrowdStrike не го фати читањето надвор од границите?
Валидаторот ја провери содржината според декларацијата на шаблонот, а декларацијата велеше 21 поле. Облак-страничниот Content Validator изброи 21 и ја помина датотеката. Интерпретерот на содржината на сензорот немаше проверка на границите, па му веруваше на валидаторот, а валидаторот и веруваше на декларацијата. Четири месеци порано правилата го оставија полето 21 како џокер, така што ништо никогаш не го прочитало.
Зошто погодените машини со Windows продолжија да паѓаат откако CrowdStrike го врати лошото ажурирање?
Драјверот се вчитува рано при подигнување и ја чита истата датотека на каналот, така што секоја машина што ја примила повторно се уривала при секое рестартирање. CrowdStrike ја врати датотеката во 05:27 UTC, 78 минути по притискањето. Закрепнувањето беше рачно, барајќи безбеден режим, бришење на C-00000291*.sys и, со BitLocker, клуч за обновување.
Колку голем беше ефектот од прекинот на CrowdStrike?
Мајкрософт изброи 8,5 милиони погодени машини со Windows, под 1% од уредите со Windows. Delta Air Lines пријави околу 7.000 откажани летови и побара најмалку 500 милиони долари од CrowdStrike и Microsoft во својот Образец 8-K. The Guardian објави проценка на Parametrix која ја стави цената за компаниите од Fortune 500 близу 5,4 милијарди долари.
Дали поправката на CrowdStrike е доволна за да се направи безбедна содржината за безбедност од облак?
Пресудата на The Daily Diff беше SHIP IT, едвај. CrowdStrike додаде проверка на границите за време на извршувањето, фази на прстени за распоредување, контрола на клиентите над ажурирањата на содржината и две независни прегледи. Епизодата вели едвај затоа што сето тоа веќе беше стандардна практика. Неговиот совет е дека сè што агентот влече од облакот треба прво да помине низ „канарински прстен“.
Преведен транскрипт
Преведено од оригиналната англиска нарација. Достапното аудио и наслови се контролирани од YouTube.
0:00 Едно безбедносно ажурирање носи дваесет и едно поле во драјвер изграден за дваесет, и осум и пол милиони Windows машини добиваат син екран пред појадок. 19 јули 2024 година, 04:09 UTC. CrowdStrike го испраќа Channel File 291 до секој Falcon сензор. Седумдесет и осум минути подоцна го повлекуваат; до тогаш авиокомпаниите, болниците и банките гледаат во истиот син правоаголник. Првиот пост на извршниот директор вели дека не е кибер напад, вистина, и не е поентата. Како се случува, зошто е можно и кој е виновен.
0:27 Ова е The Daily Diff, пост-мортем. 28 февруари. Сензор 7.11 испорачува нов детектор за именувани цевки. Декларира дваесет и едно влезно поле; кодот што го внесува гради низа од дваесет. Никој не забележува: четири месеци секое правило го остава полето дваесет и едно како џокер, и никој не чита џокер. Стрес тестот поминува, четири правила се испорачуваат, сè е во ред. 19 јули, 04:09. Две нови правила; едното става вистинска шема во полето дваесет и едно.
0:51 Cloud валидаторот брои дваесет и едно наспроти декларацијата и вели дека е во ред. Секој онлајн Windows хост го презема веднаш, бидејќи нема канариски прстен. Сензорот го чита слотот дваесет и еден, кој не е негова меморија, и кернелот го прави она што го прават кернелите. 05:27, вратено. Предоцна за секој што рестартирал: драјверот се вчитува рано при подигнување, ја чита истата датотека и повторно се урива. Циклус на подигнување. Зошто е ова можно? Правилата се конфигурација туркана од облакот, така што кодот не ја прескокнува код
1:16 линијата. Интерпретаторот нема проверка на границите; тој му верува на валидаторот, а валидаторот и верува на декларацијата. И сето тоа работи во кернел режим, каде лош покажувач не е исклучок туку грешка на страница што Windows вели дека не може да се заштити со try-except. Патрик Вордл го чита од исфрлање на падот тоа попладне: индекс нула x четиринаесет, слот дваесет и еден. Поправката е рачна. Безбеден режим, избришете C-00000291, рестартирајте. Со BitLocker, прво внесете четириесет и осумцифрен
1:43 клуч за наплата што живее на сервер кој е исто така син. git blame. CrowdStrike, шеесет и пет проценти: RCA наведува шест наоди, и наодот шест е целосна реченица: Template Instances треба да имаат фазно распоредување. Дизајнот на кернел режим, дваесет и пет: CrowdStrike вели дека Windows не може сè уште да хостира безбедност надвор од кернелот, Microsoft вели дека не е инцидент на Microsoft, и грешката на страницата не се грижи.
2:05 Петокот, десет. Пораката за commit вели дека не е код. Радиус на експлозија: осум и пол милиони уреди, под еден процент од Windows. Delta откажува седум илјади летови и тужи за петстотини милиони, вклучувајќи го и Microsoft. Осигурителите ја проценуваат сметката на Fortune 500 на околу пет милијарди. Hacker News: четири илјади и петстотини поени. Иронијата: ажурирање наменето да детектира нови техники на напад испорача една. Пресуда, пост-мортем: SHIP IT, тесно.
2:27 Проверка на границите за шест дена, фазни прстени, контрола на клиентите врз ажурирањата на содржината, два надворешни прегледи. Тесно, бидејќи сето тоа веќе беше стандардна практика. Понеделник: што и да повлече вашиот агент од облакот добива канариски прстен. Конфигурацијата е код во моментот кога нешто ја парсира таму каде што не може да фрли. Испратете ми го инцидентот за кој сè уште не ви е дозволено да зборувате, во коментарите, или на the daily diff dot dev. И тоа е разликата за денес.
2:48 Јас сум Нико од Axrisi. Спојувајте одговорно.
Извори
- CrowdStrike, Root Cause Analysis — Channel File 291 (Aug 6, 2024, 12 pp.)www.crowdstrike.com
- CrowdStrike, Executive Summary of the RCA (Aug 6, 2024)www.crowdstrike.com
- CrowdStrike, Preliminary Post Incident Review (Jul 24, 2024)www.crowdstrike.com
- CrowdStrike, Remediation and Guidance Hub — Channel File 291 (the workaround steps)www.crowdstrike.com
- CrowdStrike, tech alert of Jul 19, 2024 (archived: Safe Mode → delete C-00000291*.sys → BitLocker key)web.archive.org
- Microsoft, David Weston, "Helping our customers through the CrowdStrike outage" (Jul 20, 2024; the 8.5 million figure)blogs.microsoft.com
- Delta Air Lines, Form 8-K (Aug 8, 2024; ~7,000 cancellations, at least $500 million)www.sec.gov
- Adam Meyers (CrowdStrike SVP), written testimony, House Homeland Security Subcommittee (Sep 24, 2024)homeland.house.gov
- George Kurtz on X, Jul 19, 2024, 09:45 UTCx.com
- Patrick Wardle on X, Jul 19, 2024 (the crash-dump index 0x14)x.com
- Hacker News, Jul 19, 2024 — "CrowdStrike Update: Windows Bluescreen and Boot Loops" (4,489 points)news.ycombinator.com
- The Guardian, Jul 24, 2024 — "CrowdStrike global outage to cost US Fortune 500 companies $5.4bn" (Parametrix estimate)www.theguardian.com
- Hacker News, Jul 21, 2024 — "Initial details about why CrowdStrike's CSAgent.sys crashed" (519 points)news.ycombinator.com
- Wikipedia — 2024 CrowdStrike-related IT outagesen.wikipedia.org



