+− THE DAILY DIFFdev & AI news
SHIP IT

Једно додатно поље срушило је 8,5 милиона рачунара. 78 минута.

19.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

19. јул 2024, 04:09 УТЦ: CrowdStrike шаље Channel File 291 — ажурирање Rapid Response Content-а — сваком Windows Falcon сензору на мрежи. Шаблон који он користи декларисан је са 21 улазним пољем у фебруару; код који обезбеђује улазе гради низ од 20. Четири месеца ништа не чита поље 21, јер свако правило оставља то поље као џокер. Ово ажурирање ставља стварни образац тамо. Content Validator на страни облака броји 21 у односу на декларацију и пропушта га; Content Interpreter сензора, без провере граница, чита слот 21 у кернел режиму и Windows page-faults: PAGE_FAULT_IN_NONPAGED_AREA, csagent.sys. Драјвер се намерно учитава рано при покретању система, чита исту датотеку, поново се руши — петља покретања. Поништен у 05:27 УТЦ, 78 минута касније, али 8,5 милиона машина (Мајкрософтов број, испод 1% Виндовса) већ има датотеку, а решење је човек за сваком тастатуром: Safe Mode, обрисати C-00000291*.sys, кључ за опоравак BitLocker-а. Авио компаније, болнице, банке и 911 центри стају; Delta отказује око 7.000 летова и тражи најмање 500 милиона долара од CrowdStrike-а и Мајкрософта; Parametrix процењује рачун за Fortune 500 на око 5,4 милијарди долара. Постмортем из CrowdStrike-ове сопствене анализе основног узрока (Root Cause Analysis), прелиминарног прегледа након инцидента (Preliminary Post Incident Review), Мајкрософтовог блога, Delta-овог 8-K извештаја и сведочења у Дому. Git blame: 65 CrowdStrike / 25 дизајн кернел-режима / 10 петак. Пресуда о поправци: SHIP IT, уско.

Прочитајте писано издање (енглески) ↗

Шта овај видео покрива

  • 28. фебруар – 24. април 2024: сензор 7.11 испоручује IPC Template Type (21 декларисано поље, 20 испоручено); стрес тест пролази 5. марта; четири инстанце раде јер је поље 21 џокер
  • 19. јул, 04:09 УТЦ: две нове инстанце шаблона; логичка грешка Content Validator-а пропушта ону која није џокер; читање ван граница у кернелу; 05:27 УТЦ поништено
  • 19–29. јул: ручно отклањање (Safe Mode, брисање датотеке, BitLocker кључ); ~97% сензора враћено до 24. јула, ~99% до 29. јула
  • 25. јул – 19. август: провера граница при извршавању, валидација броја поља при компилацији, провере валидатора, canary + прстенови распоређивања, корисничка контрола над Rapid Response Content-ом, две независне ревизије; потпуна RCA са crash dump-ом 6. августа

Питања и одговори

Шта је узроковало пад Виндовс рачунара након ажурирања ЦровдСтрике-а у јулу 2024?

Ажурирање садржаја дало је мање улаза него што је код сензора очекивао. Према анализи основног узрока компаније ЦровдСтрике, шаблон је декларисан са 21 улазним пољем, док је код који га је напајао изградио низ од 20. Ажурирање од 19. јула поставило је прави образац у поље 21, а сензор је читао преко низа у режиму језгра, узрокујући грешку странице.

www.crowdstrike.com · www.crowdstrike.com

Зашто валидација садржаја компаније ЦровдСтрике није ухватила читање изван граница?

Валидатор је проверио садржај према декларацији шаблона, а декларација је говорила о 21 пољу. Цлоуд-сиде Цонтент Валидатор је пребројао 21 и проследио датотеку. Цонтент Интерпретер сензора није имао проверу граница, тако да је веровао валидатору, а валидатор је веровао декларацији. Током четири месеца раније правила су оставила поље 21 као џокер, тако да га ништа никада није читало.

www.crowdstrike.com · www.crowdstrike.com

Зашто су погођени Виндовс рачунари наставили да се руше након што је ЦровдСтрике вратио лоше ажурирање?

Драјвер се учитава рано при покретању и чита исту датотеку канала, тако да се свака машина која ју је примила поново срушила при сваком поновном покретању. ЦровдСтрике је вратио датотеку у 05:27 УТЦ, 78 минута након пуша. Опоравак је био ручни, захтевајући сигуран режим, брисање Ц-00000291*.sys и, са БитЛоцкер-ом, кључ за опоравак.

web.archive.org · www.crowdstrike.com · blogs.microsoft.com

Колики је био утицај прекида рада ЦровдСтрике-а?

Мицрософт је избројао 8,5 милиона погођених Виндовс машина, мање од 1% Виндовс уређаја. Делта Аир Линес је пријавила око 7.000 отказаних летова и затражила најмање 500 милиона долара од ЦровдСтрике-а и Мицрософт-а у свом Обрасцу 8-К. Гардијан је известио о процени Параметриx-а која је проценила трошкове за компаније са Фортуне 500 листе на близу 5,4 милијарде долара.

blogs.microsoft.com · www.sec.gov · www.theguardian.com

Да ли је решење компаније ЦровдСтрике довољно да сигурносни садржај који се преноси путем облака буде безбедан?

Пресуда Тхе Даилy Дифф-а била је СХИП ИТ, за длаку. ЦровдСтрике је додао проверу граница приликом извршавања, фазне прстенове за имплементацију, контролу корисника над ажурирањима садржаја и две независне ревизије. Епизода каже за длаку јер је све то већ била стандардна пракса. Њен савет је да све што агент преузме из облака прво треба да прође кроз канари прстен.

www.crowdstrike.com · www.crowdstrike.com

Преведени транскрипт

Преведено са оригиналне енглеске нарације. Доступни аудио и титлови контролисани су од стране YouTube-а.

0:00 Једно безбедносно ажурирање носи двадесет и једно поље у драјвер направљен за двадесет, и осам и по милиона Windows машина се "плави екран" пре доручка. 19. јул 2024, 04:09 УТЦ. CrowdStrike шаље Channel File 291 сваком Falcon сензору. Седамдесет осам минута касније га повлаче; до тада су авио компаније, болнице и банке гледале исти плави правоугаоник. Прва објава извршног директора каже да није у питању сајбер напад, што је тачно, и то није поента. Како се то дешава, зашто је то могуће и ко је крив.

0:27 Ово је The Daily Diff, постмортем. 28. фебруар. Сензор 7.11 испоручује нови детектор за именоване цеви. Декларише двадесет и једно улазно поље; код који га напаја гради низ од двадесет. Нико не примећује: четири месеца свако правило оставља поље двадесет и један као џокер, и нико не чита џокер. Стрес тест пролази, четири правила су испоручена, све је у реду. 19. јул, 04:09. Два нова правила; једно ставља стварни образац у поље двадесет и један.

0:51 Валидатор у облаку броји двадесет и један у односу на декларацију и каже да је у реду. Сваки онлајн Windows хост га одмах преузима, јер нема canary прстена. Сензор чита слот двадесет и један, који није његова меморија, и кернел ради оно што кернели раде. 05:27, поништено. Прекасно за свакога ко је рестартовао: драјвер се учитава рано при покретању, чита исту датотеку и поново се руши. Петља покретања. Зашто је ово могуће? Правила су конфигурација потиснута из облака, тако да не код прескаче кодну

1:16 линију. Интерпретатор нема проверу граница; он верује валидатору, а валидатор верује декларацији. И све то ради у кернел режиму, где лош показивач није изузетак већ грешка странице за коју Windows каже да не може бити заштићена помоћу try-except. Патрик Вардл то чита са crash dump-а тог поподнева: индекс нула x четрнаест, слот двадесет и један. Поправка је ручна. Safe Mode, обрисати C-00000291, рестартовати. Са BitLocker-ом, прво укуцајте четрдесет и осмоцифрени

1:43 кључ за опоравак који се налази на серверу који је такође плав. git blame. CrowdStrike, шездесет пет процената: RCA наводи шест налаза, а налаз шест је пуна реченица: инстанце шаблона треба да имају постепено распоређивање. Дизајн кернел-режима, двадесет пет: CrowdStrike каже да Windows не може још увек да хостује безбедност ван кернела, Мајкрософт каже да то није Мајкрософтов инцидент, а грешка странице не мари.

2:05 Петак, десет. Порука о извршењу каже да није код. Опсег експлозије: осам и по милиона уређаја, испод једног процента Windows-а. Делта отказује седам хиљада летова и тужи за пет стотина милиона, укључујући Мајкрософт. Осигуравајућа друштва процењују рачун за Fortune 500 на око пет милијарди. Hacker News: четири хиљаде пет стотина поена. Иронија: ажурирање намењено откривању нових техника напада испоручило је једну. Пресуда, постмортем: SHIP IT, уско.

2:27 Провера граница за шест дана, постепени прстенови, корисничка контрола над ажурирањима садржаја, две спољне ревизије. Уско, јер је све то већ била стандардна пракса. Понедељак: шта год ваш агент повуче из облака добија canary прстен. Конфигурација је код у тренутку када је нешто анализира тамо где не може да баци грешку. Пошаљите ми инцидент о коме вам још увек није дозвољено да говорите, у коментарима, или на the daily diff dot dev. И то је diff за данас.

2:48 Ја сам Нико из Axrisi-ја. Спајајте одговорно.

Извори

  1. CrowdStrike, Root Cause Analysis — Channel File 291 (Aug 6, 2024, 12 pp.)www.crowdstrike.com
  2. CrowdStrike, Executive Summary of the RCA (Aug 6, 2024)www.crowdstrike.com
  3. CrowdStrike, Preliminary Post Incident Review (Jul 24, 2024)www.crowdstrike.com
  4. CrowdStrike, Remediation and Guidance Hub — Channel File 291 (the workaround steps)www.crowdstrike.com
  5. CrowdStrike, tech alert of Jul 19, 2024 (archived: Safe Mode → delete C-00000291*.sys → BitLocker key)web.archive.org
  6. Microsoft, David Weston, "Helping our customers through the CrowdStrike outage" (Jul 20, 2024; the 8.5 million figure)blogs.microsoft.com
  7. Delta Air Lines, Form 8-K (Aug 8, 2024; ~7,000 cancellations, at least $500 million)www.sec.gov
  8. Adam Meyers (CrowdStrike SVP), written testimony, House Homeland Security Subcommittee (Sep 24, 2024)homeland.house.gov
  9. George Kurtz on X, Jul 19, 2024, 09:45 UTCx.com
  10. Patrick Wardle on X, Jul 19, 2024 (the crash-dump index 0x14)x.com
  11. Hacker News, Jul 19, 2024 — "CrowdStrike Update: Windows Bluescreen and Boot Loops" (4,489 points)news.ycombinator.com
  12. The Guardian, Jul 24, 2024 — "CrowdStrike global outage to cost US Fortune 500 companies $5.4bn" (Parametrix estimate)www.theguardian.com
  13. Hacker News, Jul 21, 2024 — "Initial details about why CrowdStrike's CSAgent.sys crashed" (519 points)news.ycombinator.com
  14. Wikipedia — 2024 CrowdStrike-related IT outagesen.wikipedia.org

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Повезани видеи

postmortem · sr · 25. 9. 2026.

Грешка од једне милисекунде зауставила је ваздушни саобраћај у Великој Британији. Шест сати.

У уторак, 8. септембра, у 10:00, један рутински захтев за squawk-код у Националном систему ваздушног простора (NAS) компаније NATS бива прекинут поруком вишег приоритета док је делимично ажурирао вред

3:06 ↗