Бир кошумча талаа 8,5 миллион компьютерди иштебей калды. 78 мүнөт.

Бул видео эмнелерди камтыйт

• 2024-жыл, 28-февраль – 24-апрель: сенсор 7.11 IPC Template Type (21 талаа жарыяланган, 20 камсыздалган) жеткирет; стресс тести 5-мартта өтөт; төрт инстанция иштейт, анткени 21-талаа “жапайы белги” (wildcard)
• 19-июль, 04:09 UTC: эки жаңы Template Instances; Content Validator'дун логикалык катасы “жапайы белги” эмес бирин өткөрөт; ядрода чектен тышкаркы окуу; 05:27 UTC артка кайтарылды
• 19-29-июль: кол менен оңдоо (Коопсуз режим, файлды жок кылуу, BitLocker ачкычы); сенсорлордун ~97%ы 24-июлга, ~99%ы 29-июлга чейин калыбына келди
• 25-июль – 19-август: иштөө убагындагы чектерди текшерүү, компиляция убагындагы талаа санын валидациялоо, Валидатордун текшерүүлөрү, канарейка + жайылтуу шакекчелери, кардардын Rapid Response Мазмунун көзөмөлдөөсү, эки көз карандысыз сереп; 6-августта кыйроо дампы менен толук RCA

Котормо стенограмма

Англис тилиндеги баштапкы баяндамадан которулган. Жеткиликтүү аудио жана коштомо жазуулар YouTube тарабынан көзөмөлдөнөт.

0:00 Бир коопсуздук жаңыртуусу жыйырма бир талааны жыйырма үчүн курулган драйверге алып келет, жана сегиз жарым миллион Windows машиналары эртең мененки тамакка чейин көк экранды көрсөтөт. 2024-жыл, 19-июль, 04:09 UTC. CrowdStrike Channel File 291 файлын ар бир Falcon сенсоруна жөнөтөт. Жетимиш сегиз мүнөттөн кийин аны кайра тартып алышат; ошол убакта авиакомпаниялар, ооруканалар жана банктар ошол эле көк тик бурчтукту тиктеп турушат. Башкы директордун биринчи посту киберчабуул эмес деп айтат, бул чындык, бирок маселе бул эмес. Бул кантип болот, эмне үчүн мүмкүн, жана ким күнөөлүү.

0:27 Бул The Daily Diff, постмортем. 28-февраль. Сенсор 7.11 аталган түтүктөр үчүн жаңы детекторду жеткирет. Ал жыйырма бир киргизүү талаасын жарыялайт; аны камсыз кылган код массивди түзөт, жыйырмадан турган. Эч ким байкабайт: төрт ай бою ар бир эреже жыйырма биринчи талааны “жапайы белги” катары калтырат, жана эч ким “жапайы белгини” окубайт. Стресс тести өтөт, төрт эреже жеткирилет, баары жакшы. 19-июль, 04:09. Эки жаңы эреже; бири жыйырма биринчи талаага реалдуу шаблонду жайгаштырат.

0:51 Булут валидатору жарыяга каршы жыйырма бирди эсептеп, жакшы дейт. Ар бир онлайн Windows хост аны дароо жүктөйт, анткени канарейка шакекчеси жок. Сенсор жыйырма биринчи уячаны окуйт, ал анын эс тутуму эмес, жана ядролор ядролор эмне кылса, ошону кылат. 05:27, артка кайтарылды. Кайра жүктөгөндөр үчүн кеч болуп калган: драйвер эрте жүктөлөт жүктөөдө, ошол эле файлды окуйт жана кайра иштебей калат. Жүктөө цикли. Эмне үчүн бул мүмкүн? Эрежелер булуттан жөнөтүлгөн конфигурация, андыктан код кодду өткөрүп жибербейт

1:16 конвейер. Интерпретатордун чектерди текшерүүсү жок; ал валидаторго ишенет, жана валидатор жарыяга ишенет. Жана мунун баары ядро режиминде иштейт, анда жаман көрсөткүч өзгөчөлүк эмес, бирок Windows корголбойт деп айткан баракча катасы try-except менен. Патрик Уордл ошол түштөн кийин кыйроо дампынан окуйт: нөл x он төрт индекси, жыйырма биринчи уяча. Оңдоо кол менен жасалат. Коопсуз режим, C-00000291 жок кылуу, кайра жүктөө. BitLocker менен, адегенде кырк сегиз орундуу

1:43 серверде жайгашкан калыбына келтирүү ачкычын териңиз, ал дагы көк. git күнөөсү. CrowdStrike, алтымыш беш пайыз: RCA алты табылганы тизмектейт, жана алтынчы табылга толук сүйлөм: Template Instances этаптуу жайылтууга ээ болушу керек. Ядро-режиминин дизайны, жыйырма беш: CrowdStrike Windows мүмкүн эмес дейт азырынча коопсуздукту ядродон тышкары жайгаштыруу, Microsoft Microsoftтун инциденти эмес дейт, жана баракча катасы кам көрбөйт.

2:05 Жума, он. Коммит билдирүүсү код эмес дейт. Жарылуу радиусу: сегиз жарым миллион аппарат, Windowsтун бир пайызынан азы. Delta жети миң каттамды жокко чыгарып, беш жүз миллионго доо коёт, Microsoft кошулган. Камсыздандыруучулар Fortune 500 чыгымын беш миллиардга жакын деп эсептешет. Hacker News: кырк беш миң упай. Кызыгы: жаңы чабуул ыкмаларын аныктоого арналган жаңыртуу өзү бирөөсүн жаратты. Өкүм, постмортем: SHIP IT, араң.

2:27 Алты күндүн ичинде чектерди текшерүү, этаптуу шакекчелер, кардардын мазмун жаңыртууларын көзөмөлдөө, эки тышкы сереп. Араң, анткени мунун баары буга чейин эле стандарттуу практика болчу. Дүйшөмбү: сиздин агентиңиз булуттан эмне алса да канарейка шакекчесин алат. Конфигурация бир нерсени талдап чыкканда код болуп калат, ал жерде ката кетире албайт. Мага дагы деле айтууга уруксат берилбеген инцидентти жөнөтүңүз, комментарийлерде, же dailydiff.dev дареги боюнча. Бүгүнкү айырма ушул.

2:48 Мен Niko, Axrisiден. Жоопкерчилик менен бириктириңиз.

Булактар

1. CrowdStrike, Root Cause Analysis — Channel File 291 (Aug 6, 2024, 12 pp.)www.crowdstrike.com
2. CrowdStrike, Executive Summary of the RCA (Aug 6, 2024)www.crowdstrike.com
3. CrowdStrike, Preliminary Post Incident Review (Jul 24, 2024)www.crowdstrike.com
4. CrowdStrike, Remediation and Guidance Hub — Channel File 291 (the workaround steps)www.crowdstrike.com
5. CrowdStrike, tech alert of Jul 19, 2024 (archived: Safe Mode → delete C-00000291*.sys → BitLocker key)web.archive.org
6. Microsoft, David Weston, "Helping our customers through the CrowdStrike outage" (Jul 20, 2024; the 8.5 million figure)blogs.microsoft.com
7. Delta Air Lines, Form 8-K (Aug 8, 2024; ~7,000 cancellations, at least $500 million)www.sec.gov
8. Adam Meyers (CrowdStrike SVP), written testimony, House Homeland Security Subcommittee (Sep 24, 2024)homeland.house.gov
9. George Kurtz on X, Jul 19, 2024, 09:45 UTCx.com
10. Patrick Wardle on X, Jul 19, 2024 (the crash-dump index 0x14)x.com
11. Hacker News, Jul 19, 2024 — "CrowdStrike Update: Windows Bluescreen and Boot Loops" (4,489 points)news.ycombinator.com
12. The Guardian, Jul 24, 2024 — "CrowdStrike global outage to cost US Fortune 500 companies $5.4bn" (Parametrix estimate)www.theguardian.com
13. Hacker News, Jul 21, 2024 — "Initial details about why CrowdStrike's CSAgent.sys crashed" (519 points)news.ycombinator.com
14. Wikipedia — 2024 CrowdStrike-related IT outagesen.wikipedia.org