វាល​បន្ថែម​មួយ​ធ្វើ​ឱ្យ​កុំព្យូទ័រ 8.5 លាន​គ្រឿង​គាំង។ ៧៨ នាទី។

អ្វីដែលវីដេអូនេះគ្របដណ្ដប់

• ថ្ងៃទី 28 កុម្ភៈ – 24 មេសា 2024: sensor 7.11 ដឹកជញ្ជូន IPC Template Type (វាល 21 បានប្រកាស វាល 20 បានផ្គត់ផ្គង់); ការធ្វើតេស្តភាពតានតឹងឆ្លងកាត់ថ្ងៃទី 5 មីនា; ឧទាហរណ៍បួនដំណើរការដោយសារវាល 21 ជា wildcard
• ថ្ងៃទី 19 កក្កដា, 04:09 UTC: Template Instances ថ្មីពីរ; កំហុសតក្កវិជ្ជារបស់ Content Validator អនុញ្ញាតឱ្យ wildcard ឆ្លងកាត់; ការអានក្រៅព្រំដែននៅក្នុង kernel; 05:27 UTC បានបដិសេធ
• ថ្ងៃទី 19-29 កក្កដា: ការជួសជុលដោយដៃ (Safe Mode, លុបឯកសារ, គន្លឹះ BitLocker); ប្រហែល 97% នៃ sensor ត្រលប់មកវិញត្រឹមថ្ងៃទី 24 កក្កដា, ប្រហែល 99% ត្រឹមថ្ងៃទី 29 កក្កដា
• ថ្ងៃទី 25 កក្កដា – 19 សីហា: runtime bounds check, compile-time field-count validation, Validator checks, canary + deployment rings, ការគ្រប់គ្រងរបស់អតិថិជនលើ Rapid Response Content, ការពិនិត្យឯករាជ្យពីរ; RCA ពេញលេញជាមួយនឹង crash dump នៅថ្ងៃទី 6 សីហា

កំណត់ត្រាដែលបានបកប្រែ

បកប្រែចេញពីការនិទានដើមជាភាសាអង់គ្លេស។ សំឡេង និងចំណងជើងរងដែលមានគឺស្ថិតនៅក្រោមការគ្រប់គ្រងរបស់ YouTube។

0:00 ការអាប់ដេតសុវត្ថិភាពមួយផ្ទុកវាលម្ភៃមួយទៅក្នុង driver ដែលបានបង្កើតឡើងសម្រាប់ម្ភៃ, ហើយម៉ាស៊ីន Windows ប្រាំបីកន្លះលានគ្រឿងបង្ហាញអេក្រង់ពណ៌ខៀវមុនពេលអាហារពេលព្រឹក។ ថ្ងៃទី 19 ខែកក្កដា ឆ្នាំ 2024, 04:09 UTC។ CrowdStrike រុញ Channel File 291 ទៅកាន់រាល់ Falcon sensor។ ចិតសិបប្រាំបីនាទីក្រោយមក ពួកគេទាញវាចុះ; ដល់ពេលនោះ ក្រុមហ៊ុនអាកាសចរណ៍, មន្ទីរពេទ្យ និងធនាគារសម្លឹងមើលចតុកោណកែងពណ៌ខៀវដូចគ្នា។ ការបង្ហោះដំបូងរបស់ CEO និយាយថាមិនមែនជាការវាយប្រហារតាមអ៊ីនធឺណិតទេ ពិតមែនហើយ តែមិនមែនជាចំណុចសំខាន់ទេ។ វាកើតឡើងដោយរបៀបណា, ហេតុអ្វីបានជាវាអាចទៅរួច, និងអ្នកណាទទួលខុសត្រូវ។

0:27 នេះគឺជា The Daily Diff, postmortem។ ថ្ងៃទី 28 ខែកុម្ភៈ។ Sensor 7.11 ដឹកជញ្ជូន detector ថ្មីសម្រាប់ named pipes។ វាប្រកាសវាលបញ្ចូលម្ភៃមួយ; កូដដែលផ្តល់វាបង្កើតអារេនៃ ម្ភៃ។ គ្មាននរណាម្នាក់កត់សម្គាល់ទេ: អស់រយៈពេលបួនខែ រាល់ច្បាប់ទុកវាលម្ភៃមួយជា wildcard, ហើយគ្មាននរណាម្នាក់អាន wildcard ទេ។ ការធ្វើតេស្តភាពតានតឹងឆ្លងកាត់, ច្បាប់បួនដឹកជញ្ជូន, ទាំងអស់ល្អ។ ថ្ងៃទី 19 ខែកក្កដា, 04:09។ ច្បាប់ថ្មីពីរ; មួយដាក់លំនាំពិតប្រាកដនៅក្នុងវាលម្ភៃមួយ។

0:51 cloud validator រាប់ម្ភៃមួយប្រឆាំងនឹងការប្រកាសហើយនិយាយថាល្អ។ រាល់ Windows host លើអ៊ីនធឺណិតទាញយកវាភ្លាមៗ ពីព្រោះគ្មាន canary ring។ sensor អាន slot ម្ភៃមួយ, ដែលមិនមែនជាអង្គចងចាំរបស់វា, ហើយ kernel ធ្វើអ្វីដែល kernels ធ្វើ។ 05:27, បានបដិសេធ។ យឺតពេលសម្រាប់អ្នកណាដែលបានចាប់ផ្ដើមឡើងវិញ: driver ផ្ទុកនៅដើមដំបូងនៃការ boot, អានឯកសារដូចគ្នា, ហើយគាំងម្តងទៀត។ Boot loop។ ហេតុអ្វីបានជាវាអាចទៅរួច? ច្បាប់គឺជាការកំណត់រចនាសម្ព័ន្ធដែលបានរុញពី cloud, ដូច្នេះមិនមែនកូដរំលងកូដ

1:16 pipeline ទេ។ interpreter គ្មាន bounds check; វាទុកចិត្ត validator, ហើយ validator ទុកចិត្តការប្រកាស។ ហើយវាទាំងអស់ដំណើរការនៅក្នុង kernel mode, ដែល pointer ខុសមិនមែនជាករណីលើកលែងទេ ប៉ុន្តែជា page fault Windows និយាយថាមិនអាចការពារបានដោយ try-except។ Patrick Wardle អានវាពី crash dump រសៀលនោះ: index zero x fourteen, slot ម្ភៃមួយ។ ដំណោះស្រាយគឺដោយដៃ។ Safe Mode, លុប C-00000291, ចាប់ផ្ដើមឡើងវិញ។ ជាមួយ BitLocker, ដំបូងវាយលេខសែសិបប្រាំបីខ្ទង់

1:43 recovery key ដែលមាននៅលើ server ដែលក៏មានពណ៌ខៀវផងដែរ។ git blame។ CrowdStrike, ហុកសិបប្រាំភាគរយ: RCA រាយបញ្ជីការរកឃើញប្រាំមួយ, ហើយការរកឃើញប្រាំមួយគឺជាប្រយោគពេញលេញ: Template Instances គួរតែមានការដាក់ពង្រាយ ជាដំណាក់កាល។ ការរចនា kernel-mode, ម្ភៃប្រាំ: CrowdStrike និយាយថា Windows មិនអាច នៅតែ host សុវត្ថិភាពនៅក្រៅ kernel, Microsoft និយាយថាមិនមែនជាឧប្បត្តិហេតុរបស់ Microsoft ទេ, ហើយ page fault មិនខ្វល់ទេ។

2:05 ថ្ងៃសុក្រ, ដប់។ សារ commit និយាយថាមិនមែនកូដទេ។ Blast radius: ឧបករណ៍ប្រាំបីកន្លះលាន, ក្រោមមួយភាគរយនៃ Windows។ Delta លុបចោលជើងហោះហើរប្រាំពីរពាន់ហើយប្តឹងទាមទារប្រាំរយលាន, Microsoft រួមបញ្ចូល។ ក្រុមហ៊ុនធានារ៉ាប់រងដាក់វិក្កយបត្រ Fortune 500 ជិតប្រាំពាន់លាន។ Hacker News: បួនពាន់ប្រាំរយពិន្ទុ។ ភាពហួសចិត្ត: ការអាប់ដេតដែលមានបំណងរកឃើញបច្ចេកទេសវាយប្រហារថ្មីបានផ្តល់មួយ។ សាលក្រម, postmortem: SHIP IT, បន្តិចបន្តួច។

2:27 Bounds check ក្នុងរយៈពេលប្រាំមួយថ្ងៃ, staged rings, ការគ្រប់គ្រងរបស់អតិថិជនលើការអាប់ដេតមាតិកា, ការពិនិត្យខាងក្រៅពីរ។ បន្តិចបន្តួច, ពីព្រោះទាំងអស់នោះគឺជាការអនុវត្តស្តង់ដាររួចហើយ។ ថ្ងៃច័ន្ទ: អ្វីក៏ដោយដែល agent របស់អ្នកទាញពី cloud ទទួលបាន canary ring។ ការកំណត់រចនាសម្ព័ន្ធគឺជាកូដនៅពេលអ្វីមួយវិភាគវាដែលវាមិនអាចបោះបាន។ ផ្ញើមកខ្ញុំនូវឧប្បត្តិហេតុដែលអ្នកនៅតែមិនត្រូវបានអនុញ្ញាតឱ្យនិយាយអំពី, នៅក្នុងមតិយោបល់, ឬនៅ daily diff dot dev។ ហើយនោះជា diff សម្រាប់ថ្ងៃនេះ។

2:48 ខ្ញុំ Niko មកពី Axrisi។ បញ្ចូលដោយការទទួលខុសត្រូវ។

ប្រភព

1. CrowdStrike, Root Cause Analysis — Channel File 291 (Aug 6, 2024, 12 pp.)www.crowdstrike.com
2. CrowdStrike, Executive Summary of the RCA (Aug 6, 2024)www.crowdstrike.com
3. CrowdStrike, Preliminary Post Incident Review (Jul 24, 2024)www.crowdstrike.com
4. CrowdStrike, Remediation and Guidance Hub — Channel File 291 (the workaround steps)www.crowdstrike.com
5. CrowdStrike, tech alert of Jul 19, 2024 (archived: Safe Mode → delete C-00000291*.sys → BitLocker key)web.archive.org
6. Microsoft, David Weston, "Helping our customers through the CrowdStrike outage" (Jul 20, 2024; the 8.5 million figure)blogs.microsoft.com
7. Delta Air Lines, Form 8-K (Aug 8, 2024; ~7,000 cancellations, at least $500 million)www.sec.gov
8. Adam Meyers (CrowdStrike SVP), written testimony, House Homeland Security Subcommittee (Sep 24, 2024)homeland.house.gov
9. George Kurtz on X, Jul 19, 2024, 09:45 UTCx.com
10. Patrick Wardle on X, Jul 19, 2024 (the crash-dump index 0x14)x.com
11. Hacker News, Jul 19, 2024 — "CrowdStrike Update: Windows Bluescreen and Boot Loops" (4,489 points)news.ycombinator.com
12. The Guardian, Jul 24, 2024 — "CrowdStrike global outage to cost US Fortune 500 companies $5.4bn" (Parametrix estimate)www.theguardian.com
13. Hacker News, Jul 21, 2024 — "Initial details about why CrowdStrike's CSAgent.sys crashed" (519 points)news.ycombinator.com
14. Wikipedia — 2024 CrowdStrike-related IT outagesen.wikipedia.org