ໜຶ່ງຟິວພິເສດເຮັດໃຫ້ຄອມພິວເຕີ 8.5 ລ້ານໜ່ວຍລົ້ມເຫຼວ. 78 ນາທີ.
ວັນທີ 19 ກໍລະກົດ 2024, 04:09 UTC: CrowdStrike ໄດ້ສົ່ງ Channel File 291 — ການອັບເດດ Rapid Response Content — ໄປຫາເຊັນເຊີ Windows Falcon ທຸກໜ່ວຍທີ່ອອນລາຍ.
ວັນທີ 19 ກໍລະກົດ 2024, 04:09 UTC: CrowdStrike ໄດ້ສົ່ງ Channel File 291 — ການອັບເດດ Rapid Response Content — ໄປຫາເຊັນເຊີ Windows Falcon ທຸກໜ່ວຍທີ່ອອນລາຍ. ແມ່ແບບທີ່ມັນໃຊ້ໄດ້ຖືກປະກາດດ້ວຍ 21 ຟິວປ້ອນຂໍ້ມູນໃນເດືອນກຸມພາ; ລະຫັດທີ່ໃຫ້ຂໍ້ມູນປ້ອນເຂົ້າສ້າງອາເຣຂອງ 20. ເປັນເວລາສີ່ເດືອນບໍ່ມີຫຍັງອ່ານຟິວ 21, ເພາະທຸກກົດລະບຽບປ່ອຍໃຫ້ມັນເປັນ wildcard. ການອັບເດດນີ້ໄດ້ໃສ່ຮູບແບບທີ່ແທ້ຈິງຢູ່ທີ່ນັ້ນ. Content Validator ຝັ່ງຄລາວໄດ້ນັບ 21 ທຽບກັບການປະກາດ ແລະຜ່ານມັນ; Content Interpreter ຂອງເຊັນເຊີ, ທີ່ບໍ່ມີການກວດສອບຂອບເຂດ, ອ່ານຊ່ອງ 21 ໃນໂໝດ kernel ແລະ Windows page-faults: PAGE_FAULT_IN_NONPAGED_AREA, csagent.sys. ໄດເວີໂຫຼດຕັ້ງແຕ່ຕົ້ນໃນການບູດເຄື່ອງ, ອ່ານໄຟລ໌ດຽວກັນ, ລົ້ມເຫຼວອີກຄັ້ງ — ບູດລູບ. ໄດ້ຖືກແກ້ໄຂຄືນໃນເວລາ 05:27 UTC, 78 ນາທີຕໍ່ມາ, ແຕ່ເຄື່ອງຈັກ 8.5 ລ້ານເຄື່ອງ (ຈຳນວນຂອງ Microsoft, ຕ່ຳກວ່າ 1% ຂອງ Windows) ມີໄຟລ໌ນີ້ແລ້ວ, ແລະວິທີແກ້ໄຂແມ່ນໃຫ້ຄົນແຕ່ລະຄົນໃຊ້ແປ້ນພິມ: Safe Mode, ລຶບ C-00000291*.sys, BitLocker recovery key. ສາຍການບິນ, ໂຮງໝໍ, ທະນາຄານ ແລະສູນ 911 ໄດ້ຢຸດເຊົາ; Delta ໄດ້ຍົກເລີກປະມານ 7,000 ຖ້ຽວບິນ ແລະຮຽກຮ້ອງຢ່າງໜ້ອຍ 500 ລ້ານໂດລາຈາກ CrowdStrike ແລະ Microsoft; Parametrix ປະເມີນຄ່າໃຊ້ຈ່າຍຂອງ Fortune 500 ຢູ່ໃກ້ 5.4 ຕື້ໂດລາ. ການສືບສວນຫຼັງເກີດເຫດຈາກ Root Cause Analysis ຂອງ CrowdStrike ເອງ, Preliminary Post Incident Review, ບລັອກຂອງ Microsoft, 8-K ຂອງ Delta ແລະ ຄຳໃຫ້ການຂອງສະພາ. Git blame: 65 CrowdStrike / 25 ການອອກແບບໂໝດ kernel / 10 ວັນສຸກ. ຜົນການຕັດສິນກ່ຽວກັບການແກ້ໄຂ: SHIP IT, ຢ່າງໃກ້ຊິດ.
ອ່ານສະບັບລາຍລັກອັກສອນ (ພາສາອັງກິດ) ↗
ສິ່ງທີ່ວິດີໂອນີ້ກວມເອົາ
- 28 ກຸມພາ – 24 ເມສາ 2024: ເຊັນເຊີ 7.11 ໄດ້ສົ່ງ IPC Template Type (ປະກາດ 21 ຟິວ, ສະໜອງ 20); ການທົດສອບຄວາມທົນທານຜ່ານໃນວັນທີ 5 ມີນາ; ສີ່ຕົວຢ່າງເຮັດວຽກໄດ້ເພາະຟິວ 21 ເປັນ wildcard
- 19 ກໍລະກົດ, 04:09 UTC: ສອງ Template Instances ໃໝ່; ຂໍ້ຜິດພາດທາງຕັນກະລັກຂອງ Content Validator ເຮັດໃຫ້ຕົວທີ່ບໍ່ແມ່ນ wildcard ຜ່ານໄປ; ການອ່ານນອກຂອບເຂດໃນ kernel; 05:27 UTC ຖືກແກ້ໄຂຄືນ
- 19–29 ກໍລະກົດ: ການແກ້ໄຂດ້ວຍຕົນເອງ (Safe Mode, ລຶບໄຟລ໌, BitLocker key); ປະມານ 97% ຂອງເຊັນເຊີກັບຄືນມາໃນວັນທີ 24 ກໍລະກົດ, ປະມານ 99% ໃນວັນທີ 29 ກໍລະກົດ
- 25 ກໍລະກົດ – 19 ສິງຫາ: ການກວດສອບຂອບເຂດໃນເວລາເຮັດວຽກ, ການຢືນຢັນຈໍານວນຟິວໃນເວລາຄອມໄພລ໌, ການກວດສອບ Validator, canary + deployment rings, ການຄວບຄຸມ Rapid Response Content ຂອງລູກຄ້າ, ການທົບທວນເອກະລາດສອງຄັ້ງ; RCA ເຕັມຮູບແບບພ້ອມ crash dump ໃນວັນທີ 6 ສິງຫາ
ຄຳຖາມແລະຄຳຕອບ
ຫຍັງເປັນສາເຫດທີ່ເຮັດໃຫ້ການອັບເດດ CrowdStrike ໃນເດືອນກໍລະກົດ 2024 ເຮັດໃຫ້ຄອມພິວເຕີ Windows ຄ້າງ?
ການອັບເດດເນື້ອຫາໄດ້ສະໜອງການປ້ອນຂໍ້ມູນໜ້ອຍກວ່າທີ່ລະຫັດເຊັນເຊີຄາດໄວ້. ອີງຕາມການວິເຄາະຕົ້ນຕໍຂອງ CrowdStrike, ແມ່ແບບໄດ້ຖືກປະກາດດ້ວຍ 21 ຊ່ອງຂໍ້ມູນໃນຂະນະທີ່ລະຫັດທີ່ໃຫ້ຂໍ້ມູນນັ້ນສ້າງເປັນອາເຣຂອງ 20. ການອັບເດດວັນທີ 19 ເດືອນກໍລະກົດ ໄດ້ໃສ່ຮູບແບບຕົວຈິງໃນຊ່ອງທີ 21, ແລະເຊັນເຊີໄດ້ອ່ານຜ່ານອາເຣໃນໂໝດ kernel, ເຮັດໃຫ້ເກີດ page fault.
ເປັນຫຍັງການກວດສອບເນື້ອຫາຂອງ CrowdStrike ຈຶ່ງບໍ່ສາມາດກວດພົບການອ່ານນອກຂອບເຂດ?
ຕົວຢັ້ງຢືນໄດ້ກວດສອບເນື້ອຫາທຽບກັບການປະກາດແມ່ແບບ, ແລະການປະກາດດັ່ງກ່າວໄດ້ລະບຸ 21 ຊ່ອງ. ຕົວຢັ້ງຢືນເນື້ອຫາຝັ່ງຄລາວໄດ້ນັບ 21 ແລະຜ່ານໄຟລ໌. ຕົວແປພາສາເນື້ອຫາຂອງເຊັນເຊີບໍ່ມີການກວດສອບຂອບເຂດ, ດັ່ງນັ້ນມັນຈຶ່ງເຊື່ອຕົວຢັ້ງຢືນ, ແລະຕົວຢັ້ງຢືນເຊື່ອການປະກາດ. ສີ່ເດືອນກ່ອນໜ້ານີ້ ກົດລະບຽບໄດ້ປ່ອຍໃຫ້ຊ່ອງທີ 21 ເປັນ wildcard, ດັ່ງນັ້ນບໍ່ມີຫຍັງເຄີຍອ່ານມັນ.
ເປັນຫຍັງເຄື່ອງ Windows ທີ່ຖືກກະທົບຍັງສືບຕໍ່ຄ້າງຫຼັງຈາກ CrowdStrike ໄດ້ປີ້ນການອັບເດດທີ່ບໍ່ດີ?
ໄດເວີໂຫຼດແຕ່ຫົວທີໃນຕອນເປີດເຄື່ອງ ແລະອ່ານໄຟລ໌ຊ່ອງດຽວກັນ, ດັ່ງນັ້ນເຄື່ອງຈັກໃດໜຶ່ງທີ່ໄດ້ຮັບມັນກໍຈະຄ້າງອີກຄັ້ງໃນທຸກໆການເລີ່ມຕົ້ນໃໝ່. CrowdStrike ໄດ້ປີ້ນໄຟລ໌ຄືນໃນເວລາ 05:27 UTC, 78 ນາທີຫຼັງຈາກການປ່ອຍ. ການຟື້ນຟູແມ່ນດ້ວຍຕົນເອງ, ຕ້ອງໃຊ້ Safe Mode, ການລຶບ C-00000291*.sys ແລະ, ດ້ວຍ BitLocker, ລະຫັດກູ້ຄືນ.
ຜົນກະທົບຈາກການຢຸດຊະງັກຂອງ CrowdStrike ມີຂະໜາດໃຫຍ່ປານໃດ?
Microsoft ນັບໄດ້ 8.5 ລ້ານເຄື່ອງ Windows ທີ່ຖືກກະທົບ, ຕ່ຳກວ່າ 1% ຂອງອຸປະກອນ Windows. Delta Air Lines ລາຍງານວ່າ ມີປະມານ 7,000 ຖ້ຽວບິນຖືກຍົກເລີກ ແລະອ້າງສິດຢ່າງໜ້ອຍ 500 ລ້ານໂດລາສະຫະລັດຈາກ CrowdStrike ແລະ Microsoft ໃນແບບຟອມ 8-K ຂອງຕົນ. The Guardian ລາຍງານການຄາດຄະເນຂອງ Parametrix ທີ່ລະບຸວ່າຄ່າໃຊ້ຈ່າຍຕໍ່ບໍລິສັດ Fortune 500 ໃກ້ເຖິງ 5.4 ຕື້ໂດລາສະຫະລັດ.
ການແກ້ໄຂຂອງ CrowdStrike ພຽງພໍທີ່ຈະເຮັດໃຫ້ເນື້ອຫາຄວາມປອດໄພທີ່ຖືກປ່ອຍອອກມາຈາກຄລາວປອດໄພແລ້ວບໍ?
ຄຳຕັດສິນຂອງ The Daily Diff ແມ່ນ SHIP IT, ຢ່າງຈະແຈ້ງ. CrowdStrike ໄດ້ເພີ່ມການກວດສອບຂອບເຂດໃນຂະນະເຮັດວຽກ, ວົງແຫວນການນຳໃຊ້ທີ່ຖືກຈັດລຽງ, ການຄວບຄຸມຂອງລູກຄ້າຕໍ່ການອັບເດດເນື້ອຫາ ແລະ ການທົບທວນເອກະລາດສອງຄັ້ງ. ເຫດການດັ່ງກ່າວເວົ້າຢ່າງຈະແຈ້ງເພາະວ່າທັງໝົດນັ້ນແມ່ນການປະຕິບັດມາດຕະຖານແລ້ວ. ຄໍາແນະນໍາຂອງມັນແມ່ນວ່າສິ່ງໃດກໍຕາມທີ່ຕົວແທນດຶງມາຈາກຄລາວຄວນຜ່ານວົງແຫວນ canary ກ່ອນ.
ບົດບັນທຶກທີ່ແປແລ້ວ
ແປຈາກຄຳບັນຍາຍຕົ້ນສະບັບພາສາອັງກິດ. ສຽງ ແລະ ຄຳບັນຍາຍທີ່ມີໃຫ້ແມ່ນຄວບຄຸມໂດຍ YouTube.
0:00 ການອັບເດດຄວາມປອດໄພໜຶ່ງອັນມີ 21 ຟິວໃສ່ໃນໄດເວີທີ່ສ້າງຂຶ້ນສຳລັບ 20, ແລະເຄື່ອງຈັກ Windows 8.5 ລ້ານໜ່ວຍເກີດ blue-screen ກ່ອນອາຫານເຊົ້າ. ວັນທີ 19 ກໍລະກົດ 2024, 04:09 UTC. CrowdStrike ໄດ້ສົ່ງ Channel File 291 ໄປຫາເຊັນເຊີ Falcon ທຸກໜ່ວຍ. 78 ນາທີຕໍ່ມາພວກເຂົາກໍດຶງມັນຄືນ; ໃນເວລານັ້ນສາຍການບິນ, ໂຮງໝໍ ແລະ ທະນາຄານກໍເຫັນສີ່ຫຼ່ຽມສີຟ້າດຽວກັນ. ຂໍ້ຄວາມທຳອິດຂອງ CEO ບອກວ່າບໍ່ແມ່ນການໂຈມຕີທາງໄຊເບີ, ແມ່ນຄວາມຈິງ, ແລະບໍ່ແມ່ນຈຸດສຳຄັນ. ມັນເກີດຂຶ້ນແນວໃດ, ເປັນຫຍັງຈຶ່ງເປັນໄປໄດ້, ແລະໃຜເປັນຜູ້ຮັບຜິດຊອບ.
0:27 ນີ້ແມ່ນ The Daily Diff, ການສືບສວນຫຼັງເກີດເຫດ. ວັນທີ 28 ກຸມພາ. ເຊັນເຊີ 7.11 ໄດ້ສົ່ງເຄື່ອງກວດຈັບໃໝ່ສຳລັບ named pipes. ມັນປະກາດ 21 ຟິວປ້ອນຂໍ້ມູນ; ລະຫັດທີ່ໃຫ້ຂໍ້ມູນປ້ອນເຂົ້າສ້າງອາເຣຂອງ 20. ບໍ່ມີໃຜສັງເກດເຫັນ: ເປັນເວລາສີ່ເດືອນທຸກກົດລະບຽບປ່ອຍໃຫ້ຟິວ 21 ເປັນ wildcard, ແລະບໍ່ມີໃຜອ່ານ wildcard. ການທົດສອບຄວາມທົນທານຜ່ານ, ສີ່ກົດລະບຽບຖືກສົ່ງ, ທັງໝົດເປັນປົກກະຕິ. ວັນທີ 19 ກໍລະກົດ, 04:09. ສອງກົດລະບຽບໃໝ່; ອັນໜຶ່ງໃສ່ຮູບແບບທີ່ແທ້ຈິງໃນຟິວ 21.
0:51 cloud validator ນັບ 21 ທຽບກັບການປະກາດ ແລະບອກວ່າປົກກະຕິ. ທຸກໂຮສ Windows ອອນລາຍດາວໂຫຼດມັນພ້ອມກັນ, ເພາະບໍ່ມີ canary ring. ເຊັນເຊີອ່ານຊ່ອງ 21, ເຊິ່ງບໍ່ແມ່ນໜ່ວຍຄວາມຈຳຂອງມັນ, ແລະ kernel ເຮັດສິ່ງທີ່ kernels ເຮັດ. 05:27, ຖືກແກ້ໄຂຄືນ. ຊ້າເກີນໄປສຳລັບຜູ້ທີ່ຣີບູດເຄື່ອງ: ໄດເວີໂຫຼດແຕ່ຕົ້ນໃນ ການບູດເຄື່ອງ, ອ່ານໄຟລ໌ດຽວກັນ, ແລະລົ້ມເຫຼວອີກຄັ້ງ. Boot loop. ເປັນຫຍັງຈຶ່ງເປັນໄປໄດ້? ກົດລະບຽບແມ່ນການຕັ້ງຄ່າທີ່ຖືກສົ່ງມາຈາກຄລາວ, ສະນັ້ນບໍ່ແມ່ນລະຫັດຂ້າມລະຫັດ
1:16 pipeline. ຕົວແປພາສາບໍ່ມີການກວດສອບຂອບເຂດ; ມັນໄວ້ໃຈ validator, ແລະ validator ໄວ້ໃຈການປະກາດ. ແລະທັງໝົດນີ້ເຮັດວຽກໃນໂໝດ kernel, ບ່ອນທີ່ bad pointer ບໍ່ແມ່ນຂໍ້ຍົກເວັ້ນ ແຕ່ເປັນ page fault ທີ່ Windows ບອກວ່າບໍ່ສາມາດປ້ອງກັນໄດ້ໂດຍ try-except. Patrick Wardle ອ່ານມັນອອກຈາກ crash dump ໃນຕອນບ່າຍນັ້ນ: index zero x fourteen, slot 21. ວິທີແກ້ໄຂແມ່ນດ້ວຍຕົນເອງ. Safe Mode, ລຶບ C-00000291, ຣີບູດ. ກັບ BitLocker, ທຳອິດໃສ່ຕົວເລກ 48 ຫຼັກ
1:43 ລະຫັດກູ້ຄືນທີ່ຢູ່ເທິງ ເຊີເວີເຊິ່ງກໍເປັນສີຟ້າຄືກັນ. git blame. CrowdStrike, 65 ເປີເຊັນ: RCA ລະບຸ 6 ຂໍ້ຄົ້ນພົບ, ແລະຂໍ້ຄົ້ນພົບທີ່ຫົກແມ່ນປະໂຫຍກເຕັມ: Template Instances ຄວນມີການ ຈັດການນຳໃຊ້ເປັນຂັ້ນຕອນ. ການອອກແບບໂໝດ kernel, 25 ເປີເຊັນ: CrowdStrike ບອກວ່າ Windows ບໍ່ສາມາດ ຮອງຮັບຄວາມປອດໄພນອກ kernel ໄດ້ເທື່ອ, Microsoft ບອກວ່າບໍ່ແມ່ນເຫດການຂອງ Microsoft, ແລະ page fault ບໍ່ສົນໃຈ.
2:05 ວັນສຸກ, 10 ເປີເຊັນ. ຂໍ້ຄວາມ commit ບອກວ່າບໍ່ແມ່ນລະຫັດ. ຂອບເຂດຄວາມເສຍຫາຍ: 8.5 ລ້ານອຸປະກອນ, ຕ່ຳກວ່າ 1 ເປີເຊັນຂອງ Windows. Delta ຍົກເລີກ 7,000 ຖ້ຽວບິນ ແລະຟ້ອງຮ້ອງຂໍ 500 ລ້ານໂດລາ, ລວມທັງ Microsoft. ບໍລິສັດປະກັນໄພປະເມີນຄ່າໃຊ້ຈ່າຍຂອງ Fortune 500 ຢູ່ໃກ້ 5 ຕື້ໂດລາ. Hacker News: 4,500 ຄະແນນ. ຄວາມແປກ: ການອັບເດດທີ່ຕັ້ງໃຈຈະກວດຈັບເຕັກນິກການໂຈມຕີໃໝ່ໄດ້ສົ່ງເຕັກນິກໜຶ່ງອອກມາ. ຄຳຕັດສິນ, ຫຼັງເກີດເຫດ: SHIP IT, ຢ່າງໃກ້ຊິດ.
2:27 ກວດສອບຂອບເຂດໃນ 6 ວັນ, staged rings, ການຄວບຄຸມການອັບເດດເນື້ອຫາຂອງລູກຄ້າ, ການທົບທວນພາຍນອກສອງຄັ້ງ. ຢ່າງໃກ້ຊິດ, ເພາະທັງໝົດນັ້ນແມ່ນການປະຕິບັດມາດຕະຖານຢູ່ແລ້ວ. ວັນຈັນ: ສິ່ງໃດກໍຕາມທີ່ຕົວແທນຂອງເຈົ້າດຶງມາຈາກຄລາວຈະໄດ້ canary ring. ການຕັ້ງຄ່າແມ່ນລະຫັດທັນທີທີ່ບາງສິ່ງບາງຢ່າງ parses ມັນບ່ອນທີ່ມັນບໍ່ສາມາດສ້າງຂໍ້ຜິດພາດໄດ້. ສົ່ງເຫດການທີ່ເຈົ້າຍັງບໍ່ໄດ້ຮັບອະນຸຍາດໃຫ້ເວົ້າເຖິງມາຫາຂ້ອຍ, ໃນຄຳເຫັນ, ຫຼືທີ່ the daily diff dot dev. ແລະນັ້ນຄື diff ສໍາລັບມື້ນີ້.
2:48 ຂ້ອຍແມ່ນ Niko ຈາກ Axrisi. Merge ຢ່າງມີຄວາມຮັບຜິດຊອບ.
ແຫຼ່ງຂໍ້ມູນ
- CrowdStrike, Root Cause Analysis — Channel File 291 (Aug 6, 2024, 12 pp.)www.crowdstrike.com
- CrowdStrike, Executive Summary of the RCA (Aug 6, 2024)www.crowdstrike.com
- CrowdStrike, Preliminary Post Incident Review (Jul 24, 2024)www.crowdstrike.com
- CrowdStrike, Remediation and Guidance Hub — Channel File 291 (the workaround steps)www.crowdstrike.com
- CrowdStrike, tech alert of Jul 19, 2024 (archived: Safe Mode → delete C-00000291*.sys → BitLocker key)web.archive.org
- Microsoft, David Weston, "Helping our customers through the CrowdStrike outage" (Jul 20, 2024; the 8.5 million figure)blogs.microsoft.com
- Delta Air Lines, Form 8-K (Aug 8, 2024; ~7,000 cancellations, at least $500 million)www.sec.gov
- Adam Meyers (CrowdStrike SVP), written testimony, House Homeland Security Subcommittee (Sep 24, 2024)homeland.house.gov
- George Kurtz on X, Jul 19, 2024, 09:45 UTCx.com
- Patrick Wardle on X, Jul 19, 2024 (the crash-dump index 0x14)x.com
- Hacker News, Jul 19, 2024 — "CrowdStrike Update: Windows Bluescreen and Boot Loops" (4,489 points)news.ycombinator.com
- The Guardian, Jul 24, 2024 — "CrowdStrike global outage to cost US Fortune 500 companies $5.4bn" (Parametrix estimate)www.theguardian.com
- Hacker News, Jul 21, 2024 — "Initial details about why CrowdStrike's CSAgent.sys crashed" (519 points)news.ycombinator.com
- Wikipedia — 2024 CrowdStrike-related IT outagesen.wikipedia.org



