+− THE DAILY DIFFdev & AI news
SHIP IT

ການຣີບູດເຮັດໃຫ້ Telstra ກັບຄືນສູ່ປີ 2006. ໂທລະສັບເກົ້າລ້ານເຄື່ອງ.

ວິສະວະກອນຢູ່ Melbourne ເປີດເຄື່ອງຈັບເວລາຄືນໃໝ່ໃນເວລາ 2:50 ໂມງເຊົ້າ, ແລະເມື່ອຮອດຕອນເຊົ້າເຄືອຂ່າຍໂທລະສັບມືຖືທີ່ໃຫຍ່ທີ່ສຸດຂອງອົດສະຕາລີກໍຕົກລົງວ່າມັນແມ່ນເດືອນພະຈິກ 2006.

ວິສະວະກອນຢູ່ Melbourne ເປີດເຄື່ອງຈັບເວລາຄືນໃໝ່ໃນເວລາ 2:50 ໂມງເຊົ້າ, ແລະເມື່ອຮອດຕອນເຊົ້າເຄືອຂ່າຍໂທລະສັບມືຖືທີ່ໃຫຍ່ທີ່ສຸດຂອງອົດສະຕາລີກໍຕົກລົງວ່າມັນແມ່ນເດືອນພະຈິກ 2006. ວັນທີ 8 ກໍລະກົດ 2026: ບັດ GPS ໃນເຄື່ອງ NTP ຂອງ Telstra ໄດ້ຣີບູດໃນລະຫວ່າງການສ້ອມແປງເຄື່ອງສະໜອງພະລັງງານ, ເຟີມແວຂອງມັນບໍ່ເຄີຍໄດ້ຮັບການອັບເດດການປ່ຽນປີຂອງ GPS, ດັ່ງນັ້ນມັນຈຶ່ງເລືອກໄລຍະເວລາເກົ່າແລະກັບຄືນໄປ 1,024 ອາທິດ. ເນື່ອງຈາກການແກ້ໄຂບັນຫາໃນເດືອນຕຸລາ 2025 ໄດ້ເຮັດໃຫ້ບັດນັ້ນເປັນແຫຼ່ງ stratum-1 ດຽວຂອງເຄືອຂ່າຍ — ແລະການປ່ຽນໄປໃຊ້ NTP peering ໃນປີ 2020 ໄດ້ເຮັດໃຫ້ແຫຼ່ງອື່ນໆທັງໝົດຢູ່ລຸ່ມມັນ — ວັນທີທີ່ຜິດພາດຈຶ່ງຊະນະການລົງຄະແນນສຽງ. ໂນດການໂອນສາຍໄດ້ຣີເຊັດຕັ້ງແຕ່ 4 ໂມງເຊົ້າ, 45% ຂອງການໂທແລະເຊສຊັນຂໍ້ມູນທັງໝົດໄດ້ຮັບຜົນກະທົບ, ລູກຄ້າເກືອບ 9 ລ້ານຄົນສູນເສຍການໂທ, ຂໍ້ຄວາມ ຫຼື ຂໍ້ມູນ, 604 ການໂທຫາສາມສູນຜິດພາດ, ລົດໄຟພາກພື້ນຂອງ Victoria ຢຸດເຊົາ, ແລະບໍລິການສ່ວນໃຫຍ່ກັບຄືນມາໃນເວລາ 12:12 ໂມງ. ສັນຍານເຕືອນຂອງ Telstra ເອງໄດ້ຢູ່ໃນແພລດຟອມທີ່ຖືກກວດສອບໃນຊົ່ວໂມງເຮັດວຽກ; ບໍລິສັດໄດ້ສັງເກດເຫັນຍ້ອນວ່າລູກຄ້າໄດ້ຊອກຫາໃນ Google ວ່າ "Telstra outage".

ອ່ານສະບັບລາຍລັກອັກສອນ (ພາສາອັງກິດ) ↗

ສິ່ງທີ່ວິດີໂອນີ້ກວມເອົາ

  • ບັດ GPS ຕື່ນຂຶ້ນມາໃນເດືອນພະຈິກ 2006
  • ຕາຕະລາງເວລາ: ການອອກແບບປີ 2010 → ເຄື່ອງປີ 2020 → ບັດ GPS ເດືອນຕຸລາ 2025 → 02:50
  • ຕອນເຊົ້າ: 04:00 MME ຣີເຊັດ → 04:20 ພະຍຸສັນຍານເຕືອນ → 12:12 ກັບຄືນມາ
  • ກົນໄກ: NTP ລົງຄະແນນສຽງຕາມຂໍ້ຕົກລົງ, ບໍ່ແມ່ນຄວາມເປັນໄປໄດ້
  • git blame — Telstra 55 · peering 25 · firmware 15 · ເຄື່ອງສະໜອງພະລັງງານ 5

ບົດບັນທຶກທີ່ແປແລ້ວ

ແປຈາກຄຳບັນຍາຍຕົ້ນສະບັບພາສາອັງກິດ. ສຽງ ແລະ ຄຳບັນຍາຍທີ່ມີໃຫ້ແມ່ນຄວບຄຸມໂດຍ YouTube.

ບັດ GPS ຕື່ນຂຶ້ນມາໃນເດືອນພະຈິກ 2006

0:00 ວິສະວະກອນຢູ່ Melbourne ເປີດເຄື່ອງຈັບເວລາຄືນໃໝ່ໃນເວລາສິບນາທີກ່ອນສາມໂມງເຊົ້າ ແລະເມື່ອຮອດຕອນເຊົ້າເຄືອຂ່າຍໂທລະສັບມືຖືທີ່ໃຫຍ່ທີ່ສຸດຂອງອົດສະຕາລີກໍຕົກລົງວ່າມັນແມ່ນ ເດືອນພະຈິກສອງພັນຫົກ. ລາຍງານພາຍນອກຂອງ Telstra ກ່າວວ່າວັນທີໄດ້ເຮັດໃຫ້ບັດ GPS ໜຶ່ງໃບແລະເຄືອຂ່າຍ ທັງໝົດໄດ້ລົງຄະແນນສຽງໃຫ້ມັນ. ລູກຄ້າເກືອບເກົ້າລ້ານຄົນສູນເສຍການໂທ, ຂໍ້ຄວາມ ຫຼື ຂໍ້ມູນ, ແລະລົດໄຟພາກພື້ນຂອງ Victoria ຢຸດເຊົາສຳລັບມື້ນັ້ນ. ມັນເກີດຂຶ້ນແນວໃດ, ເປັນຫຍັງບັດໜຶ່ງໃບຈຶ່ງມີລຳດັບສູງກວ່າໂມງຂອງຊາດ,

0:23 ແລະໃຜຈະຖືກຕຳໜິ. ນີ້ແມ່ນ The Daily Diff, ຫຼັງເກີດເຫດ.

ຕາຕະລາງເວລາ: ການອອກແບບປີ 2010 → ເຄື່ອງປີ 2020 → ບັດ GPS ເດືອນຕຸລາ 2025 → 02:50

0:28 ສອງພັນສິບ. ການອອກແບບແມ່ນເປັນແບບຮຽນ. ສາມແຫຼ່ງເວລາແຫ່ງຊາດປ້ອນສອງເຊີບເວີ, ເຫຼົ່ານັ້ນປ້ອນສາມເຊີບເວີຢູ່ລຸ່ມ, ແລະທຸກໂນດຈະເອົາເວລາຈາກບ່ອນຢູ່ຂ້າງເທິງເທົ່ານັ້ນ. ຜູ້ກວດສອບເອີ້ນວ່າມັນເໝາະສົມກັບຈຸດປະສົງ. ສອງພັນຊາວ. ເຄື່ອງໃໝ່. ມັນບໍ່ສາມາດປ້ອນເຊີບເວີທີ່ຕ່ຳກວ່າຂອງມັນເອງໄດ້, ດັ່ງນັ້ນ Sydney ແລະ Melbourne ຈຶ່ງຖືກເຊື່ອມຕໍ່ແບບຂ້າມຜ່ານ ແລະ ແຕ່ລະສະຖານທີ່ກໍຫຼຸດລົງເຫຼືອແຫຼ່ງອ້າງອີງໜຶ່ງອັນ. ຈາກນັ້ນທຸກຢ່າງກໍຖືກປ່ຽນໄປໃຊ້ peering, ບ່ອນທີ່ເຊີບເວີໃດກໍສາມາດເອົາເວລາຈາກເຊີບເວີ

0:50 ໃດກໍຕາມທີ່ມັນພົບ. ຄຳວ່າ timing loop ບໍ່ໄດ້ປາກົດຢູ່ໃນເອກະສານໃດໆ. ເດືອນຕຸລາສອງພັນຊາວຫ້າ. Melbourne ຍັງສູນເສຍ Sydney, ແລະສັນຍານເຕືອນຂອງມັນບອກວ່າ stratum ຫ້າ, ໝາຍຄວາມວ່າມັນເອົາເວລາຈາກລູກຄ້າຂອງມັນເອງ. ບໍ່ມີໃຜຍື່ນຄຳຮ້ອງ. ແທນທີ່ຈະວິສະວະກອນໄດ້ເປີດບັດ GPS ທີ່ບໍ່ໄດ້ໃຊ້ງານມາເປັນເວລາຫ້າປີ. ສັນຍານເຕືອນຢຸດ.

1:07 Melbourne ຕອນນີ້ແມ່ນ stratum ໜຶ່ງ, ອັນດັບຂອງສະຖາບັນແຫ່ງຊາດ, ແລະບໍ່ມີໃຜກວດສອບມັນ. ວັນທີແປດຂອງເດືອນກໍລະກົດ, ສອງໂມງຫ້າສິບນາທີໃນຕອນເຊົ້າ. ເຄື່ອງສະໜອງພະລັງງານຕ້ອງໄດ້ປ່ຽນ, ດັ່ງນັ້ນເຄື່ອງຈັກຈຶ່ງຣີບູດ, ແລະບັດ GPS ກໍໄປນຳ. ເຟີມແວຂອງມັນບໍ່ເຄີຍໄດ້ຮັບການອັບເດດ, ດັ່ງນັ້ນມັນຈຶ່ງເລືອກໄລຍະເວລາເກົ່າແລະກັບຄືນໄປພັນ ຊາວສີ່ອາທິດໃນອະດີດ. Melbourne ເປັນຈຸດສູງສຸດຂອງຕົ້ນໄມ້, ແລະລຸ່ມລົງກໍເລີ່ມຕົກລົງ.

ຕອນເຊົ້າ: 04:00 MME ຣີເຊັດ → 04:20 ພະຍຸສັນຍານເຕືອນ → 12:12 ກັບຄືນມາ

1:26 ສີ່ໂມງເຊົ້າ, ໂນດການໂອນສາຍເລີ່ມຣີເຊັດ. ສີ່ໂມງຊາວນາທີ, ພະຍຸສັນຍານເຕືອນ, ຢູ່ເທິງແພລດຟອມທີ່ສັນຍານເຕືອນຖືກອ່ານໃນຊົ່ວໂມງ ເຮັດວຽກ. ສີ່ໂມງຊາວເກົ້າ, Telstra ສັງເກດເຫັນ, ເພາະວ່າລູກຄ້າກໍາລັງຊອກຫາໃນ Google Telstra outage. ວິສະວະກອນທີ່ໄດ້ປ່ຽນແປງກໍາລັງພັກຜ່ອນບັງຄັບ, ແລະການຊອກຫາວັນທີໃຊ້ເວລາຫຼາຍຊົ່ວໂມງ. ເມື່ອຮອດສິບສອງໂມງສິບສອງນາທີລູກຄ້າສ່ວນໃຫຍ່ກໍກັບມາໃຊ້ໄດ້.

ກົນໄກ: NTP ລົງຄະແນນສຽງຕາມຂໍ້ຕົກລົງ, ບໍ່ແມ່ນຄວາມເປັນໄປໄດ້

1:47 ເປັນຫຍັງມັນຈຶ່ງເປັນໄປໄດ້? NTP ມີສອງການປ້ອງກັນ. stratum ທີ່ຕ່ຳກວ່າຊະນະ, ແລະຄ່າຜິດປົກກະຕິຈະຖືກໂຫວດອອກ. ບັດ GPS ໄດ້ເຮັດໃຫ້ແຫຼ່ງທີ່ເສຍຫາຍເປັນອັນດັບສູງສຸດ, ແລະທຸກແຫຼ່ງທີ່ສາມາດບໍ່ຕົກລົງກັນໄດ້ກໍຢູ່ລຸ່ມມັນ, ເຮັດຊ້ຳມັນ. NTP ບໍ່ເຄີຍຖາມວ່າວັນທີເປັນໄປໄດ້ຫຼືບໍ່, ພຽງແຕ່ຖາມວ່າຄົນອື່ນຕົກລົງກັນຫຼືບໍ່. ໂປຣໂຕຄໍໄດ້ເຮັດວຽກ.

2:06 ສະຖາປັດຕະຍະກຳບໍ່ໄດ້ເຮັດວຽກ.

git blame — Telstra 55 · peering 25 · firmware 15 · ເຄື່ອງສະໜອງພະລັງງານ 5

2:07 git blame. Telstra, ຫ້າສິບຫ້າເປີເຊັນ. ບໍ່ມີໃຜເປັນເຈົ້າຂອງໂມງ, ດັ່ງນັ້ນບໍ່ມີໃຜກວດສອບການປ່ຽນແປງ, ແລະປ້າຍໂຄສະນາຜູ້ຂາຍສອງອັນກ່ຽວກັບຂໍ້ຜິດພາດນີ້ໂດຍສະເພາະບໍ່ໄດ້ຖືກອ່ານ. ໂໝດ Peering, ຊາວຫ້າ, ສໍາລັບການປ່ອຍໃຫ້ເຊີບເວີລົງຄະແນນສຽງດ້ວຍສຽງສະທ້ອນຂອງຕົນເອງ. ເຟີມແວ, ສິບຫ້າ, ຖືກເຜີຍແຜ່ແລະບໍ່ເຄີຍຖືກຕິດຕັ້ງ. ຫ້າເປີເຊັນໃຫ້ກັບເຄື່ອງສະໜອງພະລັງງານ, ສໍາລັບການເລືອກສິບນາທີກ່ອນສາມໂມງໃນວັນພຸດ. ຂະໜາດຜົນກະທົບ. ສີ່ສິບຫ້າເປີເຊັນຂອງການໂທແລະເຊສຊັນຂໍ້ມູນທັງໝົດໃນມື້ນັ້ນ,

ຂະໜາດຜົນກະທົບ: 45 % ຂອງເຊສຊັນ, ຄ່າປັບໃໝ 30 ລ້ານໂດລາສຳລັບກ່ອງລາຄາ 30 ພັນໂດລາ

2:30 CEO ບອກສະພາສູງ. ຄ່າປັບໃໝທີ່ວາງໄວ້ແມ່ນສາມສິບລ້ານໂດລາ, ສໍາລັບການອັບເດດຟຣີທີ່ຂາດຫາຍໄປຈາກ ກ່ອງລາຄາສາມສິບພັນໂດລາ. ບັດໄດ້ລອດຊີວິດຈາກການປ່ຽນປີຕົວຈິງໃນປີ 2019 ເພາະບໍ່ມີໃຜປິດ ມັນ. ການສ້ອມແປງໄດ້ທໍາລາຍມັນ. ຄຳຕັດສິນ, ຫຼັງເກີດເຫດ: SHIP IT, ກ່ຽວກັບການຕອບສະໜອງ.

ຄຳຕັດສິນ + ຂໍ້ຄວາມວັນຈັນ: ໂມງໜ່ວຍດຽວໃສ່ສາມໝວກ

2:46 Telstra ຈ້າງຜູ້ກວດສອບພາຍນອກ, ເຜີຍແຜ່ລາຍງານໂດຍບໍ່ມີການແກ້ໄຂ, ໂດຍມີຂໍ້ຄວາມວ່າມັນບໍ່ເຄີຍຖືວ່າເວລາເປັນສິ່ງສຳຄັນ, ແລະຍ້າຍທັງສາມສະຖານທີ່ອອກຈາກເຊີບເວີເກົ່າກ່ອນທີ່ມັນຈະເກີດຂຶ້ນ. ຂໍ້ຄວາມວັນຈັນ: ດຳເນີນການຕິດຕາມ NTP ແລະນັບວ່າແຫຼ່ງເວລາຂອງທ່ານມີຈັກແຫຼ່ງທີ່ເປັນ ໂມງໜ່ວຍດຽວໃສ່ສາມໝວກ. ສົ່ງເຫດການທີ່ທ່ານຍັງບໍ່ໄດ້ຮັບອະນຸຍາດໃຫ້ເວົ້າເຖິງມາໃຫ້ຂ້ອຍ, ໃນຄຳເຫັນ, ຫຼືທີ່ thedailydiff.dev. ແລະນັ້ນແມ່ນຄວາມແຕກຕ່າງສໍາລັບມື້ນີ້.

3:10 ຂ້ອຍຄື Niko ຈາກ Axrisi. ລວມເຂົ້າກັນຢ່າງມີຄວາມຮັບຜິດຊອບ.

ແຫຼ່ງຂໍ້ມູນ

  1. Technology Audit Partners, "Findings Report on the July 8th Telstra Outage" (published by Telstra, Sep 2, 2026)www.telstra.com.au
  2. Vicki Brady (Telstra CEO), "What we've learned from the external investigation of our July outage" (Sep 2, 2026)www.telstra.com.au
  3. Netnod, Sven-Christian Ebenhag, "Telstra outage: The night a network decided the year was 2006" (Sep 17, 2026)www.netnod.se
  4. Hacker News on the Netnod post (93 points)news.ycombinator.com
  5. The Guardian, Senate inquiry: 45 % of sessions, ~9M customers, 604 Triple Zero errors (Jul 17, 2026)www.theguardian.com
  6. ABC News, "Telstra recently warned about timing issue linked to national outage" (Jul 10, 2026)www.abc.net.au
  7. The Register, the day itself (Jul 8, 2026)www.theregister.com
  8. ACS Information Age, the $30,000 box and the $30M fine (Jul 14, 2026)ia.acs.org.au

ວິດີໂອທີ່ກ່ຽວຂ້ອງ

postmortem · lo · 25 ກ.ຍ. 2026

ຂໍ້ຜິດພາດໜຶ່ງມິນລິວິນາທີ ໄດ້ຢຸດຕິການຈະລາຈອນທາງອາກາດຂອງອັງກິດ. ຫົກຊົ່ວໂມງ.

ເວລາ 10:00 ໂມງ ຂອງວັນອັງຄານທີ 8 ກັນຍາ, ການຮ້ອງຂໍລະຫັດ squawk ປົກກະຕິອັນໜຶ່ງພາຍໃນລະບົບນ່ານຟ້າແຫ່ງຊາດ (NAS) ຂອງ NATS ຖືກຂັດຂວາງໂດຍຂໍ້ຄວາມທີ່ມີຄວາມສຳຄັນສູງກວ່າໃນຂະນະທີ່ມັນກຳລັງອັບເດດຄ່າໜຶ່ງຢູ່. ໄລຍະເວລາສ

3:06 ↗
postmortem · lo · 19 ກ.ຍ. 2026

Google Cloud ຂັດຂ້ອງໃນພື້ນທີ່ຫວ່າງເປົ່າ. ສາມຊົ່ວໂມງ.

ແຖວນະໂຍບາຍທີ່ມີຊ່ອງຫວ່າງເປົ່າສອງສາມຊ່ອງພົບຕົວຊີ້ null, ແລະ Google Cloud ຂັດຂ້ອງພ້ອມກັນໃນທຸກພາກພື້ນ – ຈາກນັ້ນ Cloudflare ກໍລົ້ມລົງໄປພ້ອມກັນ. ວັນທີ 12 ມິຖຸນາ 2025, 17:49 UTC: Service Control, ໄບນາຣີທີ່ອ

2:57 ↗
postmortem · lo · 16 ກ.ຍ. 2026

ເຟສບຸກໄດ້ລຶບຕົວເອງອອກຈາກອິນເຕີເນັດ. ຫົກຊົ່ວໂມງ.

ເຟສບຸກໄດ້ລຶບທີ່ຢູ່ຂອງຕົນເອງອອກຈາກອິນເຕີເນັດ, ແລະເມື່ອວິສະວະກອນຂອງເຂົາມາຮອດເພື່ອເອົາກັບຄືນ, ເຄື່ອງອ່ານບັດກໍ່ລົ້ມເຫຼວເຊັ່ນກັນ, ເພາະວ່າພວກມັນໃຊ້ງານໃນເຟສບຸກ. ວັນທີ 4 ຕຸລາ 2021, ເວລາ 15:40 ໂມງ UTC: ຄຳສັ່ງບ

3:01 ↗
postmortem · lo · 12 ກ.ຍ. 2026

Regex ໄດ້ເຮັດໃຫ້ Cloudflare ລົ້ມ. 27 ນາທີ.

ວັນທີ 2 ກໍລະກົດ 2019, ເວລາ 13:42 UTC: ກົດລະບຽບໃໝ່ໜຶ່ງຂໍ້ສຳລັບ Web Application Firewall ຂອງ Cloudflare ເລີ່ມໃຊ້ງານໃນຫຼາຍກວ່າ 180 ເມືອງໃນເວລາປະມານສອງວິນາທີ. ມັນເປັນກົດລະບຽບ XSS ໃນໂໝດຈຳລອງ, ດັ່ງນັ້ນມັນບໍ

3:00 ↗