การรีบูตส่งผลให้ Telstra ย้อนกลับไปปี 2006 โทรศัพท์เก้าล้านเครื่อง

วิดีโอนี้ครอบคลุมอะไรบ้าง

• การ์ด GPS ตื่นขึ้นมาในเดือนพฤศจิกายน 2006
• ไทม์ไลน์: การออกแบบปี 2010 → โครงแชสซีปี 2020 → การ์ด GPS เดือนตุลาคม 2025 → 02:50 น.
• ช่วงเช้า: 04:00 น. MME รีเซ็ต → 04:20 น. สัญญาณเตือนภัยพายุ → 12:12 น. กู้คืน
• กลไก: NTP ลงคะแนนเพื่อความสอดคล้อง ไม่ใช่ความน่าเชื่อถือ
• git blame — Telstra 55 · peering 25 · firmware 15 · แหล่งจ่ายไฟ 5

บทถอดเสียงที่แปลแล้ว

แปลจากการบรรยายภาษาอังกฤษต้นฉบับ เสียงและคำบรรยายที่มีให้จะควบคุมโดย YouTube

การ์ด GPS ตื่นขึ้นมาในเดือนพฤศจิกายน 2006

0:00 วิศวกรในเมลเบิร์นเปิดเครื่องโครงแชสซีควบคุมเวลาอีกครั้งในเวลาตีสองห้าสิบนาทีในตอน เช้า และเมื่อถึงเวลาอาหารเช้า เครือข่ายมือถือที่ใหญ่ที่สุดของออสเตรเลียก็เห็นพ้องต้องกันว่ามันคือ เดือนพฤศจิกายนปีสองพันหก รายงานภายนอกของ Telstra ระบุว่าวันที่ที่ผิดพลาดมาจาก GPS การ์ดใบหนึ่งและทั้ง เครือข่ายก็ลงคะแนนให้มัน ลูกค้าเกือบเก้าล้านคนไม่สามารถโทร ข้อความ หรือใช้ข้อมูลได้ และรถไฟภูมิภาคของรัฐวิกตอเรียก็หยุดให้บริการตลอดวัน มันเกิดขึ้นได้อย่างไร ทำไมการ์ดใบเดียวถึงมีความสำคัญกว่านาฬิกาของประเทศ

0:23 และใครที่ต้องรับผิดชอบ นี่คือ The Daily Diff, การวิเคราะห์เหตุการณ์หลังเกิดเหตุ

ไทม์ไลน์: การออกแบบปี 2010 → โครงแชสซีปี 2020 → การ์ด GPS เดือนตุลาคม 2025 → 02:50 น.

0:28 ปีสองพันสิบ การออกแบบเป็นไปตามตำรา แหล่งเวลาแห่งชาติสามแหล่งป้อนเซิร์ฟเวอร์สองเครื่อง ซึ่งป้อนสามเครื่องด้านล่าง และทุกโหนดจะรับเวลาจากด้านบนเท่านั้น ผู้ตรวจสอบบัญชีเรียกว่าเหมาะสมตามวัตถุประสงค์ ปีสองพันยี่สิบ โครงแชสซีใหม่ มันไม่สามารถป้อนเซิร์ฟเวอร์ที่ต่ำกว่าของตัวเองได้ ดังนั้นซิดนีย์และเมลเบิร์นจึงถูกต่อสายไขว้กันและ แต่ละไซต์จึงลดเหลือหนึ่งอ้างอิง จากนั้นทุกอย่างก็ถูกเปลี่ยนไปใช้ peering โดยที่เซิร์ฟเวอร์ใด ๆ อาจรับเวลาจากเซิร์ฟเวอร์ใด

0:50 ก็ได้ที่พบ คำว่า timing loop ไม่ปรากฏในเอกสารใดๆ เดือนตุลาคมปีสองพันยี่สิบห้า เมลเบิร์นยังคงขาดการเชื่อมต่อกับซิดนีย์ และสัญญาณเตือนภัยระบุว่า stratum five ซึ่งหมายความว่ามันรับเวลาจากลูกค้าของตัวเอง ไม่มีใครแจ้งปัญหา แต่แทนที่จะเป็นเช่นนั้น วิศวกรกลับเปิดใช้งานการ์ด GPS ที่ไม่ได้ใช้งานมาห้าปี สัญญาณเตือนภัยหยุดลง

1:07 ตอนนี้เมลเบิร์นเป็น stratum one ซึ่งเป็นระดับเดียวกับสถาบันระดับชาติ และไม่มีใครตรวจสอบ วันที่แปดกรกฎาคม เวลาตีสองห้าสิบนาที แหล่งจ่ายไฟต้องเปลี่ยนใหม่ ดังนั้นโครงแชสซีจึงรีบูต และ GPS การ์ดก็รีบูตไปพร้อมกัน เฟิร์มแวร์ไม่เคยได้รับการอัปเดต ดังนั้นจึงเลือกยุคเก่าและย้อนกลับไปหนึ่งพัน ยี่สิบสี่สัปดาห์ในอดีต เมลเบิร์นคือจุดสูงสุดของระบบ และปลายน้ำก็เริ่มเห็นด้วย

ช่วงเช้า: 04:00 น. MME รีเซ็ต → 04:20 น. สัญญาณเตือนภัยพายุ → 12:12 น. กู้คืน

1:26 ตีสี่ โหนดส่งมอบข้อมูลเริ่มรีเซ็ต ตีสี่ twenty สัญญาณเตือนภัยดังสนั่น บนแพลตฟอร์มที่สัญญาณเตือนภัยถูกอ่านในเวลาทำการ เวลา 04:29 น. Telstra สังเกตเห็น เพราะลูกค้ากำลังค้นหาใน Google ว่า Telstra ล่ม วิศวกรที่ทำการเปลี่ยนแปลงอยู่ในช่วงพักภาคบังคับ และการค้นหาวันที่ใช้เวลาหลายชั่วโมง ภายในเวลา 12:12 น. ลูกค้าส่วนใหญ่กลับมาใช้งานได้แล้ว

กลไก: NTP ลงคะแนนเพื่อความสอดคล้อง ไม่ใช่ความน่าเชื่อถือ

1:47 ทำไมถึงเป็นไปได้? NTP มีการป้องกันสองประการ Stratum ที่ต่ำกว่าจะชนะ และข้อมูลผิดปกติจะถูกลงคะแนนออก การ์ด GPS ทำให้แหล่งที่มาที่เสียเป็นอันดับสูงสุด และทุกแหล่งที่สามารถไม่เห็นด้วยก็อยู่ปลายน้ำ ซ้ำๆ NTP ไม่เคยถามว่าวันที่สมเหตุสมผลหรือไม่ แต่ถามว่าคนอื่นเห็นด้วยหรือไม่ โปรโตคอลทำงานได้

2:06 สถาปัตยกรรมไม่ได้

git blame — Telstra 55 · peering 25 · firmware 15 · แหล่งจ่ายไฟ 5

2:07 git blame Telstra, ห้าสิบห้าเปอร์เซ็นต์ ไม่มีใครเป็นเจ้าของนาฬิกา ดังนั้นจึงไม่มีใครตรวจสอบการเปลี่ยนแปลง และเอกสารแจ้งเตือนจากผู้จำหน่ายสองฉบับเกี่ยวกับข้อผิดพลาดนี้โดยเฉพาะก็ไม่ได้ถูกอ่าน โหมด Peering, ยี่สิบห้า, สำหรับการอนุญาตให้เซิร์ฟเวอร์ลงคะแนนด้วยเสียงสะท้อนของตนเอง เฟิร์มแวร์, สิบห้า, เผยแพร่แล้วแต่ไม่เคยติดตั้ง ห้าเปอร์เซ็นต์สำหรับแหล่งจ่ายไฟ สำหรับการเลือกเวลาตีสองห้าสิบนาทีในวันพุธ รัศมีผลกระทบ สี่สิบห้าเปอร์เซ็นต์ของการโทรและการเชื่อมต่อข้อมูลทั้งหมดในวันนั้น

รัศมีผลกระทบ: 45% ของเซสชั่น, ค่าปรับ 30 ล้านดอลลาร์สำหรับกล่องมูลค่า 30,000 ดอลลาร์

2:30 ซีอีโอแจ้งต่อวุฒิสภา ค่าปรับที่พิจารณาอยู่คือสามสิบล้านดอลลาร์ สำหรับการอัปเดตฟรีที่ขาดหายไปจาก กล่องมูลค่าสามหมื่นดอลลาร์ การ์ดรอดพ้นจากการเลื่อนเวลาจริงในปีสองพันสิบเก้าเพราะไม่มีใครปิดมัน การซ่อมแซมทำให้มันเสีย คำตัดสิน, หลังเกิดเหตุ: SHIP IT, สำหรับการตอบสนอง

คำตัดสิน + บทสรุปประจำวันจันทร์: นาฬิกาเรือนเดียวทำสามหน้าที่

2:46 Telstra จ้างผู้ตรวจสอบบัญชีภายนอก เผยแพร่รายงานโดยไม่มีการแก้ไข พร้อมข้อความว่าไม่เคยถือว่าเวลาเป็นเรื่องสำคัญ และย้ายไซต์ทั้งสามออกจากเซิร์ฟเวอร์เก่าก่อนที่จะมีการตรวจสอบ บทสรุปประจำวันจันทร์: รัน NTP trace และนับว่าแหล่งเวลาของคุณกี่แหล่งเป็น นาฬิกาเรือนเดียวที่ทำสามหน้าที่ ส่งเหตุการณ์ที่คุณยังไม่ได้รับอนุญาตให้พูดถึงให้ฉัน ในความคิดเห็น หรือที่ thedailydiff.dev และนั่นคือ The Daily Diff สำหรับวันนี้

3:10 ฉันชื่อ Niko จาก Axrisi รวมโค้ดอย่างมีความรับผิดชอบ

แหล่งที่มา

1. Technology Audit Partners, "Findings Report on the July 8th Telstra Outage" (published by Telstra, Sep 2, 2026)www.telstra.com.au
2. Vicki Brady (Telstra CEO), "What we've learned from the external investigation of our July outage" (Sep 2, 2026)www.telstra.com.au
3. Netnod, Sven-Christian Ebenhag, "Telstra outage: The night a network decided the year was 2006" (Sep 17, 2026)www.netnod.se
4. Hacker News on the Netnod post (93 points)news.ycombinator.com
5. The Guardian, Senate inquiry: 45 % of sessions, ~9M customers, 604 Triple Zero errors (Jul 17, 2026)www.theguardian.com
6. ABC News, "Telstra recently warned about timing issue linked to national outage" (Jul 10, 2026)www.abc.net.au
7. The Register, the day itself (Jul 8, 2026)www.theregister.com
8. ACS Information Age, the $30,000 box and the $30M fine (Jul 14, 2026)ia.acs.org.au