Một lần khởi động lại đã đưa Telstra về năm 2006. Chín triệu điện thoại.

Nội dung video này đề cập

• Một thẻ GPS thức dậy vào tháng 11 năm 2006
• Dòng thời gian: thiết kế 2010 → khung máy 2020 → thẻ GPS tháng 10 năm 2025 → 02:50
• Buổi sáng: 04:00 MME đặt lại → 04:20 bão báo động → 12:12 khôi phục
• Cơ chế: NTP bỏ phiếu dựa trên sự đồng ý, không phải tính hợp lý
• git blame — Telstra 55 · peering 25 · firmware 15 · nguồn điện 5

Bản ghi đã dịch

Được dịch từ lời tường thuật tiếng Anh gốc. Âm thanh và phụ đề có sẵn được điều khiển bởi YouTube.

Một thẻ GPS thức dậy vào tháng 11 năm 2006

0:00 Một kỹ sư ở Melbourne bật lại bộ điều khiển thời gian vào lúc hai giờ năm mươi phút sáng, và đến bữa sáng, mạng di động lớn nhất của Úc đồng ý rằng đó là tháng 11 năm hai nghìn sáu. Báo cáo bên ngoài của Telstra nói rằng ngày tháng đã rời một thẻ GPS và toàn bộ mạng đã bỏ phiếu cho nó. Gần chín triệu khách hàng mất cuộc gọi, tin nhắn hoặc dữ liệu, và các chuyến tàu khu vực của Victoria ngừng hoạt động trong ngày. Chuyện đó đã xảy ra như thế nào, tại sao một thẻ lại được xếp hạng cao hơn đồng hồ quốc gia,

0:23 và ai phải chịu trách nhiệm. Đây là The Daily Diff, sau sự cố.

Dòng thời gian: thiết kế 2010 → khung máy 2020 → thẻ GPS tháng 10 năm 2025 → 02:50

0:28 Hai nghìn mười. Thiết kế là sách giáo khoa. Ba nguồn thời gian quốc gia cấp cho hai máy chủ, những nguồn đó cấp cho ba nguồn bên dưới, và mỗi nút chỉ lấy thời gian từ phía trên. Các kiểm toán viên gọi đó là phù hợp với mục đích. Hai nghìn hai mươi. Khung máy mới. Nó không thể cấp cho máy chủ cấp dưới của chính nó, vì vậy Sydney và Melbourne được nối chéo và mỗi địa điểm giảm xuống một tham chiếu. Sau đó, mọi thứ được chuyển sang giao thức NTP, nơi bất kỳ máy chủ nào cũng có thể lấy thời gian từ bất kỳ

0:50 máy chủ nào nó tìm thấy. Các từ "vòng lặp thời gian" không xuất hiện trong bất kỳ tài liệu nào. Tháng mười năm hai nghìn hai mươi lăm. Melbourne tiếp tục mất Sydney, và các báo động của nó nói là stratum năm, nghĩa là nó lấy thời gian từ chính khách hàng của nó. Không ai gửi phiếu yêu cầu. Thay vào đó, các kỹ sư bật một thẻ GPS đã không hoạt động trong năm năm. Các báo động dừng lại.

1:07 Melbourne hiện là stratum một, cấp bậc của viện quốc gia, và không ai xem xét nó. Ngày tám tháng bảy, hai giờ năm mươi phút sáng. Một bộ nguồn cần được thay thế, vì vậy khung máy khởi động lại, và thẻ GPS cũng khởi động lại theo. Phần sụn của nó không bao giờ được cập nhật, vì vậy nó chọn thời kỳ cũ và lùi một nghìn hai mươi bốn tuần về quá khứ. Melbourne là đỉnh của cây, và các nguồn phụ thuộc bắt đầu đồng ý.

Buổi sáng: 04:00 MME đặt lại → 04:20 bão báo động → 12:12 khôi phục

1:26 Bốn giờ sáng, các nút chuyển giao bắt đầu đặt lại. Bốn giờ hai mươi phút, một cơn bão báo động, trên một nền tảng mà các báo động được đọc trong giờ làm việc. Bốn giờ hai mươi chín phút, Telstra nhận thấy, vì khách hàng đang tìm kiếm sự cố Telstra trên Google. Các kỹ sư đã thực hiện thay đổi đang trong thời gian nghỉ bắt buộc, và việc tìm ra ngày mất hàng giờ. Đến mười hai giờ mười hai phút, hầu hết khách hàng đã trở lại.

Cơ chế: NTP bỏ phiếu dựa trên sự đồng ý, không phải tính hợp lý

1:47 Tại sao điều đó lại có thể xảy ra? NTP có hai biện pháp bảo vệ. Stratum thấp hơn thắng, và các giá trị ngoại lai bị loại bỏ. Thẻ GPS đã biến nguồn bị hỏng thành thứ hạng cao nhất, và mọi nguồn có thể không đồng ý đều nằm ở phía dưới, lặp lại nó. NTP không bao giờ hỏi liệu một ngày có hợp lý hay không, mà chỉ hỏi liệu những người khác có đồng ý hay không. Giao thức đã hoạt động.

2:06 Kiến trúc thì không.

git blame — Telstra 55 · peering 25 · firmware 15 · nguồn điện 5

2:07 git blame. Telstra, năm mươi lăm phần trăm. Không ai sở hữu đồng hồ, vì vậy không ai xem xét thay đổi, và hai bản tin của nhà cung cấp về chính xác lỗi này đã không được đọc. Chế độ peering, hai mươi lăm, vì đã để các máy chủ tự bỏ phiếu với tiếng vang của chính chúng. Phần sụn, mười lăm, đã xuất bản nhưng chưa bao giờ được cài đặt. Năm phần trăm cho bộ nguồn, vì đã chọn hai giờ năm mươi phút vào thứ Tư. Phạm vi ảnh hưởng. Bốn mươi lăm phần trăm tổng số cuộc gọi và phiên dữ liệu ngày hôm đó,

Phạm vi ảnh hưởng: 45% các phiên, khoản phạt 30 triệu đô la cho một hộp 30 nghìn đô la

2:30 CEO nói với Thượng viện. Khoản phạt trên bàn là ba mươi triệu đô la, cho một bản cập nhật miễn phí bị thiếu từ một hộp ba mươi nghìn đô la. Thẻ này đã sống sót qua đợt chuyển đổi thực sự vào năm hai nghìn không mười chín vì không ai tắt nó. Việc sửa chữa đã giết chết nó. Phán quyết, sau sự cố: SHIP IT, về phản ứng.

Phán quyết + dòng thứ hai: một đồng hồ đeo ba mũ

2:46 Telstra thuê các kiểm toán viên bên ngoài, công bố báo cáo chưa chỉnh sửa, với lời khẳng định rằng họ chưa bao giờ coi thời gian là quan trọng, và di chuyển cả ba địa điểm ra khỏi các máy chủ cũ trước khi nó xảy ra. Dòng thứ hai: chạy một dấu vết NTP và đếm xem có bao nhiêu nguồn thời gian của bạn là một đồng hồ đeo ba mũ. Gửi cho tôi sự cố mà bạn vẫn chưa được phép nói về, trong phần bình luận, hoặc tại thedailydiff.dev. Và đó là sự khác biệt trong ngày hôm nay.

3:10 Tôi là Niko từ Axrisi. Hợp nhất một cách có trách nhiệm.

Nguồn

1. Technology Audit Partners, "Findings Report on the July 8th Telstra Outage" (published by Telstra, Sep 2, 2026)www.telstra.com.au
2. Vicki Brady (Telstra CEO), "What we've learned from the external investigation of our July outage" (Sep 2, 2026)www.telstra.com.au
3. Netnod, Sven-Christian Ebenhag, "Telstra outage: The night a network decided the year was 2006" (Sep 17, 2026)www.netnod.se
4. Hacker News on the Netnod post (93 points)news.ycombinator.com
5. The Guardian, Senate inquiry: 45 % of sessions, ~9M customers, 604 Triple Zero errors (Jul 17, 2026)www.theguardian.com
6. ABC News, "Telstra recently warned about timing issue linked to national outage" (Jul 10, 2026)www.abc.net.au
7. The Register, the day itself (Jul 8, 2026)www.theregister.com
8. ACS Information Age, the $30,000 box and the $30M fine (Jul 14, 2026)ia.acs.org.au