Restart przeniósł Telstrę do 2006 roku. Dziewięć milionów telefonów.
Inżynier w Melbourne włącza ponownie podwozie synchronizacyjne o 2:50 nad ranem, a do śniadania największa australijska sieć komórkowa zgadza się, że jest listopad 2006 roku.
Inżynier w Melbourne włącza ponownie podwozie synchronizacyjne o 2:50 nad ranem, a do śniadania największa australijska sieć komórkowa zgadza się, że jest listopad 2006 roku. 8 lipca 2026: karta GPS w podwoziu NTP Telstra restartuje się podczas naprawy zasilania, jej oprogramowanie układowe nigdy nie miało aktualizacji GPS week-rollover, więc wybiera starą epokę i cofa się o 1024 tygodnie. Ponieważ obejście z października 2025 roku sprawiło, że ta karta stała się jedynym źródłem stratum-1 w sieci — a przejście na peering NTP w 2020 roku pozostawiło każde inne źródło zależne od niej — błędna data wygrywa głosowanie. Węzły przekazywania połączeń resetują się od 4 rano, dotkniętych jest 45% wszystkich połączeń i sesji danych, prawie 9 milionów klientów traci połączenia, SMS-y lub dane, 604 połączenia z numerem alarmowym Triple Zero kończą się błędem, regionalne pociągi Wiktorii zatrzymują się, a większość usług wraca o 12:12. Własne alarmy Telstra znajdowały się na platformie sprawdzanej w godzinach pracy; firma zauważyła problem, ponieważ klienci wyszukiwali w Google „Telstra outage”.
Przeczytaj wydanie pisemne (angielski) ↗
Co obejmuje ten film
- Karta GPS budzi się w listopadzie 2006 roku
- Oś czasu: projekt 2010 → podwozie 2020 → karta GPS październik 2025 → 02:50
- Poranek: 04:00 MME resetuje się → 04:20 burza alarmów → 12:12 przywrócono usługi
- Mechanizm: NTP głosuje na zgodność, nie na wiarygodność
- git blame — Telstra 55 · peering 25 · firmware 15 · zasilacz 5
Przetłumaczona transkrypcja
Przetłumaczono z oryginalnej narracji angielskiej. Dostępne audio i napisy są kontrolowane przez YouTube.
Karta GPS budzi się w listopadzie 2006 roku
0:00 Inżynier w Melbourne włącza ponownie podwozie synchronizacyjne dziesięć minut przed trzecią w nocy, a do śniadania największa australijska sieć komórkowa zgadza się, że jest listopad dwa tysiące szóstego. Zewnętrzny raport Telstra mówi, że data wyszła z jednej karty GPS i cała sieć na nią zagłosowała. Prawie dziewięć milionów klientów traci połączenia, SMS-y lub dane, a regionalne pociągi Wiktorii zatrzymują się na cały dzień. Jak to się stało, dlaczego jedna karta przewyższyła zegar krajowy,
0:23 i kto ponosi winę. To jest The Daily Diff, analiza po zdarzeniu.
Oś czasu: projekt 2010 → podwozie 2020 → karta GPS październik 2025 → 02:50
0:28 Dwa tysiące dziesięć. Projekt jest podręcznikowy. Trzy krajowe źródła czasu zasilają dwa serwery, te zasilają trzy poniżej, a każdy węzeł pobiera czas tylko z góry. Audytorzy nazywają to odpowiednim do celu. Dwa tysiące dwadzieścia. Nowe podwozie. Nie może ono zasilać własnego niższego serwera, więc Sydney i Melbourne zostają wzajemnie połączone, a każda lokalizacja spada do jednego punktu odniesienia. Następnie wszystko jest przełączane na peering, gdzie każdy serwer może pobierać czas z dowolnego
0:50 serwera, który znajdzie. Słowa „pętla synchronizacyjna” nie pojawiają się w żadnym dokumencie. Październik dwa tysiące dwadzieścia pięć. Melbourne ciągle traci Sydney, a jego alarmy wskazują stratum piąte, co oznacza, że pobiera czas od własnych klientów. Nikt nie zgłasza zgłoszenia. Zamiast tego inżynierowie włączają kartę GPS, która stała bezczynnie przez pięć lat. Alarmy ustają.
1:07 Melbourne jest teraz stratum pierwszym, rangą instytutu krajowego, i nikt tego nie sprawdza. Ósmego lipca, dwie pięćdziesiąt rano. Zasilacz wymaga wymiany, więc podwozie restartuje się, a wraz z nim karta GPS. Jej oprogramowanie układowe nigdy nie zostało zaktualizowane, więc wybiera starą epokę i cofa się o tysiąc dwadzieścia cztery tygodnie w przeszłość. Melbourne jest na szczycie drzewa, a podrzędne systemy zaczynają się zgadzać.
Poranek: 04:00 MME resetuje się → 04:20 burza alarmów → 12:12 przywrócono usługi
1:26 Czwarta rano, węzły przekazywania połączeń zaczynają się resetować. Czwarta dwadzieścia, burza alarmów, na platformie, której alarmy są odczytywane w godzinach pracy. Czwarta dwadzieścia dziewięć, Telstra zauważa problem, ponieważ klienci wyszukują w Google „Telstra outage”. Inżynierowie, którzy dokonali zmiany, są na obowiązkowym odpoczynku, a znalezienie daty zajmuje godziny. Do dwunastej dwunastu większość klientów ma już przywrócone usługi.
Mechanizm: NTP głosuje na zgodność, nie na wiarygodność
1:47 Dlaczego było to możliwe? NTP ma dwie obrony. Niższe stratum wygrywa, a odstające wartości są odrzucane w głosowaniu. Karta GPS sprawiła, że uszkodzone źródło miało najwyższą rangę, a każde źródło, które mogło się nie zgodzić, znajdowało się poniżej, powtarzając to samo. NTP nigdy nie pyta, czy data jest wiarygodna, tylko czy inni się zgadzają. Protokół działał.
2:06 Architektura nie.
git blame — Telstra 55 · peering 25 · firmware 15 · zasilacz 5
2:07 git blame. Telstra, pięćdziesiąt pięć procent. Nikt nie był właścicielem zegara, więc nikt nie sprawdził zmiany, a dwa biuletyny producenta dotyczące dokładnie tego błędu pozostały nieprzeczytane. Tryb peeringu, dwadzieścia pięć, za zezwalanie serwerom na głosowanie własnym echem. Oprogramowanie układowe, piętnaście, opublikowane i nigdy niezainstalowane. Pięć procent dla zasilacza, za wybranie dziesięć minut przed trzecią w środę. Promień rażenia. Czterdzieści pięć procent wszystkich połączeń i sesji danych tego dnia,
Promień rażenia: 45% sesji, 30 milionów dolarów kary za 30 tys. dolarów skrzynkę
2:30 powiedział prezes Senatowi. Na stole leży kara trzydziestu milionów dolarów, za brak bezpłatnej aktualizacji w skrzynce o wartości trzydziestu tysięcy dolarów. Karta przetrwała prawdziwą zmianę w dwudziestu dziewiętnastu, ponieważ nikt jej nie wyłączył. Naprawa ją zabiła. Werdykt, analiza po zdarzeniu: SHIP IT, w kwestii reakcji.
Werdykt + linia poniedziałkowa: jeden zegar noszący trzy kapelusze
2:46 Telstra zatrudnia zewnętrznych audytorów, publikuje raport bez edycji, z informacją, że nigdy nie traktowała czasu jako krytycznego, i przenosi wszystkie trzy lokalizacje z dawnych serwerów, zanim to się stanie. Linia poniedziałkowa: uruchom śledzenie NTP i policz, ile z twoich źródeł czasu to jeden zegar noszący trzy kapelusze. Wyślij mi incydent, o którym nadal nie możesz mówić, w komentarzach, lub na thedailydiff.dev. I to jest dzisiejsza różnica.
3:10 Jestem Niko z Axrisi. Łącz odpowiedzialnie.
Źródła
- Technology Audit Partners, "Findings Report on the July 8th Telstra Outage" (published by Telstra, Sep 2, 2026)www.telstra.com.au
- Vicki Brady (Telstra CEO), "What we've learned from the external investigation of our July outage" (Sep 2, 2026)www.telstra.com.au
- Netnod, Sven-Christian Ebenhag, "Telstra outage: The night a network decided the year was 2006" (Sep 17, 2026)www.netnod.se
- Hacker News on the Netnod post (93 points)news.ycombinator.com
- The Guardian, Senate inquiry: 45 % of sessions, ~9M customers, 604 Triple Zero errors (Jul 17, 2026)www.theguardian.com
- ABC News, "Telstra recently warned about timing issue linked to national outage" (Jul 10, 2026)www.abc.net.au
- The Register, the day itself (Jul 8, 2026)www.theregister.com
- ACS Information Age, the $30,000 box and the $30M fine (Jul 14, 2026)ia.acs.org.au
