+− THE DAILY DIFFdev & AI news
SHIP IT

En genstart sendte Telstra tilbage til 2006. Ni millioner telefoner.

En ingeniør i Melbourne tænder et timingschassis igen kl.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

En ingeniør i Melbourne tænder et timingschassis igen kl. 02:50, og til morgenmaden er Australiens største mobilnetværk enig i, at det er november 2006. 8. juli 2026: et GPS-kort i Telstras NTP-chassis genstarter under en reparation af strømforsyningen, dets firmware har aldrig fået GPS-uge-rollover-opdateringen, så det vælger den gamle epoke og lander 1.024 uger tilbage i tiden. Fordi en omgåelse i oktober 2025 havde gjort det kort til netværkets eneste stratum-1-kilde — og en 2020-overgang til NTP-peering havde efterladt alle andre kilder nedstrøms for den — vinder den forkerte dato afstemningen. Håndover-noder nulstiller fra kl. 04:00, 45 % af alle opkalds- og datasessioner påvirkes, næsten 9 millioner kunder mister opkald, sms'er eller data, 604 "Triple Zero"-opkald fejler, Victorias regionaltog stopper, og de fleste tjenester er tilbage kl. 12:12. Telstras egne alarmer sad på en platform, der blev tjekket i arbejdstiden; virksomheden bemærkede det, fordi kunderne googlede "Telstra outage".

Læs den skriftlige udgave (engelsk) ↗

Hvad denne video dækker

  • Et GPS-kort vågner op i november 2006
  • Tidslinje: 2010 design → 2020 chassis → Okt 2025 GPS-kort → 02:50
  • Morgenen: 04:00 MME nulstiller → 04:20 alarmstorm → 12:12 genoprettet
  • Mekanisme: NTP stemmer om enighed, ikke sandsynlighed
  • git blame — Telstra 55 · peering 25 · firmware 15 · strømforsyningen 5

Spørgsmål og svar

Hvad forårsagede Telstra mobilnetværksnedbruddet den 8. juli 2026?

Et GPS-kort i Telstras NTP-timingchassis genstartede under en strømforsyningsreparation kl. 2:50. Ifølge revisionsrapporten havde dets firmware aldrig GPS-ugerulningsopdateringen, så kortet valgte den gamle æra og landede 1.024 uger tilbage i tiden. Netværket var derefter enig i, at datoen var november 2006.

Se denne del 0:28 · www.telstra.com.au · www.netnod.se

Hvorfor accepterede en netværks tidsservere en dato, der tydeligvis var forkert?

NTP kontrollerer, om kilder er enige og spørger aldrig, om en dato er plausibel. Telstras omgåelse fra oktober 2025 gjorde GPS-kortet til den eneste stratum-1 kilde, og et skift i 2020 til NTP-peering efterlod enhver anden kilde nedstrøms for det. Den ødelagte kilde overgik derfor resten, og dens dato vandt afstemningen.

Se denne del 1:47 · www.telstra.com.au · www.netnod.se

Hvordan udfoldede Telstra-nedbruddet sig, og hvordan fandt virksomheden ud af det?

Overleveringsnoder begyndte at nulstille kl. 04:00, efterfulgt af en alarmstorm kl. 04:20 på en platform, hvis alarmer blev læst i arbejdstiden. Telstra bemærkede det omkring niogtyve minutter over fire, fordi kunderne googlede Telstra-nedbrud. Ingeniørerne, der foretog ændringen, var på obligatorisk hvile, det tog timer at finde datoen, og de fleste kunder var tilbage kl. 12:12.

Se denne del 1:26 · www.telstra.com.au · www.netnod.se

Hvor mange mennesker og tjenester påvirkede Telstra-nedbruddet?

Telstras CEO fortalte senatet, at 45% af alle opkald og dattersessioner den dag blev påvirket, ifølge The Guardian. Næsten 9 millioner kunder mistede opkald, sms'er eller data, 604 Triple Zero-opkald fejlede, og Victorias regionaltog stoppede. En bøde på tredive millioner dollars var på bordet.

Se denne del 2:27 · www.theguardian.com · ia.acs.org.au

Håndterede Telstra 2006-uret nedbruddet godt, og hvad skal andre teams kontrollere?

The Daily Diffs dom var SHIP IT, om svaret. Telstra hyrede eksterne revisorer og offentliggjorde deres rapport uredigeret, inklusive konstateringen af, at den aldrig behandlede tid som kritisk. Mandagens linje for andre teams er at køre en NTP-sporing og tælle, hvor mange af deres tidskilder der er et ur med tre hatte.

Se denne del 2:44 · www.telstra.com.au · www.telstra.com.au

Oversat udskrift

Oversat fra den originale engelske fortælling. Tilgængelig lyd og undertekster styres af YouTube.

Et GPS-kort vågner op i november 2006

0:00 En ingeniør i Melbourne tænder et timingschassis igen klokken ti minutter i tre om morgenen, og til morgenmaden er Australiens største mobilnetværk enig i, at det er november to tusind og seks. Telstras eksterne rapport siger, at datoen forlod ét GPS-kort, og hele netværket stemte for det. Næsten ni millioner kunder mister opkald, sms'er eller data, og Victorias regionaltog stopper for dagen. Hvordan det skete, hvorfor ét kort overgik det nationale ur,

0:23 og hvem der får skylden. Dette er The Daily Diff, postmortem.

Tidslinje: 2010 design → 2020 chassis → Okt 2025 GPS-kort → 02:50

0:28 To tusind og ti. Designet er lærebogseksempel. Tre nationale tidskilder forsyner to servere, de forsyner tre nedenunder, og hver node tager kun tid ovenfra. Revisorerne kalder det egnet til formålet. To tusind og tyve. Nyt chassis. Det kan ikke forsyne sin egen nedre server, så Sydney og Melbourne bliver krydskoblet, og hvert sted falder til én reference. Derefter skiftes alt til peering, hvor enhver server kan tage tid fra enhver

0:50 server, den finder. Ordene timing-loop optræder ikke i noget dokument. Oktober to tusind og femogtyve. Melbourne mister konstant Sydney, og dets alarmer siger stratum fem, hvilket betyder, at det tager tid fra sine egne kunder. Ingen opretter en sag. I stedet tænder ingeniørerne et GPS-kort, der har stået inaktivt i fem år. Alarmerne stopper.

1:07 Melbourne er nu stratum et, den nationale institutions rang, og ingen gennemgår det. Den ottende juli, to femti om morgenen. En strømforsyning skal udskiftes, så chassiset genstarter, og GPS-kortet med det. Dets firmware blev aldrig opdateret, så det vælger den gamle epoke og lander et tusind fireogtyve uger tilbage i tiden. Melbourne er toppen af hierarkiet, og nedstrøms begynder at blive enig.

Morgenen: 04:00 MME nulstiller → 04:20 alarmstorm → 12:12 genoprettet

1:26 Klokken fire om morgenen begynder håndover-noderne at nulstille. Klokken fire tyve, en alarmstorm, på en platform, hvis alarmer læses i arbejdstiden. Klokken fire niogtyve, Telstra lægger mærke til det, fordi kunderne googler Telstra outage. Ingeniørerne, der foretog ændringen, er på obligatorisk hvile, og at finde datoen tager timer. Klokken tolv tolv er de fleste kunder tilbage.

Mekanisme: NTP stemmer om enighed, ikke sandsynlighed

1:47 Hvorfor var det muligt? NTP har to forsvar. Lavere stratum vinder, og afvigere stemmes ud. GPS-kortet gjorde den ødelagte kilde til den højeste rang, og enhver kilde, der kunne være uenig, sad nedstrøms, og gentog den. NTP spørger aldrig, om en dato er sandsynlig, kun om de andre er enige. Protokollen virkede.

2:06 Arkitekturen gjorde det ikke.

git blame — Telstra 55 · peering 25 · firmware 15 · strømforsyningen 5

2:07 git blame. Telstra, femoghalvfems procent. Ingen ejede uret, så ingen gennemgik ændringen, og to leverandørmeddelelser om netop denne fejl blev ikke læst. Peering-tilstand, femogtyve, for at lade servere stemme med deres eget ekko. Firmwaren, femten, udgivet og aldrig installeret. Fem procent til strømforsyningen, for at vælge ti minutter i tre en onsdag. Påvirkningsradius. Femogfyrre procent af alle opkalds- og datasessioner den dag,

Påvirkningsradius: 45 % af sessioner, en $30M bøde for en $30K boks

2:30 fortæller CEO'en Senatet. Bøden på bordet er tredive millioner dollars, for en gratis opdatering, der manglede fra en tredive tusind dollars boks. Kortet havde overlevet den rigtige rollover i to tusind og nitten, fordi ingen slukkede det. Reparationen dræbte det. Dom, postmortem: SHIP IT, om reaktionen.

Dom + mandagsnoten: ét ur, der bærer tre hatte

2:46 Telstra hyrer eksterne revisorer, udgiver rapporten uredigeret, med den linje, at de aldrig behandlede tid som kritisk, og flytter alle tre steder væk fra de gamle servere, før det lander. Mandagsnoten: kør en NTP-trace og tæl, hvor mange af dine tidskilder der er ét ur, der bærer tre hatte. Send mig hændelsen, du stadig ikke må tale om, i kommentarerne, eller på thedailydiff.dev. Og det er diff'en for i dag.

3:10 Jeg er Niko fra Axrisi. Flet ansvarligt.

Kilder

  1. Technology Audit Partners, "Findings Report on the July 8th Telstra Outage" (published by Telstra, Sep 2, 2026)www.telstra.com.au
  2. Vicki Brady (Telstra CEO), "What we've learned from the external investigation of our July outage" (Sep 2, 2026)www.telstra.com.au
  3. Netnod, Sven-Christian Ebenhag, "Telstra outage: The night a network decided the year was 2006" (Sep 17, 2026)www.netnod.se
  4. Hacker News on the Netnod post (93 points)news.ycombinator.com
  5. The Guardian, Senate inquiry: 45 % of sessions, ~9M customers, 604 Triple Zero errors (Jul 17, 2026)www.theguardian.com
  6. ABC News, "Telstra recently warned about timing issue linked to national outage" (Jul 10, 2026)www.abc.net.au
  7. The Register, the day itself (Jul 8, 2026)www.theregister.com
  8. ACS Information Age, the $30,000 box and the $30M fine (Jul 14, 2026)ia.acs.org.au

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Relaterede videoer