+− THE DAILY DIFFdev & AI news
SHIP IT

Un reinici va enviar Telstra al 2006. Nou milions de telèfons.

Un enginyer de Melbourne torna a engegar un xassís de sincronització a les 2:50 del matí, i a l'esmorzar la xarxa mòbil més gran d'Austràlia està d'acord que és novembre de 2006.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Un enginyer de Melbourne torna a engegar un xassís de sincronització a les 2:50 del matí, i a l'esmorzar la xarxa mòbil més gran d'Austràlia està d'acord que és novembre de 2006. 8 de juliol de 2026: una targeta GPS al xassís NTP de Telstra es reinicia durant una reparació de la font d'alimentació, el seu firmware mai ha tingut l'actualització del canvi de setmana GPS, per la qual cosa tria l'època antiga i retrocedeix 1.024 setmanes en el temps. Com que una solució provisional d'octubre de 2025 havia fet d'aquesta targeta l'única font d'estrat 1 de la xarxa, i un canvi a l'NTP peering el 2020 havia deixat totes les altres fonts en cascada, la data incorrecta guanya la votació. Els nodes de transferència es reinicien a partir de les 4 de la matinada, el 45% de totes les trucades i sessions de dades es veuen afectades, gairebé 9 milions de clients perden trucades, missatges de text o dades, 604 trucades al Triple Zero fallen, els trens regionals de Victòria s'aturen i la majoria dels serveis es recuperen a les 12:12. Les pròpies alarmes de Telstra estaven en una plataforma revisada en horari comercial; l'empresa se'n va adonar perquè els clients buscaven a Google "Telstra outage".

Llegeix l'edició escrita (anglès) ↗

Què cobreix aquest vídeo

  • Una targeta GPS es desperta el novembre de 2006
  • Cronologia: disseny 2010 → xassís 2020 → targeta GPS octubre 2025 → 02:50
  • El matí: 04:00 reinicis MME → 04:20 tempesta d'alarmes → 12:12 restaurat
  • Mecanisme: NTP vota per l'acord, no per la plausibilitat
  • git blame — Telstra 55 · peering 25 · firmware 15 · la font d'alimentació 5

Preguntes i respostes

Què va causar la interrupció de la xarxa mòbil de Telstra el 8 de juliol de 2026?

Una targeta GPS al xassís de sincronització NTP de Telstra es va reiniciar durant una reparació de la font d'alimentació a les 2:50 del matí. Segons l'informe d'auditoria, el seu firmware mai va tenir l'actualització de desbordament setmanal del GPS, de manera que la targeta va escollir l'època antiga i va aterrar 1.024 setmanes en el passat. La xarxa llavors va acordar que la data era novembre de 2006.

Mireu aquesta part 0:28 · www.telstra.com.au · www.netnod.se

Per què els servidors d'hora d'una xarxa van acceptar una data que era clarament incorrecta?

NTP comprova si les fonts estan d'acord i mai pregunta si una data és plausible. La solució provisional d'octubre de 2025 de Telstra va fer de la targeta GPS l'única font d'estrat-1, i un canvi del 2020 a la interconnexió NTP va deixar totes les altres fonts en cascada. La font trencada, per tant, superava la resta i la seva data va guanyar la votació.

Mireu aquesta part 1:47 · www.telstra.com.au · www.netnod.se

Com es va desenvolupar la interrupció de Telstra i com es va assabentar l'empresa?

Els nodes de traspàs van començar a reiniciar-se a les 04:00, seguits per una tempesta d'alarmes a les 04:20 en una plataforma les alarmes de la qual es llegien en hores d'oficina. Telstra es va adonar al voltant de vint-i-nou minuts passades les quatre perquè els clients estaven buscant 'Telstra outage' a Google. Els enginyers que van fer el canvi estaven en descans obligatori, trobar la data va trigar hores, i la majoria dels clients havien tornat a les 12:12.

Mireu aquesta part 1:26 · www.telstra.com.au · www.netnod.se

Quantes persones i serveis es van veure afectats per la interrupció de Telstra?

El CEO de Telstra va dir al Senat que el 45% de totes les trucades i sessions de dades d'aquell dia es van veure afectades, segons The Guardian. Gairebé 9 milions de clients van perdre trucades, missatges de text o dades, 604 trucades al Triple Zero van fallar i els trens regionals de Victòria es van aturar. Una multa de trenta milions de dòlars estava sobre la taula.

Mireu aquesta part 2:27 · www.theguardian.com · ia.acs.org.au

Va gestionar bé Telstra la interrupció del rellotge del 2006, i què haurien de comprovar altres equips?

El veredicte de The Daily Diff va ser SHIP IT, sobre la resposta. Telstra va contractar auditors externs i va publicar el seu informe sense editar, inclosa la troballa que mai va tractar el temps com a crític. La línia de dilluns per a altres equips és executar un seguiment NTP i comptar quantes de les seves fonts d'hora són un rellotge amb tres barrets.

Mireu aquesta part 2:44 · www.telstra.com.au · www.telstra.com.au

Transcripció traduïda

Traduït de la narració original en anglès. L'àudio i els subtítols disponibles estan controlats per YouTube.

Una targeta GPS es desperta el novembre de 2006

0:00 Un enginyer a Melbourne torna a engegar un xassís de sincronització a les deu per tres del matí, i a l'hora d'esmorzar la xarxa mòbil més gran d'Austràlia està d'acord que és novembre de dos mil sis. L'informe extern de Telstra diu que la data va deixar una targeta GPS i tota la xarxa la va votar. Gairebé nou milions de clients perden trucades, missatges de text o dades, i els trens regionals de Victoria s'aturen durant el dia. Com va passar, per què una targeta va superar el rellotge nacional,

0:23 i qui té la culpa. Això és The Daily Diff, postmortem.

Cronologia: disseny 2010 → xassís 2020 → targeta GPS octubre 2025 → 02:50

0:28 Dos mil deu. El disseny és de llibre. Tres fonts de temps nacionals alimenten dos servidors, aquests alimenten tres a sota, i cada node pren el temps només de dalt. Els auditors ho qualifiquen d'adequat per al propòsit. Dos mil vint. Xassís nou. No pot alimentar el seu propi servidor inferior, així que Sydney i Melbourne es creuen i cada lloc baixa a una referència. Després, tot es canvia a peering, on qualsevol servidor pot prendre el temps de qualsevol

0:50 servidor que trobi. Les paraules "bucle de temporització" no apareixen en cap document. Octubre de dos mil vint-i-cinc. Melbourne continua perdent Sydney, i les seves alarmes diuen estrat cinc, la qual cosa significa que pren el temps dels seus propis clients. Ningú obre una incidència. En lloc d'això, els enginyers engeguen una targeta GPS que ha estat inactiva durant cinc anys. Les alarmes s'aturen.

1:07 Melbourne ara és estrat u, el rang de l'institut nacional, i ningú ho revisa. Vuit de juliol, dos cinquanta del matí. Cal substituir una font d'alimentació, així que el xassís es reinicia, i la targeta GPS amb ell. El seu firmware mai va ser actualitzat, així que tria l'època antiga i retrocedeix mil vint-i-quatre setmanes en el temps. Melbourne és la part superior de l'arbre, i els de sota comencen a estar d'acord.

El matí: 04:00 reinicis MME → 04:20 tempesta d'alarmes → 12:12 restaurat

1:26 Quatre de la matinada, els nodes de transferència comencen a reiniciar-se. Quatre vint, una tempesta d'alarmes, en una plataforma les alarmes de la qual es llegeixen en horari comercial. Quatre vint-i-nou, Telstra se n'adona, perquè els clients busquen a Google Tall de Telstra. Els enginyers que van fer el canvi estan en descans obligatori, i trobar la data porta hores. A les dotze dotze la majoria dels clients ja estan de tornada.

Mecanisme: NTP vota per l'acord, no per la plausibilitat

1:47 Per què va ser possible? NTP té dues defenses. L'estrat inferior guanya, i els valors atípics són votats fora. La targeta GPS va fer que la font trencada tingués el rang més alt, i totes les fonts que podrien estar en desacord estaven en cascada, repetint-la. NTP mai pregunta si una data és plausible, només si els altres estan d'acord. El protocol va funcionar.

2:06 L'arquitectura no.

git blame — Telstra 55 · peering 25 · firmware 15 · la font d'alimentació 5

2:07 git blame. Telstra, cinquanta-cinc per cent. Ningú era propietari del rellotge, així que ningú va revisar el canvi, i dos butlletins del proveïdor sobre aquest error exacte no es van llegir. Mode peering, vint-i-cinc, per permetre als servidors votar amb el seu propi eco. El firmware, quinze, publicat i mai instal·lat. Cinc per cent a la font d'alimentació, per triar les deu menys tres d'un dimecres. Radi d'explosió. Quaranta-cinc per cent de totes les trucades i sessions de dades aquell dia,

Radi d'explosió: 45% de les sessions, una multa de 30 milions de dòlars per una caixa de 30 mil dòlars

2:30 el CEO diu al Senat. La multa a la taula és de trenta milions de dòlars, per una actualització gratuïta que falta d'una caixa de trenta mil dòlars. La targeta havia sobreviscut al canvi real el dos mil dinou perquè ningú la va apagar. La reparació la va matar. Veredicte, postmortem: SHIP IT, sobre la resposta.

Veredicte + la línia de dilluns: un rellotge amb tres barrets

2:46 Telstra contracta auditors externs, publica l'informe sense editar, amb la frase que mai va tractar el temps com a crític, i mou els tres llocs fora dels servidors antics abans que es produeixi. Línia de dilluns: executeu un traçat NTP i compteu quantes de les vostres fonts de temps són un rellotge que porta tres barrets. Envieu-me l'incident del qual encara no se us permet parlar, als comentaris, o a thedailydiff.dev. I aquesta és la diferència d'avui.

3:10 Sóc Niko d'Axrisi. Fusiona amb responsabilitat.

Fonts

  1. Technology Audit Partners, "Findings Report on the July 8th Telstra Outage" (published by Telstra, Sep 2, 2026)www.telstra.com.au
  2. Vicki Brady (Telstra CEO), "What we've learned from the external investigation of our July outage" (Sep 2, 2026)www.telstra.com.au
  3. Netnod, Sven-Christian Ebenhag, "Telstra outage: The night a network decided the year was 2006" (Sep 17, 2026)www.netnod.se
  4. Hacker News on the Netnod post (93 points)news.ycombinator.com
  5. The Guardian, Senate inquiry: 45 % of sessions, ~9M customers, 604 Triple Zero errors (Jul 17, 2026)www.theguardian.com
  6. ABC News, "Telstra recently warned about timing issue linked to national outage" (Jul 10, 2026)www.abc.net.au
  7. The Register, the day itself (Jul 8, 2026)www.theregister.com
  8. ACS Information Age, the $30,000 box and the $30M fine (Jul 14, 2026)ia.acs.org.au

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Vídeos relacionats