Un reinici va enviar Telstra al 2006. Nou milions de telèfons.

Què cobreix aquest vídeo

• Una targeta GPS es desperta el novembre de 2006
• Cronologia: disseny 2010 → xassís 2020 → targeta GPS octubre 2025 → 02:50
• El matí: 04:00 reinicis MME → 04:20 tempesta d'alarmes → 12:12 restaurat
• Mecanisme: NTP vota per l'acord, no per la plausibilitat
• git blame — Telstra 55 · peering 25 · firmware 15 · la font d'alimentació 5

Transcripció traduïda

Traduït de la narració original en anglès. L'àudio i els subtítols disponibles estan controlats per YouTube.

Una targeta GPS es desperta el novembre de 2006

0:00 Un enginyer a Melbourne torna a engegar un xassís de sincronització a les deu per tres del matí, i a l'hora d'esmorzar la xarxa mòbil més gran d'Austràlia està d'acord que és novembre de dos mil sis. L'informe extern de Telstra diu que la data va deixar una targeta GPS i tota la xarxa la va votar. Gairebé nou milions de clients perden trucades, missatges de text o dades, i els trens regionals de Victoria s'aturen durant el dia. Com va passar, per què una targeta va superar el rellotge nacional,

0:23 i qui té la culpa. Això és The Daily Diff, postmortem.

Cronologia: disseny 2010 → xassís 2020 → targeta GPS octubre 2025 → 02:50

0:28 Dos mil deu. El disseny és de llibre. Tres fonts de temps nacionals alimenten dos servidors, aquests alimenten tres a sota, i cada node pren el temps només de dalt. Els auditors ho qualifiquen d'adequat per al propòsit. Dos mil vint. Xassís nou. No pot alimentar el seu propi servidor inferior, així que Sydney i Melbourne es creuen i cada lloc baixa a una referència. Després, tot es canvia a peering, on qualsevol servidor pot prendre el temps de qualsevol

0:50 servidor que trobi. Les paraules "bucle de temporització" no apareixen en cap document. Octubre de dos mil vint-i-cinc. Melbourne continua perdent Sydney, i les seves alarmes diuen estrat cinc, la qual cosa significa que pren el temps dels seus propis clients. Ningú obre una incidència. En lloc d'això, els enginyers engeguen una targeta GPS que ha estat inactiva durant cinc anys. Les alarmes s'aturen.

1:07 Melbourne ara és estrat u, el rang de l'institut nacional, i ningú ho revisa. Vuit de juliol, dos cinquanta del matí. Cal substituir una font d'alimentació, així que el xassís es reinicia, i la targeta GPS amb ell. El seu firmware mai va ser actualitzat, així que tria l'època antiga i retrocedeix mil vint-i-quatre setmanes en el temps. Melbourne és la part superior de l'arbre, i els de sota comencen a estar d'acord.

El matí: 04:00 reinicis MME → 04:20 tempesta d'alarmes → 12:12 restaurat

1:26 Quatre de la matinada, els nodes de transferència comencen a reiniciar-se. Quatre vint, una tempesta d'alarmes, en una plataforma les alarmes de la qual es llegeixen en horari comercial. Quatre vint-i-nou, Telstra se n'adona, perquè els clients busquen a Google Tall de Telstra. Els enginyers que van fer el canvi estan en descans obligatori, i trobar la data porta hores. A les dotze dotze la majoria dels clients ja estan de tornada.

Mecanisme: NTP vota per l'acord, no per la plausibilitat

1:47 Per què va ser possible? NTP té dues defenses. L'estrat inferior guanya, i els valors atípics són votats fora. La targeta GPS va fer que la font trencada tingués el rang més alt, i totes les fonts que podrien estar en desacord estaven en cascada, repetint-la. NTP mai pregunta si una data és plausible, només si els altres estan d'acord. El protocol va funcionar.

2:06 L'arquitectura no.

git blame — Telstra 55 · peering 25 · firmware 15 · la font d'alimentació 5

2:07 git blame. Telstra, cinquanta-cinc per cent. Ningú era propietari del rellotge, així que ningú va revisar el canvi, i dos butlletins del proveïdor sobre aquest error exacte no es van llegir. Mode peering, vint-i-cinc, per permetre als servidors votar amb el seu propi eco. El firmware, quinze, publicat i mai instal·lat. Cinc per cent a la font d'alimentació, per triar les deu menys tres d'un dimecres. Radi d'explosió. Quaranta-cinc per cent de totes les trucades i sessions de dades aquell dia,

Radi d'explosió: 45% de les sessions, una multa de 30 milions de dòlars per una caixa de 30 mil dòlars

2:30 el CEO diu al Senat. La multa a la taula és de trenta milions de dòlars, per una actualització gratuïta que falta d'una caixa de trenta mil dòlars. La targeta havia sobreviscut al canvi real el dos mil dinou perquè ningú la va apagar. La reparació la va matar. Veredicte, postmortem: SHIP IT, sobre la resposta.

Veredicte + la línia de dilluns: un rellotge amb tres barrets

2:46 Telstra contracta auditors externs, publica l'informe sense editar, amb la frase que mai va tractar el temps com a crític, i mou els tres llocs fora dels servidors antics abans que es produeixi. Línia de dilluns: executeu un traçat NTP i compteu quantes de les vostres fonts de temps són un rellotge que porta tres barrets. Envieu-me l'incident del qual encara no se us permet parlar, als comentaris, o a thedailydiff.dev. I aquesta és la diferència d'avui.

3:10 Sóc Niko d'Axrisi. Fusiona amb responsabilitat.

Fonts

1. Technology Audit Partners, "Findings Report on the July 8th Telstra Outage" (published by Telstra, Sep 2, 2026)www.telstra.com.au
2. Vicki Brady (Telstra CEO), "What we've learned from the external investigation of our July outage" (Sep 2, 2026)www.telstra.com.au
3. Netnod, Sven-Christian Ebenhag, "Telstra outage: The night a network decided the year was 2006" (Sep 17, 2026)www.netnod.se
4. Hacker News on the Netnod post (93 points)news.ycombinator.com
5. The Guardian, Senate inquiry: 45 % of sessions, ~9M customers, 604 Triple Zero errors (Jul 17, 2026)www.theguardian.com
6. ABC News, "Telstra recently warned about timing issue linked to national outage" (Jul 10, 2026)www.abc.net.au
7. The Register, the day itself (Jul 8, 2026)www.theregister.com
8. ACS Information Age, the $30,000 box and the $30M fine (Jul 14, 2026)ia.acs.org.au