Un reinicio enviou a Telstra ao 2006. Nove millóns de teléfonos.

Que abrangue este vídeo

• Unha tarxeta GPS esperta en novembro de 2006
• Cronoloxía: deseño de 2010 → chasis de 2020 → tarxeta GPS de outubro de 2025 → 02:50
• A mañá: 04:00 restablecementos de MME → 04:20 tormenta de alarmas → 12:12 restaurado
• Mecanismo: NTP vota pola concordancia, non pola plausibilidade
• git blame — Telstra 55 · interacción 25 · firmware 15 · a fonte de alimentación 5

Transcrición traducida

Traducido da narración orixinal en inglés. O audio e os subtítulos dispoñibles son controlados por YouTube.

Unha tarxeta GPS esperta en novembro de 2006

0:00 Un enxeñeiro en Melbourne volve acender un chasis de sincronización ás dez menos tres da mañá, e para o almorzo a rede móbil máis grande de Australia concorda en que é novembro de dous mil seis. O informe externo de Telstra di que a data deixou unha tarxeta GPS e toda a rede votou por ela. Case nove millóns de clientes perden chamadas, mensaxes de texto ou datos, e os trens rexionais de Victoria paran durante o día. Como sucedeu, por que unha tarxeta superou o reloxo nacional,

0:23 e quen ten a culpa. Este é The Daily Diff, "postmortem".

Cronoloxía: deseño de 2010 → chasis de 2020 → tarxeta GPS de outubro de 2025 → 02:50

0:28 Dous mil dez. O deseño é de libro. Tres fontes de tempo nacionais alimentan dous servidores, eses alimentan tres de abaixo, e cada nodo toma o tempo só de arriba. Os auditores chámano axeitado para o propósito. Dous mil vinte. Novo chasis. Non pode alimentar o seu propio servidor inferior, polo que Sydney e Melbourne son interconectados e cada sitio redúcese a unha referencia. Entón todo se cambia á interacción, onde calquera servidor pode tomar o tempo de calquera

0:50 servidor que atope. As palabras "bucle de sincronización" non aparecen en ningún documento. Outubro de dous mil vinte e cinco. Melbourne segue perdendo Sydney, e as súas alarmas din "estrato cinco", o que significa que toma o tempo dos seus propios clientes. Ninguén presenta un ticket. En cambio, os enxeñeiros acenden unha tarxeta GPS que estivera inactiva durante cinco anos. As alarmas paran.

1:07 Melbourne é agora estrato un, o rango do instituto nacional, e ninguén o revisa. Oito de xullo, dúas e media da mañá. Hai que substituír unha fonte de alimentación, polo que o chasis reiníciase, e a tarxeta GPS con el. O seu firmware nunca foi actualizado, polo que escolle a época antiga e aterra mil vinte e catro semanas no pasado. Melbourne está na cima da árbore, e augas abaixo comeza a concordar.

A mañá: 04:00 restablecementos de MME → 04:20 tormenta de alarmas → 12:12 restaurado

1:26 Catro da mañá, os nodos de traspaso comezan a reiniciarse. Catro e vinte, unha tormenta de alarmas, nunha plataforma cuxas alarmas se len en horario comercial. Catro e vinte e nove, Telstra decátase, porque os clientes buscan en Google Telstra outage. Os enxeñeiros que fixeron o cambio están en descanso obrigatorio, e atopar a data leva horas. Ás doce e doce, a maioría dos clientes volven.

Mecanismo: NTP vota pola concordancia, non pola plausibilidade

1:47 Por que foi posible? NTP ten dúas defensas. O estrato inferior gaña, e os valores atípicos son votados fóra. A tarxeta GPS fixo que a fonte rota tivese o rango máis alto, e todas as fontes que podían discrepar estaban augas abaixo, repetíndoa. NTP nunca pregunta se unha data é plausible, só se os demais concordan. O protocolo funcionou.

2:06 A arquitectura non.

git blame — Telstra 55 · interacción 25 · firmware 15 · a fonte de alimentación 5

2:07 git blame. Telstra, cincuenta e cinco por cento. Ninguén era o propietario do reloxo, polo que ninguén revisou o cambio, e dous boletíns do provedor sobre este erro exacto quedaron sen ler. Modo de interacción, vinte e cinco, por deixar que os servidores voten co seu propio eco. O firmware, quince, publicado e nunca instalado. Cinco por cento para a fonte de alimentación, por elixir as dez menos tres dun mércores. Radio de explosión. Corenta e cinco por cento de todas as chamadas e sesións de datos ese día,

Radio de explosión: 45 % das sesións, unha multa de 30 millóns de dólares por unha caixa de 30.000 dólares

2:30 díxolle o CEO ao Senado. A multa sobre a mesa é de trinta millóns de dólares, por unha actualización gratuíta que faltaba nunha caixa de trinta mil dólares. A tarxeta sobrevivira ao verdadeiro "rollover" en dous mil dezanove porque ninguén a apagou. A reparación matouna. Veredito, "postmortem": SHIP IT, sobre a resposta.

Veredito + a liña do luns: un reloxo con tres sombreiros

2:46 Telstra contrata auditores externos, publica o informe sen editar, coa liña de que nunca tratou o tempo como crítico, e move os tres sitios fóra dos servidores antigos antes de que aterre. Liña do luns: executa un rastro NTP e conta cantas das túas fontes de tempo son un reloxo con tres sombreiros. Envíame o incidente do que aínda non tes permitido falar, nos comentarios, ou en thedailydiff.dev. E esa é a diferenza de hoxe.

3:10 Son Niko de Axrisi. Fusíona con responsabilidade.

Fontes

1. Technology Audit Partners, "Findings Report on the July 8th Telstra Outage" (published by Telstra, Sep 2, 2026)www.telstra.com.au
2. Vicki Brady (Telstra CEO), "What we've learned from the external investigation of our July outage" (Sep 2, 2026)www.telstra.com.au
3. Netnod, Sven-Christian Ebenhag, "Telstra outage: The night a network decided the year was 2006" (Sep 17, 2026)www.netnod.se
4. Hacker News on the Netnod post (93 points)news.ycombinator.com
5. The Guardian, Senate inquiry: 45 % of sessions, ~9M customers, 604 Triple Zero errors (Jul 17, 2026)www.theguardian.com
6. ABC News, "Telstra recently warned about timing issue linked to national outage" (Jul 10, 2026)www.abc.net.au
7. The Register, the day itself (Jul 8, 2026)www.theregister.com
8. ACS Information Age, the $30,000 box and the $30M fine (Jul 14, 2026)ia.acs.org.au