Een herstart stuurde Telstra terug naar 2006. Negen miljoen telefoons.

Wat deze video behandelt

• Een GPS-kaart wordt wakker in november 2006
• Tijdlijn: 2010 ontwerp → 2020 chassis → okt 2025 GPS-kaart → 02:50
• De ochtend: 04:00 MME resets → 04:20 alarmstorm → 12:12 hersteld
• Mechanisme: NTP stemt op overeenstemming, niet op plausibiliteit
• git blame — Telstra 55 · peering 25 · firmware 15 · de voeding 5

Vertaald transcript

Vertaald vanuit de originele Engelse gesproken tekst. Beschikbare audio en ondertiteling worden beheerd door YouTube.

Een GPS-kaart wordt wakker in november 2006

0:00 Een technicus in Melbourne schakelt om tien voor drie 's ochtends een tijdchassis weer in, en tegen het ontbijt is Australië's grootste mobiele netwerk het erover eens dat het november tweeduizendzes is. Het externe rapport van Telstra zegt dat de datum één GPS-kaart verliet en het hele netwerk ervoor stemde. Bijna negen miljoen klanten verliezen oproepen, sms'jes of data, en de regionale treinen van Victoria stoppen voor de dag. Hoe het gebeurde, waarom één kaart belangrijker was dan de nationale klok,

0:23 en wie de schuld krijgt. Dit is The Daily Diff, postmortem.

Tijdlijn: 2010 ontwerp → 2020 chassis → okt 2025 GPS-kaart → 02:50

0:28 Tweeduizendtien. Het ontwerp is standaard. Drie nationale tijdbronnen voeden twee servers, die voeden er drie eronder, en elk knooppunt neemt alleen tijd van bovenaf. De auditors noemen het geschikt voor het doel. Tweeduizendtwintig. Nieuw chassis. Het kan zijn eigen lagere server niet voeden, dus Sydney en Melbourne worden doorgeschakeld en elke locatie valt terug op één referentie. Dan wordt alles omgeschakeld naar peering, waar elke server tijd kan nemen van elke

0:50 server die het vindt. De woorden timinglus komen in geen enkel document voor. Oktober tweeduizendvijfentwintig. Melbourne verliest Sydney steeds, en de alarmen zeggen stratum vijf, wat betekent dat het tijd van zijn eigen klanten neemt. Niemand dient een ticket in. In plaats daarvan schakelen de technici een GPS-kaart in die vijf jaar inactief heeft gezeten. De alarmen stoppen.

1:07 Melbourne is nu stratum één, de rang van het nationale instituut, en niemand beoordeelt het. Acht juli, twee uur vijftig in de ochtend. Een voeding moet worden vervangen, dus het chassis herstart, en de GPS-kaart ermee. De firmware was nooit bijgewerkt, dus kiest het de oude epoch en landt duizend vierentwintig weken in het verleden. Melbourne staat bovenaan de boom, en stroomafwaarts begint mee te stemmen.

De ochtend: 04:00 MME resets → 04:20 alarmstorm → 12:12 hersteld

1:26 Vier uur 's ochtends, de handover nodes beginnen te resetten. Vierentwintig, een alarmstorm, op een platform waarvan de alarmen tijdens kantooruren worden gelezen. Vierentwintig negen, Telstra merkt het op, omdat klanten 'Telstra storing' googlen. De technici die de wijziging uitvoerden, zijn verplicht te rusten, en het vinden van de datum duurt uren. Tegen twaalf over twaalf zijn de meeste klanten terug.

Mechanisme: NTP stemt op overeenstemming, niet op plausibiliteit

1:47 Waarom was het mogelijk? NTP heeft twee verdedigingen. Lagere stratum wint, en uitschieters worden weggestemd. De GPS-kaart maakte de gebroken bron de hoogste rang, en elke bron die het er niet mee eens kon zijn, zat stroomafwaarts, het herhalend. NTP vraagt nooit of een datum aannemelijk is, alleen of de anderen het eens zijn. Het protocol werkte.

2:06 De architectuur niet.

git blame — Telstra 55 · peering 25 · firmware 15 · de voeding 5

2:07 git blame. Telstra, vijfennegentig procent. Niemand was eigenaar van de klok, dus niemand beoordeelde de wijziging, en twee leveranciersbulletins over exact deze bug werden niet gelezen. Peering-modus, vijfentwintig, voor het laten stemmen van servers met hun eigen echo. De firmware, vijftien, gepubliceerd en nooit geïnstalleerd. Vijf procent voor de voeding, voor het kiezen van tien voor drie op een woensdag. Impact. Vijfenveertig procent van alle oproepen en datasessies die dag,

Impact: 45% van de sessies, een boete van $30M voor een doosje van $30K

2:30 vertelt de CEO aan de Senaat. De boete die op tafel ligt is dertig miljoen dollar, voor een gratis update die ontbreekt in een doos van dertigduizend dollar. De kaart had de echte rollover in tweeduizendnegentien overleefd omdat niemand hem uitschakelde. De reparatie doodde hem. Oordeel, postmortem: SHIP IT, over de reactie.

Oordeel + de Monday-lijn: één klok met drie taken

2:46 Telstra huurt externe auditors in, publiceert het rapport onbewerkt, met de bewering dat het tijd nooit als kritiek behandelde, en verplaatst alle drie de locaties van de oude servers voordat het landt. Maandag-regel: voer een NTP-trace uit en tel hoeveel van uw tijdbronnen één klok zijn die drie taken uitvoert. Stuur me het incident waarover je nog steeds niet mag praten, in de reacties, of op thedailydiff.dev. En dat is de diff voor vandaag.

3:10 Ik ben Niko van Axrisi. Voeg verantwoordelijk samen.

Bronnen

1. Technology Audit Partners, "Findings Report on the July 8th Telstra Outage" (published by Telstra, Sep 2, 2026)www.telstra.com.au
2. Vicki Brady (Telstra CEO), "What we've learned from the external investigation of our July outage" (Sep 2, 2026)www.telstra.com.au
3. Netnod, Sven-Christian Ebenhag, "Telstra outage: The night a network decided the year was 2006" (Sep 17, 2026)www.netnod.se
4. Hacker News on the Netnod post (93 points)news.ycombinator.com
5. The Guardian, Senate inquiry: 45 % of sessions, ~9M customers, 604 Triple Zero errors (Jul 17, 2026)www.theguardian.com
6. ABC News, "Telstra recently warned about timing issue linked to national outage" (Jul 10, 2026)www.abc.net.au
7. The Register, the day itself (Jul 8, 2026)www.theregister.com
8. ACS Information Age, the $30,000 box and the $30M fine (Jul 14, 2026)ia.acs.org.au