# Dahil sa reboot, bumalik ang Telstra sa 2006. Siyam na milyong telepono.

Published: 2026-09-22

Muling binuhay ng isang inhinyero sa Melbourne ang isang timing chassis bandang 2:50 a.m., at pagsapit ng almusal, sumang-ayon ang pinakamalaking mobile network ng Australia na Nobyembre 2006 na. Hulyo 8, 2026: nag-reboot ang isang GPS card sa NTP chassis ng Telstra sa gitna ng pag-aayos ng power-supply, hindi pa na-update ang firmware nito para sa GPS week-rollover, kaya pinili nito ang lumang epoch at bumalik sa nakaraang 1,024 na linggo. Dahil ang isang workaround noong Oktubre 2025 ang nagresulta na ang card na iyon ang tanging stratum-1 source ng network — at ang paglipat sa NTP peering noong 2020 ay nag-iwan sa lahat ng iba pang source na downstream nito — ang maling petsa ang nanalo sa boto. Nag-reset ang mga handover node mula 4 a.m., 45 % ng lahat ng tawag at data session ay apektado, halos 9 milyong customer ang nawalan ng tawag, text o data, 604 Triple Zero na tawag ang nag-error, huminto ang mga regional train ng Victoria, at karamihan ng serbisyo ay bumalik bandang 12:12. Ang sariling alarm ng Telstra ay nasa isang platform na sinusuri tuwing oras ng negosyo; napansin ito ng kumpanya dahil naggo-google ang mga customer ng "Telstra outage".

Canonical: https://thedailydiff.dev/fil/video/2026-09-22-telstra-2006/

## Ang sakop ng video na ito

- Nagising ang isang GPS card noong Nobyembre 2006
- Timeline: 2010 disenyo → 2020 chassis → Okt 2025 GPS card → 02:50
- Ang umaga: 04:00 MME resets → 04:20 alarm storm → 12:12 restored
- Mekanismo: Bumoboto ang NTP batay sa kasunduan, hindi sa plausibility
- git blame — Telstra 55 · peering 25 · firmware 15 · ang power supply 5

## Mga Kabanata

- 0:00 Nagising ang isang GPS card noong Nobyembre 2006
- 0:28 Timeline: 2010 disenyo → 2020 chassis → Okt 2025 GPS card → 02:50
- 1:26 Ang umaga: 04:00 MME resets → 04:20 alarm storm → 12:12 restored
- 1:47 Mekanismo: Bumoboto ang NTP batay sa kasunduan, hindi sa plausibility
- 2:07 git blame — Telstra 55 · peering 25 · firmware 15 · ang power supply 5
- 2:27 Blast radius: 45 % ng mga session, isang $30M na multa para sa isang $30K na kahon
- 2:44 Hatol + ang Monday line: isang orasan na may tatlong tungkulin

## Isinaling transcript

Isinalin mula sa orihinal na salaysay sa English. Ang available na audio at mga caption ay kinokontrol ng YouTube.

### Nagising ang isang GPS card noong Nobyembre 2006

0:00 Isang inhinyero sa Melbourne ang nagbalik ng kuryente sa isang timing chassis bandang alas-dos singkuwenta ng umaga, at pagsapit ng almusal, sumang-ayon ang pinakamalaking mobile network ng Australia na Nobyembre dalawang libo anim na. Sabi ng labas na ulat ng Telstra na ang petsa ay mula sa isang GPS card at ang buong network ay bumoto para dito. Halos siyam na milyong customer ang nawalan ng tawag, text o data, at huminto ang mga regional train ng Victoria sa araw na iyon. Paano ito nangyari, bakit mas mataas ang ranggo ng isang card kaysa sa pambansang orasan,

0:23 at sino ang may kasalanan. Ito ang The Daily Diff, postmortem.

### Timeline: 2010 disenyo → 2020 chassis → Okt 2025 GPS card → 02:50

0:28 Dalawang libo sampu. Ang disenyo ay textbook. Tatlong pambansang source ng oras ang nagpapakain sa dalawang server, ang mga iyon ay nagpapakain sa tatlong nasa ibaba, at bawat node ay kumukuha lamang ng oras mula sa itaas. Tinatawag ito ng mga auditor na akma sa layunin. Dalawang libo dalawampu. Bagong chassis. Hindi nito mapakain ang sarili nitong mas mababang server, kaya ang Sydney at Melbourne ay nag-cross-wired at bawat site ay bumaba sa isang reference. Pagkatapos ang lahat ay inilipat sa peering, kung saan ang anumang server ay maaaring kumuha ng oras mula sa anumang

0:50 server na makita nito. Ang mga salitang timing loop ay hindi lumabas sa anumang dokumento. Oktubre dalawang libo dalawampu't lima. Patuloy na nawawalan ng Sydney ang Melbourne, at ang mga alarm nito ay nagsasabing stratum five, nangangahulugang kumukuha ito ng oras mula sa sarili nitong mga customer. Walang nag-file ng ticket. Sa halip, binuksan ng mga inhinyero ang isang GPS card na hindi nagamit sa loob ng limang taon. Tumigil ang mga alarm.

1:07 Ang Melbourne ay ngayon stratum one, ang ranggo ng pambansang instituto, at walang nagre-review nito. Ikawalo ng Hulyo, alas-dos singkuwenta ng umaga. Kinailangan palitan ang isang power supply, kaya nag-reboot ang chassis, at ang GPS card kasama nito. Hindi kailanman na-update ang firmware nito, kaya pinili nito ang lumang epoch at bumalik sa nakaraang isang libo dalawampu't-apat na linggo. Ang Melbourne ang tuktok ng puno, at ang downstream ay nagsimulang sumang-ayon.

### Ang umaga: 04:00 MME resets → 04:20 alarm storm → 12:12 restored

1:26 Alas-kwatro ng umaga, nagsimulang mag-reset ang mga handover node. Alas-kwatro beinte, isang alarm storm, sa isang platform na ang mga alarm ay binabasa tuwing oras ng negosyo. Alas-kwatro beinte-nuebe, napansin ng Telstra, dahil naggo-google ang mga customer ng Telstra outage. Ang mga inhinyero na gumawa ng pagbabago ay naka-mandatory rest, at inabot ng oras ang paghahanap sa petsa. Pagsapit ng alas-dose dose, bumalik na ang karamihan sa mga customer.

### Mekanismo: Bumoboto ang NTP batay sa kasunduan, hindi sa plausibility

1:47 Bakit ito naging posible? May dalawang depensa ang NTP. Mas mababang stratum ang nananalo, at ang mga outlier ay binoboto palabas. Ginawa ng GPS card ang sirang source na may pinakamataas na ranggo, at bawat source na maaaring hindi sumang-ayon ay nasa downstream, na inuulit ito. Hindi kailanman tinatanong ng NTP kung ang isang petsa ay kapani-paniwala, kundi kung ang iba ay sumasang-ayon. Gumana ang protocol.

2:06 Hindi gumana ang arkitektura.

### git blame — Telstra 55 · peering 25 · firmware 15 · ang power supply 5

2:07 git blame. Telstra, limampu't-limang porsyento. Walang nagmamay-ari ng orasan, kaya walang nagre-review ng pagbabago, at dalawang bulletin ng vendor tungkol sa eksaktong bug na ito ay hindi nabasa. Peering mode, beinte-singko, dahil sa pagpapahintulot sa mga server na bumoto gamit ang sarili nilang echo. Ang firmware, kinse, nailathala at hindi kailanman na-install. Limang porsyento sa power supply, dahil sa pagpili ng alas-dos singkuwenta sa isang Miyerkules. Blast radius. Apatnapu't-limang porsyento ng lahat ng tawag at data session sa araw na iyon,

### Blast radius: 45 % ng mga session, isang $30M na multa para sa isang $30K na kahon

2:30 sabi ng CEO sa Senado. Ang multa na nasa mesa ay tatlumpung milyong dolyar, para sa isang libreng update na nawawala mula sa isang tatlumpung libong dolyar na kahon. Nakaligtas ang card sa tunay na rollover noong dalawang libo labinsiyam dahil walang nagpatay nito. Ang pag-aayos ang pumatay dito. Hatol, postmortem: SHIP IT, sa tugon.

### Hatol + ang Monday line: isang orasan na may tatlong tungkulin

2:46 Nag-hire ang Telstra ng mga panlabas na auditor, inilathala ang ulat nang walang pagbabago, na may linya na hindi nito kailanman itinuring na kritikal ang oras, at inilipat ang lahat ng tatlong site mula sa mga lumang server bago ito dumating. Monday line: magpatakbo ng NTP trace at bilangin kung ilan sa iyong time sources ang isang orasan na may tatlong tungkulin. Ipadala sa akin ang insidente na hindi mo pa rin pinapayagang pag-usapan, sa comments, o sa thedailydiff.dev. At iyan ang diff para sa araw na ito.

3:10 Ako si Niko mula sa Axrisi. Mag-merge nang may pananagutan.

## Mga Pinagmulan

- [Technology Audit Partners, "Findings Report on the July 8th Telstra Outage" (published by Telstra, Sep 2, 2026)](https://www.telstra.com.au/content/dam/tcom/dynamic-media-projects/luke-campbell/TAP-Findings-for-Telstra-Outage.pdf) — www.telstra.com.au
- [Vicki Brady (Telstra CEO), "What we've learned from the external investigation of our July outage" (Sep 2, 2026)](https://www.telstra.com.au/exchange/what-we-ve-learned-from-the-external-investigation-of-our-july-o) — www.telstra.com.au
- [Netnod, Sven-Christian Ebenhag, "Telstra outage: The night a network decided the year was 2006" (Sep 17, 2026)](https://www.netnod.se/blog/telstra-outage-night-network-decided-year-was-2006) — www.netnod.se
- [Hacker News on the Netnod post (93 points)](https://news.ycombinator.com/item?id=49748957) — news.ycombinator.com
- [The Guardian, Senate inquiry: 45 % of sessions, ~9M customers, 604 Triple Zero errors (Jul 17, 2026)](https://www.theguardian.com/business/2026/jul/17/telstra-missing-software-update-undocumented-design-change-outage) — www.theguardian.com
- [ABC News, "Telstra recently warned about timing issue linked to national outage" (Jul 10, 2026)](https://www.abc.net.au/news/2026-07-10/telstra-warned-about-vulnerability-before-national-outage/106896906) — www.abc.net.au
- [The Register, the day itself (Jul 8, 2026)](https://www.theregister.com/networks/2026/07/08/telstra-outage-downs-000-calls-trains-payment-systems/5268265) — www.theregister.com
- [ACS Information Age, the $30,000 box and the $30M fine (Jul 14, 2026)](https://ia.acs.org.au/article/2026/telstra-outage-blamed-on-known-bug-in-obsolete-server.html) — ia.acs.org.au