+− THE DAILY DIFFdev & AI news
SHIP IT

Dahil sa reboot, bumalik ang Telstra sa 2006. Siyam na milyong telepono.

Muling binuhay ng isang inhinyero sa Melbourne ang isang timing chassis bandang 2:50 a.m., at pagsapit ng almusal, sumang-ayon ang pinakamalaking mobile network ng Australia na Nobyembre 2006 na.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Muling binuhay ng isang inhinyero sa Melbourne ang isang timing chassis bandang 2:50 a.m., at pagsapit ng almusal, sumang-ayon ang pinakamalaking mobile network ng Australia na Nobyembre 2006 na. Hulyo 8, 2026: nag-reboot ang isang GPS card sa NTP chassis ng Telstra sa gitna ng pag-aayos ng power-supply, hindi pa na-update ang firmware nito para sa GPS week-rollover, kaya pinili nito ang lumang epoch at bumalik sa nakaraang 1,024 na linggo. Dahil ang isang workaround noong Oktubre 2025 ang nagresulta na ang card na iyon ang tanging stratum-1 source ng network — at ang paglipat sa NTP peering noong 2020 ay nag-iwan sa lahat ng iba pang source na downstream nito — ang maling petsa ang nanalo sa boto. Nag-reset ang mga handover node mula 4 a.m., 45 % ng lahat ng tawag at data session ay apektado, halos 9 milyong customer ang nawalan ng tawag, text o data, 604 Triple Zero na tawag ang nag-error, huminto ang mga regional train ng Victoria, at karamihan ng serbisyo ay bumalik bandang 12:12. Ang sariling alarm ng Telstra ay nasa isang platform na sinusuri tuwing oras ng negosyo; napansin ito ng kumpanya dahil naggo-google ang mga customer ng "Telstra outage".

Basahin ang nakasulat na edisyon (English) ↗

Ang sakop ng video na ito

  • Nagising ang isang GPS card noong Nobyembre 2006
  • Timeline: 2010 disenyo → 2020 chassis → Okt 2025 GPS card → 02:50
  • Ang umaga: 04:00 MME resets → 04:20 alarm storm → 12:12 restored
  • Mekanismo: Bumoboto ang NTP batay sa kasunduan, hindi sa plausibility
  • git blame — Telstra 55 · peering 25 · firmware 15 · ang power supply 5

Mga tanong at sagot

Ano ang sanhi ng pagkawala ng serbisyo ng mobile network ng Telstra noong Hulyo 8, 2026?

Nag-reboot ang isang GPS card sa NTP timing chassis ng Telstra sa panahon ng pag-aayos ng power supply bandang 2:50 a.m. Ayon sa audit report, ang firmware nito ay hindi kailanman nakakuha ng update sa GPS week-rollover, kaya pinili ng card ang lumang epoch at bumalik ng 1,024 na linggo sa nakaraan. Pagkatapos ay napagkasunduan ng network na ang petsa ay Nobyembre 2006.

Panoorin ang bahaging ito 0:28 · www.telstra.com.au · www.netnod.se

Bakit tinanggap ng mga time server ng isang network ang isang petsa na malinaw na mali?

Sinusuri ng NTP kung ang mga source ay magkasundo at hindi kailanman tinatanong kung ang isang petsa ay makatwiran. Ang workaround ng Telstra noong Oktubre 2025 ay ginawang tanging stratum-1 source ang GPS card, at ang paglipat noong 2020 sa NTP peering ay nag-iwan ng bawat iba pang source sa ibaba nito. Kaya't mas mataas ang ranggo ng sirang source kaysa sa iba at nanalo ang petsa nito sa botohan.

Panoorin ang bahaging ito 1:47 · www.telstra.com.au · www.netnod.se

Paano nangyari ang outage ng Telstra, at paano nalaman ng kumpanya?

Nagsimulang mag-reset ang mga handover node bandang 04:00, na sinundan ng isang alarm storm bandang 04:20 sa isang platform kung saan binabasa ang mga alarma sa oras ng trabaho. Napansin ng Telstra bandang dalawampu't siyam na minuto pagkalipas ng alas-kuwatro dahil hinahanap ng mga customer sa Google ang Telstra outage. Ang mga inhinyero na gumawa ng pagbabago ay nasa mandatoryong pahinga, inabot ng oras ang paghahanap ng petsa, at karamihan sa mga customer ay nakabalik na bandang 12:12.

Panoorin ang bahaging ito 1:26 · www.telstra.com.au · www.netnod.se

Ilang tao at serbisyo ang naapektuhan ng outage ng Telstra?

Sinabi ng CEO ng Telstra sa Senado na 45% ng lahat ng tawag at data session sa araw na iyon ay naapektuhan, ayon sa The Guardian. Halos 9 milyong customer ang nawalan ng tawag, text o data, 604 na tawag sa Triple Zero ang nagkaroon ng error, at huminto ang mga regional train ng Victoria. Isang multa na tatlumpung milyong dolyar ang nakahanda.

Panoorin ang bahaging ito 2:27 · www.theguardian.com · ia.acs.org.au

Mahusay ba ang paghawak ng Telstra sa 2006 clock outage, at ano ang dapat suriin ng ibang mga team?

Ang hatol ng The Daily Diff ay SHIP IT, sa tugon. Kumuha ang Telstra ng mga panlabas na auditor at inilathala ang kanilang ulat na walang pagbabago, kasama ang pagtuklas na hindi nito kailanman itinuring na kritikal ang oras. Ang Monday line para sa ibang mga team ay magpatakbo ng NTP trace at bilangin kung ilan sa kanilang mga time source ang isang orasan na may tatlong tungkulin.

Panoorin ang bahaging ito 2:44 · www.telstra.com.au · www.telstra.com.au

Isinaling transcript

Isinalin mula sa orihinal na salaysay sa English. Ang available na audio at mga caption ay kinokontrol ng YouTube.

Nagising ang isang GPS card noong Nobyembre 2006

0:00 Isang inhinyero sa Melbourne ang nagbalik ng kuryente sa isang timing chassis bandang alas-dos singkuwenta ng umaga, at pagsapit ng almusal, sumang-ayon ang pinakamalaking mobile network ng Australia na Nobyembre dalawang libo anim na. Sabi ng labas na ulat ng Telstra na ang petsa ay mula sa isang GPS card at ang buong network ay bumoto para dito. Halos siyam na milyong customer ang nawalan ng tawag, text o data, at huminto ang mga regional train ng Victoria sa araw na iyon. Paano ito nangyari, bakit mas mataas ang ranggo ng isang card kaysa sa pambansang orasan,

0:23 at sino ang may kasalanan. Ito ang The Daily Diff, postmortem.

Timeline: 2010 disenyo → 2020 chassis → Okt 2025 GPS card → 02:50

0:28 Dalawang libo sampu. Ang disenyo ay textbook. Tatlong pambansang source ng oras ang nagpapakain sa dalawang server, ang mga iyon ay nagpapakain sa tatlong nasa ibaba, at bawat node ay kumukuha lamang ng oras mula sa itaas. Tinatawag ito ng mga auditor na akma sa layunin. Dalawang libo dalawampu. Bagong chassis. Hindi nito mapakain ang sarili nitong mas mababang server, kaya ang Sydney at Melbourne ay nag-cross-wired at bawat site ay bumaba sa isang reference. Pagkatapos ang lahat ay inilipat sa peering, kung saan ang anumang server ay maaaring kumuha ng oras mula sa anumang

0:50 server na makita nito. Ang mga salitang timing loop ay hindi lumabas sa anumang dokumento. Oktubre dalawang libo dalawampu't lima. Patuloy na nawawalan ng Sydney ang Melbourne, at ang mga alarm nito ay nagsasabing stratum five, nangangahulugang kumukuha ito ng oras mula sa sarili nitong mga customer. Walang nag-file ng ticket. Sa halip, binuksan ng mga inhinyero ang isang GPS card na hindi nagamit sa loob ng limang taon. Tumigil ang mga alarm.

1:07 Ang Melbourne ay ngayon stratum one, ang ranggo ng pambansang instituto, at walang nagre-review nito. Ikawalo ng Hulyo, alas-dos singkuwenta ng umaga. Kinailangan palitan ang isang power supply, kaya nag-reboot ang chassis, at ang GPS card kasama nito. Hindi kailanman na-update ang firmware nito, kaya pinili nito ang lumang epoch at bumalik sa nakaraang isang libo dalawampu't-apat na linggo. Ang Melbourne ang tuktok ng puno, at ang downstream ay nagsimulang sumang-ayon.

Ang umaga: 04:00 MME resets → 04:20 alarm storm → 12:12 restored

1:26 Alas-kwatro ng umaga, nagsimulang mag-reset ang mga handover node. Alas-kwatro beinte, isang alarm storm, sa isang platform na ang mga alarm ay binabasa tuwing oras ng negosyo. Alas-kwatro beinte-nuebe, napansin ng Telstra, dahil naggo-google ang mga customer ng Telstra outage. Ang mga inhinyero na gumawa ng pagbabago ay naka-mandatory rest, at inabot ng oras ang paghahanap sa petsa. Pagsapit ng alas-dose dose, bumalik na ang karamihan sa mga customer.

Mekanismo: Bumoboto ang NTP batay sa kasunduan, hindi sa plausibility

1:47 Bakit ito naging posible? May dalawang depensa ang NTP. Mas mababang stratum ang nananalo, at ang mga outlier ay binoboto palabas. Ginawa ng GPS card ang sirang source na may pinakamataas na ranggo, at bawat source na maaaring hindi sumang-ayon ay nasa downstream, na inuulit ito. Hindi kailanman tinatanong ng NTP kung ang isang petsa ay kapani-paniwala, kundi kung ang iba ay sumasang-ayon. Gumana ang protocol.

2:06 Hindi gumana ang arkitektura.

git blame — Telstra 55 · peering 25 · firmware 15 · ang power supply 5

2:07 git blame. Telstra, limampu't-limang porsyento. Walang nagmamay-ari ng orasan, kaya walang nagre-review ng pagbabago, at dalawang bulletin ng vendor tungkol sa eksaktong bug na ito ay hindi nabasa. Peering mode, beinte-singko, dahil sa pagpapahintulot sa mga server na bumoto gamit ang sarili nilang echo. Ang firmware, kinse, nailathala at hindi kailanman na-install. Limang porsyento sa power supply, dahil sa pagpili ng alas-dos singkuwenta sa isang Miyerkules. Blast radius. Apatnapu't-limang porsyento ng lahat ng tawag at data session sa araw na iyon,

Blast radius: 45 % ng mga session, isang $30M na multa para sa isang $30K na kahon

2:30 sabi ng CEO sa Senado. Ang multa na nasa mesa ay tatlumpung milyong dolyar, para sa isang libreng update na nawawala mula sa isang tatlumpung libong dolyar na kahon. Nakaligtas ang card sa tunay na rollover noong dalawang libo labinsiyam dahil walang nagpatay nito. Ang pag-aayos ang pumatay dito. Hatol, postmortem: SHIP IT, sa tugon.

Hatol + ang Monday line: isang orasan na may tatlong tungkulin

2:46 Nag-hire ang Telstra ng mga panlabas na auditor, inilathala ang ulat nang walang pagbabago, na may linya na hindi nito kailanman itinuring na kritikal ang oras, at inilipat ang lahat ng tatlong site mula sa mga lumang server bago ito dumating. Monday line: magpatakbo ng NTP trace at bilangin kung ilan sa iyong time sources ang isang orasan na may tatlong tungkulin. Ipadala sa akin ang insidente na hindi mo pa rin pinapayagang pag-usapan, sa comments, o sa thedailydiff.dev. At iyan ang diff para sa araw na ito.

3:10 Ako si Niko mula sa Axrisi. Mag-merge nang may pananagutan.

Mga Pinagmulan

  1. Technology Audit Partners, "Findings Report on the July 8th Telstra Outage" (published by Telstra, Sep 2, 2026)www.telstra.com.au
  2. Vicki Brady (Telstra CEO), "What we've learned from the external investigation of our July outage" (Sep 2, 2026)www.telstra.com.au
  3. Netnod, Sven-Christian Ebenhag, "Telstra outage: The night a network decided the year was 2006" (Sep 17, 2026)www.netnod.se
  4. Hacker News on the Netnod post (93 points)news.ycombinator.com
  5. The Guardian, Senate inquiry: 45 % of sessions, ~9M customers, 604 Triple Zero errors (Jul 17, 2026)www.theguardian.com
  6. ABC News, "Telstra recently warned about timing issue linked to national outage" (Jul 10, 2026)www.abc.net.au
  7. The Register, the day itself (Jul 8, 2026)www.theregister.com
  8. ACS Information Age, the $30,000 box and the $30M fine (Jul 14, 2026)ia.acs.org.au

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Mga kaugnay na video