Perkrovimas nusiuntė „Telstra“ į 2006 metus. Devyni milijonai telefonų.
Inžinierius Melburne 2:50 val.
Inžinierius Melburne 2:50 val. ryto vėl įjungia laiko valdymo sistemą, ir pusryčių metu didžiausias Australijos mobiliojo ryšio tinklas sutinka, kad yra 2006 m. lapkritis. 2026 m. liepos 8 d.: GPS kortelė „Telstra“ NTP sistemoje perkraunama, atliekant maitinimo šaltinio remontą, jos programinė įranga niekada neturėjo GPS savaitės persukimo atnaujinimo, todėl ji pasirenka seną epochą ir atsiduria 1024 savaitėmis praeityje. Kadangi 2025 m. spalio mėn. apeitis pavertė tą kortelę vieninteliu tinklo stratum-1 šaltiniu – o 2020 m. perėjimas prie NTP susiejimo paliko visus kitus šaltinius žemiau jos – neteisinga data laimi balsavimą. Perdavimo mazgai persijungia nuo 4 val. ryto, paveikiama 45 % visų skambučių ir duomenų sesijų, beveik 9 milijonai klientų praranda skambučius, žinutes ar duomenis, 604 „Triple Zero“ skambučiai klaidingi, Viktorijos regioniniai traukiniai sustoja, ir dauguma paslaugų grįžta 12:12 val. „Telstra“ pavojaus signalai buvo platformoje, tikrinamoje darbo valandomis; įmonė pastebėjo, nes klientai ieškojo „Telstra gedimas“ Google.
Skaityti rašytinę versiją (anglų k.) ↗
Kas aptariama šiame vaizdo įraše
- GPS kortelė pabunda 2006 m. lapkritį
- Laiko juosta: 2010 m. dizainas → 2020 m. važiuoklė → 2025 m. spalio mėn. GPS kortelė → 02:50
- Rytas: 04:00 MME persijungia → 04:20 pavojaus signalų audra → 12:12 atkūrimas
- Mechanizmas: NTP balsuoja dėl sutikimo, o ne dėl tikėtinumo
- git blame — Telstra 55 · susiejimas 25 · programinė įranga 15 · maitinimo šaltinis 5
Išverstas transkriptas
Išversta iš originalo anglų kalbos. Galimas garso ir subtitrų valdymas per YouTube.
GPS kortelė pabunda 2006 m. lapkritį
0:00 Inžinierius Melburne įjungia laiko nustatymo važiuoklę atgal dešimt minučių iki trijų ryto, ir iki pusryčių didžiausias Australijos mobiliojo ryšio tinklas sutinka, kad yra du tūkstančiai šeštųjų metų lapkritis. „Telstra“ išorės ataskaita teigia, kad data paliko vieną GPS kortelę ir visas tinklas balsavo už ją. Beveik devyni milijonai klientų praranda skambučius, tekstinius pranešimus ar duomenis, ir Viktorijos regioniniai traukiniai sustoja visai dienai. Kaip tai nutiko, kodėl viena kortelė pranoko nacionalinį laikrodį,
0:23 ir kas kaltas. Tai „The Daily Diff“, pomirtinė analizė.
Laiko juosta: 2010 m. dizainas → 2020 m. važiuoklė → 2025 m. spalio mėn. GPS kortelė → 02:50
0:28 Du tūkstančiai dešimtieji. Dizainas yra vadovėlinis. Trys nacionaliniai laiko šaltiniai maitina du serverius, tie maitina tris žemiau, ir kiekvienas mazgas laiko gauna tik iš viršaus. Auditoriai tai vadina tinkamu tikslui. Du tūkstančiai dvidešimtieji. Nauja važiuoklė. Ji negali maitinti savo apatinio serverio, todėl Sidnėjus ir Melburnas yra sujungti kryžminiu būdu ir kiekviena vieta sumažėja iki vienos nuorodos. Tada viskas perjungiama į susiejimą, kur bet kuris serveris gali gauti laiką iš bet kurio
0:50 serverio, kurį randa. Žodžiai „laiko ciklas“ nepasirodo jokiame dokumente. Du tūkstančiai dvidešimt penktųjų metų spalis. Melburnas nuolat praranda Sidnėjų, ir jo signalai rodo stratum penkis, reikšdami, kad jis gauna laiką iš savo klientų. Niekas neįrašo bilieto. Vietoj to inžinieriai įjungia GPS kortelę, kuri penkerius metus nenaudojama. Pavojaus signalai sustoja.
1:07 Melburnas dabar yra stratum vienas, nacionalinio instituto rangas, ir niekas to neperžiūri. Liepos aštuntoji, dvi valandos penkiasdešimt ryto. Reikia pakeisti maitinimo šaltinį, todėl važiuoklė perkraunama, ir kartu su ja GPS kortelė. Jos programinė įranga niekada nebuvo atnaujinta, todėl ji pasirenka seną epochą ir atsiduria tūkstančiu dvidešimt keturiomis savaitėmis praeityje. Melburnas yra medžio viršuje, ir žemiau esantys pradeda sutikti.
Rytas: 04:00 MME persijungia → 04:20 pavojaus signalų audra → 12:12 atkūrimas
1:26 Ketvirtą valandą ryto perdavimo mazgai pradeda persijunginėti. Keturi valandos dvidešimt minučių, pavojaus signalų audra platformoje, kurios signalai skaitomi darbo valandomis. Keturi valandos dvidešimt devynios minutės, Telstra pastebi, nes klientai ieško „Google“ Telstra gedimas. Inžinieriai, kurie atliko pakeitimą, yra privalomoje poilsio būsenoje, ir datos nustatymas užtrunka valandas. Iki dvylikos dvylikos dauguma klientų grįžta.
Mechanizmas: NTP balsuoja dėl sutikimo, o ne dėl tikėtinumo
1:47 Kodėl tai buvo įmanoma? NTP turi dvi apsaugas. Žemesnis stratumas laimi, ir išskirtiniai balsuojami. GPS kortelė pavertė sugedusį šaltinį aukščiausiu rangu, ir kiekvienas šaltinis, kuris galėjo nesutikti, buvo žemiau, kartodamas tai. NTP niekada neklausia, ar data yra tikėtina, tik ar kiti sutinka. Protokolas veikė.
2:06 Architektūra – ne.
git blame — Telstra 55 · susiejimas 25 · programinė įranga 15 · maitinimo šaltinis 5
2:07 git blame. Telstra, penkiasdešimt penki procentai. Niekas nevaldė laikrodžio, todėl niekas neperžiūrėjo pakeitimo, ir du pardavėjo biuleteniai apie šią konkrečią klaidą liko neperskaityti. Susiejimo režimas, dvidešimt penki, už leidimą serveriams balsuoti su savo aida. Programinė įranga, penkiolika, paskelbta ir niekada neįdiegta. Penki procentai maitinimo šaltiniui, už pasirinkimą dešimt minučių iki trijų trečiadienį. Poveikio spindulys. Keturiasdešimt penki procentai visų skambučių ir duomenų sesijų tą dieną,
Poveikio spindulys: 45 % sesijų, 30 mln. dolerių bauda už 30 tūkst. dolerių dėžę
2:30 generalinis direktorius sako Senatui. Baudos suma yra trisdešimt milijonų dolerių, už nemokamą atnaujinimą, kurio trūksta iš trisdešimties tūkstančių dolerių dėžutės. Kortelė išgyveno tikrąjį persukimą du tūkstančiai devynioliktaisiais, nes niekas jos neišjungė. Remontas ją pražudė. Nuosprendis, pomirtinė analizė: SHIP IT (pristatyti), atsižvelgiant į atsakymą.
Nuosprendis + pirmadienio eilutė: vienas laikrodis su trimis kepurėmis
2:46 „Telstra“ samdo išorinius auditorius, paskelbia ataskaitą neredaguotą, su teiginiu, kad ji niekada nelaikė laiko kritiniu, ir perkelia visas tris vietas nuo senų serverių, kol ji pasirodo. Pirmadienio eilutė: paleiskite NTP pėdsaką ir suskaičiuokite, kiek jūsų laiko šaltinių yra vienas laikrodis, dėvintis tris kepures. Atsiųskite man incidentą, apie kurį jums vis dar neleidžiama kalbėti, komentaruose arba thedailydiff.dev. Ir tai yra šiandienos skirtumas.
3:10 Aš esu Niko iš Axrisi. Sujunkite atsakingai.
Šaltiniai
- Technology Audit Partners, "Findings Report on the July 8th Telstra Outage" (published by Telstra, Sep 2, 2026)www.telstra.com.au
- Vicki Brady (Telstra CEO), "What we've learned from the external investigation of our July outage" (Sep 2, 2026)www.telstra.com.au
- Netnod, Sven-Christian Ebenhag, "Telstra outage: The night a network decided the year was 2006" (Sep 17, 2026)www.netnod.se
- Hacker News on the Netnod post (93 points)news.ycombinator.com
- The Guardian, Senate inquiry: 45 % of sessions, ~9M customers, 604 Triple Zero errors (Jul 17, 2026)www.theguardian.com
- ABC News, "Telstra recently warned about timing issue linked to national outage" (Jul 10, 2026)www.abc.net.au
- The Register, the day itself (Jul 8, 2026)www.theregister.com
- ACS Information Age, the $30,000 box and the $30M fine (Jul 14, 2026)ia.acs.org.au
