Pārstartēšana atgrieza Telstra 2006. gadā. Deviņi miljoni telefonu.

Ko aptver šis video

• GPS karte pamostas 2006. gada novembrī
• Laika skala: 2010. gada dizains → 2020. gada šasija → 2025. gada oktobra GPS karte → 02:50
• Rīts: 04:00 MME atjaunošana → 04:20 trauksmes vētra → 12:12 atjaunots
• Mehānisms: NTP balso par vienošanos, nevis ticamību
• git blame — Telstra 55 · peering 25 · firmware 15 · barošanas avots 5

Tulkotais transkripts

Tulkojums no oriģinālā angļu stāstījuma. Pieejamais audio un subtitri tiek kontrolēti no YouTube.

GPS karte pamostas 2006. gada novembrī

0:00 Inženieris Melburnā ieslēdz laika šasiju atpakaļ desmit minūtes pirms trijiem rīta, un līdz brokastīm Austrālijas lielākais mobilais tīkls piekrīt, ka ir divi tūkstoši sestais gada novembris. Telstra ārējais ziņojums vēsta, ka datums nācis no vienas GPS kartes, un viss tīkls par to balsoja. Gandrīz deviņi miljoni klientu zaudē zvanus, īsziņas vai datus, un Viktorijas reģionālie vilcieni apstājas uz dienu. Kā tas notika, kāpēc viena karte pārspēja nacionālo pulksteni,

0:23 un kurš ir vainīgs. Šis ir The Daily Diff, pēcnāves analīze.

Laika skala: 2010. gada dizains → 2020. gada šasija → 2025. gada oktobra GPS karte → 02:50

0:28 Divi tūkstoši desmit. Dizains ir standartizēts. Trīs nacionālie laika avoti baro divus serverus, tie baro trīs zemāk esošos, un katrs mezgls ņem laiku tikai no augšas. Auditori to dēvē par piemērotu mērķim. Divi tūkstoši divdesmit. Jauna šasija. Tā nevar barot savu zemāko serveri, tāpēc Sidneja un Melburna tiek savstarpēji savienotas un katra vieta samazinās līdz vienai atsaucei. Pēc tam viss tiek pārslēgts uz "peering" režīmu, kur jebkurš serveris var ņemt laiku no jebkura

0:50 servera, ko tas atrod. Vārdi "laika cilpa" neparādās nevienā dokumentā. Divi tūkstoši divdesmit piektā gada oktobris. Melburna turpina zaudēt Sidneju, un tās trauksmes signāli rāda "stratum five", kas nozīmē, ka tā ņem laiku no saviem klientiem. Neviens neiesniedz pieteikumu. Tā vietā inženieri ieslēdz GPS karti, kas piecus gadus stāvējusi dīkstāvē. Trauksmes signāli apstājas.

1:07 Melburna tagad ir "stratum one", nacionālā institūta rangs, un neviens to nepārskata. Astotais jūlijs, divdesmit pieci minūtes pāri diviem no rīta. Jānomaina barošanas bloks, tāpēc šasija pārstartējas, un GPS karte līdz ar to. Tās programmaparatūra nekad netika atjaunināta, tāpēc tā izvēlas veco ēru un nokļūst tūkstoš divdesmit četras nedēļas pagātnē. Melburna ir koka virsotne, un pakārtotie sāk piekrist.

Rīts: 04:00 MME atjaunošana → 04:20 trauksmes vētra → 12:12 atjaunots

1:26 Četros rītā, pārslēgšanās mezgli sāk atiestatīties. Divdesmit minūtes pāri četriem, trauksmes vētra, uz platformas, kuras trauksmes signāli tiek lasīti darba laikā. Divdesmit deviņas minūtes pāri četriem, Telstra pamana, jo klienti meklē Google meklētājā Telstra darbības traucējumi. Inženieri, kas veica izmaiņas, ir obligātā atpūtā, un datuma atrašana prasa stundas. Līdz divpadsmit divpadsmit lielākā daļa klientu ir atpakaļ.

Mehānisms: NTP balso par vienošanos, nevis ticamību

1:47 Kāpēc tas bija iespējams? NTP ir divas aizsardzības. Zemāks "stratum" uzvar, un atšķirīgie tiek izbalsoti. GPS karte padarīja bojāto avotu par visaugstāko rangu, un visi avoti, kas varēja nepiekrist, atradās pakārtoti, atkārtojot to. NTP nekad nejautā, vai datums ir ticams, tikai to, vai citi piekrīt. Protokols darbojās.

2:06 Arhitektūra nedarbojās.

git blame — Telstra 55 · peering 25 · firmware 15 · barošanas avots 5

2:07 git blame. Telstra, piecdesmit pieci procenti. Nevienam nepiederēja pulkstenis, tāpēc neviens nepārskatīja izmaiņas, un divi piegādātāju biļeteni par šo precīzo kļūdu palika neizlasīti. Peering režīms, divdesmit pieci, par to, ka serveri ļauj balsot ar savu atbalss. Programmaparatūra, piecpadsmit, publicēta un nekad neinstalēta. Pieci procenti barošanas avotam, par to, ka izvēlējies desmit minūtes pirms trijiem trešdienā. Sprādziena rādiuss. Četrdesmit pieci procenti no visiem zvaniem un datu sesijām tajā dienā,

Ietekmes rādiuss: 45% sesiju, 30 miljonu dolāru naudas sods par 30 tūkstošu dolāru kārbu

2:30 ģenerāldirektors saka Senātam. Galda naudas sods ir trīsdesmit miljoni dolāru, par bezmaksas atjauninājumu, kas trūkst trīsdesmit tūkstošu dolāru kastē. Karte bija pārdzīvojusi īsto apgāšanos divi tūkstoši deviņpadsmit, jo neviens to neizslēdza. Remonts to nogalināja. Spriedums, pēcnāves analīze: SHIP IT, par atbildi.

Spriedums + pirmdienas līnija: viens pulkstenis ar trim funkcijām

2:46 Telstra nolīgst ārējus auditorus, publicē ziņojumu bez labojumiem, ar piebildi, ka tā nekad neuzskatīja laiku par kritisku, un pārvieto visas trīs vietnes no veciem serveriem pirms tā piezemēšanās. Pirmdienas līnija: palaidiet NTP izsekošanu un saskaitiet, cik jūsu laika avotu ir viens pulkstenis, kas valkā trīs cepures. Nosūtiet man incidentu, par kuru jums joprojām nav atļauts runāt, komentāros vai thedailydiff.dev. Un tāds ir šodienas "diff".

3:10 Esmu Niko no Axrisi. Apvienojiet atbildīgi.

Avoti

1. Technology Audit Partners, "Findings Report on the July 8th Telstra Outage" (published by Telstra, Sep 2, 2026)www.telstra.com.au
2. Vicki Brady (Telstra CEO), "What we've learned from the external investigation of our July outage" (Sep 2, 2026)www.telstra.com.au
3. Netnod, Sven-Christian Ebenhag, "Telstra outage: The night a network decided the year was 2006" (Sep 17, 2026)www.netnod.se
4. Hacker News on the Netnod post (93 points)news.ycombinator.com
5. The Guardian, Senate inquiry: 45 % of sessions, ~9M customers, 604 Triple Zero errors (Jul 17, 2026)www.theguardian.com
6. ABC News, "Telstra recently warned about timing issue linked to national outage" (Jul 10, 2026)www.abc.net.au
7. The Register, the day itself (Jul 8, 2026)www.theregister.com
8. ACS Information Age, the $30,000 box and the $30M fine (Jul 14, 2026)ia.acs.org.au