रिबुटले टेल्स्ट्रालाई 2006 मा पुर्यायो। ९० लाख फोनहरू।

यो भिडियोले के समेट्छ

• एक GPS कार्ड नोभेम्बर २००६ मा जाग्छ
• समयरेखा: २०१० डिजाइन → २०२० चेसिस → अक्टोबर २०२५ GPS कार्ड → ०२:५०
• बिहान: ०४:०० MME रिसेट → ०४:२० अलार्म आँधी → १२:१२ पुनर्स्थापित
• कार्यविधि: NTP ले सहमतिमा भोट गर्छ, सम्भाव्यतामा होइन
• git blame — Telstra ५५ · peering २५ · firmware १५ · the power supply ५

अनुवादित ट्रान्सक्रिप्ट

मूल अंग्रेजी कथाबाट अनुवादित। उपलब्ध अडियो र क्याप्सनहरू YouTube द्वारा नियन्त्रित हुन्छन्।

एक GPS कार्ड नोभेम्बर २००६ मा जाग्छ

0:00 मेलबर्नमा एक इन्जिनियरले बिहान पौने तीन बजे टाइमिंग चेसिसलाई फेरि अन गर्छन्, र बिहानको नास्तासम्ममा अष्ट्रेलियाको सबैभन्दा ठूलो मोबाइल नेटवर्क यो नोभेम्बर दुई हजार छ भएको कुरामा सहमत हुन्छ। टेल्स्ट्राको बाह्य रिपोर्ट भन्छ कि मितिले एउटा GPS कार्ड छोडेको थियो र पूरै नेटवर्कले यसको लागि भोट गर्यो। करिब ९० लाख ग्राहकहरूले कल, टेक्स्ट वा डेटा गुमाउँछन्, र भिक्टोरियाका क्षेत्रीय रेलहरू दिनभरि रोकिन्छन्। यो कसरी भयो, किन एउटा कार्डले राष्ट्रिय घडीलाई उछिन्यो,

0:23 र कसलाई दोष जान्छ। यो The Daily Diff, पोस्टमोर्टम हो।

समयरेखा: २०१० डिजाइन → २०२० चेसिस → अक्टोबर २०२५ GPS कार्ड → ०२:५०

0:28 दुई हजार दश। डिजाइन पाठ्यपुस्तक अनुसार छ। तीन राष्ट्रिय समय स्रोतले दुई सर्भरलाई फिड गर्छन्, ती तीनलाई तल फिड गर्छन्, र प्रत्येक नोडले माथिबाट मात्र समय लिन्छ। लेखापरीक्षकहरूले यसलाई उद्देश्यका लागि उपयुक्त भन्छन्। दुई हजार बीस। नयाँ चेसिस। यसले आफ्नै तल्लो सर्भरलाई फिड गर्न सक्दैन, त्यसैले सिड्नी र मेलबर्न क्रस-वाइर हुन्छन् र प्रत्येक साइट एउटा सन्दर्भमा झर्छ। त्यसपछि सबै पिअरिंगमा स्विच गरिन्छ, जहाँ कुनै पनि सर्भरले आफूले

0:50 भेटाएको कुनै पनि सर्भरबाट समय लिन सक्छ। “टाइमिंग लूप” शब्द कुनै पनि कागजातमा देखा पर्दैन। अक्टोबर दुई हजार पच्चीस। मेलबर्नले सिड्नीलाई गुमाउँदै जान्छ, र यसको अलार्महरूले स्ट्र्याटम पाँच भन्छन्, यसको अर्थ यसले आफ्नै ग्राहकहरूबाट समय लिन्छ। कसैले पनि टिकट फाइल गर्दैन। बरु इन्जिनियरहरूले पाँच वर्षदेखि निष्क्रिय रहेको एउटा GPS कार्ड अन गर्छन्। अलार्महरू बन्द हुन्छन्।

1:07 मेलबर्न अब स्ट्र्याटम एक हो, राष्ट्रिय संस्थाको पद, र कसैले पनि यसको समीक्षा गर्दैन। जुलाई आठ, बिहान २:५० बजे। एउटा पावर सप्लाई बदल्नुपर्छ, त्यसैले चेसिस रिबुट हुन्छ, र GPS कार्ड पनि त्यसैसँग। यसको फर्मवेयर कहिल्यै अपडेट गरिएको थिएन, त्यसैले यसले पुरानो युग छान्छ र एक हजार चौबीस हप्ता पहिले पुग्छ। मेलबर्न रूखको शीर्षमा छ, र डाउनस्ट्रीम सहमत हुन थाल्छ।

बिहान: ०४:०० MME रिसेट → ०४:२० अलार्म आँधी → १२:१२ पुनर्स्थापित

1:26 बिहान चार बजे, ह्यान्डओभर नोडहरू रिसेट हुन थाल्छन्। चार बीस, अलार्म आँधी, एउटा प्लेटफर्ममा जसको अलार्महरू व्यापारिक घण्टामा पढिन्छन्। चार उनन्तीस, टेल्स्ट्राले याद गर्छ, किनभने ग्राहकहरूले Telstra outage गुगल गरिरहेका छन्। परिवर्तन गर्ने इन्जिनियरहरू अनिवार्य विश्राममा छन्, र मिति पत्ता लगाउन घण्टौं लाग्छ। बारह बाह्र बजेसम्म अधिकांश ग्राहकहरू फर्किन्छन्।

कार्यविधि: NTP ले सहमतिमा भोट गर्छ, सम्भाव्यतामा होइन

1:47 यो कसरी सम्भव भयो? NTP सँग दुईवटा सुरक्षा उपायहरू छन्। तल्लो स्ट्र्याटमले जित्छ, र बाहिरकाहरूलाई भोट आउट गरिन्छ। GPS कार्डले भाँचिएको स्रोतलाई सर्वोच्च पद बनायो, र असहमत हुन सक्ने हरेक स्रोत डाउनस्ट्रीममा बसेको थियो, त्यसलाई दोहोर्याउँदै। NTP ले कहिल्यै सोध्दैन कि मिति सम्भाव्य छ कि छैन, केवल अन्यहरू सहमत छन् कि छैनन्। प्रोटोकलले काम गर्यो।

2:06 वास्तुकलाले गरेन।

git blame — Telstra ५५ · peering २५ · firmware १५ · the power supply ५

2:07 git blame। टेल्स्ट्रा, पचपन्न प्रतिशत। कसैले पनि घडीको स्वामित्व लिएन, त्यसैले कसैले पनि परिवर्तनको समीक्षा गरेन, र यो ठ्याक्कै बगको बारेमा दुई विक्रेता बुलेटिनहरू नपढिए। पिअरिंग मोड, पच्चीस, सर्भरहरूलाई आफ्नै प्रतिध्वनिसँग भोट दिन दिएकोमा। फर्मवेयर, पन्ध्र, प्रकाशित तर कहिल्यै स्थापना नगरिएको। पाँच प्रतिशत पावर सप्लाईलाई, बुधवार पौने तीन बजे छानेकोमा। विस्फोटको दायरा। त्यस दिनका सबै कल र डेटा सत्रहरूको पैंतालीस प्रतिशत,

विस्फोटको दायरा: सत्रहरूको ४५%, $३०K बक्सको लागि $३०M जरिवाना

2:30 सीईओले सिनेटलाई भन्छन्। टेबलमा रहेको जरिवाना तीस मिलियन डलर हो, तीस हजार डलरको बक्सबाट छुटेको एक निःशुल्क अपडेटको लागि। कार्डले दुई हजार उन्नाइसमा भएको वास्तविक रोलओभरबाट बचेको थियो किनभने कसैले यसलाई बन्द गरेनन्। मर्मतले यसलाई मार्यो। फैसला, पोस्टमोर्टम: SHIP IT, प्रतिक्रियामा।

फैसला + सोमबारको लाइन: एउटा घडीले तीनवटा टोपी लगाएको

2:46 टेल्स्ट्राले बाह्य लेखापरीक्षकहरूलाई काममा राख्छ, रिपोर्टलाई असम्पादित प्रकाशित गर्छ, यसले समयलाई कहिल्यै महत्वपूर्ण मानेन भन्ने लाइनका साथ, र सबै तीन साइटहरूलाई पुरानो सर्भरहरूबाट यो आउनु अघि सार्छ। सोमबारको लाइन: एउटा NTP ट्रेस चलाउनुहोस् र तपाईंको कतिवटा समय स्रोतहरू एउटा घडीले तीनवटा टोपी लगाएको छ गन्नुहोस्। मलाई त्यो घटना पठाउनुहोस् जसको बारेमा तपाईंलाई अझै पनि कुरा गर्न अनुमति छैन, टिप्पणीहरूमा, वा thedailydiff.dev मा। र आजको लागि यो diff यति नै।

3:10 म Axrisi बाट Niko हुँ। जिम्मेवारीपूर्वक मर्ज गर्नुहोस्।

स्रोतहरू

1. Technology Audit Partners, "Findings Report on the July 8th Telstra Outage" (published by Telstra, Sep 2, 2026)www.telstra.com.au
2. Vicki Brady (Telstra CEO), "What we've learned from the external investigation of our July outage" (Sep 2, 2026)www.telstra.com.au
3. Netnod, Sven-Christian Ebenhag, "Telstra outage: The night a network decided the year was 2006" (Sep 17, 2026)www.netnod.se
4. Hacker News on the Netnod post (93 points)news.ycombinator.com
5. The Guardian, Senate inquiry: 45 % of sessions, ~9M customers, 604 Triple Zero errors (Jul 17, 2026)www.theguardian.com
6. ABC News, "Telstra recently warned about timing issue linked to national outage" (Jul 10, 2026)www.abc.net.au
7. The Register, the day itself (Jul 8, 2026)www.theregister.com
8. ACS Information Age, the $30,000 box and the $30M fine (Jul 14, 2026)ia.acs.org.au