אתחול שלח את Telstra ל-2006. תשעה מיליון טלפונים.
מהנדס במלבורן מפעיל מחדש שלדת תזמון בשעה 2:50 לפנות בוקר, ועד ארוחת הבוקר רשת הסלולר הגדולה באוסטרליה מסכימה שזה נובמבר 2006.
מהנדס במלבורן מפעיל מחדש שלדת תזמון בשעה 2:50 לפנות בוקר, ועד ארוחת הבוקר רשת הסלולר הגדולה באוסטרליה מסכימה שזה נובמבר 2006. 8 ביולי 2026: כרטיס GPS בשלדת NTP של Telstra מבצע אתחול מחדש במהלך תיקון ספק כוח, הקושחה שלו מעולם לא קיבלה את עדכון גלגול שבוע ה-GPS, ולכן הוא בוחר את התקופה הישנה ונוחת 1,024 שבועות בעבר. מכיוון שעקיפה באוקטובר 2025 הפכה את הכרטיס הזה למקור היחיד של הרשת בדרגת stratum-1 – ומעבר בשנת 2020 ל-NTP peering השאיר כל מקור אחר במורד הזרם ממנו – התאריך השגוי זוכה בהצבעה. צמתים של העברת שיחות מתאפסים החל מהשעה 4 לפנות בוקר, 45% מכלל השיחות וסשני הנתונים מושפעים, כמעט 9 מיליון לקוחות מאבדים שיחות, הודעות טקסט או נתונים, 604 שיחות למוקד החירום Triple Zero נכשלות, רכבות אזוריות בויקטוריה עוצרות, ורוב השירותים חוזרים לפעולה ב-12:12. האזעקות של Telstra עצמה ישבו על פלטפורמה שנבדקה בשעות העבודה; החברה הבחינה בכך מכיוון שלקוחות חיפשו בגוגל "Telstra outage".
קראו את המהדורה הכתובה (אנגלית) ↗
מה מכסה הסרטון הזה
- כרטיס GPS מתעורר בנובמבר 2006
- ציר זמן: עיצוב 2010 ← שלדה 2020 ← כרטיס GPS אוקטובר 2025 ← 02:50
- הבוקר: 04:00 איפוס MME ← 04:20 סערת אזעקות ← 12:12 שוחזר
- מנגנון: NTP מצביע על הסכמה, לא על סבירות
- git blame — Telstra 55 · peering 25 · firmware 15 · ספק הכוח 5
תמליל מתורגם
תורגם מהקריינות המקורית באנגלית. זמינות אודיו וכתוביות נשלטת על ידי YouTube.
כרטיס GPS מתעורר בנובמבר 2006
0:00 מהנדס במלבורן מפעיל שלדת תזמון מחדש בשעה עשר פחות שלוש בבוקר, ועד ארוחת הבוקר רשת הסלולר הגדולה באוסטרליה מסכימה שזה נובמבר אלפיים ושש. הדו"ח החיצוני של Telstra אומר שהתאריך הגיע מכרטיס GPS אחד וכל הרשת הצביעה עבורו. כמעט תשעה מיליון לקוחות מאבדים שיחות, הודעות טקסט או נתונים, ורכבות אזוריות בויקטוריה עוצרות להיום. איך זה קרה, למה כרטיס אחד היה בדרגה גבוהה יותר מהשעון הלאומי,
0:23 ומי אשם. זהו The Daily Diff, ניתוח שלאחר מעשה.
ציר זמן: עיצוב 2010 ← שלדה 2020 ← כרטיס GPS אוקטובר 2025 ← 02:50
0:28 אלפיים ועשר. העיצוב הוא מודל לחיקוי. שלושה מקורות זמן לאומיים מזינים שני שרתים, אלה מזינים שלושה שמתחת, וכל צומת לוקח זמן רק מלמעלה. הרואים חשבון קוראים לזה מתאים למטרה. אלפיים ועשרים. שלדה חדשה. היא לא יכולה להזין את השרת הנמוך שלה, אז סידני ומלבורן מקבלות חיווט צולב ו- כל אתר יורד לרפרנס אחד. אז הכל מועבר ל-peering, שם כל שרת יכול לקחת זמן מכל
0:50 שרת שהוא מוצא. המילים 'לולאת תזמון' לא מופיעות באף מסמך. אוקטובר אלפיים עשרים וחמש. מלבורן ממשיכה לאבד את סידני, והאזעקות שלה אומרות 'סטרטום חמש', כלומר היא לוקחת זמן מלקוחותיה שלה. אף אחד לא פותח קריאה. במקום זאת המהנדסים מפעילים כרטיס GPS ששכב בטל במשך חמש שנים. האזעקות נפסקות.
1:07 מלבורן כעת בדרגת 'סטרטום אחת', דרגת המכון הלאומי, ואף אחד לא בודק זאת. שמונה ביולי, שתיים וחמישים בבוקר. יש צורך להחליף ספק כוח, ולכן השלדה עוברת אתחול מחדש, וגם כרטיס ה-GPS איתה. הקושחה שלו מעולם לא עודכנה, ולכן הוא בוחר את התקופה הישנה ונוחת אלף עשרים וארבעה שבועות בעבר. מלבורן היא ראש העץ, והשאר במורד הזרם מתחילים להסכים.
הבוקר: 04:00 איפוס MME ← 04:20 סערת אזעקות ← 12:12 שוחזר
1:26 ארבע לפנות בוקר, צמתי העברת השיחות מתחילים להתאפס. ארבע ועשרים, סערת אזעקות, על פלטפורמה שהאזעקות שלה נקראות בשעות העבודה. ארבע ועשרים ותשע, Telstra מבחינה, כי לקוחות מחפשים בגוגל Telstra outage. המהנדסים שביצעו את השינוי נמצאים במנוחה חובה, ולמצוא את התאריך לוקח שעות. עד שתים עשרה ושתים עשרה רוב הלקוחות חזרו.
מנגנון: NTP מצביע על הסכמה, לא על סבירות
1:47 למה זה היה אפשרי? ל-NTP יש שתי הגנות. סטרטום נמוך יותר מנצח, וקצוות מתרחקים בהצבעה. כרטיס ה-GPS הפך את המקור השבור לדרגה הגבוהה ביותר, וכל מקור שיכול היה לחלוק עליו ישב במורד הזרם, וחזר עליו. NTP לעולם לא שואל אם תאריך סביר, רק אם האחרים מסכימים. הפרוטוקול עבד.
2:06 הארכיטקטורה לא.
git blame — Telstra 55 · peering 25 · firmware 15 · ספק הכוח 5
2:07 git blame. Telstra, חמישים וחמישה אחוזים. אף אחד לא היה הבעלים של השעון, אז אף אחד לא בדק את השינוי, ושני עלוני ספקים לגבי באג זה בדיוק לא נקראו. מצב peering, עשרים וחמישה, על שאיפשר לשרתים להצביע עם ההד שלהם. הקושחה, חמישה עשר, פורסמה ומעולם לא הותקנה. חמישה אחוזים לספק הכוח, על שבחר עשר פחות שלוש ביום רביעי. רדיוס פיצוץ. ארבעים וחמישה אחוזים מכלל השיחות וסשני הנתונים באותו יום,
רדיוס פיצוץ: 45% מהסשנים, קנס של 30 מיליון דולר על קופסה של 30 אלף דולר
2:30 כך אומר המנכ"ל לסנאט. הקנס המוצע הוא שלושים מיליון דולר, על עדכון חינם שחסר מ- קופסה בשווי שלושים אלף דולר. הכרטיס שרד את הגלגול האמיתי בשנת אלפיים ותשע עשרה כי אף אחד לא כיבה אותו. התיקון הרג אותו. פסק דין, ניתוח שלאחר מעשה: SHIP IT, בנוגע לתגובה.
פסק דין + השורה של יום שני: שעון אחד בשלוש כובעים
2:46 Telstra שוכרת מבקרים חיצוניים, מפרסמת את הדו"ח ללא עריכה, עם השורה שהיא מעולם לא התייחסה לזמן כקריטי, ומעבירה את כל שלושת האתרים מהשרתים הישנים לפני שהוא מגיע. שורה של יום שני: הפעל מעקב NTP וספור כמה ממקורות הזמן שלך הם שעון אחד שלובש שלושה כובעים. שלח לי את האירוע שעדיין אסור לך לדבר עליו, בתגובות, או בכתובת thedailydiff.dev. וזה ה-diff להיום.
3:10 אני ניקו מ-Axrisi. מזג באחריות.
מקורות
- Technology Audit Partners, "Findings Report on the July 8th Telstra Outage" (published by Telstra, Sep 2, 2026)www.telstra.com.au
- Vicki Brady (Telstra CEO), "What we've learned from the external investigation of our July outage" (Sep 2, 2026)www.telstra.com.au
- Netnod, Sven-Christian Ebenhag, "Telstra outage: The night a network decided the year was 2006" (Sep 17, 2026)www.netnod.se
- Hacker News on the Netnod post (93 points)news.ycombinator.com
- The Guardian, Senate inquiry: 45 % of sessions, ~9M customers, 604 Triple Zero errors (Jul 17, 2026)www.theguardian.com
- ABC News, "Telstra recently warned about timing issue linked to national outage" (Jul 10, 2026)www.abc.net.au
- The Register, the day itself (Jul 8, 2026)www.theregister.com
- ACS Information Age, the $30,000 box and the $30M fine (Jul 14, 2026)ia.acs.org.au
