Рестартиране върна Telstra в 2006 г. Девет милиона телефона.

Какво обхваща този видеоклип

• GPS карта се събужда през ноември 2006 г.
• Хронология: дизайн от 2010 г. → шаси от 2020 г. → GPS карта от октомври 2025 г. → 02:50
• Сутринта: 04:00 MME се нулира → 04:20 алармена буря → 12:12 възстановено
• Механизъм: NTP гласува за съгласие, не за правдоподобност
• git blame — Telstra 55 · партньорство 25 · фърмуер 15 · захранването 5

Преведен препис

Преведено от оригиналния английски разказ. Наличните аудио и субтитри се контролират от YouTube.

GPS карта се събужда през ноември 2006 г.

0:00 Инженер в Мелбърн включва отново времеви шаси в десет без три сутринта, и до закуска най-голямата мобилна мрежа в Австралия се съгласява, че е ноември две хиляди и шеста. Външният доклад на Telstra казва, че датата е оставила една GPS карта и цялата мрежа е гласувала за нея. Почти девет милиона клиенти губят разговори, текстове или данни, а регионалните влакове на Виктория спират за деня. Как се случи, защо една карта надделя над националния часовник,

0:23 и кой е виновен. Това е The Daily Diff, аутопсия.

Хронология: дизайн от 2010 г. → шаси от 2020 г. → GPS карта от октомври 2025 г. → 02:50

0:28 Две хиляди и десет. Дизайнът е като по учебник. Три национални времеви източника захранват два сървъра, те захранват три под тях, и всеки възел взема време само отгоре. Одиторите го наричат подходящ за целта. Две хиляди и двадесет. Ново шаси. То не може да захранва собствения си по-нисък сървър, така че Сидни и Мелбърн се свързват кръстосано и всяко място преминава към една референция. След това всичко се превключва на партньорство, където всеки сървър може да взема време от всеки

0:50 сървър, който намери. Думите „времева верига“ не се появяват в нито един документ. Октомври две хиляди двадесет и пет. Мелбърн продължава да губи Сидни, а алармите му показват слой пет, което означава, че взема време от собствените си клиенти. Никой не подава заявка. Вместо това инженерите включват GPS карта, която е стояла бездействаща пет години. Алармите спират.

1:07 Мелбърн вече е слой едно, рангът на националния институт, и никой не го преглежда. Осми юли, два и петдесет сутринта. Захранването се нуждае от подмяна, така че шасито се рестартира, и GPS картата с него. Нейният фърмуер никога не е бил актуализиран, така че избира старата епоха и попада хиляда двадесет и четири седмици назад. Мелбърн е на върха на дървото и надолу по веригата започват да се съгласяват.

Сутринта: 04:00 MME се нулира → 04:20 алармена буря → 12:12 възстановено

1:26 Четири сутринта, възлите за предаване започват да се нулират. Четири и двадесет, алармена буря, на платформа, чиито аларми се четат в работно време. Четири двадесет и девет, Telstra забелязва, защото клиентите търсят в Google Telstra outage. Инженерите, които са направили промяната, са в задължителна почивка, и намирането на датата отнема часове. До дванадесет и дванадесет повечето клиенти са възстановени.

Механизъм: NTP гласува за съгласие, не за правдоподобност

1:47 Защо беше възможно? NTP има две защити. По-нисък слой печели, а отклоненията се изключват с гласуване. GPS картата направи счупения източник с най-висок ранг, и всеки източник, който можеше да не се съгласи, беше надолу по веригата, повтаряйки го. NTP никога не пита дали дадена дата е правдоподобна, а само дали останалите се съгласяват. Протоколът работеше.

2:06 Архитектурата не.

git blame — Telstra 55 · партньорство 25 · фърмуер 15 · захранването 5

2:07 git blame. Telstra, петдесет и пет процента. Никой не притежаваше часовника, така че никой не прегледа промяната, и два бюлетина от доставчик за точно тази грешка останаха непрочетени. Режим на партньорство, двадесет и пет, за позволяване на сървъри да гласуват със собственото си ехо. Фърмуерът, петнадесет, публикуван и никога не инсталиран. Пет процента за захранването, за избиране на десет без три в сряда. Радиус на поражение. Четиридесет и пет процента от всички разговори и сесии за данни през този ден,

Радиус на поражение: 45% от сесиите, глоба от 30 милиона долара за кутия за 30 хиляди долара

2:30 каза изпълнителният директор на Сената. Предвидената глоба е тридесет милиона долара, за безплатна актуализация, липсваща от кутия за тридесет хиляди долара. Картата беше оцеляла при истинското превъртане през две хиляди и деветнадесет, защото никой не я изключи. Ремонтът я унищожи. Присъда, аутопсия: SHIP IT, относно отговора.

Присъда + репликата за понеделник: един часовник носи три шапки

2:46 Telstra наема външни одитори, публикува доклада нередактиран, с твърдението, че никога не е разглеждала времето като критично, и премества всичките три обекта от старите сървъри, преди да кацне. Репликата за понеделник: направете NTP проследяване и пребройте колко от вашите времеви източници са един часовник, носещ три шапки. Изпратете ми инцидента, за който все още не ви е позволено да говорите, в коментарите или на thedailydiff.dev. И това е разликата за днес.

3:10 Аз съм Нико от Axrisi. Обединявайте отговорно.

Източници

1. Technology Audit Partners, "Findings Report on the July 8th Telstra Outage" (published by Telstra, Sep 2, 2026)www.telstra.com.au
2. Vicki Brady (Telstra CEO), "What we've learned from the external investigation of our July outage" (Sep 2, 2026)www.telstra.com.au
3. Netnod, Sven-Christian Ebenhag, "Telstra outage: The night a network decided the year was 2006" (Sep 17, 2026)www.netnod.se
4. Hacker News on the Netnod post (93 points)news.ycombinator.com
5. The Guardian, Senate inquiry: 45 % of sessions, ~9M customers, 604 Triple Zero errors (Jul 17, 2026)www.theguardian.com
6. ABC News, "Telstra recently warned about timing issue linked to national outage" (Jul 10, 2026)www.abc.net.au
7. The Register, the day itself (Jul 8, 2026)www.theregister.com
8. ACS Information Age, the $30,000 box and the $30M fine (Jul 14, 2026)ia.acs.org.au