Перезагрузка отбросила Telstra в 2006 год. Девять миллионов телефонов.

Что освещается в этом видео

• GPS-карта просыпается в ноябре 2006 года
• Хронология: дизайн 2010 → шасси 2020 → GPS-карта октябрь 2025 → 02:50
• Утро: 04:00 сброс MME → 04:20 шторм тревог → 12:12 восстановление
• Механизм: NTP голосует за согласие, а не за правдоподобность
• git blame — Telstra 55 · пиринг 25 · прошивка 15 · блок питания 5

Переведенная стенограмма

Переведено с оригинального английского повествования. Доступные аудио и субтитры контролируются YouTube.

GPS-карта просыпается в ноябре 2006 года

0:00 Инженер в Мельбурне включает шасси синхронизации без десяти три ночи, и к завтраку крупнейшая мобильная сеть Австралии соглашается, что сейчас ноябрь две тысячи шестого года. Внешний отчёт Telstra говорит, что дата покинула одну GPS-карту, и вся сеть проголосовала за неё. Почти девять миллионов клиентов теряют звонки, текстовые сообщения или данные, а региональные поезда Виктории останавливаются на весь день. Как это произошло, почему одна карта превзошла национальные часы,

0:23 и кто виноват. Это The Daily Diff, посмертный анализ.

Хронология: дизайн 2010 → шасси 2020 → GPS-карта октябрь 2025 → 02:50

0:28 Две тысячи десятый год. Дизайн безупречен. Три национальных источника времени питают два сервера, они питают три ниже, и каждый узел берёт время только сверху. Аудиторы называют его пригодным для использования. Две тысячи двадцатый год. Новое шасси. Оно не может питать свой собственный нижний сервер, поэтому Сидней и Мельбурн перекрестно подключены, и каждый узел остаётся с одним эталонным источником. Затем всё переключается на пиринг, где любой сервер может брать время от любого

0:50 сервера, который он найдёт. Слова «петля синхронизации» не появляются ни в одном документе. Октябрь две тысячи двадцать пятого года. Мельбурн постоянно теряет Сидней, и его тревоги показывают stratum пять, что означает, что он берёт время от своих собственных клиентов. Никто не заводит тикет. Вместо этого инженеры включают GPS-карту, которая простаивала пять лет. Тревоги прекращаются.

1:07 Мельбурн теперь stratum один, ранг национального института, и никто это не проверяет. Восьмое июля, два пятьдесят утра. Требуется замена блока питания, поэтому шасси перезагружается, и GPS-карта вместе с ним. Её прошивка никогда не обновлялась, поэтому она выбирает старую эпоху и переносится на тысячу двадцать четыре недели в прошлое. Мельбурн находится на вершине дерева, и нижестоящие начинают соглашаться.

Утро: 04:00 сброс MME → 04:20 шторм тревог → 12:12 восстановление

1:26 Четыре утра, узлы хэндовера начинают сбрасываться. Четыре двадцать, шторм тревог, на платформе, чьи тревоги считываются в рабочее время. Четыре двадцать девять, Telstra замечает, потому что клиенты гуглят «Telstra outage». Инженеры, которые делали изменения, находятся на обязательном отдыхе, и поиск даты занимает часы. К двенадцати двенадцати большинство клиентов снова в сети.

Механизм: NTP голосует за согласие, а не за правдоподобность

1:47 Почему это было возможно? У NTP есть две защиты. Побеждает нижний stratum, и выбросы исключаются голосованием. GPS-карта сделала сломанный источник наивысшим рангом, и каждый источник, который мог бы не согласиться, находился ниже, повторяя его. NTP никогда не спрашивает, правдоподобна ли дата, только согласны ли другие. Протокол работал.

2:06 Архитектура — нет.

git blame — Telstra 55 · пиринг 25 · прошивка 15 · блок питания 5

2:07 git blame. Telstra, пятьдесят пять процентов. Никто не отвечал за часы, поэтому никто не проверял изменения, и два бюллетеня поставщика об этой точной ошибке остались непрочитанными. Режим пиринга, двадцать пять, за то, что позволяет серверам голосовать своим собственным эхом. Прошивка, пятнадцать, опубликована, но так и не установлена. Пять процентов блоку питания, за то, что он выбрал без десяти три в среду. Радиус поражения. Сорок пять процентов всех звонков и сеансов данных в тот день,

Радиус поражения: 45% сеансов, штраф 30 млн долларов за коробку в 30 тыс. долларов

2:30 говорит генеральный директор Сенату. Штраф составляет тридцать миллионов долларов, за бесплатное обновление, отсутствующее в коробке за тридцать тысяч долларов. Карта пережила реальное переполнение в две тысячи девятнадцатом году, потому что никто её не выключал. Ремонт её убил. Вердикт, посмертный анализ: SHIP IT, по реакции.

Вердикт + строка понедельника: одни часы с тремя шляпами

2:46 Telstra нанимает внешних аудиторов, публикует отчёт без изменений, с заявлением, что она никогда не считала время критически важным, и переносит все три узла со старых серверов до того, как это произойдёт. Строка понедельника: запустите трассировку NTP и посчитайте, сколько из ваших источников времени - это одни часы в трёх ипостасях. Пришлите мне инцидент, о котором вам до сих пор не разрешено говорить, в комментариях или на thedailydiff.dev. И это на сегодня всё.

3:10 Я Нико из Axrisi. Объединяйте ответственно.

Источники

1. Technology Audit Partners, "Findings Report on the July 8th Telstra Outage" (published by Telstra, Sep 2, 2026)www.telstra.com.au
2. Vicki Brady (Telstra CEO), "What we've learned from the external investigation of our July outage" (Sep 2, 2026)www.telstra.com.au
3. Netnod, Sven-Christian Ebenhag, "Telstra outage: The night a network decided the year was 2006" (Sep 17, 2026)www.netnod.se
4. Hacker News on the Netnod post (93 points)news.ycombinator.com
5. The Guardian, Senate inquiry: 45 % of sessions, ~9M customers, 604 Triple Zero errors (Jul 17, 2026)www.theguardian.com
6. ABC News, "Telstra recently warned about timing issue linked to national outage" (Jul 10, 2026)www.abc.net.au
7. The Register, the day itself (Jul 8, 2026)www.theregister.com
8. ACS Information Age, the $30,000 box and the $30M fine (Jul 14, 2026)ia.acs.org.au