+− THE DAILY DIFFdev & AI news
SHIP IT

再起動でテルストラは2006年に逆戻り。900万台の電話が影響。

メルボルンのエンジニアが午前2時50分にタイミングシャーシの電源を入れ直したところ、朝食の時間までにはオーストラリア最大のモバイルネットワークが「今は2006年11月である」と認識する事態に。

メルボルンのエンジニアが午前2時50分にタイミングシャーシの電源を入れ直したところ、朝食の時間までにはオーストラリア最大のモバイルネットワークが「今は2006年11月である」と認識する事態に。2026年7月8日、テルストラのNTPシャーシ内のGPSカードが電源修理中に再起動し、ファームウェアにはGPS週数ロールオーバーのアップデートが一度も適用されていなかったため、古いエポックを選択し、1,024週前の日付に逆戻りしました。2025年10月の回避策により、そのカードがネットワーク唯一のストラタム1ソースとなり、2020年にNTPピアリングに切り替えたことで、他のすべてのソースはその下流に位置していたため、誤った日付が採用されてしまいました。午前4時からハンドオーバーノードがリセットされ、全通話およびデータセッションの45%が影響を受け、約900万人の顧客が通話、テキスト、またはデータを失い、604件のトリプルゼロ通話でエラーが発生し、ビクトリア州の地域列車が停止し、ほとんどのサービスは12時12分に復旧しました。テルストラの自社アラームは営業時間中に確認されるプラットフォーム上にあり、同社は顧客が「Telstra outage」をGoogle検索していることで事態に気づきました。

書面版を読む(英語) ↗

この動画の要点

  • GPSカードが2006年11月に目を覚ます
  • タイムライン:2010年設計 → 2020年シャーシ → 2025年10月GPSカード → 02:50
  • 午前中:04:00 MMEリセット → 04:20 アラーム嵐 → 12:12 復旧
  • メカニズム:NTPは妥当性ではなく合意で投票する
  • git blame — テルストラ 55 · ピアリング 25 · ファームウェア 15 · 電源 5

翻訳されたトランスクリプト

オリジナルの英語ナレーションから翻訳されています。利用可能なオーディオとキャプションはYouTubeによって管理されています。

GPSカードが2006年11月に目を覚ます

0:00 メルボルンのエンジニアが午前 2時50分にタイミングシャーシの電源を入れ直すと、朝食の時間までにオーストラリア最大のモバイルネットワークは 2006年11月であると認識しました。 テルストラの外部報告書によると、その日付は1枚のGPSカードによってもたらされ、ネットワーク全体が それに投票しました。 約900万人の顧客が通話、テキスト、またはデータを失い、 ビクトリア州の地域列車は終日停止しました。 なぜこのような事態が起こったのか、なぜ1枚のカードが国の時計よりも優先されたのか、

0:23 そして誰が責任を負うのか。 これはThe Daily Diff、事後検証です。

タイムライン:2010年設計 → 2020年シャーシ → 2025年10月GPSカード → 02:50

0:28 2010年。設計は教科書通りです。 3つの国家時刻ソースが2つのサーバーに供給し、それらが下の3つに供給し、 すべてのノードは上からのみ時刻を取得します。 監査人はこれを「目的に適合している」と評価します。 2020年。新しいシャーシ。 自身の下位サーバーに供給できないため、シドニーとメルボルンは相互接続され、 各サイトは1つの参照に依存するようになります。 その後、すべてはピアリングに切り替えられ、どのサーバーでも見つけた任意のサーバーから時刻を

0:50 取得できるようになります。 「タイミングループ」という言葉はどの文書にも登場しません。 2025年10月。 メルボルンはシドニーを見失い続け、アラームはストラタム5を示します。 これは、自身の顧客から時刻を取得していることを意味します。 誰もチケットを起票しません。 代わりにエンジニアは、5年間アイドル状態だったGPSカードの電源を入れます。 アラームは停止します。

1:07 メルボルンは現在ストラタム1、国立機関と同等のランクですが、 誰もそれをレビューしません。 7月8日、午前2時50分。 電源の交換が必要となり、シャーシが再起動し、 GPSカードも一緒に再起動します。 ファームウェアは一度も更新されていなかったため、古いエポックを選択し、1024週前の 日付に逆戻りします。 メルボルンはツリーのトップに位置し、下流はそれに従い始めます。

午前中:04:00 MMEリセット → 04:20 アラーム嵐 → 12:12 復旧

1:26 午前4時、ハンドオーバーノードがリセットを開始します。 午前4時20分、アラーム嵐。アラームは営業時間中に読み取られるプラットフォームで発生します。 午前4時29分、テルストラは気づきます。顧客が「Telstra outage」と検索しているためです。 変更を行ったエンジニアは強制休憩中であり、日付を特定するのに何時間もかかります。 午後12時12分までにほとんどの顧客が復旧します。 午後12時12分までにほとんどの顧客が復旧しました。

メカニズム:NTPは妥当性ではなく合意で投票する

1:47 なぜそれが可能だったのか? NTPには2つの防御機能があります。 下位のストラタムが勝ち、外れ値は除外されます。 GPSカードは破損したソースを最高のランクにし、 異議を唱える可能性のあるすべてのソースはその下流に位置し、 それを繰り返しました。NTPは日付が妥当かどうかを尋ねることはなく、 他のソースが同意するかどうかを尋ねるだけです。 プロトコルは機能しました。

2:06 アーキテクチャは機能しませんでした。

git blame — テルストラ 55 · ピアリング 25 · ファームウェア 15 · 電源 5

2:07 git blame。テルストラ、55%を占めます。 誰も時計の所有者ではなかったため、誰も変更をレビューせず、 この正確なバグに関する2つのベンダーの告知は未読のままでした。 ピアリングモード、25%。サーバーが自身の反響で投票することを許したため。 ファームウェア、15%。公開されたものの、インストールされませんでした。 電源に5%。水曜日の午前2時50分を選んだため。 影響範囲。その日の全通話およびデータセッションの45%が影響を受けたと、

影響範囲:セッションの45%、3万ドルの箱に3000万ドルの罰金

2:30 CEOは上院に語りました。 課された罰金は3000万ドル。3万ドルの箱に欠けていた無料のアップデートのためです。 3万ドルの箱から失われた無料アップデートに対して3000万ドルの罰金が科せられました。 そのカードは2019年の実際のロールオーバーを生き延びました。誰も電源を 切らなかったからです。修理がそれを殺しました。 評決、事後検証:SHIP IT(対応については)。

評決と月曜日の教訓:3つの役割を果たす1つの時計

2:46 テルストラは外部監査人を雇い、報告書を無修正で公開し、 時刻を重要視したことがないという記述を含め、 問題が発生する前に3つのサイトすべてを古いサーバーから移行させました。 月曜日の教訓:NTPトレースを実行し、あなたの時刻ソースのうち、3つの役割を果たす1つの 時計がいくつあるか数えてみましょう。 あなたがまだ話すことを許されていないインシデントを、 コメント欄、またはthedailydiff.devまでお送りください。 本日のdiffは以上です。

3:10 Axrisiのニコアです。 責任を持ってマージしてください。

情報源

  1. Technology Audit Partners, "Findings Report on the July 8th Telstra Outage" (published by Telstra, Sep 2, 2026)www.telstra.com.au
  2. Vicki Brady (Telstra CEO), "What we've learned from the external investigation of our July outage" (Sep 2, 2026)www.telstra.com.au
  3. Netnod, Sven-Christian Ebenhag, "Telstra outage: The night a network decided the year was 2006" (Sep 17, 2026)www.netnod.se
  4. Hacker News on the Netnod post (93 points)news.ycombinator.com
  5. The Guardian, Senate inquiry: 45 % of sessions, ~9M customers, 604 Triple Zero errors (Jul 17, 2026)www.theguardian.com
  6. ABC News, "Telstra recently warned about timing issue linked to national outage" (Jul 10, 2026)www.abc.net.au
  7. The Register, the day itself (Jul 8, 2026)www.theregister.com
  8. ACS Information Age, the $30,000 box and the $30M fine (Jul 14, 2026)ia.acs.org.au

関連動画

postmortem · ja · 2026/09/25

1ミリ秒のバグで英国の航空交通が6時間停止

9月8日火曜日の午前10時、NATSの国家空域システム(NAS)内で通常のスコークコード要求が、値の更新途中に優先度の高いメッセージによって中断された。露出ウィンドウは約1ミリ秒。要求は誤ったまま再開され、フライトデータが破損し、午後7時30分までに2,000便以上の英国発着便が遅延、欠航、または目的地変更となった。

3:06 ↗
postmortem · ja · 2026/09/19

Google Cloudが空白フィールドでクラッシュ。3時間。

空白のフィールドを含むポリシ行がヌルポインタにヒットし、Google Cloudはすべてのリージョンで一度にクラッシュしました。その後、Cloudflareもダウンしました。2025年6月12日、17:49 UTC: すべてのGoogle Cloud APIリクエストを承認するバイナリであるService Controlが、「意図しない空白フィールド」を含むクォータポリシの変更を読み込み、2週間前

2:57 ↗
postmortem · ja · 2026/09/16

Facebookがインターネットから消滅。6時間。

Facebookはインターネットから自社のアドレスを削除し、エンジニアがそれを元に戻しに到着しても、バッジリーダーもダウンしていました。なぜなら、それらはFacebook上で動作していたからです。2021年10月4日、15:40 UTC:日常的なバックボーンメンテナンスコマンドが、Facebookのデータセンター間のすべてのリンクをダウンさせました。それをブロックするために構築された監査ツールには

3:01 ↗
postmortem · ja · 2026/09/12

正規表現がCloudflareをダウンさせた。27分間。

2019年7月2日13時42分(UTC):CloudflareのWebアプリケーションファイアウォール(WAF)に新しいルールが180以上の都市で約2秒で適用されました。これはシミュレートモードのXSSルールであり、何もブロックしませんが、すべてのリクエストで実行され、末尾は.*(?:.*=.*)となっています。PCREはバックトラックし、HTTPを処理するすべてのCPUコアが100%に達し、Cl

3:00 ↗