postmortem · ja · 2026/09/25
1ミリ秒のバグで英国の航空交通が6時間停止
9月8日火曜日の午前10時、NATSの国家空域システム（NAS）内で通常のスコークコード要求が、値の更新途中に優先度の高いメッセージによって中断された。露出ウィンドウは約1ミリ秒。要求は誤ったまま再開され、フライトデータが破損し、午後7時30分までに2,000便以上の英国発着便が遅延、欠航、または目的地変更となった。
3:06 ↗ソフトウェアの障害と事後分析
停止の背後にある展開、インフラストラクチャの障害、エンジニアリングの決定を研究してください。これらのエピソードでは、インシデント情報源によって裏付けられた障害メカニズム、復旧の決定、教訓を説明します。
postmortem · ja · 2026/09/22
再起動でテルストラは2006年に逆戻り。900万台の電話が影響。
メルボルンのエンジニアが午前2時50分にタイミングシャーシの電源を入れ直したところ、朝食の時間までにはオーストラリア最大のモバイルネットワークが「今は2006年11月である」と認識する事態に。2026年7月8日、テルストラのNTPシャーシ内のGPSカードが電源修理中に再起動し、ファームウェアにはGPS週数ロールオーバーのアップデートが一度も適用されていなかったため、古いエポックを選択し、1,024
3:15 ↗
postmortem · ja · 2026/09/19
Google Cloudが空白フィールドでクラッシュ。3時間。
空白のフィールドを含むポリシ行がヌルポインタにヒットし、Google Cloudはすべてのリージョンで一度にクラッシュしました。その後、Cloudflareもダウンしました。2025年6月12日、17:49 UTC: すべてのGoogle Cloud APIリクエストを承認するバイナリであるService Controlが、「意図しない空白フィールド」を含むクォータポリシの変更を読み込み、2週間前
2:57 ↗
postmortem · ja · 2026/09/17
Dependabotのバンプがワームを公開。22パッケージ。
ボットがプルリクエストを開き、人間が24分後にマージする。その95分後、ワームはCIで見つけたトークンを使って、彼の名前で、彼の22のnpmパッケージの悪意のあるバージョンを110個公開した。
3:04 ↗
postmortem · ja · 2026/09/16
Facebookがインターネットから消滅。6時間。
Facebookはインターネットから自社のアドレスを削除し、エンジニアがそれを元に戻しに到着しても、バッジリーダーもダウンしていました。なぜなら、それらはFacebook上で動作していたからです。2021年10月4日、15:40 UTC：日常的なバックボーンメンテナンスコマンドが、Facebookのデータセンター間のすべてのリンクをダウンさせました。それをブロックするために構築された監査ツールには
3:01 ↗
postmortem · ja · 2026/09/15
Rustクレートがコンパイル時にマルウェアを実行。86分。
2億6千万ダウンロードされた4マクロのRustクレートが依存関係を1つ追加し、`cargo build`があなたのマシン上で見知らぬバイナリを実行しました。2026年8月20日: arrayref 0.3.10がcrates.ioに公開され、proc-macro1（本物のproc-macro2ではない）に依存。そのビルドスクリプトはペイロードをダウンロードし、/tmp/rust-setupにドロッ
3:09 ↗
postmortem · ja · 2026/09/14
1つの余分なフィールドで850万台のPCがクラッシュ。78分。
2024年7月19日 04:09 UTC: CrowdStrikeは、Rapid Response ContentアップデートであるChannel File 291を、オンラインの全Windows Falconセンサーにプッシュします。それが供給するテンプレートは、2月に21個の入力フィールドで宣言されましたが、入力を供給するコードは20個の配列を作成します。4ヶ月間、どのルールもフィールド21を
2:52 ↗
postmortem · ja · 2026/09/13
JavaScriptの11行がインターネットを破壊。アンパブリッシュは1回。
2016年3月22日21:30 UTC：開発者が彼のnpmパッケージ273個すべてをアンパブリッシュした。これは、npmがパッケージ名「kik」をメッセージングアプリのKikに渡した後のことである。Kikの特許代理人は「弁護士がお前のドアを叩く」と脅していた。273個のうちの1つがleft-padである。これは文字列の前にスペースを入れる11行のコードで、月に250万回ダウンロードされていた。数分
2:52 ↗
postmortem · ja · 2026/09/12
正規表現がCloudflareをダウンさせた。27分間。
2019年7月2日13時42分（UTC）：CloudflareのWebアプリケーションファイアウォール（WAF）に新しいルールが180以上の都市で約2秒で適用されました。これはシミュレートモードのXSSルールであり、何もブロックしませんが、すべてのリクエストで実行され、末尾は.*(?:.*=.*)となっています。PCREはバックトラックし、HTTPを処理するすべてのCPUコアが100%に達し、Cl
3:00 ↗
postmortem · ja · 2026/09/11
8台のサーバーのうち7台へのデプロイにより4億6000万ドルを損失。45分。
2012年8月1日、午前9時30分（米国東部標準時）：米国株式取引全体の約10分の1を担うマーケットメーカーであるナイト・キャピタルは、8台あるSMARSサーバーのうち7台に新しい注文ルーティングコードをデプロイした。残りの1台は、新しい機能が再利用するまさにそのフラグの背後で、2003年に廃止された「Power Peg」コードをまだ実行していた。45分間、それは止まらない子注文を送り続けた。40
2:52 ↗
postmortem · ja · 2026/09/10
GitLabのプロダクションデータベースがエンジニアによって削除されました。300ギガバイト。
2017年1月31日23:27 UTC: GitLabのエンジニアは、長い夜の終わりに壊れたレプリカと格闘し、db2の代わりにdb1のPostgreSQLデータディレクトリを削除しました。db1はプライマリでした。GitLab.comのデータベース約300GBが1〜2秒で消滅し、5つのバックアップおよびレプリケーションメカニズムのいずれも機能していませんでした。事後分析: スパイクから間違ったホス
2:53 ↗
postmortem · ja · 2026/09/09
AIが本番データベースを削除。9秒。
AIコーディングエージェント（Claude Opus 4.6を実行するCursor）がステージング環境で認証情報の不一致に遭遇し、無関係なファイルで見つけたアカウントスコープのトークンを使ってRailwayでvolumeDeleteを呼び出すことでそれを「修正」しました。本番データベースとすべてのボリュームバックアップが9秒で消滅。事後分析：タイムライン、正確なcurlコマンド、これを可能にした3
3:23 ↗