あるエンジニアがGitLabのプロダクションデータベースを削除しました。300ギガバイト。
2017年1月31日23:27 UTC:GitLabのエンジニアが、長い夜の終わりに壊れたレプリカと格闘する中で、db2ではなくdb1のPostgreSQLデータディレクトリを削除しました。
2017年1月31日23:27 UTC:GitLabのエンジニアが、長い夜の終わりに壊れたレプリカと格闘する中で、db2ではなくdb1のPostgreSQLデータディレクトリを削除しました。db1はプライマリです。GitLab.comのデータベース約300GBが1〜2秒で消失し、5つのバックアップおよびレプリケーションメカニズムのどれも機能していませんでした。事後分析:スパムの急増から間違ったホスト名までのタイムライン、pg_basebackupが停止しているように見えた理由、pg_dumpがサイレントに失敗していた理由(9.6データベース上の9.2バイナリ、DMARCによってバウンスされた失敗のメール)、YouTubeでライブストリーミングされた6時間前のステージングスナップショットからの18時間にわたる復元、そして誰が本当に責任を負うべきか。対応に関する評決:SHIP IT。
この動画の要点
- 2017年1月31日:プライマリのデータディレクトリでrm -Rvfを実行。約300GBが削除され、4.5GBが残る。
- 5つのバックアップのうち5つすべてが失敗:空のS3バケット(pg_dumpバージョン不一致)、DBにAzureスナップショットなし、レプリカ消去済み、ウェブフックなしの日次LVMコピー。
- 2月1日18:00 UTC:GitLab.comが6時間前の手動スナップショットから復元。ライブドキュメント、ライブストリーム、修正リスト付きの非難なし事後分析。
質疑応答
2017年のGitLab.com本番データベース削除事件では何が起こったのですか?
2017年1月31日遅く、GitLabのエンジニアが壊れたレプリカを修復しようとして、db2ではなくdb1からPostgreSQLデータディレクトリを削除しました。db1はプライマリでした。約300GBのうち、4.5GBが残りました。GitLabは誤って本番データを削除したとツイートし、インシデントメモを公開し、YouTubeで復旧の様子をライブ配信しました。
GitLabの5つのバックアップおよびレプリケーションメカニズムが、必要とされたときにどれも機能しなかったのはなぜですか?
GitLabの事後分析によると、S3への日次pg_dumpは、cronジョブが9.6データベースに対してPostgreSQL 9.2バイナリを選択していたため失敗しており、その失敗メールはDMARC不足のためバウンスされていました。Azureスナップショットはファイルサーバーをカバーしていましたが、データベースはカバーしていませんでした。レプリカは意図的にワイプされており、日次スナップショットはウェブフックが削除されていました。無関係なテストのために取得された手動スナップショットだけが残っていました。
GitLab.comの復元に約18時間かかったのはなぜですか?
復元には、Azureの安価なストレージ経由でステージングディスクを本番環境に秒間60メガビットでコピーし直す必要があり、それが18時間かかりました。GitLab.comは2月1日18:00 UTCに復旧しましたが、6時間前の手動スナップショットを使用しました。この停止により、エピソードによると、6時間分のデータ、約5,000のプロジェクト、5,000のコメント、700人の新規ユーザーが失われました。
非難なしの事後分析が、コマンドを実行したエンジニアではなくプロセスに焦点を当てるのはなぜですか?
CEOが署名したGitLabの事後分析では、エンジニアを匿名にし、失敗の原因を1文字だけ異なる2つのホスト名と、誰も復元したことのない5つのバックアップシステムに帰しました。本番プロンプトを赤色にし、データ永続性の責任者を任命しました。それまで誰もいなかったからです。修正リストは課題番号付きで公開されました。
GitLabのデータベースインシデントからチームは何を学ぶべきですか、またGitLabの対応は適切でしたか?
The Daily Diffの評決は、対応はSHIP ITでした。GitLabはインシデントを公開し、プロセスを非難し、課題番号付きの修正リストを公開しました。エピソードの月曜日の行動はバックアップを復元することです。なぜなら、一度も復元されたことのないバックアップはバックアップとして数えられないからです。Hacker Newsはライブインシデントドキュメントに1,162ポイントを与えました。
翻訳されたトランスクリプト
オリジナルの英語ナレーションから翻訳されています。利用可能なオーディオとキャプションはYouTubeによって管理されています。
0:00 GitLabのエンジニアが間違ったデータベースサーバーでrm -rfを実行し、 GitLab.comの300ギガバイトが1、2秒で消えました。 ホスト名を読み取るのにかかる時間と同じくらいです。 2017年1月31日、午後11時27分 UTC。GitLabは誤ってプロダクションデータを削除したとツイートし、 インシデントメモをインターネットに公開し、復旧をYouTubeでライブストリーミングしました。 プラットフォームで2番目に人気のあるライブストリームでした。 翌日、書面で:5つのバックアップ手法のうち、
0:25 どれも確実に機能していませんでした。 それがどのようにして起こったのか、なぜそれが可能だったのか、そして誰が実際に非難されるべきなのか。 これはThe Daily Diff、事後分析です。 午後5時20分:エンジニアが本番環境のスナップショットを取得します。 ステージング環境でロードバランサーをテストするためです。 午後7時:スパムがデータベースを攻撃し、GitLabの従業員を不正行為で通報した荒らしのジョブが強制的に削除されます。 荒らしが報告した不正行為で。 午後11時:レプリカは、プライマリが必要とするログを既に破棄するほど遅れていました。
0:48 唯一の修正方法は、レプリカをワイプしてプライマリを再度コピーすることでした。 pg_basebackupは出力なしでハングアップします。 実際には、サイレントにプライマリを待機していました。誰もそれに気づかず、 ランブックにも記載されていませんでした。 午後11時に業務を終える予定だったエンジニアは、空のデータディレクトリが問題だと判断し、 それを削除しました。 db1上で。プライマリです。 彼は1、2秒後に気づきました。約300ギガバイトのうち、
1:11 4.5ギガバイトが残っていました。バックアップです。 1つ目:毎日S3にpg_dump。 バケットは空でした。 cronジョブはデータベースのないアプリケーションサーバーで実行されるため、パッケージは 9.6データベース用のPostgreSQL 9.2バイナリを選択し、失敗し、失敗メールを送信します。 DMARCが不足しているため、そのメールはバウンスされました。 2つ目:Azureディスクスナップショット、ファイルサーバー向けに有効化されていましたが、 データベース向けではありませんでした。
1:32 3つ目:レプリカ、1時間前に意図的にワイプされました。 4つ目:24時間前の日次スナップショット、ステージング同期によってすべてのウェブフックが削除されました。 5つ目:午後5時20分の手動スナップショット、無関係なテスト用。 それが勝利しました。 復元とは、ステージングディスクをAzureの安価なストレージ経由で秒間60メガビットで本番環境にコピーし直すことでした。18時間かかりました。 ステージングディスクをAzureの安価なストレージ経由で秒間60メガビットで本番環境にコピーすることでした。18時間かかりました。 GitLab.comは2月1日午後6時 UTCに復旧しましたが、データは6時間古くなっていました。
1:58 git blame:1文字だけ異なる2つのホスト名と、誰も復元したことのない5つのバックアップシステム。 誰も復元したことのない5つのバックアップシステム。 エンジニアではありません。 CEOが署名した事後分析では、彼を匿名にし、 本番プロンプトを赤色にし、データ永続性の責任者を任命しました。 それまで誰もいなかったからです。 被害範囲:18時間停止、6時間分のデータ消失、 約5000のプロジェクト、5000のコメント、
2:18 700人の新規ユーザー、そして5000人が進捗バーを見守っていました。 Hacker Newsはライブドキュメントに1,162ポイントを与え、 「5つのバックアップのうち、なし」という1行を引用しました。 評決、事後分析:対応はSHIP IT。 彼らはインシデントを公開し、プロセスを非難し、修正リストを 課題番号付きで公開しました。 月曜日の行動:バックアップを復元する。 一度も復元したことがなければ、バックアップは持っていないのと同じです。
2:42 まだ話すことを許されていないインシデントをコメントで、 またはthedailydiff.devまでお送りください。 今日のdiffはこれでおしまいです。 Axrisiのニコーです。 責任を持ってマージしてください。
情報源
- GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
- GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
- @gitlabstatus, "We accidentally deleted production data…"twitter.com
- @gitlabstatus, emergency maintenance noticetwitter.com
- Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
- Hacker News, the postmortem thread (377 points)news.ycombinator.com



