+− THE DAILY DIFFdev & AI news
SHIP IT

一位工程師刪除了 GitLab 的生產數據庫。300 GB。

2017 年 1 月 31 日,世界標準時間 23:27:一位 GitLab 工程師在漫長夜晚的盡頭,為了解決一個損壞的副本問題,在 db1 而不是 db2 上移除了 PostgreSQL 數據目錄。

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

2017 年 1 月 31 日,世界標準時間 23:27:一位 GitLab 工程師在漫長夜晚的盡頭,為了解決一個損壞的副本問題,在 db1 而不是 db2 上移除了 PostgreSQL 數據目錄。db1 是主數據庫。大約 300 GB 的 GitLab.com 數據庫在一兩秒鐘內消失了,而且五個備份和複製機制中,沒有一個在工作。事後分析:從垃圾郵件高峰到錯誤主機名的時間線,為什麼 pg_basebackup 看起來卡住了,為什麼 pg_dump 悄悄地失敗了(9.2 二進制文件在 9.6 數據庫上運行,失敗電子郵件被 DMARC 彈回),從 6 小時前的暫存快照進行的 18 小時恢復在 YouTube 上直播,以及誰真正應該受到指責。對回應的評價:SHIP IT。

閱讀書面版本(英文) ↗

本影片涵蓋的內容

  • 2017 年 1 月 31 日:在主數據庫的數據目錄上執行 rm -Rvf;移除了約 300 GB,剩下 4.5 GB
  • 5 個備份中有 5 個失敗:空的 S3 儲存桶(pg_dump 版本不匹配)、數據庫上沒有 Azure 快照、被清除的副本、沒有 webhooks 的每日 LVM 複製
  • 2 月 1 日,世界標準時間 18:00:GitLab.com 從 6 小時前的手動快照恢復;實時文檔、實時流、包含修復列表的無責事後分析

問題與解答

2017 年 GitLab.com 生產數據庫刪除事件發生了什麼?

2017年1月31日深夜,一位GitLab工程師嘗試修復一個損壞的副本時,不慎將db1而非db2上的PostgreSQL數據目錄刪除。db1是主要的。在大約300 GB的數據中,只剩下4.5 GB。GitLab在Twitter上表示他們意外刪除了生產數據,公開了事故筆記並在YouTube上直播了恢復過程。

about.gitlab.com · about.gitlab.com · twitter.com

為什麼 GitLab 的五個備份和複製機制在需要時都無法工作?

根據 GitLab 的事後分析,每日 pg_dump 到 S3 失敗是因為 cron 作業為 9.6 數據庫選擇了 PostgreSQL 9.2 二進制文件,並且其失敗電子郵件因缺少 DMARC 而被彈回。Azure 快照覆蓋了文件服務器,但未覆蓋數據庫。副本被故意清除,每日快照的 webhooks 被剝離。只有一個為不相關測試而手動拍攝的快照倖存下來。

about.gitlab.com · about.gitlab.com

為什麼恢復 GitLab.com 花了大約十八小時?

恢復意味著以每秒六十兆比特的速度,通過 Azure 廉價存儲將暫存磁盤複製回生產環境,這花了十八小時。GitLab.com 於 2 月 1 日世界標準時間 18:00 恢復,使用了六小時前的手動快照。根據該事件,停機造成了六小時的數據丟失,大約五千個項目、五千條評論和七百個新用戶。

about.gitlab.com · about.gitlab.com

為什麼無責事後分析著重於流程而非運行命令的工程師?

由 CEO 簽署的 GitLab 事後分析讓該工程師保持匿名,並將失敗歸因於兩個只差一個字符的主機名,以及五個從未有人恢復過的備份系統。它將生產提示符號著色為紅色,並為數據持久性指定了負責人,因為之前沒有。修復列表已發布並帶有問題編號。

about.gitlab.com · news.ycombinator.com

團隊應該從 GitLab 的數據庫事件中吸取什麼教訓,GitLab 的回應是否得當?

The Daily Diff 對回應的裁決是 SHIP IT。GitLab 公開處理事件,歸咎於流程,並發布了帶有問題編號的修復列表。該事件的星期一行動是恢復備份,因為從未恢復過的備份不能算作備份。Hacker News 給了實時事件文檔 1,162 分。

about.gitlab.com · news.ycombinator.com

翻譯的文字記錄

從英文原文旁白翻譯。可用的音頻和字幕由 YouTube 控制。

0:00 GitLab 的一位工程師在錯誤的數據庫服務器上運行了 rm -rf, GitLab.com 的三百 GB 在一兩秒鐘內消失了, 大約是讀取一個主機名的時間。 2017 年 1 月 31 日晚上 11:27, 世界標準時間。GitLab 發推文說它意外地刪除了生產數據, 將其事件筆記向互聯網公開,並在 YouTube 上直播恢復過程, 成為該平台上第二受歡迎的直播。 第二天,書面記錄:五種備份技術中,

0:25 沒有一個能夠可靠地工作。 它是如何發生的,為什麼會發生,以及誰真正應該受到指責。 這是 The Daily Diff,事後分析。 下午 5:20:一位工程師對生產環境進行快照, 以測試暫存環境中的負載均衡器。 晚上 7 點:垃圾郵件轟炸數據庫,還有一個任務硬刪除了一名 GitLab 員工,該員工被 一名巨魔舉報濫用。 晚上 11 點:副本落後太多,主數據庫已經丟棄了

0:48 它需要的日誌;唯一的解決辦法是清除副本並再次複製主數據庫。 pg_basebackup 停滯不前,沒有任何輸出。 它實際上正在靜靜地等待主數據庫;沒有人知道這一點, 操作手冊也沒有說明。 這位工程師原打算在 11 點簽退,他認為空的數據目錄 是問題所在,於是將其刪除。 在 db1 上。主數據庫。 他一兩秒鐘後就發現了;大約三百 GB 中,

1:11 剩下 4.5 GB。備份。 一:每日 pg_dump 到 S3。 儲存桶是空的。 cron 作業在沒有數據庫的應用服務器上運行,所以該程序包選擇了 用於 9.6 數據庫的 PostgreSQL 9.2 二進制文件,失敗了,並發送了 失敗的電子郵件,由於缺少 DMARC 而被彈回。 二:Azure 磁盤快照,為文件服務器啟用, 而不是數據庫。

1:32 三:副本,一小時前故意清除。 四:每日快照,24 小時前,所有 webhook 都被 暫存同步剝離。五:下午 5:20 的手動快照,用於不相關的測試。 這個成功了。 恢復意味著以每秒六十兆比特的速度,通過 Azure 廉價的存儲,將暫存磁盤複製回生產環境: 需要十八小時。 GitLab.com 於 2 月 1 日下午 6 點恢復, 世界標準時間,數據舊了六小時。

1:58 git blame:兩個主機名只差一個字符,以及五個從未有人 恢復過的備份系統。 不是工程師的錯。 由 CEO 簽署的事後分析讓他保持匿名, 將生產提示符號著色為紅色,並為數據持久性賦予了負責人, 因為在此之前它沒有負責人。 影響範圍:停機十八小時,六小時數據丟失, 大約五千個項目,五千條評論,

2:18 七百個新用戶,以及五千人觀看進度條。 Hacker News 給了實時文檔 1,162 分,並引用了一 句話回敬他們:五個備份中,沒有一個。 裁決,事後分析:SHIP IT,關於回應。 他們公開處理事件,歸咎於流程,並發布了帶有問題編號的修復列表。 星期一行動:恢復備份。 如果你從未恢復過它,你就沒有備份。 如果你從未恢復過它,你就沒有備份。

2:42 將你仍然不被允許談論的事件發給我, 在評論中,或發送至 daily diff dot dev。 這就是今天的 diff。 我是 Axrisi 的 Niko。 負責任地合併。

來源

  1. GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
  2. GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
  3. @gitlabstatus, "We accidentally deleted production data…"twitter.com
  4. @gitlabstatus, emergency maintenance noticetwitter.com
  5. Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
  6. Hacker News, the postmortem thread (377 points)news.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

相關影片

postmortem · zh-HK · 2026年9月9日

一個 AI 刪除了生產資料庫。九秒。

一個 AI 編碼代理 (Cursor 運行 Claude Opus 4.6) 在測試環境中遇到憑證不符,並「修復」它,方法是使用它在不相關檔案中找到的帳戶範圍令牌在 Railway 上呼叫 volumeDelete。生產資料庫和所有磁碟區備份,九秒內消失。事後分析:時間線、確切的 curl、使其成為可能的三個架構事實(備份位於同一磁碟區、根範圍令牌、沒有儀表板 48 小時撤銷功能的 API),以及

3:23 ↗
postmortem · zh-HK · 2026年9月22日

重啟令 Telstra 倒退回 2006 年。九百萬部電話。

墨爾本的一名工程師在凌晨 2 時 50 分重啟計時機箱,到早餐時,澳洲最大的流動網絡竟以為是 2006 年 11 月。2026 年 7 月 8 日:Telstra NTP 機箱中的 GPS 卡在更換電源期間重啟,其韌體從未有 GPS 週數滾動更新,因此它選擇了舊的紀元,倒退了 1,024 週。由於 2025 年 10 月的變通方法使該卡成為網絡唯一的 stratum-1 來源 — 以及 2020

3:15 ↗
postmortem · zh-HK · 2026年9月19日

Google Cloud 在空白欄位當機。三小時。

一個帶有幾個空白欄位的策略行觸發了空指標,Google Cloud 立即在所有區域當機 — 然後 Cloudflare 也隨之故障。2025 年 6 月 12 日,世界標準時間 17:49:Service Control,一個批准所有 Google Cloud API 請求的二進位檔案,讀取了一個帶有「非預期空白欄位」的配額策略變更,觸發了兩週前發布但沒有空值檢查和功能旗標的程式碼路徑,並在所有區

2:57 ↗