工程師刪除了 GitLab 的正式運行資料庫,300 GB 資料消失殆盡。
UTC 時間 2017 年 1 月 31 日 23:27:一位 GitLab 工程師在漫長夜晚的盡頭,為了解決損壞的副本問題,卻誤將 db1(主要資料庫)上的 PostgreSQL 資料目錄刪除,而不是 db2。
UTC 時間 2017 年 1 月 31 日 23:27:一位 GitLab 工程師在漫長夜晚的盡頭,為了解決損壞的副本問題,卻誤將 db1(主要資料庫)上的 PostgreSQL 資料目錄刪除,而不是 db2。 GitLab.com 約 300 GB 的資料庫在短短一兩秒內消失,而五種備份和複製機制皆失效。事後剖析:從垃圾郵件高峰到錯誤的主機名稱,pg_basebackup 看起來卡住的原因,pg_dump 無法靜默執行(在 9.6 資料庫上使用 9.2 二進位檔案,且 DMARC 導致失敗電子郵件被退回),以及從 6 小時前預備環境快照恢復的 18 小時過程在 YouTube 上直播,還有誰該為此負責。對應變措施的判斷:SHIP IT。
本影片重點
- 2017 年 1 月 31 日:在主要資料庫的資料目錄上執行 rm -Rvf;約 300 GB 資料被移除,剩下 4.5 GB。
- 五個備份中有五個失效:S3 儲存桶為空(pg_dump 版本不匹配)、資料庫沒有 Azure 快照、副本被清除、每日 LVM 複製沒有網路掛鉤。
- UTC 時間 2 月 1 日 18:00:GitLab.com 從 6 小時前的手動快照恢復;附有修復清單的即時文件、即時串流、無責事後剖析。
問題與解答
2017 年 GitLab.com 生產資料庫刪除事件發生了什麼?
2017年1月31日晚間,一名 GitLab 工程師在嘗試修復損壞的副本時,不慎在 db1 上而非 db2 上移除了 PostgreSQL 資料目錄。db1 是主要資料庫。約 300 GB 的資料中,僅剩 4.5 GB。GitLab 在推特上表示他們意外刪除了生產資料,公開了事故筆記,並在 YouTube 上直播了恢復過程。
為什麼 GitLab 的五種備份和複製機制在需要時都失效了?
根據 GitLab 的事後剖析,每日 pg_dump 到 S3 失敗的原因是 cron 作業為 9.6 資料庫選取了 PostgreSQL 9.2 二進位檔案,且其失敗電子郵件因缺少 DMARC 而被退回。Azure 快照覆蓋了檔案伺服器,但未覆蓋資料庫。副本是特意清除的,每日快照的網路掛鉤也被移除。只有為不相關測試而手動建立的快照倖存下來。
為什麼恢復 GitLab.com 花了大約十八小時?
恢復意味著以每秒 60 兆位元的速度透過 Azure 的廉價儲存將預備磁碟複製回生產環境,這花了十八小時。GitLab.com 於 UTC 時間 2 月 1 日 18:00 恢復,使用了六小時前的手動快照。根據本集節目,此次中斷導致六小時的資料、大約五千個專案、五千條評論和七百個新用戶的損失。
為什麼無責事後剖析側重於流程而不是執行命令的工程師?
由執行長簽署的 GitLab 事後剖析讓該工程師保持匿名,並將失敗歸因於兩個僅差一個字元的主機名稱以及五個從未有人恢復過的備份系統。它將生產提示標為紅色,並為資料持久性指定了負責人,因為在此之前它沒有負責人。修復清單附帶問題編號發布。
團隊應該從 GitLab 的資料庫事件中學到什麼,以及 GitLab 的應變措施是否合理?
The Daily Diff 的判斷是 SHIP IT,就應變措施而言。GitLab 公開處理此事件,將責任歸咎於流程,並發布了附帶問題編號的修復清單。本集節目中的週一行動是恢復備份,因為從未恢復過的備份不能算作備份。Hacker News 給予即時事件文件 1,162 分。
翻譯文字稿
譯自英文原版旁白。可用的音訊和字幕由 YouTube 控制。
0:00 GitLab 的一位工程師在錯誤的資料庫伺服器上執行了 rm -rf 指令, GitLab.com 的三百 GB 資料在短短一兩秒內消失, 這大約是一兩秒鐘內閱讀一個主機名稱所需的時間。 2017 年 1 月 31 日晚上 11 點 27 分, UTC 時間。GitLab 發推文表示意外刪除了生產資料, 向網路公開其事故記錄,並在 YouTube 上直播恢復過程, 成為該平台第二大的直播。 隔天,書面記錄顯示:在五種備份技術中,
0:25 沒有一種可靠地運作。 它如何發生,為什麼會發生,以及誰該為此負責。 這是 The Daily Diff,事後剖析。 下午 5:20:一位工程師對生產環境進行快照, 以測試預備環境中的負載平衡器。 晚上 7 點:垃圾郵件攻擊資料庫,加上一個工作正在硬刪除被一名 巨魔舉報濫用的 GitLab 員工。 晚上 11 點:副本嚴重落後,以至於主要資料庫已丟棄了它所需的日誌;
0:48 唯一的解決辦法是清除副本並再次複製主要資料庫。 pg_basebackup 靜默地卡住,沒有任何輸出。 它實際上正在靜靜地等待主要資料庫;沒有人知道這一點, 操作手冊中也沒有說明。 這位原本打算在 11 點下班的工程師,認為空的資料目錄 是問題所在,於是將其刪除。 在 db1 上。主要資料庫。 他大約在一兩秒後注意到;大約三百 GB 的資料中,
1:11 剩下 4.5 GB。接下來是備份。 一:每日 pg_dump 到 S3。 儲存桶是空的。 cron 工作在沒有資料庫的應用程式伺服器上運行,因此該套件選擇了 用於 9.6 資料庫的 PostgreSQL 9.2 二進位檔案,導致失敗,並發送了 失敗電子郵件,但因缺少 DMARC 而被退回。 二:Azure 磁碟快照,已為檔案伺服器啟用, 但未為資料庫啟用。
1:32 三:副本,一小時前特意清除。 四:每日快照,24 小時前,所有網路掛鉤都已被 預備環境同步移除。五:下午 5:20 的手動快照,用於無關的測試。 這個快照成功了。 恢復意味著以每秒 60 兆位元的速度透過 Azure 廉價儲存將預備磁碟複製回生產環境: 需要十八小時。 GitLab.com 於 2 月 1 日下午 6 點恢復, UTC 時間,資料比最新狀態舊了六小時。
1:58 git blame:兩個主機名稱僅差一個字元,以及五個從未有人 恢復過的備份系統。 不是工程師的錯。 由執行長簽署的事後剖析讓這位工程師保持匿名, 將生產提示標為紅色,並為資料持久性指定了負責人, 因為在此之前它沒有負責人。 影響範圍:停機十八小時,六小時的資料遺失, 大約五千個專案,五千條評論,
2:18 七百個新用戶,以及五千人在觀看進度條。 Hacker News 給予即時文件 1,162 分,並引用了其中 一句話回覆他們:五個備份,一個也沒有。 事後剖析結論:就應變措施而言,SHIP IT。 他們公開處理此事故,將責任歸咎於流程,並發布了附帶問題編號的修復清單。 他們公開處理此事故,將責任歸咎於流程,並發布了附帶問題編號的修復清單。 週一行動:恢復備份。 如果你從未恢復過它,你就沒有備份。
2:42 在評論中或發送到 the dailydiff.dev, 告訴我你仍然不被允許談論的事件。 這就是今天的差異。 我是來自 Axrisi 的 Niko。 負責任地合併。
來源
- GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
- GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
- @gitlabstatus, "We accidentally deleted production data…"twitter.com
- @gitlabstatus, emergency maintenance noticetwitter.com
- Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
- Hacker News, the postmortem thread (377 points)news.ycombinator.com



