Một kỹ sư đã xóa cơ sở dữ liệu sản xuất của GitLab. 300 gigabyte.
31 tháng 1 năm 2017, 23:27 UTC: một kỹ sư của GitLab, trong cuộc chiến với một bản sao bị hỏng vào cuối một đêm dài, đã xóa thư mục dữ liệu PostgreSQL trên db1 thay vì db2.
31 tháng 1 năm 2017, 23:27 UTC: một kỹ sư của GitLab, trong cuộc chiến với một bản sao bị hỏng vào cuối một đêm dài, đã xóa thư mục dữ liệu PostgreSQL trên db1 thay vì db2. db1 là bản chính. Khoảng 300 GB cơ sở dữ liệu của GitLab.com biến mất trong một hoặc hai giây, và trong số năm cơ chế sao lưu và nhân bản, không có cơ chế nào hoạt động. Báo cáo sự cố: dòng thời gian từ việc tăng đột biến thư rác đến sai tên máy chủ, tại sao pg_basebackup trông có vẻ bị kẹt, tại sao pg_dump lại lỗi thầm lặng (binaries 9.2 trên cơ sở dữ liệu 9.6, email lỗi bị DMARC từ chối), quá trình khôi phục 18 giờ từ một ảnh chụp nhanh môi trường thử nghiệm đã 6 giờ tuổi được phát trực tiếp trên YouTube, và ai thực sự phải chịu trách nhiệm. Đánh giá về phản hồi: SHIP IT.
Đọc phiên bản viết (tiếng Anh) ↗
Nội dung video này đề cập
- 31 tháng 1 năm 2017: rm -Rvf trên thư mục dữ liệu chính; ~300 GB bị xóa, còn lại 4.5 GB
- 5 trên 5 bản sao lưu thất bại: thùng S3 trống (lỗi phiên bản pg_dump), không có ảnh chụp nhanh Azure trên DB, bản sao bị xóa, bản sao LVM hàng ngày không có webhooks
- 1 tháng 2, 18:00 UTC: GitLab.com trở lại từ một ảnh chụp nhanh thủ công 6 giờ tuổi; tài liệu trực tiếp, phát trực tiếp, báo cáo sự cố không đổ lỗi với danh sách sửa lỗi
Câu hỏi và trả lời
Điều gì đã xảy ra trong vụ xóa cơ sở dữ liệu sản xuất của GitLab.com năm 2017?
Cuối ngày 31 tháng 1 năm 2017, một kỹ sư của GitLab khi cố gắng sửa một bản sao bị hỏng đã xóa thư mục dữ liệu PostgreSQL trên db1 thay vì db2. db1 là máy chủ chính. Trong số khoảng 300 GB, 4,5 GB còn lại. GitLab đã tweet rằng họ đã vô tình xóa dữ liệu sản xuất, công khai ghi chú sự cố của mình và phát trực tiếp quá trình khôi phục trên YouTube.
Tại sao không có cơ chế sao lưu và nhân bản nào trong số năm cơ chế của GitLab hoạt động khi cần thiết?
Theo báo cáo sự cố của GitLab, pg_dump hàng ngày lên S3 đã thất bại vì tác vụ cron chọn tệp nhị phân PostgreSQL 9.2 cho cơ sở dữ liệu 9.6, và email thông báo lỗi của nó bị trả lại vì thiếu DMARC. Ảnh chụp nhanh Azure chỉ bao gồm các máy chủ tệp chứ không phải cơ sở dữ liệu. Bản sao đã bị xóa có chủ đích, và ảnh chụp nhanh hàng ngày đã bị loại bỏ webhooks. Chỉ có một ảnh chụp nhanh thủ công, được thực hiện cho một thử nghiệm không liên quan, còn sót lại.
Tại sao quá trình khôi phục GitLab.com mất khoảng mười tám giờ?
Việc khôi phục có nghĩa là sao chép đĩa thử nghiệm trở lại sản xuất qua bộ lưu trữ giá rẻ của Azure với tốc độ sáu mươi megabit mỗi giây, mất mười tám giờ. GitLab.com trở lại vào ngày 1 tháng 2 lúc 18:00 UTC, sử dụng một ảnh chụp nhanh thủ công đã sáu giờ tuổi. Sự cố ngừng hoạt động đã làm mất sáu giờ dữ liệu, khoảng năm nghìn dự án, năm nghìn bình luận và bảy trăm người dùng mới, theo tập này.
Tại sao các báo cáo sự cố không đổ lỗi lại tập trung vào quy trình thay vì kỹ sư đã thực hiện lệnh?
Bản báo cáo sự cố của GitLab, được ký bởi CEO, đã giữ kín danh tính của kỹ sư và quy trách nhiệm thất bại cho hai tên máy chủ chỉ cách nhau một ký tự và năm hệ thống sao lưu không ai đã từng khôi phục từ đó. Nó đã tô đỏ dấu nhắc sản xuất và giao quyền sở hữu độ bền dữ liệu cho một người, vì trước đó nó chưa có ai. Danh sách sửa lỗi được công bố với các số vấn đề.
Các nhóm nên rút ra điều gì từ sự cố cơ sở dữ liệu của GitLab, và phản ứng của GitLab có hợp lý không?
Phán quyết của The Daily Diff là SHIP IT, về phản hồi. GitLab đã xử lý sự cố công khai, đổ lỗi cho quy trình và công bố danh sách sửa lỗi với các số vấn đề. Hành động vào thứ Hai của tập này là khôi phục một bản sao lưu, bởi vì một bản sao lưu chưa bao giờ được khôi phục không thể được coi là một bản sao lưu. Hacker News đã cho tài liệu sự cố trực tiếp 1.162 điểm.
Bản ghi đã dịch
Được dịch từ lời tường thuật tiếng Anh gốc. Âm thanh và phụ đề có sẵn được điều khiển bởi YouTube.
0:00 Một kỹ sư tại GitLab chạy rm -rf trên máy chủ cơ sở dữ liệu sai, và ba trăm gigabyte của GitLab.com biến mất trong một hoặc hai giây, khoảng thời gian cần để đọc một tên máy chủ. Ngày 31 tháng 1 năm 2017, 11:27 tối. UTC. GitLab tweet rằng họ đã vô tình xóa dữ liệu sản xuất, công khai ghi chú sự cố của mình lên internet, và phát trực tiếp quá trình khôi phục trên YouTube, đây là luồng trực tiếp thứ hai trên nền tảng này. Ngày hôm sau, bằng văn bản: trong số năm kỹ thuật sao lưu,
0:25 không có kỹ thuật nào hoạt động đáng tin cậy. Nó xảy ra như thế nào, tại sao nó lại có thể xảy ra, và ai thực sự phải chịu trách nhiệm. Đây là The Daily Diff, báo cáo sự cố. 5:20 chiều: một kỹ sư chụp ảnh sản xuất để kiểm tra một bộ cân bằng tải trong môi trường thử nghiệm. 7 giờ tối: thư rác tấn công cơ sở dữ liệu, cộng thêm một công việc xóa cứng một nhân viên GitLab mà một kẻ troll đã báo cáo vì lạm dụng. 11 giờ tối: bản sao bị tụt lại quá xa đến nỗi bản chính đã loại bỏ
0:48 nhật ký cần thiết; cách khắc phục duy nhất là xóa bản sao và sao chép bản chính một lần nữa. pg_basebackup bị treo không có đầu ra. Nó thực ra đang chờ đợi, một cách im lặng, bản chính; không ai biết điều đó, và quy trình không nói. Kỹ sư, người định nghỉ làm lúc mười một giờ, quyết định thư mục dữ liệu trống là vấn đề và xóa nó đi. Trên db1. Bản chính. Anh ấy nhận ra một hoặc hai giây sau; trong số khoảng ba trăm gigabyte,
1:11 còn lại 4.5. Các bản sao lưu. Một: pg_dump lên S3, hàng ngày. Thùng chứa trống. Tác vụ cron chạy trên một máy chủ ứng dụng không có cơ sở dữ liệu, vì vậy gói chọn các tệp nhị phân PostgreSQL 9.2 cho cơ sở dữ liệu 9.6, thất bại và gửi email thông báo lỗi, bị trả lại vì thiếu DMARC. Hai: ảnh chụp nhanh đĩa Azure, được bật cho máy chủ tệp, không phải cơ sở dữ liệu.
1:32 Ba: bản sao, bị xóa có chủ đích một giờ trước. Bốn: ảnh chụp nhanh hàng ngày, 24 giờ tuổi, mọi webhook đều bị loại bỏ bởi đồng bộ hóa môi trường thử nghiệm. Năm: ảnh chụp nhanh thủ công từ 5:20, cho một thử nghiệm không liên quan. Cái đó thắng. Khôi phục có nghĩa là sao chép đĩa thử nghiệm trở lại sản xuất qua bộ lưu trữ giá rẻ của Azure với tốc độ sáu mươi megabit mỗi giây: mười tám giờ. GitLab.com trở lại vào ngày 1 tháng 2 lúc sáu giờ chiều UTC, dữ liệu cũ hơn sáu giờ.
1:58 git blame: hai tên máy chủ chỉ cách nhau một ký tự, và năm hệ thống sao lưu không ai đã từng khôi phục từ đó. Không phải kỹ sư. Bản báo cáo sự cố, được ký bởi CEO, giữ kín danh tính của anh ấy, tô đỏ dấu nhắc sản xuất, và giao quyền sở hữu độ bền dữ liệu cho một người, vì cho đến nay nó chưa có ai sở hữu. Phạm vi ảnh hưởng: mười tám giờ ngừng hoạt động, sáu giờ dữ liệu bị mất, khoảng năm nghìn dự án, năm nghìn bình luận,
2:18 bảy trăm người dùng mới, và năm nghìn người xem thanh tiến trình. Hacker News cho tài liệu trực tiếp 1.162 điểm và trích dẫn một dòng trở lại họ: trong số năm bản sao lưu, không có cái nào. Phán quyết, báo cáo sự cố: SHIP IT, về phản hồi. Họ xử lý sự cố công khai, đổ lỗi cho quy trình và công bố danh sách sửa lỗi với các số vấn đề. Hành động vào thứ Hai: khôi phục một bản sao lưu. Nếu bạn chưa bao giờ khôi phục nó, bạn không có bản sao lưu nào.
2:42 Gửi cho tôi sự cố mà bạn vẫn chưa được phép nói về, trong phần bình luận, hoặc tại the daily diff dot dev. Và đó là sự khác biệt cho ngày hôm nay. Tôi là Niko từ Axrisi. Hợp nhất một cách có trách nhiệm.
Nguồn
- GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
- GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
- @gitlabstatus, "We accidentally deleted production data…"twitter.com
- @gitlabstatus, emergency maintenance noticetwitter.com
- Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
- Hacker News, the postmortem thread (377 points)news.ycombinator.com



