엔지니어가 GitLab의 프로덕션 데이터베이스를 삭제했습니다. 300기가바이트.
2017년 1월 31일 23:27 UTC: 긴 밤 끝에 손상된 복제본과 싸우던 GitLab 엔지니어가 db2 대신 db1에서 PostgreSQL 데이터 디렉토리를 제거합니다.
2017년 1월 31일 23:27 UTC: 긴 밤 끝에 손상된 복제본과 싸우던 GitLab 엔지니어가 db2 대신 db1에서 PostgreSQL 데이터 디렉토리를 제거합니다. db1은 기본입니다. GitLab.com 데이터베이스 약 300GB가 1~2초 만에 사라지고, 5가지 백업 및 복제 메커니즘 중 어느 것도 작동하지 않습니다. 사후 분석: 스팸 급증부터 잘못된 호스트 이름까지의 타임라인, pg_basebackup이 멈춘 것처럼 보인 이유, pg_dump가 조용히 실패했던 이유(9.6 데이터베이스에서 9.2 바이너리, DMARC로 인해 반송된 실패 이메일), YouTube에서 생중계된 6시간 전 스테이징 스냅샷에서 18시간 동안 복원한 과정, 그리고 누가 진정으로 비난받아야 하는가. 응답에 대한 평결: SHIP IT.
이 동영상에서 다루는 내용
- 2017년 1월 31일: 기본 데이터 디렉토리에 rm -Rvf 실행; 약 300GB 제거, 4.5GB 남음
- 5개 중 5개 백업 실패: 빈 S3 버킷(pg_dump 버전 불일치), DB에 Azure 스냅샷 없음, 복제본 삭제, 웹훅 없는 일일 LVM 복사
- 2월 1일 18:00 UTC: GitLab.com이 6시간 전 수동 스냅샷에서 복구; 라이브 문서, 라이브 스트림, 수정 목록이 포함된 비난 없는 사후 분석
자주 묻는 질문
2017년 GitLab.com 프로덕션 데이터베이스 삭제 사건은 무엇이었습니까?
2017년 1월 31일 늦은 시각, GitLab 엔지니어가 손상된 복제본을 수리하려고 시도하다가 db2 대신 db1에서 PostgreSQL 데이터 디렉토리를 제거했습니다. db1은 기본 서버였습니다. 약 300GB 중 4.5GB가 남았습니다. GitLab은 실수로 프로덕션 데이터를 삭제했다고 트윗했고, 인시던트 노트를 공개했으며, YouTube에서 복구 과정을 스트리밍했습니다.
GitLab의 5가지 백업 및 복제 메커니즘이 필요할 때 왜 작동하지 않았습니까?
GitLab의 사후 분석에 따르면, S3로의 일일 pg_dump는 cron 작업이 9.6 데이터베이스에 PostgreSQL 9.2 바이너리를 선택했기 때문에 실패하고 있었고, 실패 이메일은 DMARC 누락으로 인해 반송되었습니다. Azure 스냅샷은 파일 서버를 다루었지만 데이터베이스는 다루지 않았습니다. 복제본은 의도적으로 삭제되었고, 일일 스냅샷은 웹훅이 제거되었습니다. 관련 없는 테스트를 위해 찍은 수동 스냅샷만이 살아남았습니다.
GitLab.com 복원에 약 18시간이 걸린 이유는 무엇입니까?
복원은 스테이징 디스크를 Azure의 저렴한 스토리지에서 초당 60메가비트로 프로덕션으로 다시 복사하는 것을 의미했으며, 이는 18시간이 걸렸습니다. GitLab.com은 2월 1일 18:00 UTC에 6시간 전 수동 스냅샷을 사용하여 복구되었습니다. 이 에피소드에 따르면, 정전으로 인해 6시간의 데이터, 약 5천 개의 프로젝트, 5천 개의 댓글, 700명의 신규 사용자가 손실되었습니다.
비난 없는 사후 분석은 명령을 실행한 엔지니어보다 프로세스에 초점을 맞추는 이유는 무엇입니까?
CEO가 서명한 GitLab의 사후 분석은 엔지니어를 익명으로 유지하고, 한 문자 차이의 두 호스트 이름과 아무도 복원해 본 적 없는 5가지 백업 시스템에 실패의 원인을 돌렸습니다. 프로덕션 프롬프트를 빨간색으로 표시하고 데이터 내구성에 소유자를 부여했는데, 이전에는 소유자가 없었기 때문입니다. 수정 목록은 이슈 번호와 함께 게시되었습니다.
GitLab의 데이터베이스 인시던트에서 팀이 무엇을 배워야 하며, GitLab의 대응은 합당했습니까?
The Daily Diff의 평결은 응답에 대해 SHIP IT이었습니다. GitLab은 인시던트를 공개적으로 처리하고, 프로세스를 비난하며, 이슈 번호가 포함된 수정 목록을 게시했습니다. 이 에피소드의 월요일 조치는 백업 복원인데, 한 번도 복원해 본 적 없는 백업은 백업으로 간주될 수 없기 때문입니다. Hacker News는 라이브 인시던트 문서에 1,162점을 주었습니다.
번역된 스크립트
원래 영어 내레이션에서 번역되었습니다. 사용 가능한 오디오 및 캡션은 YouTube에서 제어합니다.
0:00 GitLab의 엔지니어가 잘못된 데이터베이스 서버에서 rm -rf를 실행하고, GitLab.com의 300기가바이트가 1~2초 만에 사라집니다. 호스트 이름을 읽는 데 걸리는 시간과 거의 같습니다. 2017년 1월 31일 오후 11시 27분, UTC. GitLab은 프로덕션 데이터를 실수로 삭제했다고 트윗하고, 인시던트 노트를 인터넷에 공개하고, YouTube에서 복구 과정을 스트리밍합니다. 플랫폼에서 두 번째로 인기 있는 라이브 스트림입니다. 다음 날 서면으로: 5가지 백업 기술 중,
0:25 어느 것도 안정적으로 작동하지 않습니다. 어떻게 발생했고, 왜 가능했으며, 누가 실제로 비난받아야 하는가. 이것은 The Daily Diff, 사후 분석입니다. 오후 5시 20분: 엔지니어가 프로덕션을 스냅샷합니다. 스테이징에서 로드 밸런서를 테스트하기 위해. 오후 7시: 스팸이 데이터베이스를 강타하고, 트롤이 학대 신고한 GitLab 직원을 하드 삭제하는 작업이 발생합니다. 트롤이 학대 신고한 GitLab 직원을 하드 삭제하는 작업이 발생합니다. 오후 11시: 복제본이 너무 뒤쳐져 기본이 이미 필요한 로그를 버린 상태입니다.
0:48 유일한 해결책은 복제본을 삭제하고 기본을 다시 복사하는 것입니다. 다시. pg_basebackup이 아무 출력 없이 멈춥니다. 실제로는 조용히 기본을 기다리고 있습니다. 아무도 그것을 모르고, 런북에도 나와 있지 않습니다. 오후 11시에 퇴근하려던 엔지니어는 빈 데이터 디렉토리가 문제라고 판단하고 그것을 제거합니다. db1에서. 기본에서. 그는 1~2초 후에 알아차립니다. 약 300기가바이트 중,
1:11 4.5기가바이트가 남았습니다. 백업은. 첫째: 매일 S3로 pg_dump. 버킷이 비어 있습니다. cron 작업은 데이터베이스가 없는 앱 서버에서 실행되므로 패키지는 9.6 데이터베이스에 PostgreSQL 9.2 바이너리를 선택하고 실패하며 이메일을 보냅니다. DMARC 누락으로 인해 반송된 실패 이메일. 둘째: 파일 서버에 대해 활성화된 Azure 디스크 스냅샷은, 데이터베이스에는 적용되지 않습니다.
1:32 셋째: 한 시간 전에 의도적으로 삭제된 복제본. 넷째: 24시간 된 일일 스냅샷, 스테이징 동기화로 인해 모든 웹훅이 제거되었습니다. 스테이징 동기화로 인해 모든 웹훅이 제거되었습니다. 다섯째: 관련 없는 테스트를 위해 오후 5시 20분에 찍은 수동 스냅샷. 그것이 성공합니다. 복원은 스테이징 디스크를 Azure의 저렴한 스토리지에서 초당 60메가비트로 프로덕션으로 다시 복사하는 것을 의미합니다. 18시간이 걸립니다. 스토리지에서 초당 60메가비트로 프로덕션으로 다시 복사하는 것을 의미합니다. 18시간이 걸립니다. GitLab.com은 2월 1일 오후 6시에 복구됩니다. UTC, 6시간 전 데이터로.
1:58 git blame: 한 문자 차이의 두 호스트 이름, 그리고 아무도 복원해 본 적 없는 5가지 백업 시스템. 복원해 본 적 없는 5가지 백업 시스템. 엔지니어의 잘못이 아닙니다. CEO가 서명한 사후 분석은 그를 익명으로 유지하고, 프로덕션 프롬프트를 빨간색으로 표시하며, 데이터 내구성에 소유자를 부여합니다. 왜냐하면 지금까지는 소유자가 없었기 때문입니다. 피해 범위: 18시간 다운, 6시간 데이터 손실, 약 5천 개의 프로젝트, 5천 개의 댓글,
2:18 700명의 신규 사용자, 그리고 진행률 표시줄을 보고 있는 5천 명의 사람들. Hacker News는 라이브 문서에 1,162점을 주고 한 줄을 인용합니다. 그들에게 되돌려줍니다: 5개의 백업 중, 아무것도 없습니다. 평결, 사후 분석: 응답에 대해 SHIP IT. 그들은 공개적으로 인시던트를 처리하고, 프로세스를 비난하며, 수정 목록을 게시합니다. 이슈 번호와 함께. 월요일 조치: 백업 복원. 복원해 본 적이 없다면, 백업이 없는 것입니다.
2:42 아직 이야기할 수 없는 인시던트를 저에게 보내주세요. 댓글이나 daily diff dot dev로. 오늘의 차이점은 여기까지입니다. 저는 Axrisi의 Niko입니다. 책임감 있게 병합하세요.
출처
- GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
- GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
- @gitlabstatus, "We accidentally deleted production data…"twitter.com
- @gitlabstatus, emergency maintenance noticetwitter.com
- Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
- Hacker News, the postmortem thread (377 points)news.ycombinator.com



