Um engenheiro eliminou a base de dados de produção do GitLab. 300 gigabytes.
31 de janeiro de 2017, 23:27 UTC: um engenheiro do GitLab, a lutar contra uma réplica avariada no fim de uma longa noite, remove o diretório de dados do PostgreSQL em db1 em vez de db2.
31 de janeiro de 2017, 23:27 UTC: um engenheiro do GitLab, a lutar contra uma réplica avariada no fim de uma longa noite, remove o diretório de dados do PostgreSQL em db1 em vez de db2. db1 é o primário. Cerca de 300 GB da base de dados do GitLab.com desaparecem num ou dois segundos, e dos cinco mecanismos de backup e replicação, nenhum está a funcionar. Postmortem: a linha temporal desde o pico de spam até ao nome de host errado, porque é que o pg_basebackup parecia preso, porque é que o pg_dump falhava silenciosamente (binários 9.2 numa base de dados 9.6, e-mails de falha devolvidos pelo DMARC), o restauro de 18 horas a partir de um "snapshot" de "staging" de 6 horas transmitido ao vivo no YouTube, e quem realmente tem a culpa. Veredito sobre a resposta: SHIP IT.
Ler a edição escrita (Inglês) ↗
O que este vídeo aborda
- 31 de jan de 2017: rm -Rvf no diretório de dados do primário; ~300 GB removidos, 4,5 GB restantes
- 5 de 5 backups falham: bucket S3 vazio (incompatibilidade de versão do pg_dump), sem "snapshots" Azure na DB, réplica limpa, cópia LVM diária sem "webhooks"
- 1 de fev, 18:00 UTC: GitLab.com de volta de um "snapshot" manual de 6 horas; documento ao vivo, transmissão ao vivo, postmortem sem culpa com uma lista de correções
Perguntas e respostas
O que aconteceu na eliminação da base de dados de produção do GitLab.com em 2017?
No final de 31 de janeiro de 2017, um engenheiro do GitLab, ao tentar reparar uma réplica avariada, removeu o diretório de dados do PostgreSQL em db1 em vez de db2. db1 era o primário. De aproximadamente 300 GB, restavam 4,5 GB. O GitLab twittou que tinha eliminado acidentalmente dados de produção, abriu publicamente as suas notas de incidente e transmitiu a recuperação no YouTube.
Porque é que nenhum dos cinco mecanismos de backup e replicação do GitLab funcionou quando eram necessários?
De acordo com o "postmortem" do GitLab, o "pg_dump" diário para S3 estava a falhar porque a tarefa "cron" selecionava binários PostgreSQL 9.2 para uma base de dados 9.6, e os seus e-mails de falha eram devolvidos por falta de DMARC. Os "snapshots" do Azure cobriam os servidores de ficheiros, mas não as bases de dados. A réplica tinha sido apagada propositadamente, e o "snapshot" diário tinha os seus "webhooks" removidos. Apenas um "snapshot" manual, feito para um teste não relacionado, sobreviveu.
Porque é que a restauração do GitLab.com demorou cerca de dezoito horas?
Restaurar significava copiar o disco de "staging" de volta para a produção através do armazenamento barato do Azure a sessenta megabits por segundo, o que demorou dezoito horas. O GitLab.com voltou a funcionar a 1 de fevereiro às 18:00 UTC, utilizando um "snapshot" manual de seis horas. A interrupção custou seis horas de dados, aproximadamente cinco mil projetos, cinco mil comentários e setecentos novos utilizadores, de acordo com o episódio.
Porque é que os "postmortems" sem culpa se concentram no processo e não no engenheiro que executou o comando?
O "postmortem" do GitLab, assinado pelo CEO, manteve o engenheiro anónimo e atribuiu a falha a dois nomes de host com um caractere de diferença e a cinco sistemas de "backup" que ninguém tinha restaurado. Colorou de vermelho o "prompt" de produção e deu à durabilidade dos dados um proprietário, porque não tinha nenhum antes. A lista de correções foi publicada com os números dos problemas.
O que as equipas devem retirar do incidente da base de dados do GitLab, e a resposta do GitLab foi sensata?
O veredicto do The Daily Diff foi SHIP IT, sobre a resposta. O GitLab geriu o incidente em público, culpou o processo e publicou uma lista de correções com os números dos problemas. A ação de segunda-feira do episódio é restaurar um "backup", porque um "backup" que nunca foi restaurado não pode ser considerado um "backup". O Hacker News deu 1.162 pontos ao documento do incidente ao vivo.
Transcrição traduzida
Traduzido da narração original em inglês. Áudio e legendas disponíveis são controlados pelo YouTube.
0:00 Um engenheiro da GitLab executa rm -rf no servidor de base de dados errado, e trezentos gigabytes de GitLab dot com desaparecem num segundo ou dois, o tempo que leva para ler um nome de host. 31 de janeiro de 2017, 23:27. UTC. O GitLab twitta que eliminou acidentalmente dados de produção, abre as suas notas de incidente à internet, e transmite a recuperação no YouTube, a segunda transmissão ao vivo mais vista na plataforma. No dia seguinte, por escrito: de cinco técnicas de "backup",
0:25 nenhuma está a funcionar de forma fiável. Como acontece, porque é possível, e quem realmente tem a culpa. Este é o The Daily Diff, "postmortem". 17:20: um engenheiro cria um "snapshot" da produção para testar um balanceador de carga em "staging". 19:00: spam ataca a base de dados, mais uma tarefa a eliminar um funcionário do GitLab que um "troll" denunciou por abuso. troll denunciou por abuso. 23:00: a réplica fica tão atrasada que o primário já descartou
0:48 o registo de que precisa; a única solução é limpar a réplica e copiar o primário novamente. pg_basebackup fica pendurado sem saída. Na verdade, está à espera, silenciosamente, do primário; ninguém sabe disso, e o "runbook" não o diz. O engenheiro, que tencionava sair às onze, decide que o diretório de dados vazio é o problema e remove-o. No db1. O primário. Ele percebe um ou dois segundos depois; de aproximadamente trezentos gigabytes,
1:11 restam 4,5. Os "backups". Um: pg_dump para S3, diário. O "bucket" está vazio. A tarefa "cron" é executada num servidor de aplicações sem base de dados, por isso o pacote seleciona binários PostgreSQL 9.2 para uma base de dados 9.6, falha e envia e-mails a falha, que são devolvidos por falta de DMARC. Dois: "snapshots" de disco do Azure, ativados para os servidores de ficheiros, não as bases de dados.
1:32 Três: a réplica, limpa propositadamente há uma hora. Quatro: o "snapshot" diário, com 24 horas, todos os "webhooks" removidos pela sincronização de "staging". Cinco: o "snapshot" manual das 17:20, para um teste não relacionado. Esse vence. Restaurar significa copiar o disco de "staging" de volta para a produção através do armazenamento barato do Azure a sessenta megabits por segundo: dezoito horas. GitLab dot com volta a funcionar a 1 de fevereiro às seis da tarde. UTC, seis horas de dados mais antigos.
1:58 git blame: dois nomes de host com um caractere de diferença, e cinco sistemas de "backup" que ninguém tinha nunca restaurado. Não o engenheiro. O "postmortem", assinado pelo CEO, mantém-no anónimo, colore de vermelho o "prompt" de produção, e dá à durabilidade dos dados um proprietário, porque até agora não tinha nenhum. Raio de explosão: dezoito horas em baixo, seis horas de dados perdidos, aproximadamente cinco mil projetos, cinco mil comentários,
2:18 setecentos novos utilizadores, e cinco mil pessoas a ver uma barra de progresso. O Hacker News dá 1.162 pontos ao documento ao vivo e cita uma linha de volta para eles: de cinco "backups", nenhum. Veredito, "postmortem": "ship it", na resposta. Eles gerem o incidente em público, culpam o processo e publicam a lista de correções com números de incidência. Ação de segunda-feira: restaurar um "backup". Se nunca o restaurou, não tem um.
2:42 Envie-me o incidente sobre o qual ainda não pode falar, nos comentários, ou em "thedailydiff dot dev". E essa é a diferença de hoje. Sou o Niko da Axrisi. Fusão responsável.
Fontes
- GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
- GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
- @gitlabstatus, "We accidentally deleted production data…"twitter.com
- @gitlabstatus, emergency maintenance noticetwitter.com
- Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
- Hacker News, the postmortem thread (377 points)news.ycombinator.com



