+− THE DAILY DIFFdev & AI news
SHIP IT

Um engenheiro apagou o banco de dados de produção do GitLab. 300 gigabytes.

31 de janeiro de 2017, 23:27 UTC: um engenheiro do GitLab, lutando contra uma réplica quebrada no final de uma longa noite, remove o diretório de dados do PostgreSQL em db1 em vez de db2.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

31 de janeiro de 2017, 23:27 UTC: um engenheiro do GitLab, lutando contra uma réplica quebrada no final de uma longa noite, remove o diretório de dados do PostgreSQL em db1 em vez de db2. db1 é o primário. Cerca de 300 GB do banco de dados do GitLab.com se foram em um segundo ou dois, e dos cinco mecanismos de backup e replicação, nenhum está funcionando. Postmortem: a linha do tempo do pico de spam ao nome de host errado, por que o pg_basebackup parecia travado, por que o pg_dump estava falhando silenciosamente (binários 9.2 em um banco de dados 9.6, e-mails de falha recusados por DMARC), a restauração de 18 horas de um snapshot de staging de 6 horas transmitido ao vivo no YouTube, e quem realmente leva a culpa. Veredito sobre a resposta: SHIP IT.

Leia a edição escrita (Inglês) ↗

O que este vídeo aborda

  • 31 de janeiro de 2017: rm -Rvf no diretório de dados do primário; ~300 GB removidos, 4,5 GB restantes
  • 5 de 5 backups falham: bucket S3 vazio (incompatibilidade de versão do pg_dump), sem snapshots do Azure no DB, réplica apagada, cópia LVM diária sem webhooks
  • 1º de fevereiro, 18:00 UTC: GitLab.com retorna de um snapshot manual de 6 horas; documento ao vivo, transmissão ao vivo, postmortem sem culpa com lista de correções

Perguntas e respostas

O que aconteceu na exclusão do banco de dados de produção do GitLab.com em 2017?

No final de 31 de janeiro de 2017, um engenheiro do GitLab tentando reparar uma réplica quebrada removeu o diretório de dados do PostgreSQL em db1 em vez de db2. db1 era o primário. Dos aproximadamente 300 GB, 4,5 GB permaneceram. O GitLab tuitou que havia excluído acidentalmente dados de produção, abriu suas notas de incidente publicamente e transmitiu a recuperação no YouTube.

about.gitlab.com · about.gitlab.com · twitter.com

Por que nenhum dos cinco mecanismos de backup e replicação do GitLab funcionou quando ele precisava deles?

De acordo com o postmortem do GitLab, o pg_dump diário para S3 estava falhando porque o trabalho cron selecionava binários do PostgreSQL 9.2 para um banco de dados 9.6, e seus e-mails de falha eram recusados por falta de DMARC. Os snapshots do Azure cobriam os servidores de arquivos, mas não os bancos de dados. A réplica havia sido apagada propositalmente, e o snapshot diário teve seus webhooks removidos. Apenas um snapshot manual, tirado para um teste não relacionado, sobreviveu.

about.gitlab.com · about.gitlab.com

Por que a restauração do GitLab.com levou cerca de dezoito horas?

Restaurar significava copiar o disco de staging de volta para a produção sobre o armazenamento barato do Azure a sessenta megabits por segundo, o que levou dezoito horas. O GitLab.com retornou em 1º de fevereiro às 18:00 UTC, usando um snapshot manual de seis horas. A interrupção custou seis horas de dados, aproximadamente cinco mil projetos, cinco mil comentários e setecentos novos usuários, de acordo com o episódio.

about.gitlab.com · about.gitlab.com

Por que os postmortems sem culpa se concentram no processo em vez do engenheiro que executou o comando?

O postmortem do GitLab, assinado pelo CEO, manteve o engenheiro anônimo e atribuiu a falha a dois nomes de host com um caractere de diferença e a cinco sistemas de backup dos quais ninguém havia restaurado. Ele coloriu o prompt de produção de vermelho e deu à durabilidade dos dados um proprietário, porque não tinha nenhum antes. A lista de correções foi publicada com números de problemas.

about.gitlab.com · news.ycombinator.com

O que as equipes devem aprender com o incidente do banco de dados do GitLab, e a resposta do GitLab foi sensata?

O veredito do The Daily Diff foi SHIP IT, sobre a resposta. O GitLab executou o incidente em público, culpou o processo e publicou uma lista de correções com números de problemas. A ação de segunda-feira do episódio é restaurar um backup, porque um backup que nunca foi restaurado não pode ser considerado um backup. O Hacker News deu ao documento de incidente ao vivo 1.162 pontos.

about.gitlab.com · news.ycombinator.com

Transcrição traduzida

Traduzido da narração original em inglês. Áudio e legendas disponíveis são controlados pelo YouTube.

0:00 Um engenheiro do GitLab executa rm -rf no servidor de banco de dados errado, e trezentos gigabytes do GitLab.com desaparecem em um segundo ou dois, mais ou menos o tempo que leva para ler um nome de host. 31 de janeiro de 2017, 23:27 UTC. O GitLab tuíta que acidentalmente excluiu dados de produção, abre suas notas de incidente para a internet e transmite a recuperação no YouTube, a segunda transmissão ao vivo na plataforma. No dia seguinte, por escrito: das cinco técnicas de backup,

0:25 nenhuma está funcionando de forma confiável. Como acontece, por que é possível e quem realmente leva a culpa. Este é o The Daily Diff, postmortem. 17:20: um engenheiro tira um snapshot da produção para testar um balanceador de carga no staging. 19:00: spam atinge o banco de dados, além de uma tarefa que exclui permanentemente um funcionário do GitLab que um troll denunciou por abuso. 23:00: a réplica fica tão atrasada que o primário já descartou

0:48 o log de que precisa; a única correção é apagar a réplica e copiar o primário novamente. O pg_basebackup trava sem saída. Na verdade, ele está esperando, silenciosamente, pelo primário; ninguém sabe disso, e o manual não diz. O engenheiro, que pretendia sair às onze, decide que o diretório de dados vazio é o problema e o remove. No db1. O primário. Ele percebe um ou dois segundos depois; dos aproximadamente trezentos gigabytes,

1:11 4,5 permanecem. Os backups. Um: pg_dump para S3, diariamente. O bucket está vazio. O trabalho cron é executado em um servidor de aplicativos sem banco de dados, então o pacote seleciona binários do PostgreSQL 9.2 para um banco de dados 9.6, falha e envia e-mails a falha, que é recusada por falta de DMARC. Dois: snapshots de disco do Azure, ativados para os servidores de arquivos, não para os bancos de dados.

1:32 Três: a réplica, apagada propositalmente uma hora atrás. Quatro: o snapshot diário, de 24 horas, todos os webhooks removidos pelo sincronização de staging. Cinco: o snapshot manual das 17:20, para um teste não relacionado. Esse vence. Restaurar significa copiar o disco de staging de volta para a produção sobre o armazenamento barato do Azure a sessenta megabits por segundo: dezoito horas. O GitLab.com volta em 1º de fevereiro às seis da tarde. UTC, seis horas de dados mais antigos.

1:58 git blame: dois nomes de host com um caractere de diferença, e cinco sistemas de backup dos quais ninguém nunca restaurou. Não o engenheiro. O postmortem, assinado pelo CEO, o mantém anônimo, colore o prompt de produção de vermelho e dá à durabilidade dos dados um proprietário, porque até agora não tinha nenhum. Raio de explosão: dezoito horas de inatividade, seis horas de dados perdidos, aproximadamente cinco mil projetos, cinco mil comentários,

2:18 setecentos novos usuários e cinco mil pessoas assistindo a uma barra de progresso. O Hacker News dá ao documento ao vivo 1.162 pontos e cita uma linha de volta para eles: de cinco backups, nenhum. Veredito, postmortem: SHIP IT, na resposta. Eles executam o incidente em público, culpam o processo e publicam a lista de correções com números de problemas. Ação de segunda-feira: restaurar um backup. Se você nunca o restaurou, você não tem um.

2:42 Envie-me o incidente sobre o qual você ainda não tem permissão para falar, nos comentários, ou em the daily diff dot dev. E essa é a diferença de hoje. Eu sou Niko da Axrisi. Mescle com responsabilidade.

Fontes

  1. GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
  2. GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
  3. @gitlabstatus, "We accidentally deleted production data…"twitter.com
  4. @gitlabstatus, emergency maintenance noticetwitter.com
  5. Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
  6. Hacker News, the postmortem thread (377 points)news.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Vídeos relacionados