+− THE DAILY DIFFdev & AI news
SHIP IT

Un ingénieur a supprimé la base de données de production de GitLab. 300 gigaoctets.

Le 31 janvier 2017, 23:27 UTC : un ingénieur de GitLab, luttant contre une réplique défectueuse à la fin d'une longue nuit, supprime le répertoire de données PostgreSQL sur db1 au lieu de db2.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Le 31 janvier 2017, 23:27 UTC : un ingénieur de GitLab, luttant contre une réplique défectueuse à la fin d'une longue nuit, supprime le répertoire de données PostgreSQL sur db1 au lieu de db2. db1 est le primaire. Environ 300 Go de la base de données de GitLab.com disparaissent en une ou deux secondes, et parmi les cinq mécanismes de sauvegarde et de réplication, aucun ne fonctionne. Autopsie : la chronologie du pic de spam au mauvais nom d'hôte, pourquoi pg_basebackup semblait bloqué, pourquoi pg_dump échouait silencieusement (binaires 9.2 sur une base de données 9.6, e-mails d'échec rejetés par DMARC), la restauration de 18 heures à partir d'un instantané de staging vieux de 6 heures diffusé en direct sur YouTube, et qui est vraiment à blâmer. Verdict sur la réponse : SHIP IT.

Lire l'édition écrite (anglais) ↗

Ce que cette vidéo couvre

  • 31 janv. 2017 : rm -Rvf sur le répertoire de données du primaire; ~300 Go supprimés, 4,5 Go restants
  • 5 des 5 sauvegardes échouent : seau S3 vide (incompatibilité de version pg_dump), pas d'instantanés Azure sur la base de données, réplique effacée, copie LVM quotidienne sans webhooks
  • 1er févr., 18:00 UTC : GitLab.com de retour d'un instantané manuel vieux de 6 heures; document en direct, diffusion en direct, postmortem sans blâme avec une liste de corrections

Questions et réponses

Que s'est-il passé lors de la suppression de la base de données de production de GitLab.com en 2017 ?

Tard le 31 janvier 2017, un ingénieur de GitLab, essayant de réparer une réplique défectueuse, a supprimé le répertoire de données PostgreSQL sur db1 au lieu de db2. db1 était le primaire. Sur environ 300 Go, 4,5 Go sont restés. GitLab a tweeté qu'il avait accidentellement supprimé des données de production, a rendu ses notes d'incident publiques et a diffusé la récupération sur YouTube.

about.gitlab.com · about.gitlab.com · twitter.com

Pourquoi aucun des cinq mécanismes de sauvegarde et de réplication de GitLab n'a-t-il fonctionné quand il en a eu besoin ?

Selon le postmortem de GitLab, le pg_dump quotidien vers S3 échouait parce que la tâche cron sélectionnait des binaires PostgreSQL 9.2 pour une base de données 9.6, et ses e-mails d'échec étaient rejetés pour DMARC manquant. Les instantanés Azure couvraient les serveurs de fichiers mais pas les bases de données. La réplique avait été effacée volontairement, et l'instantané quotidien avait ses webhooks supprimés. Seul un instantané manuel, pris pour un test sans rapport, a survécu.

about.gitlab.com · about.gitlab.com

Pourquoi la restauration de GitLab.com a-t-elle pris environ dix-huit heures ?

La restauration a consisté à copier le disque de staging vers la production via le stockage bon marché d'Azure à soixante mégabits par seconde, ce qui a pris dix-huit heures. GitLab.com est revenu le 1er février à 18:00 UTC, en utilisant un instantané manuel vieux de six heures. La panne a coûté six heures de données, environ cinq mille projets, cinq mille commentaires et sept cents nouveaux utilisateurs, selon l'épisode.

about.gitlab.com · about.gitlab.com

Pourquoi les postmortems sans blâme se concentrent-ils sur le processus plutôt que sur l'ingénieur qui a exécuté la commande ?

Le postmortem de GitLab, signé par le PDG, a gardé l'ingénieur anonyme et a attribué l'échec à deux noms d'hôte à un caractère près et à cinq systèmes de sauvegarde dont personne n'avait restauré. Il a colorié le prompt de production en rouge et a donné un propriétaire à la durabilité des données, car il n'y en avait pas auparavant. La liste des correctifs a été publiée avec les numéros de ticket.

about.gitlab.com · news.ycombinator.com

Que devraient retenir les équipes de l'incident de la base de données de GitLab, et la réponse de GitLab a-t-elle été judicieuse ?

Le verdict de The Daily Diff a été SHIP IT, concernant la réponse. GitLab a géré l'incident en public, a blâmé le processus et a publié une liste de correctifs avec les numéros de ticket. L'action du lundi de l'épisode est de restaurer une sauvegarde, car une sauvegarde qui n'a jamais été restaurée ne peut pas être considérée comme une sauvegarde. Hacker News a donné 1 162 points au document d'incident en direct.

about.gitlab.com · news.ycombinator.com

Transcription traduite

Traduit de la narration originale en anglais. L'audio et les sous-titres disponibles sont contrôlés par YouTube.

0:00 Un ingénieur de GitLab exécute rm -rf sur le mauvais serveur de base de données, et trois cents gigaoctets de GitLab.com disparaissent en une ou deux secondes, le temps qu'il faut pour lire un nom d'hôte. Le 31 janvier 2017, 23h27 UTC. GitLab tweete qu'il a accidentellement supprimé des données de production, ouvre ses notes d'incident à l'internet, et diffuse la récupération sur YouTube, la deuxième diffusion en direct sur la plateforme. Le lendemain, par écrit : sur cinq techniques de sauvegarde,

0:25 aucune ne fonctionne de manière fiable. Comment cela arrive, pourquoi c'est possible, et qui est réellement à blâmer. Ceci est The Daily Diff, postmortem. 17h20 : un ingénieur prend un instantané de la production pour tester un équilibreur de charge en staging. 19h : le spam martèle la base de données, plus une tâche de suppression définitive d'un employé de GitLab qu'un troll a signalé pour abus. 23h : la réplique est tellement en retard que le primaire a déjà supprimé

0:48 le journal dont elle a besoin; la seule solution est d'effacer la réplique et de copier à nouveau le primaire. pg_basebackup se bloque sans sortie. Il attend en fait, silencieusement, le primaire; personne ne le sait, et le guide d'utilisation ne le dit pas. L'ingénieur, qui devait se déconnecter à onze heures, décide que le répertoire de données vide est le problème et le supprime. Sur db1. Le primaire. Il le remarque une ou deux secondes plus tard; sur environ trois cents gigaoctets,

1:11 4,5 restent. Les sauvegardes. Un : pg_dump vers S3, quotidien. Le seau est vide. La tâche cron s'exécute sur un serveur d'applications sans base de données, donc le paquet sélectionne des binaires PostgreSQL 9.2 pour une base de données 9.6, échoue et envoie des e-mails d'échec, qui sont rejetés pour DMARC manquant. Deux : instantanés de disque Azure, activés pour les serveurs de fichiers, pas les bases de données.

1:32 Trois : la réplique, effacée volontairement il y a une heure. Quatre : l'instantané quotidien, vieux de 24 heures, chaque webhook supprimé par la synchronisation staging. Cinq : l'instantané manuel de 17h20, pour un test sans rapport. Celui-là gagne. La restauration signifie la copie du disque de staging vers la production via le stockage bon marché d'Azure à soixante mégabits par seconde : dix-huit heures. GitLab.com est de retour le 1er février à 18h UTC, six heures de données plus anciennes.

1:58 git blame : deux noms d'hôte à un caractère près, et cinq systèmes de sauvegarde dont personne n'a jamais restauré. Pas l'ingénieur. Le postmortem, signé par le PDG, le garde anonyme, colore le prompt de production en rouge, et donne un propriétaire à la durabilité des données, car jusqu'à présent elle n'en avait pas. Rayon d'action : dix-huit heures d'interruption, six heures de données perdues, environ cinq mille projets, cinq mille commentaires,

2:18 sept cents nouveaux utilisateurs, et cinq mille personnes regardant une barre de progression. Hacker News donne au document en direct 1 162 points et cite une ligne en retour : sur cinq sauvegardes, aucune. Verdict, postmortem : SHIP IT, sur la réponse. Ils gèrent l'incident en public, blâment le processus et publient la liste des correctifs avec les numéros de ticket. Action du lundi : restaurer une sauvegarde. Si vous ne l'avez jamais restaurée, vous n'en avez pas.

2:42 Envoyez-moi l'incident dont vous n'êtes toujours pas autorisé à parler, dans les commentaires, ou à thedailydiff.dev. Et c'est le diff pour aujourd'hui. Je suis Niko d'Axrisi. Fusionnez de manière responsable.

Sources

  1. GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
  2. GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
  3. @gitlabstatus, "We accidentally deleted production data…"twitter.com
  4. @gitlabstatus, emergency maintenance noticetwitter.com
  5. Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
  6. Hacker News, the postmortem thread (377 points)news.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Vidéos similaires