Un ingénieur a supprimé la base de données de production de GitLab. 300 gigaoctets.
31 janvier 2017, 23:27 UTC : un ingénieur de GitLab, luttant contre une réplique cassée à la fin d'une longue nuit, supprime le répertoire de données PostgreSQL sur db1 au lieu de db2.
31 janvier 2017, 23:27 UTC : un ingénieur de GitLab, luttant contre une réplique cassée à la fin d'une longue nuit, supprime le répertoire de données PostgreSQL sur db1 au lieu de db2. db1 est le primaire. Environ 300 Go de la base de données de GitLab.com disparaissent en une seconde ou deux, et parmi les cinq mécanismes de sauvegarde et de réplication, aucun ne fonctionne. Autopsie : la chronologie du pic de spam au mauvais nom d'hôte, pourquoi pg_basebackup semblait bloqué, pourquoi pg_dump échouait silencieusement (binaires 9.2 sur une base de données 9.6, e-mails d'échec renvoyés par DMARC), la restauration de 18 heures à partir d'un instantané de staging vieux de 6 heures diffusé en direct sur YouTube, et qui est vraiment responsable. Verdict sur la réponse : SHIP IT.
Lire l'édition écrite (anglais) ↗
Ce que couvre cette vidéo
- 31 janv. 2017 : rm -Rvf sur le répertoire de données du primaire ; ~300 Go supprimés, 4,5 Go restants
- 5 des 5 sauvegardes échouent : seau S3 vide (incompatibilité de version pg_dump), pas d'instantanés Azure sur la base de données, réplique effacée, copie LVM quotidienne sans webhooks
- 1er févr., 18:00 UTC : GitLab.com de retour d'un instantané manuel vieux de 6 heures ; document en direct, diffusion en direct, postmortem "sans blâme" avec une liste de corrections
Questions et réponses
Que s'est-il passé lors de la suppression de la base de données de production de GitLab.com en 2017 ?
Le 31 janvier 2017 au soir, un ingénieur de GitLab tentant de réparer une réplique cassée a supprimé le répertoire de données PostgreSQL sur db1 au lieu de db2. db1 était le primaire. Sur environ 300 Go, 4,5 Go sont restés. GitLab a tweeté qu'il avait accidentellement supprimé des données de production, a rendu ses notes d'incident publiques et a diffusé la récupération sur YouTube.
Pourquoi aucun des cinq mécanismes de sauvegarde et de réplication de GitLab n'a-t-il fonctionné quand il en a eu besoin ?
Selon le postmortem de GitLab, le pg_dump quotidien vers S3 échouait parce que la tâche cron sélectionnait les binaires PostgreSQL 9.2 pour une base de données 9.6, et ses e-mails d'échec étaient rejetés pour DMARC manquant. Les instantanés Azure couvraient les serveurs de fichiers mais pas les bases de données. La réplique avait été effacée volontairement, et l'instantané quotidien avait ses webhooks supprimés. Seul un instantané manuel, pris pour un test sans rapport, a survécu.
Pourquoi la restauration de GitLab.com a-t-elle pris environ dix-huit heures ?
La restauration a consisté à copier le disque de staging vers la production via le stockage bon marché d'Azure à soixante mégabits par seconde, ce qui a pris dix-huit heures. GitLab.com est revenu le 1er février à 18h00 UTC, en utilisant un instantané manuel vieux de six heures. La panne a coûté six heures de données, environ cinq mille projets, cinq mille commentaires et sept cents nouveaux utilisateurs, selon l'épisode.
Pourquoi les postmortems sans blâme se concentrent-ils sur le processus plutôt que sur l'ingénieur qui a exécuté la commande ?
Le postmortem de GitLab, signé par le PDG, a gardé l'ingénieur anonyme et a attribué l'échec à deux noms d'hôte distants d'un caractère et à cinq systèmes de sauvegarde dont personne n'avait restauré. Il a coloré le prompt de production en rouge et a donné un propriétaire à la durabilité des données, car il n'y en avait pas avant. La liste des correctifs a été publiée avec les numéros d'incident.
Que devraient retenir les équipes de l'incident de la base de données de GitLab, et la réponse de GitLab a-t-elle été judicieuse ?
Le verdict de The Daily Diff était SHIP IT, concernant la réponse. GitLab a géré l'incident en public, a blâmé le processus et a publié une liste de correctifs avec les numéros d'incident. L'action du lundi de l'épisode est de restaurer une sauvegarde, car une sauvegarde qui n'a jamais été restaurée ne peut pas être considérée comme une sauvegarde. Hacker News a attribué 1 162 points au document d'incident en direct.
Transcription traduite
Traduit de la narration originale en anglais. L'audio et les sous-titres disponibles sont gérés par YouTube.
0:00 Un ingénieur de GitLab exécute rm -rf sur le mauvais serveur de base de données, et trois cents gigaoctets de GitLab point com disparaissent en une seconde ou deux, à peu près le temps qu'il faut pour lire un nom d'hôte. 31 janvier 2017, 23h27 UTC. GitLab tweete qu'il a accidentellement supprimé des données de production, ouvre ses notes d'incident à internet, et diffuse la récupération sur YouTube, le deuxième flux en direct de la plateforme. Le lendemain, par écrit : sur cinq techniques de sauvegarde,
0:25 aucune ne fonctionne de manière fiable. Comment cela arrive, pourquoi c'est possible, et qui est réellement responsable. C'est The Daily Diff, postmortem. 17h20 : un ingénieur prend un instantané de la production pour tester un équilibreur de charge en staging. 19h : du spam martèle la base de données, plus une tâche supprimant en dur un employé de GitLab qu'un troll a signalé pour abus. 23h : la réplique prend tellement de retard que le primaire a déjà supprimé
0:48 le journal dont elle a besoin ; la seule solution est d'effacer la réplique et de copier le primaire à nouveau. pg_basebackup se bloque sans sortie. Il attend en fait, silencieusement, le primaire ; personne ne le sait, et le guide d'utilisation ne le dit pas. L'ingénieur, qui devait terminer à vingt-trois heures, décide que le répertoire de données vide est le problème et le supprime. Sur db1. Le primaire. Il le remarque une seconde ou deux plus tard ; sur environ trois cents gigaoctets,
1:11 4,5 restent. Les sauvegardes. Un : pg_dump vers S3, quotidien. Le seau est vide. La tâche cron s'exécute sur un serveur d'application sans base de données, donc le paquet sélectionne les binaires PostgreSQL 9.2 pour une base de données 9.6, échoue, et envoie des e-mails de l'échec, qui sont renvoyés pour DMARC manquant. Deux : instantanés de disque Azure, activés pour les serveurs de fichiers, pas pour les bases de données.
1:32 Trois : la réplique, effacée volontairement il y a une heure. Quatre : l'instantané quotidien, vieux de 24 heures, chaque webhook supprimé par la synchronisation de staging. Cinq : l'instantané manuel de 17h20, pour un test sans rapport. Celui-là gagne. La restauration signifie copier le disque de staging vers la production via le stockage bon marché d'Azure à soixante mégabits par seconde : dix-huit heures. GitLab point com est de retour le 1er février à dix-huit heures UTC, six heures de données plus anciennes.
1:58 git blame : deux noms d'hôte distants d'un caractère, et cinq systèmes de sauvegarde dont personne n'a jamais restauré. Pas l'ingénieur. Le postmortem, signé par le PDG, le garde anonyme, colore le prompt de production en rouge, et donne un propriétaire à la durabilité des données, parce que jusqu'à présent elle n'en avait pas. Rayon d'action : dix-huit heures d'interruption, six heures de données perdues, environ cinq mille projets, cinq mille commentaires,
2:18 sept cents nouveaux utilisateurs, et cinq mille personnes regardant une barre de progression. Hacker News donne 1 162 points au document en direct et cite une ligne en retour : sur cinq sauvegardes, aucune. Verdict, postmortem : ship it, sur la réponse. Ils gèrent l'incident en public, blâment le processus et publient la liste des correctifs avec les numéros d'incident. Action du lundi : restaurer une sauvegarde. Si vous ne l'avez jamais restaurée, vous n'en avez pas.
2:42 Envoyez-moi l'incident dont vous n'avez toujours pas le droit de parler, dans les commentaires, ou à the daily diff dot dev. Et c'est le diff pour aujourd'hui. Je suis Niko d'Axrisi. Fusionnez de manière responsable.
Sources
- GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
- GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
- @gitlabstatus, "We accidentally deleted production data…"twitter.com
- @gitlabstatus, emergency maintenance noticetwitter.com
- Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
- Hacker News, the postmortem thread (377 points)news.ycombinator.com



