Ein Ingenieur löschte GitLabs Produktionsdatenbank. 300 Gigabyte.
31.
31. Januar 2017, 23:27 UTC: Ein GitLab-Ingenieur, der am Ende einer langen Nacht gegen eine fehlerhafte Replik kämpfte, entfernte das PostgreSQL-Datenverzeichnis auf db1 anstelle von db2. db1 ist der Primärserver. Etwa 300 GB der GitLab.com-Datenbank sind in ein oder zwei Sekunden verschwunden, und von den fünf Sicherungs- und Replikationsmechanismen funktioniert keiner. Postmortem: die Zeitachse vom Spam-Anstieg zum falschen Hostnamen, warum pg_basebackup festgefahren schien, warum pg_dump stillschweigend fehlschlug (9.2-Binärdateien auf einer 9.6-Datenbank, Fehlermeldungen von DMARC abgewiesen), die 18-stündige Wiederherstellung von einem 6 Stunden alten Staging-Snapshot, der live auf YouTube gestreamt wurde, und wer wirklich die Schuld trägt. Urteil zur Reaktion: SHIP IT.
Die schriftliche Ausgabe lesen (Englisch) ↗
Was dieses Video behandelt
- 31. Jan. 2017: rm -Rvf auf dem Datenverzeichnis des Primärservers; ~300 GB entfernt, 4,5 GB übrig
- 5 von 5 Backups schlagen fehl: leerer S3-Bucket (pg_dump-Versionskonflikt), keine Azure-Snapshots auf der DB, gelöschte Replikat, tägliche LVM-Kopie ohne Webhooks
- 1. Feb., 18:00 UTC: GitLab.com wiederhergestellt von einem 6 Stunden alten manuellen Snapshot; Live-Dokument, Live-Stream, blameless Postmortem mit einer Fix-Liste
Fragen und Antworten
Was geschah bei der Löschung der GitLab.com-Produktionsdatenbank im Jahr 2017?
Am späten 31. Januar 2017 entfernte ein GitLab-Ingenieur, der versuchte, eine fehlerhafte Replik zu reparieren, das PostgreSQL-Datenverzeichnis auf db1 anstelle von db2. db1 war der Primärserver. Von ungefähr 300 GB blieben 4,5 GB übrig. GitLab twitterte, dass es versehentlich Produktionsdaten gelöscht hatte, veröffentlichte seine Incident-Notizen öffentlich und streamte die Wiederherstellung auf YouTube.
Warum funktionierte keiner der fünf Backup- und Replikationsmechanismen von GitLab, als sie benötigt wurden?
Laut GitLabs Postmortem war der tägliche pg_dump nach S3 fehlgeschlagen, weil der Cron-Job PostgreSQL 9.2-Binärdateien für eine 9.6-Datenbank ausgewählt hatte und seine Fehlermeldungen wegen fehlendem DMARC abgewiesen wurden. Azure-Snapshots deckten Dateiserver, aber keine Datenbanken ab. Die Replik war absichtlich gelöscht worden, und der tägliche Snapshot hatte seine Webhooks entfernt. Nur ein manueller Snapshot, der für einen nicht verwandten Test erstellt wurde, überlebte.
Warum dauerte die Wiederherstellung von GitLab.com etwa achtzehn Stunden?
Die Wiederherstellung bedeutete, die Staging-Festplatte über Azures günstigen Speicher mit sechzig Megabit pro Sekunde zurück in die Produktion zu kopieren, was achtzehn Stunden dauerte. GitLab.com war am 1. Februar um 18:00 UTC wieder online, unter Verwendung eines sechs Stunden alten manuellen Snapshots. Der Ausfall kostete sechs Stunden Daten, ungefähr fünftausend Projekte, fünftausend Kommentare und siebenhundert neue Benutzer, laut der Episode.
Warum konzentrieren sich blameless Postmortems auf den Prozess statt auf den Ingenieur, der den Befehl ausgeführt hat?
GitLabs Postmortem, vom CEO unterzeichnet, hielt den Ingenieur anonym und führte das Versagen auf zwei Hostnamen zurück, die sich um ein Zeichen unterschieden, und auf fünf Backup-Systeme, von denen niemand wiederhergestellt hatte. Es färbte die Produktionsaufforderung rot und gab der Datendauerhaftigkeit einen Eigentümer, weil sie vorher keinen hatte. Die Fix-Liste wurde mit Problemnummern veröffentlicht.
Was sollten Teams aus GitLabs Datenbankvorfall lernen, und war GitLabs Reaktion angemessen?
Das Urteil von The Daily Diff war SHIP IT, zur Reaktion. GitLab führte den Vorfall öffentlich durch, gab dem Prozess die Schuld und veröffentlichte eine Fix-Liste mit Problemnummern. Die Montagsaktion der Episode ist, ein Backup wiederherzustellen, denn ein Backup, das nie wiederhergestellt wurde, kann nicht als Backup gezählt werden. Hacker News gab dem Live-Vorfall-Dokument 1.162 Punkte.
Übersetztes Transkript
Aus der englischen Originalerzählung übersetzt. Verfügbare Audio- und Untertitel werden von YouTube gesteuert.
0:00 Ein Ingenieur bei GitLab führt rm -rf auf dem falschen Datenbankserver aus, und dreihundert Gigabyte von GitLab.com verschwinden in ein oder zwei Sekunden, etwa so lange, wie es dauert, einen Hostnamen zu lesen. 31. Januar 2017, 23:27 Uhr UTC. GitLab twittert, dass es versehentlich Produktionsdaten gelöscht hat, macht seine Incident-Notizen öffentlich und streamt die Wiederherstellung auf YouTube, dem zweitgrößten Live-Stream auf der Plattform. Nächsten Tag, schriftlich: Von fünf Backup-Techniken
0:25 funktioniert keine zuverlässig. Wie es passiert, warum es möglich ist und wer wirklich die Schuld trägt. Dies ist The Daily Diff, Postmortem. 17:20 Uhr: Ein Ingenieur erstellt einen Snapshot der Produktion, um einen Load Balancer im Staging zu testen. 19:00 Uhr: Spam bombardiert die Datenbank, plus ein Job, der einen GitLab-Mitarbeiter eines Trolls, der wegen Missbrauchs gemeldet wurde, hart löscht. 23:00 Uhr: Die Replik fällt so weit zurück, dass der Primärserver das benötigte
0:48 Log bereits verworfen hat; die einzige Lösung ist, die Replik zu löschen und den Primärserver erneut zu kopieren. pg_basebackup hängt ohne Ausgabe. Es wartet tatsächlich stillschweigend auf den Primärserver; niemand weiß das, und das Runbook sagt es nicht. Der Ingenieur, der sich um elf Uhr abmelden wollte, entscheidet, dass das leere Datenverzeichnis das Problem ist und entfernt es. Auf db1. Dem Primärserver. Er bemerkt es ein oder zwei Sekunden später; von ungefähr dreihundert Gigabyte
1:11 bleiben 4,5 übrig. Die Backups. Eins: pg_dump nach S3, täglich. Der Bucket ist leer. Der Cron-Job läuft auf einem Anwendungsserver ohne Datenbank, so dass das Paket PostgreSQL 9.2-Binärdateien für eine 9.6-Datenbank wählt, fehlschlägt und E-Mails des Fehlers sendet, die wegen fehlendem DMARC abgewiesen werden. Zwei: Azure-Disk-Snapshots, aktiviert für die Dateiserver, nicht für die Datenbanken.
1:32 Drei: die Replik, vor einer Stunde absichtlich gelöscht. Vier: der tägliche Snapshot, 24 Stunden alt, alle Webhooks durch die Staging-Synchronisierung entfernt. Fünf: der manuelle Snapshot von 17:20 Uhr, für einen nicht verwandten Test. Dieser gewinnt. Wiederherstellen bedeutet, die Staging-Festplatte über Azures günstigen Speicher mit sechzig Megabit pro Sekunde zurück in die Produktion zu kopieren: achtzehn Stunden. GitLab.com ist am 1. Februar um 18:00 Uhr UTC zurück, sechs Stunden Daten älter.
1:58 git blame: zwei Hostnamen, die sich um ein Zeichen unterscheiden, und fünf Backup-Systeme, von denen niemand jemals wiederhergestellt hat. Nicht der Ingenieur. Das Postmortem, vom CEO unterzeichnet, hält ihn anonym, färbt die Produktionsaufforderung rot und gibt der Datendauerhaftigkeit einen Eigentümer, weil sie bis jetzt keinen hatte. Auswirkungen: achtzehn Stunden Ausfallzeit, sechs Stunden Daten verloren, ungefähr fünftausend Projekte, fünftausend Kommentare,
2:18 siebenhundert neue Benutzer und fünftausend Leute, die eine Fortschrittsleiste beobachten. Hacker News gibt dem Live-Dokument 1.162 Punkte und zitiert eine Zeile zurück: von fünf Backups, keines. Urteil, Postmortem: SHIP IT, zur Reaktion. Sie führen den Vorfall öffentlich durch, geben dem Prozess die Schuld und veröffentlichen die Fix-Liste mit Problemnummern. Montagsaktion: ein Backup wiederherstellen. Wenn Sie es nie wiederhergestellt haben, haben Sie keines.
2:42 Senden Sie mir den Vorfall, über den Sie immer noch nicht sprechen dürfen, in den Kommentaren oder unter the daily diff dot dev. Und das ist der Unterschied für heute. Ich bin Niko von Axrisi. Verantwortungsvoll zusammenführen.
Quellen
- GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
- GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
- @gitlabstatus, "We accidentally deleted production data…"twitter.com
- @gitlabstatus, emergency maintenance noticetwitter.com
- Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
- Hacker News, the postmortem thread (377 points)news.ycombinator.com



