Un ingegnere ha cancellato il database di produzione di GitLab. 300 gigabyte.
31 gennaio 2017, 23:27 UTC: un ingegnere di GitLab, alle prese con una replica guasta alla fine di una lunga notte, rimuove la directory dati di PostgreSQL su db1 invece di db2.
31 gennaio 2017, 23:27 UTC: un ingegnere di GitLab, alle prese con una replica guasta alla fine di una lunga notte, rimuove la directory dati di PostgreSQL su db1 invece di db2. db1 è il database primario. Circa 300 GB del database di GitLab.com scompaiono in un secondo o due, e dei cinque meccanismi di backup e replicazione, nessuno funziona. Postmortem: la cronologia dal picco di spam al nome host sbagliato, perché pg_basebackup sembrava bloccato, perché pg_dump falliva silenziosamente (binari 9.2 su un database 9.6, e-mail di errore rifiutate da DMARC), il ripristino di 18 ore da uno snapshot di staging di 6 ore trasmesso in diretta su YouTube, e chi è il vero responsabile. Verdetto sulla risposta: SHIP IT.
Leggi l'edizione scritta (inglese) ↗
Contenuto di questo video
- 31 gennaio 2017: rm -Rvf sulla directory dati del primario; ~300 GB rimossi, 4,5 GB rimasti
- 5 backup su 5 falliscono: bucket S3 vuoto (disallineamento versione pg_dump), nessun snapshot Azure sul DB, replica cancellata, copia LVM giornaliera senza webhook
- 1 febbraio, 18:00 UTC: GitLab.com ripristinato da uno snapshot manuale di 6 ore; documento live, streaming live, postmortem senza colpe con una lista di correzioni
Domande e risposte
Cosa è successo nell'eliminazione del database di produzione di GitLab.com del 2017?
La sera del 31 gennaio 2017, un ingegnere di GitLab che cercava di riparare una replica guasta ha rimosso la directory dati di PostgreSQL su db1 invece di db2. db1 era il primario. Dei circa 300 GB, ne sono rimasti 4,5 GB. GitLab ha twittato di aver accidentalmente eliminato i dati di produzione, ha reso pubbliche le sue note sull'incidente e ha trasmesso il recupero su YouTube.
Perché nessuno dei cinque meccanismi di backup e replicazione di GitLab ha funzionato quando ne aveva bisogno?
Secondo il postmortem di GitLab, il pg_dump giornaliero su S3 aveva fallito perché il cron job aveva selezionato i binari di PostgreSQL 9.2 per un database 9.6, e le sue email di errore erano state respinte per DMARC mancante. Gli snapshot di Azure coprivano i file server ma non i database. La replica era stata cancellata appositamente, e lo snapshot giornaliero aveva i suoi webhook rimossi. Solo uno snapshot manuale, fatto per un test non correlato, è sopravvissuto.
Perché il ripristino di GitLab.com ha richiesto circa diciotto ore?
Il ripristino ha comportato la copia del disco di staging di nuovo in produzione tramite lo storage economico di Azure a sessanta megabit al secondo, il che ha richiesto diciotto ore. GitLab.com è tornato online il 1 febbraio alle 18:00 UTC, utilizzando uno snapshot manuale di sei ore. L'interruzione ha causato la perdita di sei ore di dati, circa cinquemila progetti, cinquemila commenti e settecento nuovi utenti, secondo l'episodio.
Perché i postmortem senza colpe si concentrano sul processo piuttosto che sull'ingegnere che ha eseguito il comando?
Il postmortem di GitLab, firmato dal CEO, ha mantenuto l'ingegnere anonimo e ha attribuito il fallimento a due nomi host distanti un carattere e a cinque sistemi di backup da cui nessuno aveva ripristinato. Ha colorato di rosso il prompt di produzione e ha assegnato un proprietario alla durabilità dei dati, perché prima non ne aveva. La lista delle correzioni è stata pubblicata con i numeri dei problemi.
Cosa dovrebbero imparare i team dall'incidente del database di GitLab, e la risposta di GitLab è stata valida?
Il verdetto di The Daily Diff è stato SHIP IT, sulla risposta. GitLab ha gestito l'incidente in pubblico, ha incolpato il processo e ha pubblicato una lista di correzioni con i numeri dei problemi. L'azione di lunedì dell'episodio è ripristinare un backup, perché un backup che non è mai stato ripristinato non può essere considerato un backup. Hacker News ha assegnato 1.162 punti al documento live sull'incidente.
Trascrizione tradotta
Tradotto dalla narrazione originale inglese. L'audio e i sottotitoli disponibili sono controllati da YouTube.
0:00 Un ingegnere di GitLab esegue rm -rf sul server di database sbagliato, e trecento gigabyte di GitLab.com svaniscono in un secondo o due, all'incirca il tempo necessario per leggere un nome host. 31 gennaio 2017, 23:27 UTC. GitLab twitta di aver accidentalmente eliminato dati di produzione, rende pubbliche le sue note sull'incidente su internet e trasmette il recupero su YouTube, la seconda trasmissione in diretta più vista sulla piattaforma. Il giorno dopo, per iscritto: su cinque tecniche di backup,
0:25 nessuna funziona in modo affidabile. Come succede, perché è possibile e chi è il vero responsabile. Questo è The Daily Diff, postmortem. 17:20: un ingegnere crea uno snapshot della produzione per testare un bilanciatore di carico in staging. 19:00: lo spam martella il database, più un lavoro che elimina definitivamente un dipendente di GitLab segnalato da un troll per abuso. 23:00: la replica è così in ritardo che il primario ha già scartato
0:48 il log di cui ha bisogno; l'unica soluzione è cancellare la replica e copiare di nuovo il primario. pg_basebackup si blocca senza output. In realtà sta aspettando, silenziosamente, il primario; nessuno lo sa, e il runbook non lo dice. L'ingegnere, che doveva smettere alle undici, decide che la directory dati vuota è il problema e la rimuove. Su db1. Il primario. Se ne accorge un secondo o due dopo; dei circa trecento gigabyte,
1:11 rimangono 4,5. I backup. Uno: pg_dump su S3, giornaliero. Il bucket è vuoto. Il cron job viene eseguito su un server applicativo senza database, quindi il pacchetto seleziona binari PostgreSQL 9.2 per un database 9.6, fallisce, e invia email di fallimento, che vengono respinte per DMARC mancante. Due: snapshot del disco Azure, abilitati per i file server, non per i database.
1:32 Tre: la replica, cancellata appositamente un'ora fa. Quattro: lo snapshot giornaliero, di 24 ore, tutti i webhook rimossi dal sincronizzazione di staging. Cinque: lo snapshot manuale delle 17:20, per un test non correlato. Quello vince. Il ripristino significa copiare il disco di staging di nuovo in produzione tramite lo storage economico di Azure a sessanta megabit al secondo: diciotto ore. GitLab.com torna online il 1 febbraio alle sei del pomeriggio UTC, sei ore di dati più vecchi.
1:58 git blame: due nomi host distanti un carattere, e cinque sistemi di backup da cui nessuno ha mai ripristinato. Non l'ingegnere. Il postmortem, firmato dal CEO, lo mantiene anonimo, colora di rosso il prompt di produzione e assegna un proprietario alla durabilità dei dati, perché fino ad ora non ne aveva nessuno. Raggio d'azione: diciotto ore di inattività, sei ore di dati persi, circa cinquemila progetti, cinquemila commenti,
2:18 settecento nuovi utenti e cinquemila persone che guardano una barra di avanzamento. Hacker News assegna 1.162 punti al documento live e cita una frase: su cinque backup, nessuno. Verdetto, postmortem: SHIP IT, sulla risposta. Gestiscono l'incidente in pubblico, incolpano il processo e pubblicano la lista delle correzioni con i numeri dei problemi. Azione di lunedì: ripristinare un backup. Se non l'hai mai ripristinato, non ne hai uno.
2:42 Inviateci l'incidente di cui non vi è ancora permesso parlare, nei commenti, o a thedailydiff.dev. E questo è il diff per oggi. Sono Niko di Axrisi. Unite con responsabilità.
Fonti
- GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
- GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
- @gitlabstatus, "We accidentally deleted production data…"twitter.com
- @gitlabstatus, emergency maintenance noticetwitter.com
- Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
- Hacker News, the postmortem thread (377 points)news.ycombinator.com



