En ingeniør slettet GitLabs produksjonsdatabase. 300 gigabyte.
31.
31. januar 2017, 23:27 UTC: en GitLab-ingeniør, som kjempet mot en ødelagt replika på slutten av en lang natt, fjerner PostgreSQL-datakatalogen på db1 i stedet for db2. db1 er primæren. Omtrent 300 GB av GitLab.coms database er borte på et sekund eller to, og av de fem sikkerhetskopierings- og replikeringsmekanismene fungerer ingen. Postmortem: tidslinjen fra spam-toppen til feil vertsnavn, hvorfor pg_basebackup så ut til å sitte fast, hvorfor pg_dump hadde feilet i stillhet (9.2-binærfiler på en 9.6-database, feil-e-poster avvist av DMARC), den 18-timers gjenopprettingen fra et 6-timers gammelt staging-øyeblikksbilde streamet direkte på YouTube, og hvem som virkelig får skylden. Dommen over responsen: SHIP IT.
Les den skriftlige utgaven (engelsk) ↗
Hva denne videoen dekker
- 31. januar 2017: rm -Rvf på primærens datakatalog; ~300 GB fjernet, 4,5 GB igjen
- 5 av 5 sikkerhetskopier feiler: tom S3-bøtte (pg_dump versjonsfeil), ingen Azure-øyeblikksbilder på DB, slettet replika, daglig LVM-kopi uten webhooks
- 1. februar, 18:00 UTC: GitLab.com tilbake fra et 6-timers gammelt manuelt øyeblikksbilde; live-dokument, live-stream, skyldfri postmortem med en fikseliste
Spørsmål og svar
Hva skjedde i 2017 da GitLab.coms produksjonsdatabase ble slettet?
Sent på 31. januar 2017 fjernet en GitLab-ingeniør som prøvde å reparere en ødelagt replika PostgreSQL-datakatalogen på db1 i stedet for db2. db1 var primæren. Av omtrent 300 GB gjensto 4,5 GB. GitLab tvitret at de ved et uhell hadde slettet produksjonsdata, åpnet sine hendelsesnotater offentlig og streamet gjenopprettingen på YouTube.
Hvorfor fungerte ingen av GitLabs fem sikkerhetskopierings- og replikeringsmekanismer da de trengte dem?
Ifølge GitLabs postmortem hadde den daglige pg_dump til S3 feilet fordi cron-jobben valgte PostgreSQL 9.2-binærfiler for en 9.6-database, og feil-e-postene ble avvist på grunn av manglende DMARC. Azure-øyeblikksbilder dekket filservere, men ikke databaser. Replikaen var blitt slettet med vilje, og det daglige øyeblikksbildet hadde fått fjernet webhookene sine. Bare et manuelt øyeblikksbilde, tatt for en urelatert test, overlevde.
Hvorfor tok det omtrent atten timer å gjenopprette GitLab.com?
Gjenoppretting innebar å kopiere staging-disken tilbake til produksjonen over Azures billige lagring med seksti megabit per sekund, noe som tok atten timer. GitLab.com var tilbake 1. februar kl. 18:00 UTC, ved hjelp av et manuelt øyeblikksbilde som var seks timer gammelt. Avbruddet kostet seks timer med data, omtrent fem tusen prosjekter, fem tusen kommentarer og syv hundre nye brukere, ifølge episoden.
Hvorfor fokuserer skyldfrie postmortems på prosess fremfor ingeniøren som kjørte kommandoen?
GitLabs postmortem, signert av administrerende direktør, holdt ingeniøren anonym og tilskrev feilen to vertsnavn ett tegn fra hverandre og fem sikkerhetskopisystemer ingen hadde gjenopprettet fra. Den farget produksjonsmeldingen rød og ga dataholdbarhet en eier, fordi den ikke hadde noen før. Fikselisten ble publisert med saksnummer.
Hva bør team lære av GitLabs databasehendelse, og var GitLabs respons god?
The Daily Diffs dom var SHIP IT, på responsen. GitLab kjørte hendelsen offentlig, la skylden på prosessen og publiserte en fikseliste med saksnummer. Episodens mandagshandling er å gjenopprette en sikkerhetskopi, fordi en sikkerhetskopi som aldri er blitt gjenopprettet, ikke kan regnes som en sikkerhetskopi. Hacker News ga det live hendelsesdokumentet 1162 poeng.
Oversatt transkripsjon
Oversatt fra den originale engelske fortellingen. Tilgjengelig lyd og undertekster kontrolleres av YouTube.
0:00 En ingeniør hos GitLab kjører rm -rf på feil databaseserver, og tre hundre gigabyte av GitLab dot com forsvinner på et sekund eller to, omtrent hvor lang tid det tar å lese et vertsnavn. 31. januar 2017, kl. 23.27 UTC. GitLab tvitrer at de ved et uhell slettet produksjonsdata, åpner sine hendelsesnotater for internett, og streamer gjenopprettingen på YouTube, den nest største live-streamen på plattformen. Neste dag, skriftlig: av fem sikkerhetskopieringsteknikker,
0:25 ingen fungerer pålitelig. Hvordan det skjer, hvorfor det er mulig, og hvem som faktisk får skylden. Dette er The Daily Diff, postmortem. 17:20: en ingeniør tar øyeblikksbilde av produksjonen for å teste en lastbalanser i staging. 19:00: spam hamrer databasen, pluss en jobb som hard-sletter en GitLab-ansatt som en troll rapporterte for misbruk. 23:00: replikaen faller så langt bak at primæren allerede har kastet
0:48 loggen den trenger; den eneste løsningen er å slette replikaen og kopiere primæren igjen. pg_basebackup henger uten utdata. Den venter faktisk, i stillhet, på primæren; ingen vet det, og kjøreboken sier det ikke. Ingeniøren, som skulle logge av klokka elleve, bestemmer at den tomme datakatalogen er problemet og fjerner den. På db1. Primæren. Han merker det et sekund eller to senere; av omtrent tre hundre gigabyte,
1:11 4,5 gjenstår. Sikkerhetskopiene. Én: pg_dump til S3, daglig. Bøtta er tom. Cron-jobben kjører på en app-server uten database, så pakken velger PostgreSQL 9.2-binærfiler for en 9.6-database, feiler, og sender e-post om feilen, som avvises på grunn av manglende DMARC. To: Azure disk-øyeblikksbilder, aktivert for filserverne, ikke databasene.
1:32 Tre: replikaen, slettet med vilje for en time siden. Fire: det daglige øyeblikksbildet, 24 timer gammelt, alle webhooks fjernet av staging-synkroniseringen. Fem: det manuelle øyeblikksbildet fra 17:20, for en urelatert test. Den vinner. Gjenoppretting betyr å kopiere staging-disken tilbake til produksjonen over Azures billige lagring med seksti megabit per sekund: atten timer. GitLab dot com er tilbake 1. februar klokken atten UTC, seks timer eldre data.
1:58 git blame: to vertsnavn ett tegn fra hverandre, og fem sikkerhetskopisystemer ingen har noensinne gjenopprettet fra. Ikke ingeniøren. Postmortemen, signert av administrerende direktør, holder ham anonym, farger produksjonsmeldingen rød, og gir dataholdbarhet en eier, fordi den til nå ikke hadde noen. Blast radius: atten timer nede, seks timer med data borte, omtrent fem tusen prosjekter, fem tusen kommentarer,
2:18 syv hundre nye brukere, og fem tusen mennesker som ser på en fremdriftslinje. Hacker News gir live-dokumentet 1 162 poeng og siterer en linje tilbake til dem: av fem sikkerhetskopier, ingen. Dom, postmortem: ship it, på responsen. De kjører hendelsen offentlig, legger skylden på prosessen, og publiserer fikselisten med saksnummer. Mandagshandling: gjenopprett en sikkerhetskopi. Hvis du aldri har gjenopprettet den, har du ingen.
2:42 Send meg hendelsen du fortsatt ikke får snakke om, i kommentarene, eller på the daily diff dot dev. Og det er forskjellen for i dag. Jeg er Niko fra Axrisi. Slå sammen ansvarlig.
Kilder
- GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
- GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
- @gitlabstatus, "We accidentally deleted production data…"twitter.com
- @gitlabstatus, emergency maintenance noticetwitter.com
- Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
- Hacker News, the postmortem thread (377 points)news.ycombinator.com



