En ingenjör raderade GitLabs produktionsdatabas. 300 gigabyte.
31 januari 2017, 23:27 UTC: en GitLab-ingenjör, som kämpade med en trasig replika i slutet av en lång natt, tar bort PostgreSQL-datakatalogen på db1 istället för db2.
31 januari 2017, 23:27 UTC: en GitLab-ingenjör, som kämpade med en trasig replika i slutet av en lång natt, tar bort PostgreSQL-datakatalogen på db1 istället för db2. db1 är primär. Cirka 300 GB av GitLab.coms databas är borta på en sekund eller två, och av de fem backup- och replikeringsmekanismerna fungerar ingen. Efteranalys: tidslinjen från spamtoppen till fel värdnamn, varför pg_basebackup såg ut att ha fastnat, varför pg_dump hade misslyckats tyst (9.2-binärer på en 9.6-databas, fel-e-postmeddelanden studsade av DMARC), den 18-timmars återställningen från en 6-timmars gammal staging-ögonblicksbild streamad live på YouTube, och vem som egentligen får skulden. Bedömning av svaret: SHIP IT.
Läs den skrivna upplagan (engelska) ↗
Vad den här videon täcker
- 31 jan 2017: rm -Rvf på den primära datakatalogen; ~300 GB borttaget, 4.5 GB kvar
- 5 av 5 säkerhetskopior misslyckas: tom S3-bucket (pg_dump version mismatch), inga Azure-ögonblicksbilder på DB, raderad replika, daglig LVM-kopia utan webhooks
- 1 feb, 18:00 UTC: GitLab.com tillbaka från en 6-timmars gammal manuell ögonblicksbild; live-dokumentation, livestream, "blameless postmortem" med en åtgärdslista
Frågor och svar
Vad hände i GitLab.coms borttagning av produktionsdatabasen 2017?
Sent den 31 januari 2017 tog en GitLab-ingenjör som försökte reparera en trasig replika bort PostgreSQL-datakatalogen på db1 istället för db2. db1 var primärdatabasen. Av cirka 300 GB återstod 4.5 GB. GitLab twittrade att de av misstag hade raderat produktionsdata, öppnade sina incidentanteckningar offentligt och streamade återställningen på YouTube.
Varför fungerade ingen av GitLabs fem backup- och replikeringsmekanismer när de behövdes?
Enligt GitLabs efteranalys hade den dagliga pg_dump till S3 misslyckats eftersom cron-jobbet valde PostgreSQL 9.2-binärer för en 9.6-databas, och dess felmeddelanden studsade på grund av saknad DMARC. Azure-ögonblicksbilder täckte filservrar men inte databaser. Replikan hade avsiktligt raderats, och den dagliga ögonblicksbilden hade sina webhooks borttagna. Endast en manuell ögonblicksbild, tagen för ett orelaterat test, överlevde.
Varför tog det cirka arton timmar att återställa GitLab.com?
Återställning innebar att kopiera staging-disken tillbaka till produktion över Azures billiga lagring med sextio megabit per sekund, vilket tog arton timmar. GitLab.com återgick den 1 februari klockan 18:00 UTC, med en sex timmar gammal manuell ögonblicksbild. Avbrottet kostade sex timmars data, ungefär fem tusen projekt, fem tusen kommentarer och sjuhundra nya användare, enligt avsnittet.
Varför fokuserar "blameless postmortems" på processen snarare än ingenjören som körde kommandot?
GitLabs efteranalys, signerad av VD:n, höll ingenjören anonym och tillskrev felet två värdnamn med en teckens skillnad och fem backupsystem som ingen hade återställt från. Den färgade produktionsprompten röd och gav datahållbarhet en ägare, eftersom den inte hade någon tidigare. Åtgärdslistan publicerades med ärendenummer.
Vad bör team lära sig av GitLabs databasincident, och var GitLabs svar bra?
The Daily Diffs dom var SHIP IT, om svaret. GitLab hanterade incidenten offentligt, skyllde på processen och publicerade en åtgärdslista med ärendenummer. Avsnittets måndagsåtgärd är att återställa en backup, eftersom en backup som aldrig har återställts inte kan räknas som en backup. Hacker News gav live-incidentdokumentet 1 162 poäng.
Översatt transkription
Översatt från den ursprungliga engelska berättelsen. Tillgängligt ljud och undertexter styrs av YouTube.
0:00 En ingenjör på GitLab kör rm -rf på fel databasserver, och trehundra gigabyte av GitLab dot com försvinner på en sekund eller två, ungefär så lång tid det tar att läsa ett värdnamn. Den 31 januari 2017, 23:27 UTC. GitLab tweetar att de av misstag raderade produktionsdata, öppnar sina incidentanteckningar för internet och streamar återställningen på YouTube, den näst mest sedda livestreamen på plattformen. Nästa dag, skriftligen: av fem backup-tekniker,
0:25 ingen fungerar tillförlitligt. Hur det händer, varför det är möjligt, och vem som egentligen får skulden. Det här är The Daily Diff, efteranalys. 17:20: en ingenjör tar en ögonblicksbild av produktionen för att testa en lastbalanserare i staging. 19:00: spam slår mot databasen, plus ett jobb som raderar en GitLab-anställd som en troll rapporterat för missbruk. 23:00: replikan hamnar så långt efter att primärdatabasen redan har kastat
0:48 loggen den behöver; den enda lösningen är att rensa replikan och kopiera primärdatabasen igen. pg_basebackup hänger sig utan utdata. Den väntar faktiskt, tyst, på primärdatabasen; ingen vet det, och instruktionsboken säger det inte. Ingenjören, som tänkte logga ut klockan elva, beslutar att den tomma datakatalogen är problemet och tar bort den. På db1. Primärdatabasen. Han märker det en sekund eller två senare; av ungefär trehundra gigabyte,
1:11 4.5 återstår. Säkerhetskopiorna. Ett: pg_dump till S3, dagligen. Bucketen är tom. Cron-jobbet körs på en applikationsserver utan databas, så paketet väljer PostgreSQL 9.2-binärer för en 9.6-databas, misslyckas och skickar e-post om misslyckandet, som studsar på grund av saknad DMARC. Två: Azure diskögonblicksbilder, aktiverade för filservrarna, inte databaserna.
1:32 Tre: replikan, avsiktligt raderad för en timme sedan. Fyra: den dagliga ögonblicksbilden, 24 timmar gammal, alla webhooks borttagna av staging-synkroniseringen. Fem: den manuella ögonblicksbilden från 17:20, för ett orelaterat test. Den vinner. Att återställa innebär att kopiera staging-disken tillbaka till produktionen över Azures billiga lagring med sextio megabit per sekund: arton timmar. GitLab dot com är tillbaka den 1 februari klockan sex på kvällen UTC, sex timmar äldre data.
1:58 git blame: två värdnamn med en teckens skillnad, och fem backupsystem som ingen har någonsin återställt från. Inte ingenjören. Efteranalysen, signerad av VD:n, håller honom anonym, färgar produktionsprompten röd och ger datahållbarhet en ägare, för att fram tills nu hade den ingen. Blast radius: arton timmar nere, sex timmar av data borta, ungefär fem tusen projekt, fem tusen kommentarer,
2:18 sjuhundra nya användare och fem tusen personer som tittar på en förloppsindikator. Hacker News ger live-dokumentet 1 162 poäng och citerar en rad tillbaka till dem: av fem säkerhetskopior, ingen. Dom, efteranalys: SHIP IT, om svaret. De kör incidenten offentligt, skyller på processen och publicerar åtgärdslistan med ärendenummer. Måndagsåtgärd: återställ en backup. Om du aldrig har återställt den, har du ingen.
2:42 Skicka mig incidenten du fortfarande inte får prata om, i kommentarerna, eller på the daily diff dot dev. Och det är diffen för idag. Jag är Niko från Axrisi. Slå samman ansvarsfullt.
Källor
- GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
- GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
- @gitlabstatus, "We accidentally deleted production data…"twitter.com
- @gitlabstatus, emergency maintenance noticetwitter.com
- Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
- Hacker News, the postmortem thread (377 points)news.ycombinator.com



