+− THE DAILY DIFFdev & AI news
SHIP IT

En ingeniør slettede GitLabs produktionsdatabase. 300 gigabyte.

31.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

31. januar 2017, 23:27 UTC: En GitLab-ingeniør, der kæmpede med en ødelagt replika efter en lang nat, fjernede PostgreSQL-datamappen på db1 i stedet for db2. db1 er primær. Omkring 300 GB af GitLab.com's database forsvinder på et sekund eller to, og af de fem backup- og replikeringsmekanismer virker ingen. Postmortem: tidslinjen fra spam-spidsen til det forkerte værtsnavn, hvorfor pg_basebackup virkede fastlåst, hvorfor pg_dump havde fejlet lydløst (9.2 binære filer på en 9.6 database, fejl-e-mails afvist af DMARC), den 18-timers gendannelse fra et 6-timer gammelt staging-øjebliksbillede streamet live på YouTube, og hvem der egentlig får skylden. Dom over svaret: SHIP IT.

Læs den skriftlige udgave (engelsk) ↗

Hvad denne video dækker

  • 31. jan. 2017: rm -Rvf på primærens datamappe; ~300 GB fjernet, 4,5 GB tilbage
  • 5 ud af 5 backups fejler: tom S3-bucket (pg_dump versionsuoverensstemmelse), ingen Azure-snapshots på DB, slettet replika, daglig LVM-kopi uden webhooks
  • 1. feb., 18:00 UTC: GitLab.com tilbage fra et 6 timer gammelt manuelt snapshot; live-dokument, livestream, blameless postmortem med en rettelsesliste

Spørgsmål og svar

Hvad skete der ved sletningen af GitLab.com's produktionsdatabase i 2017?

Sent den 31. januar 2017 fjernede en GitLab-ingeniør, der forsøgte at reparere en ødelagt replika, PostgreSQL-datamappen på db1 i stedet for db2. db1 var primær. Af cirka 300 GB var 4,5 GB tilbage. GitLab tweetede, at de ved et uheld havde slettet produktionsdata, åbnede deres hændelsesnoter offentligt og streamede gendannelsen på YouTube.

about.gitlab.com · about.gitlab.com · twitter.com

Hvorfor virkede ingen af GitLabs fem backup- og replikeringsmekanismer, da de skulle bruges?

Ifølge GitLabs postmortem havde den daglige pg_dump til S3 fejlet, fordi cron-jobbet valgte PostgreSQL 9.2 binære filer til en 9.6 database, og dets fejl-e-mails blev afvist på grund af manglende DMARC. Azure-snapshots dækkede filservere, men ikke databaser. Replikaen var blevet slettet med vilje, og det daglige snapshot havde fået fjernet sine webhooks. Kun et manuelt snapshot, taget til en urelateret test, overlevede.

about.gitlab.com · about.gitlab.com

Hvorfor tog det omkring atten timer at gendanne GitLab.com?

Gendannelse betød at kopiere staging-disken tilbage til produktionen via Azures billige lagring med tres megabit per sekund, hvilket tog atten timer. GitLab.com var tilbage den 1. februar kl. 18:00 UTC og brugte et manuelt snapshot, der var seks timer gammelt. Nedbruddet kostede seks timers data, cirka fem tusind projekter, fem tusind kommentarer og syv hundrede nye brugere, ifølge episoden.

about.gitlab.com · about.gitlab.com

Hvorfor fokuserer blameless postmortems på processen frem for ingeniøren, der udførte kommandoen?

GitLabs postmortem, underskrevet af CEO'en, holdt ingeniøren anonym og tilskrev fejlen to værtsnavne med et tegns forskel og fem backupsystemer, som ingen havde gendannet fra. Det farvede produktionsprompten rød og gav dataholdbarhed en ejer, fordi den ikke havde nogen før. Fejlfindingslisten blev offentliggjort med problemnumre.

about.gitlab.com · news.ycombinator.com

Hvad skal teams lære af GitLabs databasehændelse, og var GitLabs respons forsvarlig?

The Daily Diffs dom var SHIP IT, på responsen. GitLab kørte hændelsen offentligt, gav processen skylden og offentliggjorde en fejlfindingsliste med problemnumre. Episodens mandagsaktion er at gendanne en backup, fordi en backup, der aldrig er blevet gendannet, ikke kan tælles som en backup. Hacker News gav livedokumentet for hændelsen 1.162 point.

about.gitlab.com · news.ycombinator.com

Oversat udskrift

Oversat fra den originale engelske fortælling. Tilgængelig lyd og undertekster styres af YouTube.

0:00 En ingeniør hos GitLab kører rm -rf på den forkerte databaseserver, og tre hundrede gigabyte af GitLab.com forsvinder på et sekund eller to, omtrent den tid det tager at læse et værtsnavn. 31. januar 2017, 23:27 UTC. GitLab tweeter, at de ved et uheld slettede produktionsdata, åbner deres hændelsesnoter for internettet og streamer gendannelsen på YouTube, den næststørste livestream på platformen. Næste dag, skriftligt: ud af fem backup-teknikker,

0:25 virker ingen pålideligt. Hvordan det sker, hvorfor det er muligt, og hvem der faktisk får skylden. Dette er The Daily Diff, postmortem. 17:20: en ingeniør tager et snapshot af produktionen for at teste en load balancer i staging. 19:00: spam hamrer databasen, plus et job der hårdt sletter en GitLab-medarbejder som en troll rapporterede for misbrug. 23:00: replikaen falder så langt bagud, at primæren allerede har kasseret

0:48 den log den har brug for; den eneste løsning er at slette replikaen og kopiere primæren igen. pg_basebackup hænger uden output. Den venter faktisk lydløst på primæren; ingen ved det, og runbooken siger det ikke. Ingeniøren, som skulle have logget af klokken elleve, beslutter at den tomme datamappe er problemet og fjerner den. På db1. Primæren. Han bemærker det et sekund eller to senere; af cirka tre hundrede gigabyte,

1:11 er der 4,5 tilbage. Backups. Én: pg_dump til S3, dagligt. Bucketen er tom. Cron-jobbet kører på en applikationsserver uden database, så pakken vælger PostgreSQL 9.2 binære filer til en 9.6 database, fejler, og sender e-mails om fejlen, som afvises på grund af manglende DMARC. To: Azure disk-snapshots, aktiveret for filserverne, ikke databaserne.

1:32 Tre: replikaen, slettet med vilje for en time siden. Fire: det daglige snapshot, 24 timer gammelt, alle webhooks fjernet af staging-synkroniseringen. Fem: det manuelle snapshot fra 17:20, til en urelateret test. Den vinder. Gendannelse betyder at kopiere staging-disken tilbage til produktionen via Azures billige lagring med tres megabit per sekund: atten timer. GitLab.com er tilbage den 1. februar kl. 18.00 UTC, seks timers data ældre.

1:58 git blame: to værtsnavne med ét tegns forskel, og fem backupsystemer som ingen har nogensinde gendannet fra. Ikke ingeniøren. Postmortemen, underskrevet af CEO'en, holder ham anonym, farver produktionsprompten rød og giver dataholdbarhed en ejer, fordi den indtil nu ikke havde nogen. Blast radius: atten timer nede, seks timers data væk, cirka fem tusind projekter, fem tusind kommentarer,

2:18 syv hundrede nye brugere og fem tusind mennesker, der ser en statuslinje. Hacker News giver livedokumentet 1.162 point og citerer én linje tilbage til dem: ud af fem backups, ingen. Dom, postmortem: ship it, på responsen. De kører hændelsen offentligt, giver processen skylden og offentliggør fejlfindingslisten med problemnumre. Mandagsaktion: gendan en backup. Hvis du aldrig har gendannet den, har du ingen.

2:42 Send mig hændelsen, du stadig ikke må tale om, i kommentarerne eller på thedailydiff.dev. Og det er diffen for i dag. Jeg er Niko fra Axrisi. Flet ansvarligt.

Kilder

  1. GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
  2. GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
  3. @gitlabstatus, "We accidentally deleted production data…"twitter.com
  4. @gitlabstatus, emergency maintenance noticetwitter.com
  5. Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
  6. Hacker News, the postmortem thread (377 points)news.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Relaterede videoer