+− THE DAILY DIFFdev & AI news
SHIP IT

Inženjer je obrisao GitLabovu produkcijsku bazu podataka. 300 gigabajta.

31.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

31. siječnja 2017., 23:27 UTC: inženjer GitLaba, boreći se s pokvarenom replikom na kraju duge noći, uklanja PostgreSQL direktorij podataka na db1 umjesto na db2. db1 je primarni. Oko 300 GB GitLab.com baze podataka nestaje za sekundu ili dvije, a od pet mehanizama za sigurnosno kopiranje i replikaciju, nijedan ne radi. Postmortem: vremenska linija od skoka spama do pogrešnog imena hosta, zašto se pg_basebackup činio zaglavljenim, zašto pg_dump nije radio tiho (9.2 binarne datoteke na 9.6 bazi podataka, e-poruke o greškama odbijene DMARC-om), 18-satni oporavak iz 6-satne snimke staginga streaman uživo na YouTubeu, i tko je zapravo kriv. Presuda o odgovoru: SHIP IT.

Pročitajte pisano izdanje (engleski) ↗

Šta ovaj video pokriva

  • 31. siječnja 2017.: rm -Rvf na direktoriju podataka primarnog servera; ~300 GB uklonjeno, 4,5 GB ostalo
  • 5 od 5 sigurnosnih kopija ne uspijeva: prazan S3 bucket (neusklađenost verzije pg_dump), nema Azure snimki na DB-u, obrisana replika, dnevna LVM kopija bez webhukova
  • 1. veljače, 18:00 UTC: GitLab.com se vratio iz ručne snimke stare 6 sati; dokument uživo, stream uživo, postmortem bez krivca s popisom ispravki

Pitanja i odgovori

Što se dogodilo prilikom brisanja produkcijske baze podataka GitLab.com 2017. godine?

Kasno 31. siječnja 2017., inženjer GitLaba, pokušavajući popraviti pokvarenu repliku, uklonio je direktorij podataka PostgreSQL-a na db1 umjesto na db2. db1 je bio primarni. Od otprilike 300 GB, ostalo je 4,5 GB. GitLab je tvitao da je slučajno izbrisao produkcijske podatke, javno objavio svoje bilješke o incidentu i prenosio oporavak uživo na YouTubeu.

about.gitlab.com · about.gitlab.com · twitter.com

Zašto nijedan od pet mehanizama za sigurnosno kopiranje i replikaciju GitLaba nije radio kada su bili potrebni?

Prema GitLabovom postmortemu, dnevni pg_dump na S3 nije radio jer je cron posao koristio PostgreSQL 9.2 binarne datoteke za bazu podataka 9.6, a njegove e-poruke o greškama su se odbijale zbog nedostatka DMARC-a. Azure snimke su pokrivale poslužitelje datoteka, ali ne i baze podataka. Replika je namjerno obrisana, a dnevna snimka je imala uklonjene web-hookove. Samo je ručna snimka, napravljena za nepovezano testiranje, preživjela.

about.gitlab.com · about.gitlab.com

Zašto je oporavak GitLab.com trajao otprilike osamnaest sati?

Oporavak je značio kopiranje staging diska natrag u produkciju preko Azureovog jeftinog skladišta brzinom od šezdeset megabita u sekundi, što je trajalo osamnaest sati. GitLab.com se vratio 1. veljače u 18:00 UTC, koristeći ručnu snimku staru šest sati. Prekid je koštao šest sati podataka, otprilike pet tisuća projekata, pet tisuća komentara i sedam stotina novih korisnika, prema epizodi.

about.gitlab.com · about.gitlab.com

Zašto se postmortemi bez krivnje fokusiraju na proces, a ne na inženjera koji je pokrenuo naredbu?

GitLabov postmortem, potpisan od strane CEO-a, držao je inženjera anonimnim i pripisao je kvar dvama imenima hosta udaljenim jedan znak i pet backup sustava s kojih nitko nikada nije vršio oporavak. Produkcijski prompt je obojio u crveno i dodijelio vlasnika trajnosti podataka, jer ga prije nije bilo. Popis ispravki je objavljen s brojevima problema.

about.gitlab.com · news.ycombinator.com

Što bi timovi trebali naučiti iz incidenta s bazom podataka GitLaba, i je li GitLabov odgovor bio ispravan?

Presuda The Daily Diff-a je bila SHIP IT, na odgovor. GitLab je incident vodio javno, krivio proces i objavio popis ispravki s brojevima problema. Ponedjeljna akcija epizode je vraćanje sigurnosne kopije, jer se sigurnosna kopija koja nikada nije vraćena ne može smatrati sigurnosnom kopijom. Hacker News je dokumentu o incidentu uživo dao 1.162 boda.

about.gitlab.com · news.ycombinator.com

Prevedeni transkript

Prevedeno iz originalne engleske naracije. Dostupan zvuk i titlovi kontroliše YouTube.

0:00 Inženjer u GitLabu pokreće rm -rf na pogrešnom poslužitelju baze podataka, i tristo gigabajta GitLab dot com nestaje za sekundu ili dvije, otprilike koliko je potrebno za čitanje naziva hosta. 31. siječnja 2017., 23:27 UTC. GitLab tvita da je slučajno izbrisao produkcijske podatke, otvara svoje bilješke o incidentu internetu i streamuje oporavak na YouTubeu, drugi po gledanosti stream uživo na platformi. Sljedeći dan, pismeno: od pet tehnika sigurnosnog kopiranja,

0:25 nijedna ne radi pouzdano. Kako se to događa, zašto je to moguće i tko je zapravo kriv. Ovo je The Daily Diff, postmortem. 17:20: inženjer stvara snimku produkcije za testiranje balansera opterećenja u stagingu. 19:00: spam udara bazu podataka, plus posao koji trajno briše zaposlenika GitLaba kojeg je trol prijavio zbog zlouporabe. 23:00: replika toliko zaostaje da je primarni već odbacio

0:48 dnevnik koji mu je potreban; jedino rješenje je obrisati repliku i ponovno kopirati primarni server. pg_basebackup se zamrzava bez izlaza. Zapravo tiho čeka primarni; nitko to ne zna, a priručnik to ne kaže. Inženjer, koji je trebao završiti u jedanaest, odlučuje da je prazan direktorij podataka problem i uklanja ga. Na db1. Primarnom. Primijeti sekundu ili dvije kasnije; od otprilike tristo gigabajta,

1:11 4,5 ostaje. Sigurnosne kopije. Jedna: pg_dump na S3, dnevno. Bucket je prazan. Cron posao se pokreće na poslužitelju aplikacija bez baze podataka, pa paket bira PostgreSQL 9.2 binarne datoteke za bazu podataka 9.6, ne uspijeva i šalje e-poštu o grešci, koja se odbija zbog nedostatka DMARC-a. Dva: Azure snimke diska, omogućene za poslužitelje datoteka, ne baze podataka.

1:32 Tri: replika, namjerno obrisana prije sat vremena. Četiri: dnevna snimka, stara 24 sata, svi webhukovi uklonjeni sinkronizacijom staginga. Pet: ručna snimka od 17:20, za nepovezano testiranje. Ta pobjeđuje. Vraćanje znači kopiranje staging diska natrag u produkciju preko Azureove jeftine pohrane pri šezdeset megabita u sekundi: osamnaest sati. GitLab dot com se vraća 1. veljače u 18 sati UTC, šest sati stariji podaci.

1:58 git blame: dva imena hosta udaljena jedan znak i pet sustava za sigurnosno kopiranje s kojih nitko nikada nije vršio oporavak. Ne inženjer. Postmortem, potpisan od strane CEO-a, čuva njegovu anonimnost, boji produkcijski prompt crvenom bojom i dodjeljuje vlasnika trajnosti podataka, jer do sada ga nije bilo. Radijus eksplozije: osamnaest sati prekida, šest sati podataka nestalo, otprilike pet tisuća projekata, pet tisuća komentara,

2:18 sedam stotina novih korisnika i pet tisuća ljudi koji gledaju traku napretka. Hacker News daje dokumentu uživo 1.162 boda i citira jednu rečenicu: od pet sigurnosnih kopija, nijedna. Presuda, postmortem: SHIP IT, na odgovor. Incident vode javno, krive proces i objavljuju popis ispravki s brojevima problema. Ponedjeljna akcija: vratiti sigurnosnu kopiju. Ako je nikada niste vratili, nemate je.

2:42 Pošaljite mi incident o kojem još uvijek ne smijete govoriti, u komentarima, ili na the daily diff dot dev. I to je diff za danas. Ja sam Niko iz Axrisija. Spajajte odgovorno.

Izvori

  1. GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
  2. GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
  3. @gitlabstatus, "We accidentally deleted production data…"twitter.com
  4. @gitlabstatus, emergency maintenance noticetwitter.com
  5. Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
  6. Hacker News, the postmortem thread (377 points)news.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Povezani videozapisi