Inženjer je obrisao GitLabovu produkcijsku bazu podataka. 300 gigabajta.
31.
31. siječnja 2017., 23:27 UTC: inženjer GitLaba, boreći se s pokvarenom replikom na kraju duge noći, uklanja PostgreSQL direktorij podataka na db1 umjesto na db2. db1 je primarni. Oko 300 GB GitLab.com baze podataka nestaje za sekundu ili dvije, a od pet mehanizama za sigurnosno kopiranje i replikaciju, nijedan ne radi. Postmortem: vremenska linija od skoka spama do pogrešnog imena hosta, zašto se pg_basebackup činio zaglavljenim, zašto pg_dump nije radio tiho (9.2 binarne datoteke na 9.6 bazi podataka, e-poruke o greškama odbijene DMARC-om), 18-satni oporavak iz 6-satne snimke staginga streaman uživo na YouTubeu, i tko je zapravo kriv. Presuda o odgovoru: SHIP IT.
Pročitajte pisano izdanje (engleski) ↗
Šta ovaj video pokriva
- 31. siječnja 2017.: rm -Rvf na direktoriju podataka primarnog servera; ~300 GB uklonjeno, 4,5 GB ostalo
- 5 od 5 sigurnosnih kopija ne uspijeva: prazan S3 bucket (neusklađenost verzije pg_dump), nema Azure snimki na DB-u, obrisana replika, dnevna LVM kopija bez webhukova
- 1. veljače, 18:00 UTC: GitLab.com se vratio iz ručne snimke stare 6 sati; dokument uživo, stream uživo, postmortem bez krivca s popisom ispravki
Pitanja i odgovori
Što se dogodilo prilikom brisanja produkcijske baze podataka GitLab.com 2017. godine?
Kasno 31. siječnja 2017., inženjer GitLaba, pokušavajući popraviti pokvarenu repliku, uklonio je direktorij podataka PostgreSQL-a na db1 umjesto na db2. db1 je bio primarni. Od otprilike 300 GB, ostalo je 4,5 GB. GitLab je tvitao da je slučajno izbrisao produkcijske podatke, javno objavio svoje bilješke o incidentu i prenosio oporavak uživo na YouTubeu.
Zašto nijedan od pet mehanizama za sigurnosno kopiranje i replikaciju GitLaba nije radio kada su bili potrebni?
Prema GitLabovom postmortemu, dnevni pg_dump na S3 nije radio jer je cron posao koristio PostgreSQL 9.2 binarne datoteke za bazu podataka 9.6, a njegove e-poruke o greškama su se odbijale zbog nedostatka DMARC-a. Azure snimke su pokrivale poslužitelje datoteka, ali ne i baze podataka. Replika je namjerno obrisana, a dnevna snimka je imala uklonjene web-hookove. Samo je ručna snimka, napravljena za nepovezano testiranje, preživjela.
Zašto je oporavak GitLab.com trajao otprilike osamnaest sati?
Oporavak je značio kopiranje staging diska natrag u produkciju preko Azureovog jeftinog skladišta brzinom od šezdeset megabita u sekundi, što je trajalo osamnaest sati. GitLab.com se vratio 1. veljače u 18:00 UTC, koristeći ručnu snimku staru šest sati. Prekid je koštao šest sati podataka, otprilike pet tisuća projekata, pet tisuća komentara i sedam stotina novih korisnika, prema epizodi.
Zašto se postmortemi bez krivnje fokusiraju na proces, a ne na inženjera koji je pokrenuo naredbu?
GitLabov postmortem, potpisan od strane CEO-a, držao je inženjera anonimnim i pripisao je kvar dvama imenima hosta udaljenim jedan znak i pet backup sustava s kojih nitko nikada nije vršio oporavak. Produkcijski prompt je obojio u crveno i dodijelio vlasnika trajnosti podataka, jer ga prije nije bilo. Popis ispravki je objavljen s brojevima problema.
Što bi timovi trebali naučiti iz incidenta s bazom podataka GitLaba, i je li GitLabov odgovor bio ispravan?
Presuda The Daily Diff-a je bila SHIP IT, na odgovor. GitLab je incident vodio javno, krivio proces i objavio popis ispravki s brojevima problema. Ponedjeljna akcija epizode je vraćanje sigurnosne kopije, jer se sigurnosna kopija koja nikada nije vraćena ne može smatrati sigurnosnom kopijom. Hacker News je dokumentu o incidentu uživo dao 1.162 boda.
Prevedeni transkript
Prevedeno iz originalne engleske naracije. Dostupan zvuk i titlovi kontroliše YouTube.
0:00 Inženjer u GitLabu pokreće rm -rf na pogrešnom poslužitelju baze podataka, i tristo gigabajta GitLab dot com nestaje za sekundu ili dvije, otprilike koliko je potrebno za čitanje naziva hosta. 31. siječnja 2017., 23:27 UTC. GitLab tvita da je slučajno izbrisao produkcijske podatke, otvara svoje bilješke o incidentu internetu i streamuje oporavak na YouTubeu, drugi po gledanosti stream uživo na platformi. Sljedeći dan, pismeno: od pet tehnika sigurnosnog kopiranja,
0:25 nijedna ne radi pouzdano. Kako se to događa, zašto je to moguće i tko je zapravo kriv. Ovo je The Daily Diff, postmortem. 17:20: inženjer stvara snimku produkcije za testiranje balansera opterećenja u stagingu. 19:00: spam udara bazu podataka, plus posao koji trajno briše zaposlenika GitLaba kojeg je trol prijavio zbog zlouporabe. 23:00: replika toliko zaostaje da je primarni već odbacio
0:48 dnevnik koji mu je potreban; jedino rješenje je obrisati repliku i ponovno kopirati primarni server. pg_basebackup se zamrzava bez izlaza. Zapravo tiho čeka primarni; nitko to ne zna, a priručnik to ne kaže. Inženjer, koji je trebao završiti u jedanaest, odlučuje da je prazan direktorij podataka problem i uklanja ga. Na db1. Primarnom. Primijeti sekundu ili dvije kasnije; od otprilike tristo gigabajta,
1:11 4,5 ostaje. Sigurnosne kopije. Jedna: pg_dump na S3, dnevno. Bucket je prazan. Cron posao se pokreće na poslužitelju aplikacija bez baze podataka, pa paket bira PostgreSQL 9.2 binarne datoteke za bazu podataka 9.6, ne uspijeva i šalje e-poštu o grešci, koja se odbija zbog nedostatka DMARC-a. Dva: Azure snimke diska, omogućene za poslužitelje datoteka, ne baze podataka.
1:32 Tri: replika, namjerno obrisana prije sat vremena. Četiri: dnevna snimka, stara 24 sata, svi webhukovi uklonjeni sinkronizacijom staginga. Pet: ručna snimka od 17:20, za nepovezano testiranje. Ta pobjeđuje. Vraćanje znači kopiranje staging diska natrag u produkciju preko Azureove jeftine pohrane pri šezdeset megabita u sekundi: osamnaest sati. GitLab dot com se vraća 1. veljače u 18 sati UTC, šest sati stariji podaci.
1:58 git blame: dva imena hosta udaljena jedan znak i pet sustava za sigurnosno kopiranje s kojih nitko nikada nije vršio oporavak. Ne inženjer. Postmortem, potpisan od strane CEO-a, čuva njegovu anonimnost, boji produkcijski prompt crvenom bojom i dodjeljuje vlasnika trajnosti podataka, jer do sada ga nije bilo. Radijus eksplozije: osamnaest sati prekida, šest sati podataka nestalo, otprilike pet tisuća projekata, pet tisuća komentara,
2:18 sedam stotina novih korisnika i pet tisuća ljudi koji gledaju traku napretka. Hacker News daje dokumentu uživo 1.162 boda i citira jednu rečenicu: od pet sigurnosnih kopija, nijedna. Presuda, postmortem: SHIP IT, na odgovor. Incident vode javno, krive proces i objavljuju popis ispravki s brojevima problema. Ponedjeljna akcija: vratiti sigurnosnu kopiju. Ako je nikada niste vratili, nemate je.
2:42 Pošaljite mi incident o kojem još uvijek ne smijete govoriti, u komentarima, ili na the daily diff dot dev. I to je diff za danas. Ja sam Niko iz Axrisija. Spajajte odgovorno.
Izvori
- GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
- GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
- @gitlabstatus, "We accidentally deleted production data…"twitter.com
- @gitlabstatus, emergency maintenance noticetwitter.com
- Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
- Hacker News, the postmortem thread (377 points)news.ycombinator.com



