Inženjer je obrisao GitLabovu produkcijsku bazu podataka. 300 gigabajta.
31.
31. siječnja 2017., 23:27 UTC: inženjer GitLab-a, boreći se s pokvarenom replikom na kraju duge noći, uklanja PostgreSQL podatkovni direktorij na db1 umjesto na db2. db1 je primarni. Oko 300 GB GitLab.com baze podataka nestaje u sekundi ili dvije, a od pet mehanizama za sigurnosno kopiranje i replikaciju, nijedan ne radi. Postmortem: vremenska linija od skoka spama do pogrešnog imena hosta, zašto se pg_basebackup činio zaglavljenim, zašto je pg_dump tiho propadao (9.2 binarne datoteke na 9.6 bazi podataka, e-poruke o pogrešci odbijene od strane DMARC-a), 18-satni oporavak iz 6-satne stare snimke staginga koja je emitirana uživo na YouTubeu, i tko je zapravo kriv. Presuda o odgovoru: SHIP IT.
Pročitajte pisano izdanje (engleski) ↗
Što ovaj video pokriva
- 31. siječnja 2017.: rm -Rvf na podatkovnom direktoriju primarnog; ~300 GB uklonjeno, 4,5 GB preostalo
- 5 od 5 sigurnosnih kopija ne uspijeva: prazan S3 bucket (nepodudarnost verzije pg_dump), nema Azure snimki na DB-u, obrisana replika, dnevna LVM kopija bez webhukova
- 1. veljače, 18:00 UTC: GitLab.com vraćen iz 6-satne stare ručne snimke; dokument uživo, prijenos uživo, postmortem bez krivnje s popisom popravaka
Pitanja i odgovori
Što se dogodilo prilikom brisanja produkcijske baze podataka GitLab.com 2017. godine?
Kasno 31. siječnja 2017., inženjer GitLab-a, pokušavajući popraviti pokvarenu repliku, uklonio je PostgreSQL podatkovni direktorij na db1 umjesto na db2. db1 je bio primarni. Od otprilike 300 GB, ostalo je 4,5 GB. GitLab je tvitao da je slučajno izbrisao produkcijske podatke, javno objavio svoje bilješke o incidentu i prenosio oporavak na YouTubeu.
Zašto nijedan od pet GitLabovih mehanizama za sigurnosno kopiranje i replikaciju nije radio kada su bili potrebni?
Prema GitLabovom postmortem izvješću, dnevni pg_dump u S3 nije uspio jer je cron posao odabrao binarne datoteke PostgreSQL 9.2 za bazu podataka 9.6, a e-poruke o pogrešci odbijene su zbog nedostatka DMARC-a. Azure snimke pokrivale su poslužitelje datoteka, ali ne i baze podataka. Replika je namjerno obrisana, a dnevnoj snimci uklonjeni su webhukovi. Samo je ručna snimka, snimljena za nepovezan test, preživjela.
Zašto je vraćanje GitLab.com-a trajalo oko osamnaest sati?
Vraćanje je značilo kopiranje diska za staging natrag u produkciju preko Azureovog jeftinog skladišta brzinom od šezdeset megabita u sekundi, što je trajalo osamnaest sati. GitLab.com se vratio 1. veljače u 18:00 UTC, koristeći ručnu snimku staru šest sati. Prekid je koštao šest sati podataka, otprilike pet tisuća projekata, pet tisuća komentara i sedam stotina novih korisnika, prema epizodi.
Zašto se postmortemi bez krivnje usredotočuju na proces, a ne na inženjera koji je pokrenuo naredbu?
GitLabov postmortem, potpisan od strane CEO-a, čuvao je inženjera anonimnim i pripisao je kvar dvama nazivima hostova udaljenim jednim znakom i pet sustava za sigurnosno kopiranje s kojih nitko nije vraćao podatke. Obojao je produkcijski prompt crveno i dodijelio vlasnika trajnosti podataka, jer ga prije nije imala. Popis popravaka objavljen je s brojevima izdanja.
Što timovi trebaju naučiti iz GitLabovog incidenta s bazom podataka, i je li GitLabov odgovor bio ispravan?
Presuda The Daily Diffa bila je SHIP IT, na odgovoru. GitLab je incident vodio javno, okrivio je proces i objavio popis popravaka s brojevima izdanja. Ponedjeljna akcija epizode je vraćanje sigurnosne kopije, jer sigurnosna kopija koja nikada nije vraćena ne može se smatrati sigurnosnom kopijom. Hacker News je dokumentu o incidentu uživo dao 1.162 boda.
Prevedeni transkript
Prevedeno iz izvornog engleskog pripovijedanja. Dostupni zvuk i titlovi kontroliraju se putem YouTubea.
0:00 Inženjer u GitLabu pokreće rm -rf na pogrešnom poslužitelju baze podataka, i tri stotine gigabajta GitLab.com-a nestaju u sekundi ili dvije, otprilike koliko je potrebno za čitanje imena hosta. 31. siječnja 2017., 23:27. UTC. GitLab tvita da je slučajno izbrisao produkcijske podatke, otvara svoje bilješke o incidentu internetu i prenosi oporavak na YouTubeu, drugi najgledaniji prijenos uživo na platformi. Sljedeći dan, pismeno: od pet tehnika sigurnosnog kopiranja,
0:25 nijedna ne radi pouzdano. Kako se to događa, zašto je to moguće i tko je zapravo kriv. Ovo je The Daily Diff, postmortem. 17:20: inženjer snima produkciju za testiranje balansa opterećenja u stagingu. 19:00: spam udara bazu podataka, plus posao koji trajno briše zaposlenika GitLab-a koji je troll prijavio za zlouporabu. 23:00: replika toliko zaostaje da je primarni već odbacio
0:48 dnevnik koji mu je potreban; jedino rješenje je obrisati repliku i ponovno kopirati primarni. pg_basebackup se zaustavlja bez izlaza. Zapravo tiho čeka primarni; nitko to ne zna, a priručnik to ne kaže. Inženjer, koji se namjeravao odjaviti u jedanaest, odlučuje da je prazan podatkovni direktorij problem i uklanja ga. Na db1. Primarnom. Primjećuje sekundu ili dvije kasnije; od otprilike tristo gigabajta,
1:11 ostaje 4,5. Sigurnosne kopije. Jedna: pg_dump u S3, dnevno. Bucket je prazan. Cron posao se pokreće na aplikacijskom poslužitelju bez baze podataka, pa paket odabire PostgreSQL 9.2 binarne datoteke za 9.6 bazu podataka, ne uspijeva i šalje e-poštu o pogrešci, koja se odbija zbog nedostatka DMARC-a. Dvije: Azure snimke diska, omogućene za poslužitelje datoteka, ne baze podataka.
1:32 Tri: replika, namjerno obrisana prije sat vremena. Četiri: dnevna snimka, stara 24 sata, svi webhukovi uklonjeni sinkronizacijom staginga. Pet: ručna snimka od 17:20, za nepovezan test. Ta pobjeđuje. Vraćanje znači kopiranje staging diska natrag u produkciju preko Azure-ove jeftine pohrane brzinom od šezdeset megabita u sekundi: osamnaest sati. GitLab.com se vraća 1. veljače u 18:00. UTC, šest sati starijih podataka.
1:58 Git blame: dva imena hosta razdvojena jednim znakom i pet sustava za sigurnosno kopiranje s kojih nitko nikada nije vršio oporavak. Ne inženjer. Postmortem, potpisan od strane CEO-a, čuva ga anonimnim, boja produkcijski prompt crveno i daje trajnosti podataka vlasnika, jer do sada ga nije imala. Radijus eksplozije: osamnaest sati prekida, šest sati podataka izgubljeno, otprilike pet tisuća projekata, pet tisuća komentara,
2:18 sedam stotina novih korisnika i pet tisuća ljudi koji gledaju traku napretka. Hacker News daje dokumentu uživo 1.162 boda i citira jedan redak natrag njima: od pet sigurnosnih kopija, nijedna. Presuda, postmortem: ship it, na odgovoru. Oni vode incident javno, krive proces i objavljuju popis popravaka s brojevima izdanja. Ponedjeljak akcija: vratite sigurnosnu kopiju. Ako je nikada niste vratili, nemate je.
2:42 Pošaljite mi incident o kojem još uvijek ne smijete govoriti, u komentarima ili na the daily diff dot dev. I to je diff za danas. Ja sam Niko iz Axrisija. Spajajte odgovorno.
Izvori
- GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
- GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
- @gitlabstatus, "We accidentally deleted production data…"twitter.com
- @gitlabstatus, emergency maintenance noticetwitter.com
- Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
- Hacker News, the postmortem thread (377 points)news.ycombinator.com



