Inženjer je izbrisao GitLab-ovu produkcionu bazu podataka. 300 gigabajta.
31.
31. januara 2017. godine, 23:27 UTC: GitLab inženjer, boreći se sa pokvarenom replikom na kraju duge noći, uklanja PostgreSQL direktorijum podataka na db1 umesto na db2. db1 je primarni. Oko 300 GB GitLab.com baze podataka nestaje za sekundu ili dve, a od pet mehanizama za rezervnu kopiju i replikaciju, nijedan ne radi. Postmortem: vremenska linija od šiljka spama do pogrešnog imena hosta, zašto se pg_basebackup činio zaglavljenim, zašto je pg_dump tiho propadao (9.2 binarni fajlovi na bazi podataka 9.6, neuspešni e-mailovi odbijeni od strane DMARC-a), 18-časovni oporavak od 6-časovnog snimka staging-a emitovan uživo na YouTube-u, i ko zaista snosi krivicu. Presuda o odgovoru: SHIP IT.
Pročitajte pisano izdanje (engleski) ↗
Šta ovaj video pokriva
- 31. januar 2017: rm -Rvf na direktorijumu podataka primarnog servera; uklonjeno ~300 GB, ostalo 4,5 GB
- 5 od 5 rezervnih kopija ne uspeva: prazan S3 bucket (neusklađenost verzije pg_dump-a), nema Azure snimaka na bazi podataka, obrisana replika, dnevna LVM kopija bez webhooks-a
- 1. februar, 18:00 UTC: GitLab.com se vratio iz ručnog snimka starog 6 sati; dokument uživo, strim uživo, postmortem bez krivice sa listom popravki
Pitanja i odgovori
Šta se dogodilo prilikom brisanja produkcione baze podataka GitLab.com-a 2017. godine?
Kasno 31. januara 2017. godine, GitLab inženjer koji je pokušavao da popravi pokvarenu repliku uklonio je PostgreSQL direktorijum podataka na db1 umesto na db2. db1 je bio primarni. Od otprilike 300 GB, ostalo je 4,5 GB. GitLab je tvitovao da je slučajno obrisao produkcione podatke, javno objavio beleške o incidentu i strimovao oporavak na YouTube-u.
Zašto nijedan od pet GitLab-ovih mehanizama za rezervnu kopiju i replikaciju nije radio kada su bili potrebni?
Prema GitLab-ovom postmortem izveštaju, dnevni pg_dump na S3 nije uspevao jer je cron posao koristio PostgreSQL 9.2 binarne fajlove za bazu podataka 9.6, a njegovi e-mailovi o neuspehu su se odbijali zbog nedostatka DMARC-a. Azure snimci su pokrivali fajl servere, ali ne i baze podataka. Replika je namerno obrisana, a dnevni snimak je imao uklonjene webhooks-ove. Samo ručni snimak, napravljen za nepovezan test, je preživeo.
Zašto je vraćanje GitLab.com-a trajalo oko osamnaest sati?
Vraćanje je značilo kopiranje diska sa staging okruženja nazad u produkciju preko Azure-ovog jeftinog skladišta brzinom od šezdeset megabita u sekundi, što je trajalo osamnaest sati. GitLab.com se vratio 1. februara u 18:00 UTC, koristeći ručni snimak star šest sati. Prekid je koštao šest sati podataka, otprilike pet hiljada projekata, pet hiljada komentara i sedam stotina novih korisnika, prema epizodi.
Zašto postmortemi bez okrivljavanja fokusiraju na proces umesto na inženjera koji je pokrenuo komandu?
GitLab-ov postmortem, potpisan od strane CEO-a, čuvao je inženjera anonimnim i pripisao neuspeh dvama imenima hosta udaljenim jedan znak i pet backup sistema iz kojih niko nije vratio podatke. Produkcijski prompt je obojen u crveno i trajnosti podataka je dodeljen vlasnik, jer ga ranije nije imala. Lista popravki je objavljena sa brojevima izdanja.
Šta timovi treba da nauče iz GitLab-ovog incidenta sa bazom podataka, i da li je GitLab-ov odgovor bio ispravan?
Presuda The Daily Diff-a je bila SHIP IT, što se tiče odgovora. GitLab je incident vodio javno, krivio proces i objavio listu popravki sa brojevima izdanja. Akcija za ponedeljak u epizodi je vraćanje rezervne kopije, jer se rezervna kopija koja nikada nije vraćena ne može smatrati rezervnom kopijom. Hacker News je dokumentu o incidentu uživo dao 1.162 poena.
Preveden transkript
Prevedeno sa originalne engleske naracije. Dostupan audio i titlovi kontrolisani su od strane YouTube-a.
0:00 Inženjer u GitLab-u pokreće rm -rf na pogrešnom serveru baze podataka, i trista gigabajta GitLab dot com-a nestaje za sekundu ili dve, otprilike onoliko koliko je potrebno da se pročita ime hosta. 31. januara 2017. godine, 23:27 po podne UTC. GitLab tvituje da je slučajno obrisao produkcione podatke, otvara svoje beleške o incidentu za internet i strimuje oporavak na YouTube-u, drugi najgledaniji strim uživo na platformi. Sledećeg dana, pismeno: od pet tehnika rezervne kopije,
0:25 nijedna ne radi pouzdano. Kako se to događa, zašto je to moguće i ko zaista snosi krivicu. Ovo je The Daily Diff, postmortem. 17:20: inženjer pravi snimak produkcije da testira balanser opterećenja u staging okruženju. 19:00: spam udara bazu podataka, plus posao koji nasilno briše GitLab zaposlenog koga je trolovao zbog zloupotrebe. 23:00: replika zaostaje toliko da je primarni server već odbacio
0:48 log koji mu je potreban; jedino rešenje je da se obriše replika i ponovo kopira primarni server. pg_basebackup se zaglavljuje bez izlaza. Zapravo, tiho čeka primarni server; niko to ne zna, i u uputstvima to ne piše. Inženjer, koji je trebalo da se odjavi u jedanaest, odlučuje da je prazan direktorijum podataka problem i uklanja ga. Na db1. Primarnom. Primećuje sekund ili dve kasnije; od otprilike trista gigabajta,
1:11 ostalo je 4,5. Rezervne kopije. Jedna: pg_dump na S3, dnevno. Kanta je prazna. Cron posao se pokreće na aplikacionom serveru bez baze podataka, tako da paket bira PostgreSQL 9.2 binarne fajlove za bazu podataka 9.6, ne uspeva i šalje e-poštu o neuspehu, koja se odbija zbog nedostatka DMARC-a. Dva: Azure snimci diska, omogućeni za fajl servere, ne i za baze podataka.
1:32 Tri: replika, namerno obrisana pre sat vremena. Četiri: dnevni snimak, star 24 sata, svaki webhook uklonjen sinhronizacijom staging-a. Pet: ručni snimak od 17:20, za nepovezan test. Taj pobeđuje. Vraćanje znači kopiranje staging diska nazad u produkciju preko Azure-ovog jeftinog skladišta šezdeset megabita u sekundi: osamnaest sati. GitLab dot com se vraća 1. februara u 18:00 UTC, podaci stari šest sati.
1:58 git blame: dva imena hosta udaljena jedan znak i pet backup sistema iz kojih niko nikada nije obnovio podatke. Nije inženjer kriv. Postmortem, potpisan od strane CEO-a, čuva njegov identitet anonimnim, oboji produkcijski prompt u crveno i dodeli vlasnika trajnosti podataka, jer ga do sada nije imala. Radijus eksplozije: osamnaest sati prekida, šest sati podataka nestalo, otprilike pet hiljada projekata, pet hiljada komentara,
2:18 sedam stotina novih korisnika i pet hiljada ljudi koji gledaju traku napretka. Hacker News daje live dokumentu 1.162 poena i citira jednu rečenicu nazad: od pet backupa, nijedan. Presuda, postmortem: ship it, što se tiče odgovora. Oni vode incident javno, krive proces i objavljuju listu popravki sa brojevima izdanja. Akcija za ponedeljak: vrati rezervnu kopiju. Ako je nikada niste vratili, nemate je.
2:42 Pošaljite mi incident o kojem još uvek ne smete da pričate, u komentarima, ili na the daily diff dot dev. I to je diff za danas. Ja sam Niko iz Axrisija. Spajajte odgovorno.
Izvori
- GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
- GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
- @gitlabstatus, "We accidentally deleted production data…"twitter.com
- @gitlabstatus, emergency maintenance noticetwitter.com
- Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
- Hacker News, the postmortem thread (377 points)news.ycombinator.com



