Ingeniari batek GitLab-en produkzioko datu-basea ezabatu zuen. 300 gigabyte.
2017ko urtarrilaren 31, 23:27 UTC: GitLab-eko ingeniari batek, gau luze baten amaieran hautsitako erreplika bati aurre eginez, PostgreSQL datu-direktorioa db1-en ezabatu zuen db2-ren ordez.
2017ko urtarrilaren 31, 23:27 UTC: GitLab-eko ingeniari batek, gau luze baten amaieran hautsitako erreplika bati aurre eginez, PostgreSQL datu-direktorioa db1-en ezabatu zuen db2-ren ordez. db1 zen nagusia. GitLab.com-eko datu-basearen 300 GB inguru desagertu ziren segundo batean edo bitan, eta bost babeskopia eta erreplikazio mekanismoetatik, bat ere ez zegoen martxan. Postmortem: spam igoeratik ostalari-izen okerra arteko kronologia, zergatik pg_basebackup trabatuta zegoela zirudien, zergatik pg_dump isilpean huts egiten ari zen (9.2ko bitarrak 9.6ko datu-base batean, huts egindako mezu elektronikoak DMARC-ek erreboteatuak), 6 orduko antzeko argazki batetik 18 orduko leheneratzea YouTube-n zuzenean erreproduzituta, eta nork duen benetako errua. Erantzunaren epaia: SHIP IT.
Irakurri idatzizko edizioa (ingelesez) ↗
Bideo honek zer jorratzen duen
- 2017ko urtarrilaren 31: rm -Rvf primarioaren datu-direktorioan; ~300 GB ezabatu, 4.5 GB geratu ziren
- 5 babeskopietatik 5ek huts egin zuten: S3 kubeta hutsa (pg_dump bertsio desberdintasuna), Azure-n ez zen DB-ren argazkirik, erreplika ezabatua, eguneroko LVM kopia webhookik gabe
- Otsailak 1, 18:00 UTC: GitLab.com-ek 6 orduko eskuzko argazki batetik berreskuratu zen; zuzeneko dokumentua, zuzeneko erreprodukzioa, erru gabe postmortem bat konponketa-zerrendarekin
Galderak eta erantzunak
Zer gertatu zen 2017ko GitLab.com produkzioko datu-basearen ezabaketan?
2017ko urtarrilaren 31ko gauean, erreplika hautsi bat konpontzen saiatzen ari zen GitLab-eko ingeniari batek PostgreSQL datu-direktorioa db1-en ezabatu zuen db2-ren ordez. db1 primarioa zen. Gutxi gorabehera 300 GB-tik, 4.5 GB geratu ziren. GitLab-ek txiokatu zuen ustekabean produkzioko datuak ezabatu zituela, bere gertakari-oharrak publikoki ireki zituen eta berreskurapena YouTube-n zuzenean igorri zuen.
Zergatik ez zuen funtzionatu GitLab-en bost babeskopia eta erreplikazio mekanismoetatik bat ere behar zenean?
GitLab-en postmortem-aren arabera, eguneroko pg_dump S3-ra huts egiten ari zen cron lanak PostgreSQL 9.2ko bitarrak hautatu zituelako 9.6ko datu-base baterako, eta bere huts egindako mezu elektronikoak DMARC falta zuelako erreboteatu zituen. Azure snapshots-ek fitxategi-zerbitzariak estaltzen zituen, baina ez datu-baseak. Erreplika nahita ezabatu zen, eta eguneroko snapshot-ak bere webhook-ak kenduta zituen. Loturarik gabeko proba baterako hartutako eskuzko snapshot bat bakarrik mantendu zen.
Zergatik iraun zuen GitLab.com-en berreskurapenak hemezortzi ordu inguru?
Berreskuratzeak esan nahi zuen staging diskoa produkziora kopiatzea Azure-ren biltegiratze merkean segundoko hirurogei megabit-ean, eta horrek hemezortzi ordu iraun zuen. GitLab.com otsailaren 1ean itzuli zen 18:00 UTC-an, sei orduko antzinatasuna zuen eskuzko snapshot bat erabiliz. Etenaldiak sei orduko datu galdu zituen, gutxi gorabehera bost mila proiektu, bost mila iruzkin eta zazpiehun erabiltzaile berri, pasartearen arabera.
Zergatik arduratzen dira erru gabe postmortem-ak prozesuari buruz, eta ez komandoa exekutatu zuen ingeniariari buruz?
GitLab-en postmortem-a, CEOk sinatua, ingeniaria anonimo mantendu zuen eta huts egitea bi ostalari-izeni egotzi zion karaktere bateko desberdintasunarekin eta bost babeskopia sistema inork ez zituenak berreskuratu. Produkzio-galdera gorriz margotu zuen eta datuen iraunkortasunari jabe bat eman zion, aurretik ez zuelako bat ere. Konponketa-zerrenda arazo-zenbakiekin argitaratu zen.
Zer ikasi behar dute taldeek GitLab-en datu-basearen gertakaritik, eta zuzena izan zen GitLab-en erantzuna?
The Daily Diff-en epaia SHIP IT izan zen, erantzunari dagokionez. GitLab-ek gertakaria publikoki kudeatu zuen, prozesuari egotzi zion errua eta konponketa-zerrenda argitaratu zuen arazo-zenbakiekin. Pasartearen asteleheneko ekintza babeskopia bat berreskuratzea da, inoiz berreskuratu ez den babeskopia bat ezin delako babeskopia gisa kontatu. Hacker News-ek zuzeneko gertakari-dokumentuari 1.162 puntu eman zizkion.
Itzulitako transkripzioa
Jatorrizko ingelesezko narraziotik itzulia. Eskuragarri dauden audioa eta azpitituluak YouTube-k kontrolatzen ditu.
0:00 GitLab-eko ingeniari batek rm -rf exekutatu zuen datu-base zerbitzari okerrean, eta hirurehun gigabyte GitLab dot com desagertu ziren segundo batean edo bitan, ostalari-izen bat irakurtzeko behar den denbora gutxi gorabehera. 2017ko urtarrilaren 31a, gaueko 11:27ak. UTC. GitLab-ek txiokatu zuen ustekabean produkzioko datuak ezabatu zituela, bere intzidentzia-oharrak internetera zabaldu zituen, eta berreskurapena YouTube-n zuzenean igorri zuen, plataformako bigarren zuzeneko erreprodukzioa. Hurrengo egunean, idatziz: bost babeskopia tekniketatik,
0:25 bat ere ez dago fidagarritasunez martxan. Nola gertatzen den, zergatik den posible, eta nork duen benetan errua. Hau The Daily Diff da, postmortem. 17:20: ingeniari batek produkzioaren argazki bat ateratzen du staging-eko karga-banatzaile bat probatzeko. 19:00: spamak datu-basea joz, gehi GitLab-eko langile bat gogor ezabatzen duen lan bat troll batek tratu txarrak salatu zituen. 23:00: erreplika atzean geratu da hainbeste, ezen primarioak dagoeneko baztertu baitu
0:48 behar duen erregistroa; konponbide bakarra erreplika ezabatzea eta primarioa kopiatzea da berriro. pg_basebackup zintzilik geratzen da irteerarik gabe. Benetan, isilpean, primarioaren zain dago; inork ez daki hori, eta runbook-ean ez dago idatzita. Ingeniariak, hamaiketan lana uzteko asmoa zuena, datu-direktorio hutsa dela uste du arazoa eta ezabatu egiten du. Db1-en. Primarioa. Segundo bat edo bi geroago ohartu zen; hirurehun gigabyte ingurutik,
1:11 4.5 geratu ziren. Babeskopiak. Bat: pg_dump S3-ra, egunero. Kubeta hutsa dago. Cron lana aplikazio-zerbitzari batean exekutatzen da datu-baserik gabe, beraz, paketeak PostgreSQL 9.2ko bitarrak hautatzen ditu 9.6ko datu-base baterako, huts egiten du, eta mezu elektronikoak bidaltzen ditu huts egitea, DMARC falta delako errebotea egiten duena. Bi: Azure disk snapshots, fitxategi-zerbitzarietarako gaituta, ez datu-baseetarako.
1:32 Hiru: erreplika, nahita ezabatua duela ordubete. Lau: eguneroko snapshot-a, 24 orduko zahartasuna, staging sinkronizazioak webhook guztiak kendu zizkion. Bost: 17:20ko eskuzko snapshot-a, proba baterako loturarik gabekoa. Horrek irabazi du. Berreskuratzeak esan nahi du staging-eko diskoa produkziora kopiatzea Azure-ren biltegiratze merkean segundoko hirurogei megabit-ean: hemezortzi ordu. GitLab dot com berriro martxan dago otsailaren 1ean arratsaldeko seiak aldera UTC, sei orduko datu zaharragoak.
1:58 git blame: ostalari-izen bi karaktere bateko desberdintasunarekin, eta bost babeskopia sistema inork ez dituena inoiz berreskuratu. Ez ingeniariak. Postmortem-a, CEOk sinatua, anonimo mantentzen du, produkzio-galdera gorriz margotzen du, eta datuen iraunkortasunari jabe bat ematen dio, ordura arte ez zuelako bat ere. Blast radius: hemezortzi ordu geldituta, sei orduko datuak galdu, gutxi gorabehera bost mila proiektu, bost mila iruzkin,
2:18 zazpiehun erabiltzaile berri, eta bost mila pertsona aurrerapen barra bat ikusten. Hacker News-ek zuzeneko dokumentuari 1.162 puntu eman zizkion eta lerro bat aipatu zuen berriz ere: bost babeskopietatik, bat ere ez. Epaia, postmortem: bidali, erantzunari dagokionez. Gertakaria publikoki kudeatu zuten, prozesuari egotzi zioten errua, eta konponketa-zerrenda argitaratu zuten arazo-zenbakiekin. Asteleheneko ekintza: babeskopia bat berreskuratu. Inoiz ez baduzu berreskuratu, ez duzu bat ere.
2:42 Bidali ezin duzun gertakaria, oraindik ere, buruz hitz egiteko, iruzkinetan, edo daily diff dot dev helbidera. Eta hori da gaurko diff-a. Niko naiz Axrisi-koa. Batu arduraz.
Iturriak
- GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
- GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
- @gitlabstatus, "We accidentally deleted production data…"twitter.com
- @gitlabstatus, emergency maintenance noticetwitter.com
- Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
- Hacker News, the postmortem thread (377 points)news.ycombinator.com



