+− THE DAILY DIFFdev & AI news
SHIP IT

Ingeniari batek GitLab-en produkzioko datu-basea ezabatu zuen. 300 gigabyte.

2017ko urtarrilaren 31, 23:27 UTC: GitLab-eko ingeniari batek, gau luze baten amaieran hautsitako erreplika bati aurre eginez, PostgreSQL datu-direktorioa db1-en ezabatu zuen db2-ren ordez.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

2017ko urtarrilaren 31, 23:27 UTC: GitLab-eko ingeniari batek, gau luze baten amaieran hautsitako erreplika bati aurre eginez, PostgreSQL datu-direktorioa db1-en ezabatu zuen db2-ren ordez. db1 zen nagusia. GitLab.com-eko datu-basearen 300 GB inguru desagertu ziren segundo batean edo bitan, eta bost babeskopia eta erreplikazio mekanismoetatik, bat ere ez zegoen martxan. Postmortem: spam igoeratik ostalari-izen okerra arteko kronologia, zergatik pg_basebackup trabatuta zegoela zirudien, zergatik pg_dump isilpean huts egiten ari zen (9.2ko bitarrak 9.6ko datu-base batean, huts egindako mezu elektronikoak DMARC-ek erreboteatuak), 6 orduko antzeko argazki batetik 18 orduko leheneratzea YouTube-n zuzenean erreproduzituta, eta nork duen benetako errua. Erantzunaren epaia: SHIP IT.

Irakurri idatzizko edizioa (ingelesez) ↗

Bideo honek zer jorratzen duen

  • 2017ko urtarrilaren 31: rm -Rvf primarioaren datu-direktorioan; ~300 GB ezabatu, 4.5 GB geratu ziren
  • 5 babeskopietatik 5ek huts egin zuten: S3 kubeta hutsa (pg_dump bertsio desberdintasuna), Azure-n ez zen DB-ren argazkirik, erreplika ezabatua, eguneroko LVM kopia webhookik gabe
  • Otsailak 1, 18:00 UTC: GitLab.com-ek 6 orduko eskuzko argazki batetik berreskuratu zen; zuzeneko dokumentua, zuzeneko erreprodukzioa, erru gabe postmortem bat konponketa-zerrendarekin

Galderak eta erantzunak

Zer gertatu zen 2017ko GitLab.com produkzioko datu-basearen ezabaketan?

2017ko urtarrilaren 31ko gauean, erreplika hautsi bat konpontzen saiatzen ari zen GitLab-eko ingeniari batek PostgreSQL datu-direktorioa db1-en ezabatu zuen db2-ren ordez. db1 primarioa zen. Gutxi gorabehera 300 GB-tik, 4.5 GB geratu ziren. GitLab-ek txiokatu zuen ustekabean produkzioko datuak ezabatu zituela, bere gertakari-oharrak publikoki ireki zituen eta berreskurapena YouTube-n zuzenean igorri zuen.

about.gitlab.com · about.gitlab.com · twitter.com

Zergatik ez zuen funtzionatu GitLab-en bost babeskopia eta erreplikazio mekanismoetatik bat ere behar zenean?

GitLab-en postmortem-aren arabera, eguneroko pg_dump S3-ra huts egiten ari zen cron lanak PostgreSQL 9.2ko bitarrak hautatu zituelako 9.6ko datu-base baterako, eta bere huts egindako mezu elektronikoak DMARC falta zuelako erreboteatu zituen. Azure snapshots-ek fitxategi-zerbitzariak estaltzen zituen, baina ez datu-baseak. Erreplika nahita ezabatu zen, eta eguneroko snapshot-ak bere webhook-ak kenduta zituen. Loturarik gabeko proba baterako hartutako eskuzko snapshot bat bakarrik mantendu zen.

about.gitlab.com · about.gitlab.com

Zergatik iraun zuen GitLab.com-en berreskurapenak hemezortzi ordu inguru?

Berreskuratzeak esan nahi zuen staging diskoa produkziora kopiatzea Azure-ren biltegiratze merkean segundoko hirurogei megabit-ean, eta horrek hemezortzi ordu iraun zuen. GitLab.com otsailaren 1ean itzuli zen 18:00 UTC-an, sei orduko antzinatasuna zuen eskuzko snapshot bat erabiliz. Etenaldiak sei orduko datu galdu zituen, gutxi gorabehera bost mila proiektu, bost mila iruzkin eta zazpiehun erabiltzaile berri, pasartearen arabera.

about.gitlab.com · about.gitlab.com

Zergatik arduratzen dira erru gabe postmortem-ak prozesuari buruz, eta ez komandoa exekutatu zuen ingeniariari buruz?

GitLab-en postmortem-a, CEOk sinatua, ingeniaria anonimo mantendu zuen eta huts egitea bi ostalari-izeni egotzi zion karaktere bateko desberdintasunarekin eta bost babeskopia sistema inork ez zituenak berreskuratu. Produkzio-galdera gorriz margotu zuen eta datuen iraunkortasunari jabe bat eman zion, aurretik ez zuelako bat ere. Konponketa-zerrenda arazo-zenbakiekin argitaratu zen.

about.gitlab.com · news.ycombinator.com

Zer ikasi behar dute taldeek GitLab-en datu-basearen gertakaritik, eta zuzena izan zen GitLab-en erantzuna?

The Daily Diff-en epaia SHIP IT izan zen, erantzunari dagokionez. GitLab-ek gertakaria publikoki kudeatu zuen, prozesuari egotzi zion errua eta konponketa-zerrenda argitaratu zuen arazo-zenbakiekin. Pasartearen asteleheneko ekintza babeskopia bat berreskuratzea da, inoiz berreskuratu ez den babeskopia bat ezin delako babeskopia gisa kontatu. Hacker News-ek zuzeneko gertakari-dokumentuari 1.162 puntu eman zizkion.

about.gitlab.com · news.ycombinator.com

Itzulitako transkripzioa

Jatorrizko ingelesezko narraziotik itzulia. Eskuragarri dauden audioa eta azpitituluak YouTube-k kontrolatzen ditu.

0:00 GitLab-eko ingeniari batek rm -rf exekutatu zuen datu-base zerbitzari okerrean, eta hirurehun gigabyte GitLab dot com desagertu ziren segundo batean edo bitan, ostalari-izen bat irakurtzeko behar den denbora gutxi gorabehera. 2017ko urtarrilaren 31a, gaueko 11:27ak. UTC. GitLab-ek txiokatu zuen ustekabean produkzioko datuak ezabatu zituela, bere intzidentzia-oharrak internetera zabaldu zituen, eta berreskurapena YouTube-n zuzenean igorri zuen, plataformako bigarren zuzeneko erreprodukzioa. Hurrengo egunean, idatziz: bost babeskopia tekniketatik,

0:25 bat ere ez dago fidagarritasunez martxan. Nola gertatzen den, zergatik den posible, eta nork duen benetan errua. Hau The Daily Diff da, postmortem. 17:20: ingeniari batek produkzioaren argazki bat ateratzen du staging-eko karga-banatzaile bat probatzeko. 19:00: spamak datu-basea joz, gehi GitLab-eko langile bat gogor ezabatzen duen lan bat troll batek tratu txarrak salatu zituen. 23:00: erreplika atzean geratu da hainbeste, ezen primarioak dagoeneko baztertu baitu

0:48 behar duen erregistroa; konponbide bakarra erreplika ezabatzea eta primarioa kopiatzea da berriro. pg_basebackup zintzilik geratzen da irteerarik gabe. Benetan, isilpean, primarioaren zain dago; inork ez daki hori, eta runbook-ean ez dago idatzita. Ingeniariak, hamaiketan lana uzteko asmoa zuena, datu-direktorio hutsa dela uste du arazoa eta ezabatu egiten du. Db1-en. Primarioa. Segundo bat edo bi geroago ohartu zen; hirurehun gigabyte ingurutik,

1:11 4.5 geratu ziren. Babeskopiak. Bat: pg_dump S3-ra, egunero. Kubeta hutsa dago. Cron lana aplikazio-zerbitzari batean exekutatzen da datu-baserik gabe, beraz, paketeak PostgreSQL 9.2ko bitarrak hautatzen ditu 9.6ko datu-base baterako, huts egiten du, eta mezu elektronikoak bidaltzen ditu huts egitea, DMARC falta delako errebotea egiten duena. Bi: Azure disk snapshots, fitxategi-zerbitzarietarako gaituta, ez datu-baseetarako.

1:32 Hiru: erreplika, nahita ezabatua duela ordubete. Lau: eguneroko snapshot-a, 24 orduko zahartasuna, staging sinkronizazioak webhook guztiak kendu zizkion. Bost: 17:20ko eskuzko snapshot-a, proba baterako loturarik gabekoa. Horrek irabazi du. Berreskuratzeak esan nahi du staging-eko diskoa produkziora kopiatzea Azure-ren biltegiratze merkean segundoko hirurogei megabit-ean: hemezortzi ordu. GitLab dot com berriro martxan dago otsailaren 1ean arratsaldeko seiak aldera UTC, sei orduko datu zaharragoak.

1:58 git blame: ostalari-izen bi karaktere bateko desberdintasunarekin, eta bost babeskopia sistema inork ez dituena inoiz berreskuratu. Ez ingeniariak. Postmortem-a, CEOk sinatua, anonimo mantentzen du, produkzio-galdera gorriz margotzen du, eta datuen iraunkortasunari jabe bat ematen dio, ordura arte ez zuelako bat ere. Blast radius: hemezortzi ordu geldituta, sei orduko datuak galdu, gutxi gorabehera bost mila proiektu, bost mila iruzkin,

2:18 zazpiehun erabiltzaile berri, eta bost mila pertsona aurrerapen barra bat ikusten. Hacker News-ek zuzeneko dokumentuari 1.162 puntu eman zizkion eta lerro bat aipatu zuen berriz ere: bost babeskopietatik, bat ere ez. Epaia, postmortem: bidali, erantzunari dagokionez. Gertakaria publikoki kudeatu zuten, prozesuari egotzi zioten errua, eta konponketa-zerrenda argitaratu zuten arazo-zenbakiekin. Asteleheneko ekintza: babeskopia bat berreskuratu. Inoiz ez baduzu berreskuratu, ez duzu bat ere.

2:42 Bidali ezin duzun gertakaria, oraindik ere, buruz hitz egiteko, iruzkinetan, edo daily diff dot dev helbidera. Eta hori da gaurko diff-a. Niko naiz Axrisi-koa. Batu arduraz.

Iturriak

  1. GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
  2. GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
  3. @gitlabstatus, "We accidentally deleted production data…"twitter.com
  4. @gitlabstatus, emergency maintenance noticetwitter.com
  5. Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
  6. Hacker News, the postmortem thread (377 points)news.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Lotutako bideoak