+− THE DAILY DIFFdev & AI news
SHIP IT

'n Ingenieur het GitLab se produksiedatabasis uitgevee. 300 gigagrepe.

31 Januarie 2017, 23:27 UTC: 'n GitLab-ingenieur, wat 'n stukkende replika aan die einde van 'n lang nag beveg het, verwyder die PostgreSQL-datagids op db1 in plaas van db2.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

31 Januarie 2017, 23:27 UTC: 'n GitLab-ingenieur, wat 'n stukkende replika aan die einde van 'n lang nag beveg het, verwyder die PostgreSQL-datagids op db1 in plaas van db2. db1 is die primêre. Ongeveer 300 GB van GitLab.com se databasis is in 'n sekonde of twee weg, en van die vyf rugsteun- en replikasie-meganismes werk nie een nie. Postmortem: die tydlyn van die strooipospiek tot die verkeerde gasheernaam, waarom pg_basebackup vasgekeer gelyk het, waarom pg_dump stilswyend misluk het (9.2 binêre lêers op 'n 9.6-databasis, mislukkings-e-posse teruggestuur deur DMARC), die 18-uur-herstel van 'n 6-uur-oue opstellingsmomentopname wat regstreeks op YouTube gestroom is, en wie regtig die skuld kry. Uitspraak oor die reaksie: SHIP IT.

Lees die geskrewe uitgawe (Engels) ↗

Wat hierdie video dek

  • 31 Januarie 2017: rm -Rvf op die primêre se datagids; ~300 GB verwyder, 4.5 GB oor
  • 5 van 5 rugsteune misluk: leë S3-emmer (pg_dump weergawe-wanpassing), geen Azure-momentopnames op die DB, afgeveegde replika, daaglikse LVM-kopie sonder webhooks
  • 1 Februarie, 18:00 UTC: GitLab.com terug van 'n 6-uur-oue handmatige momentopname; lewendige dokument, regstreekse stroom, blaamlose postmortem met 'n regstellingslys

Vrae en antwoorde

Wat het gebeur in die 2017 GitLab.com produksiedatabasis-uitvee?

Laat op 31 Januarie 2017 het 'n GitLab-ingenieur wat 'n stukkende replika probeer herstel het, die PostgreSQL-datagids op db1 in plaas van db2 verwyder. db1 was die primêre. Van ongeveer 300 GB het 4.5 GB oorgebly. GitLab het getwiet dat dit per ongeluk produksiedata uitgevee het, sy insidentnotas publiek gemaak en die herstel op YouTube gestroom.

about.gitlab.com · about.gitlab.com · twitter.com

Waarom het nie een van GitLab se vyf rugsteun- en replikasie-meganismes gewerk toe dit dit nodig gehad het nie?

Volgens GitLab se postmortem het die daaglikse pg_dump na S3 misluk omdat die cron-taak PostgreSQL 9.2 binêre lêers vir 'n 9.6 databasis gekies het, en sy mislukkings-e-posse het teruggestuur vir ontbrekende DMARC. Azure-momentopnames het lêerbedieners gedek, maar nie databasisse nie. Die replika is doelbewus afgevee, en die daaglikse momentopname het sy webhooks gestroop. Slegs 'n handmatige momentopname, geneem vir 'n onverwante toets, het oorleef.

about.gitlab.com · about.gitlab.com

Waarom het dit ongeveer agtien uur geneem om GitLab.com te herstel?

Herstel het beteken om die opstellingsskyf terug na produksie te kopieer oor Azure se goedkoop berging teen sestig megabits per sekonde, wat agtien uur geneem het. GitLab.com het op 1 Februarie om 18:00 UTC teruggekeer, met 'n handmatige momentopname wat ses uur oud was. Die onderbreking het ses uur se data gekos, ongeveer vyfduisend projekte, vyfduisend opmerkings en sewehonderd nuwe gebruikers, volgens die episode.

about.gitlab.com · about.gitlab.com

Waarom fokus blaamlose postmortems op proses eerder as die ingenieur wat die opdrag uitgevoer het?

GitLab se postmortem, onderteken deur die HUB, het die ingenieur anoniem gehou en die mislukking toegeskryf aan twee gasheername een karakter uitmekaar en vyf rugsteunstelsels waaruit niemand herstel het nie. Dit het die produksie-aanduiding rooi gekleur en data-duursaamheid 'n eienaar gegee, want dit het voorheen geen gehad nie. Die lys van regstellings is met kwessie-nommers gepubliseer.

about.gitlab.com · news.ycombinator.com

Wat moet spanne leer uit GitLab se databasis-insident, en was GitLab se reaksie gesond?

The Daily Diff se uitspraak was SHIP IT, oor die reaksie. GitLab het die insident in die openbaar uitgevoer, die proses geblameer en 'n lys van regstellings met kwessie-nommers gepubliseer. Die episode se Maandag-aksie is om 'n rugsteun te herstel, want 'n rugsteun wat nog nooit herstel is nie, kan nie as 'n rugsteun beskou word nie. Hacker News het die lewendige insidentdokument 1,162 punte gegee.

about.gitlab.com · news.ycombinator.com

Vertaalde transkripsie

Vertaal uit die oorspronklike Engelse vertelling. Beskikbare klank en onderskrifte word deur YouTube beheer.

0:00 'n Ingenieur by GitLab voer rm -rf op die verkeerde databasisbediener uit, en driehonderd gigagrepe van GitLab dot com verdwyn in 'n sekonde of twee, omtrent so lank as wat dit neem om 'n gasheernaam te lees. 31 Januarie 2017, 11:27 nm. UTC. GitLab twiet dat dit per ongeluk produksiedata uitgevee het, maak sy insidentnotas vir die internet oop, en stroom die herstel op YouTube, die nommer twee regstreekse stroom op die platform. Volgende dag, skriftelik: uit vyf rugsteuntegnieke,

0:25 werk nie een betroubaar nie. Hoe dit gebeur, waarom dit moontlik is, en wie eintlik die skuld kry. Dit is Die Daaglikse Verskil, postmortem. 17:20: 'n ingenieur neem 'n momentopname van produksie om 'n lasbalanseerder in staging te toets. 19:00: strooipos hamer die databasis, plus 'n taak wat 'n GitLab-werknemer hard verwyder het 'n trol het aangemeld vir misbruik. 23:00: die replika raak so ver agter dat die primêre reeds

0:48 die log wat dit benodig, weggegooi het; die enigste oplossing is om die replika af te vee en die primêre weer te kopieer. pg_basebackup hang sonder uitset. Dit wag eintlik, stilswyend, vir die primêre; niemand weet dit nie, en die handleiding sê nie. Die ingenieur, wat om elfuur wou afteken, besluit die leë datagids is die probleem en verwyder dit. Op db1. Die primêre. Hy merk 'n sekonde of twee later op; van ongeveer driehonderd gigagrepe,

1:11 4.5 bly oor. Die rugsteun. Een: pg_dump na S3, daagliks. Die emmer is leeg. Die cron-taak loop op 'n toepassingsbediener sonder 'n databasis, so die pakket kies PostgreSQL 9.2 binêre lêers vir 'n 9.6 databasis, misluk, en stuur e-posse die mislukking, wat teruggestuur word vir ontbrekende DMARC. Twee: Azure-skyfmomentopnames, geaktiveer vir die lêerbedieners, nie die databasisse nie.

1:32 Drie: die replika, doelbewus 'n uur gelede afgevee. Vier: die daaglikse momentopname, 24 uur oud, elke webhook verwyder deur die stadiumsinkronisering. Vyf: die handmatige momentopname van 17:20, vir 'n onverwante toets. Dié een wen. Herstel beteken om die opstellingsskyf terug na produksie te kopieer oor Azure se goedkoop berging teen sestig megabits per sekonde: agtien uur. GitLab dot com is terug 1 Februarie om sesuur nm. UTC, ses uur se data ouer.

1:58 git blame: twee gasheername een karakter uitmekaar, en vyf rugsteunstelsels waaruit niemand nog ooit herstel het nie. Nie die ingenieur nie. Die postmortem, onderteken deur die HUB, hou hom anoniem, kleur die produksie-aanduiding rooi, en gee data-duursaamheid 'n eienaar, want tot nou toe het dit geen gehad nie. Blast radius: agtien uur af, ses uur se data weg, ongeveer vyfduisend projekte, vyfduisend opmerkings,

2:18 sewehonderd nuwe gebruikers, en vyfduisend mense wat 'n vorderingsbalk dophou. Hacker News gee die regstreekse dokument 1,162 punte en haal een reël terug aan hulle: uit vyf rugsteune, nie een nie. Uitspraak, postmortem: ship it, op die reaksie. Hulle voer die insident in die openbaar uit, blameer die proses, en publiseer die lys van regstellings met kwessie-nommers. Maandag aksie: herstel 'n rugsteun. As jy dit nog nooit herstel het nie, het jy nie een nie.

2:42 Stuur vir my die insident waaroor jy nog steeds nie mag praat nie, in die kommentaar, of by die daily diff dot dev. En dit is die verskil vir vandag. Ek is Niko van Axrisi. Voeg verantwoordelik saam.

Bronne

  1. GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
  2. GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
  3. @gitlabstatus, "We accidentally deleted production data…"twitter.com
  4. @gitlabstatus, emergency maintenance noticetwitter.com
  5. Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
  6. Hacker News, the postmortem thread (377 points)news.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Verwante video's