+− THE DAILY DIFFdev & AI news
SHIP IT

Një inxhinier fshiu bazën e të dhënave të prodhimit të GitLab. 300 gigabajt.

31 janar 2017, 23:27 UTC: një inxhinier i GitLab, duke luftuar një replikë të prishur në fund të një nate të gjatë, heq drejtorinë e të dhënave PostgreSQL në db1 në vend të db2.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

31 janar 2017, 23:27 UTC: një inxhinier i GitLab, duke luftuar një replikë të prishur në fund të një nate të gjatë, heq drejtorinë e të dhënave PostgreSQL në db1 në vend të db2. db1 është primarja. Rreth 300 GB e bazës së të dhënave të GitLab.com zhduken në një ose dy sekonda, dhe nga pesë mekanizmat e kopjimit dhe replikimit, asnjëri nuk funksionon. Pasvdekja: kronologjia nga piku i spamit te emri i gabuar i hostit, pse pg_basebackup dukej i ngecur, pse pg_dump kishte dështuar në heshtje (binarët 9.2 në një bazë të dhënash 9.6, email-et e dështimit të refuzuara nga DMARC), restaurimi 18-orësh nga një "snapshot" i "staging" 6-orësh i transmetuar drejtpërdrejt në YouTube, dhe kush e merr vërtet fajin. Vendimi mbi përgjigjen: SHIP IT.

Lexoni edicionin e shkruar (anglisht) ↗

Çfarë mbulon kjo video

  • 31 janar 2017: rm -Rvf në drejtorinë e të dhënave kryesore; u fshinë rreth 300 GB, mbetën 4.5 GB
  • 5 nga 5 kopje rezervë dështojnë: "bucket" bosh S3 (mospërputhje versioni pg_dump), asnjë "snapshot" Azure në DB, replikë e fshirë, kopje ditore LVM pa "webhook"-e
  • 1 shkurt, 18:00 UTC: GitLab.com rikthehet nga një "snapshot" manual 6-orësh; dokumentacion i drejtpërdrejtë, transmetim i drejtpërdrejtë, "postmortem" pa faj me një listë korrigjimesh

Pyetje dhe përgjigje

Çfarë ndodhi në fshirjen e bazës së të dhënave të prodhimit të GitLab.com në 2017?

Në fund të 31 janarit 2017, një inxhinier i GitLab që po përpiqej të riparonte një replikë të prishur, hoqi direktorinë e të dhënave PostgreSQL në db1 në vend të db2. db1 ishte primare. Nga rreth 300 GB, mbetën 4.5 GB. GitLab shkroi në Twitter se kishte fshirë aksidentalisht të dhënat e prodhimit, hapi shënimet e incidentit publikisht dhe transmetoi rikuperimin në YouTube.

about.gitlab.com · about.gitlab.com · twitter.com

Pse asnjë nga pesë mekanizmat e kopjimit dhe replikimit të GitLab nuk funksionoi kur u deshën?

Sipas "postmortem"-it të GitLab, "pg_dump"-i ditor në S3 kishte dështuar sepse puna "cron" zgjidhte binarët PostgreSQL 9.2 për një bazë të dhënash 9.6, dhe email-et e dështimit të saj refuzoheshin për DMARC të munguar. "Snapshot"-et e Azure mbulonin serverët e skedarëve, por jo bazat e të dhënave. Replika ishte fshirë me qëllim, dhe "snapshot"-it ditor i ishin hequr "webhook"-et. Vetëm një "snapshot" manual, i bërë për një test të palidhur, mbijetoi.

about.gitlab.com · about.gitlab.com

Pse restaurimi i GitLab.com mori rreth tetëmbëdhjetë orë?

Restaurimi do të thoshte kopjimi i diskut të "staging"-ut përsëri në prodhim mbi ruajtjen e lirë të Azure me gjashtëdhjetë megabit në sekondë, gjë që mori tetëmbëdhjetë orë. GitLab.com u kthye më 1 shkurt në orën 18:00 UTC, duke përdorur një "snapshot" manual gjashtë orësh. Ndërprerja kushtoi gjashtë orë të dhënash, rreth pesë mijë projekte, pesë mijë komente dhe shtatëqind përdorues të rinj, sipas episodit.

about.gitlab.com · about.gitlab.com

Pse "postmortem"-et pa faj fokusohen te procesi dhe jo te inxhinieri që ekzekutoi komandën?

"Postmortem"-i i GitLab, i nënshkruar nga CEO, e mbajti inxhinierin anonim dhe ia atribuoi dështimin dy emrave të hosteve një karakter larg dhe pesë sistemeve të kopjimit rezervë nga të cilat askush nuk kishte restauruar. Ai ngjyrosi "prompt"-in e prodhimit të kuq dhe i dha qëndrueshmërisë së të dhënave një pronar, sepse nuk kishte asnjë më parë. Lista e rregullimeve u publikua me numra çështjesh.

about.gitlab.com · news.ycombinator.com

Çfarë duhet të marrin ekipet nga incidenti i bazës së të dhënave të GitLab, dhe a ishte e drejtë përgjigja e GitLab?

Vendimi i The Daily Diff ishte SHIP IT, për përgjigjen. GitLab e zhvilloi incidentin publikisht, fajësoi procesin dhe publikoi një listë rregullimesh me numra çështjesh. Veprimi i së hënës i episodit është të restauroni një kopje rezervë, sepse një kopje rezervë që nuk është restauruar kurrë nuk mund të llogaritet si kopje rezervë. Hacker News i dha dokumentit të incidentit të drejtpërdrejtë 1,162 pikë.

about.gitlab.com · news.ycombinator.com

Transkript i përkthyer

Përkthyer nga tregimi origjinal në anglisht. Audio dhe titrat e disponueshme kontrollohen nga YouTube.

0:00 Një inxhinier në GitLab ekzekuton rm -rf në serverin e gabuar të bazës së të dhënave, dhe treqind gigabajt të GitLab dot com zhduken në një ose dy sekonda, përafërsisht sa kohë duhet për të lexuar një emër hosti. 31 janar 2017, 11:27 pasdite. UTC. GitLab shkruan në Twitter se aksidentalisht fshiu të dhënat e prodhimit, hap shënimet e incidentit të saj në internet dhe transmeton rikuperimin në YouTube, transmetimi i dytë më i ndjekur drejtpërdrejt në platformë. Ditën tjetër, me shkrim: nga pesë teknikat e kopjimit rezervë,

0:25 asnjëra nuk funksionon me besueshmëri. Si ndodh, pse është e mundur dhe kush e merr vërtet fajin. Ky është The Daily Diff, pasvdekja. 5:20 pasdite: një inxhinier bën "snapshot" prodhimi për të testuar një balancues ngarkese në "staging". 7 pasdite: spami godet bazën e të dhënave, plus një punë që fshin rëndë një punonjës të GitLab që një troll e raportoi për abuzim. 11 pasdite: replika mbetet aq shumë mbrapa sa që primarja ka hedhur poshtë tashmë

0:48 regjistrin që i duhet; e vetmja zgjidhje është fshirja e replikës dhe kopjimi i primares përsëri. pg_basebackup ngec pa dalje. Në fakt, ai pret, në heshtje, për primaren; askush nuk e di këtë, dhe udhëzuesi nuk e thotë. Inxhinieri, i cili synonte të dilte në orën njëmbëdhjetë, vendos se drejtoria e zbrazët e të dhënave është problemi dhe e heq atë. Në db1. Primarja. Ai e vëren një ose dy sekonda më vonë; nga rreth treqind gigabajt,

1:11 mbeten 4.5. Kopjet rezervë. Një: pg_dump në S3, çdo ditë. "Bucket" është bosh. Puna "cron" ekzekutohet në një server aplikacioni pa bazë të dhënash, kështu që paketa zgjedh binarë PostgreSQL 9.2 për një bazë të dhënash 9.6, dështon dhe dërgon email dështimin, i cili refuzohet për DMARC të munguar. Dy: "snapshot"-e disku Azure, të aktivizuara për serverët e skedarëve, jo bazat e të dhënave.

1:32 Tre: replika, e fshirë me qëllim një orë më parë. Katër: "snapshot"-i ditor, 24 orë i vjetër, çdo "webhook" i hequr nga sinkronizimi i "staging"-ut. Pesë: "snapshot"-i manual nga 5:20, për një test të palidhur. Ai fiton. Restaurimi do të thotë kopjimi i diskut të "staging"-ut përsëri në prodhim mbi ruajtjen e lirë të Azure me gjashtëdhjetë megabit në sekondë: tetëmbëdhjetë orë. GitLab dot com rikthehet më 1 shkurt në gjashtë pasdite. UTC, gjashtë orë të dhënash më të vjetra.

1:58 git blame: dy emra hostesh një karakter larg, dhe pesë sisteme kopjesh rezervë nga të cilat askush nuk ka restauruar ndonjëherë. Jo inxhinieri. Postmortem-i, i nënshkruar nga CEO, e mban atë anonim, ngjyros prompt-in e prodhimit të kuq dhe i jep qëndrueshmërisë së të dhënave një pronar, sepse deri tani nuk kishte asnjë. Rrezja e shpërthimit: tetëmbëdhjetë orë jashtë funksionit, gjashtë orë të dhënash të humbura, rreth pesë mijë projekte, pesë mijë komente,

2:18 shtatëqind përdorues të rinj dhe pesë mijë njerëz duke parë një shirit progresi. Hacker News i jep dokumentit të drejtpërdrejtë 1,162 pikë dhe citon një linjë pas tyre: nga pesë kopje rezervë, asnjëra. Vendimi, postmortem: SHIP IT, për përgjigjen. Ata e zhvillojnë incidentin publikisht, fajësojnë procesin dhe publikojnë listën e rregullimeve me numra çështjesh. Veprimi i së hënës: restauroni një kopje rezervë. Nëse nuk e keni restauruar kurrë, nuk keni një.

2:42 Më dërgoni incidentin për të cilin ende nuk ju lejohet të flisni, në komente, ose te the daily diff dot dev. Dhe ky është ndryshimi për sot. Unë jam Niko nga Axrisi. Bashkohuni me përgjegjësi.

Burimet

  1. GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
  2. GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
  3. @gitlabstatus, "We accidentally deleted production data…"twitter.com
  4. @gitlabstatus, emergency maintenance noticetwitter.com
  5. Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
  6. Hacker News, the postmortem thread (377 points)news.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Video të ngjashme