+− THE DAILY DIFFdev & AI news
SHIP IT

Insener kustutas GitLab'i tootmisandmebaasi. 300 gigabaiti.

31.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

31. jaanuar 2017, kell 23:27 UTC: GitLab'i insener, kes võitles pika öö lõpus katkise replikaga, eemaldas PostgreSQL-i andmekataloogi db1-st db2 asemel. db1 oli primaarne. Umbes 300 GB GitLab.com-i andmebaasist kadus sekundi või kahega ja viiest varundus- ja replikatsioonimehhanismist ei töötanud ükski. Järelaanalüüs: ajajoon rämpsposti hüppest vale hostinime juurde, miks pg_basebackup tundus kinni jäänud, miks pg_dump oli vaikselt ebaõnnestunud (9.2 binaarid 9.6 andmebaasis, ebaõnnestumise e-kirjad põrkusid DMARC-i tõttu), 18-tunnine taastamine 6-tunnise vanuse ettevalmistusetapi hetktõmmisest, mis edastati otseülekandena YouTube'is, ja kes tegelikult süüdi on. Vastuse kohta antud otsus: SHIP IT.

Loe kirjalikku väljaannet (inglise keeles) ↗

Mida see video hõlmab

  • 31. jaanuar 2017: rm -Rvf primaarse andmekataloogis; ~300 GB eemaldatud, 4,5 GB jäi alles
  • 5 varukopiast 5 ebaõnnestuvad: tühi S3 kopp (pg_dump versiooni erinevus), andmebaasil pole Azure'i hetktõmmiseid, kustutatud replica, igapäevane LVM koopia ilma veebiühendusteta
  • 1. veebruar, kell 18:00 UTC: GitLab.com taastatud 6-tunnise vana käsitsi tehtud hetktõmmisest; otse dokument, otseülekanne, süüdistusteta järelaanalüüs koos paranduste loeteluga

Küsimused ja vastused

Mis juhtus 2017. aasta GitLab.com-i tootmisandmebaasi kustutamisega?

31. jaanuaril 2017 hilisõhtul eemaldas GitLab'i insener, kes püüdis parandada katkist replikat, PostgreSQL-i andmekataloogi db1-st db2 asemel. db1 oli primaarne. Ligikaudu 300 GB-st jäi alles 4,5 GB. GitLab säutsus, et oli kogemata tootmisandmed kustutanud, avas oma intsidentide märkmed avalikult ja edastas taastamise YouTube'is.

about.gitlab.com · about.gitlab.com · twitter.com

Miks ei töötanud ükski GitLabi viiest varundus- ja replikatsioonimehhanismist, kui neid oli vaja?

GitLabi järelaanalüüsi kohaselt oli igapäevane pg_dump S3-sse ebaõnnestunud, kuna cron-töö valis PostgreSQL 9.2 binaarid 9.6 andmebaasi jaoks ja selle veateated põrkusid tagasi DMARC-i puudumise tõttu. Azure'i hetktõmmised katsid failiserverid, kuid mitte andmebaase. Replika oli tahtlikult kustutatud ja igapäevasest hetktõmmisest olid veebiühendused eemaldatud. Ainult käsitsi tehtud hetktõmmis, mis oli tehtud mitteseotud testimiseks, jäi ellu.

about.gitlab.com · about.gitlab.com

Miks võttis GitLab.com-i taastamine aega umbes kaheksateist tundi?

Taastamine tähendas lavastusketta kopeerimist tagasi tootmisse üle Azure'i odava salvestusruumi kiirusega kuuskümmend megabitti sekundis, mis võttis kaheksateist tundi. GitLab.com naasis 1. veebruaril kell 18:00 UTC, kasutades kuus tundi vana käsitsi tehtud hetktõmmist. Katkestus maksis kuus tundi andmeid, ligikaudu viis tuhat projekti, viis tuhat kommentaari ja seitse sada uut kasutajat, vastavalt episoodile.

about.gitlab.com · about.gitlab.com

Miks keskenduvad süüdistusteta järelaanalüüsid protsessile, mitte insenerile, kes käsu käivitas?

GitLabi järelaanalüüs, mille allkirjastas tegevjuht, hoidis inseneri anonüümsena ja omistas ebaõnnestumise kahele hostinimele, mis olid ühe märgi kaugusel, ja viiele varundussüsteemile, millest keegi polnud taastanud. See värvis tootmisviipa punaseks ja andis andmete püsivusele omaniku, sest seda varem polnud. Paranduste loend avaldati probleeminumbritega.

about.gitlab.com · news.ycombinator.com

Mida peaksid meeskonnad GitLabi andmebaasi intsidentist õppima ja kas GitLabi vastus oli mõistlik?

The Daily Diff'i otsus oli SHIP IT, vastuse kohta. GitLab käsitles intsidenti avalikult, süüdistas protsessi ja avaldas paranduste loendi koos probleeminumbritega. Episoodi esmaspäevane tegevus on varukoopia taastamine, sest varukoopiat, mida pole kunagi taastatud, ei saa lugeda varukoopiaks. Hacker News andis otseülekande intsidendi dokumendile 1162 punkti.

about.gitlab.com · news.ycombinator.com

Tõlgitud transkriptsioon

Tõlgitud ingliskeelsest originaaljutustusest. Saadaolevat heli ja subtiitreid kontrollib YouTube.

0:00 GitLabi insener käivitab rm -rf vale andmebaasiserveris, ja kolmsada gigabaiti GitLab dot comi kaob sekundi või paariga, umbes sama kaua, kui kulub hostinime lugemiseks. 31. jaanuar 2017, kell 23:27 UTC. GitLab säutsub, et kustutas kogemata tootmisandmed, avalikustab oma intsidentide märkmed internetile ja edastab taastamise YouTube'is, platvormi teine otseülekanne. Järgmisel päeval kirjalikult: viiest varundustehnikast,

0:25 ükski ei tööta usaldusväärselt. Kuidas see juhtub, miks see on võimalik ja kes tegelikult süüdi on. See on The Daily Diff, järelaanalüüs. Kell 17:20: insener teeb tootmisest hetktõmmise koormuse tasakaalustaja testimiseks lavastuses. Kell 19:00: rämpspost pommitab andmebaasi, pluss töö, mis kustutab GitLab'i töötaja, keda troll kuritarvitamise eest teatas. Kell 23:00: replika jääb nii palju maha, et primaarne on juba vajaliku logi

0:48 kõrvale visanud; ainus lahendus on replika pühkida ja primaarne uuesti kopeerida uuesti. pg_basebackup hangub ilma väljundita. See tegelikult ootab vaikselt primaarset; keegi seda ei tea, ja käsiraamat seda ei ütle. Insener, kes pidi kell üksteist välja logima, otsustab, et tühi andmekataloog on probleem ja eemaldab selle. Db1-l. Primaarsel. Ta märkab sekundi või paari pärast; ligikaudu kolmesajast gigabaidist,

1:11 4,5 jääb. Varukoopiad. Üks: pg_dump S3-sse, iga päev. Kopp on tühi. Cron-töö töötab rakendusserveris ilma andmebaasita, nii et pakett valib PostgreSQL 9.2 binaarid 9.6 andmebaasi jaoks, ebaõnnestub ja saadab e-kirju ebaõnnestumise kohta, mis põrkab tagasi DMARC-i puudumise tõttu. Kaks: Azure'i kettahüpped, lubatud failiserverite jaoks, mitte andmebaasidele.

1:32 Kolm: replika, mis oli tahtlikult tunni aja eest kustutatud. Neli: igapäevane hetktõmmis, 24 tundi vana, kõik veebiühendused eemaldatud lavastuse sünkroniseerimisega. Viis: käsitsi tehtud hetktõmmis kell 17:20, seotud testimiseks. See võidab. Taastamine tähendab lavastusketta kopeerimist tagasi tootmisse Azure'i odava salvestusruumi kaudu kuuskümmend megabitti sekundis: kaheksateist tundi. GitLab dot com on tagasi 1. veebruaril kell 18:00 UTC, kuus tundi vanemate andmetega.

1:58 git blame: kaks hostinime ühe märgi kaugusel ja viis varundussüsteemi, millest keegi pole kunagi taastanud. Mitte insener. Tegevjuhi poolt allkirjastatud järelaanalüüs hoiab teda anonüümsena, värvib tootmisviipa punaseks ja annab andmete püsivusele omaniku, sest siiani seda polnud. Plahvatusraadius: kaheksateist tundi seisakut, kuus tundi andmeid kadunud, umbes viis tuhat projekti, viis tuhat kommentaari,

2:18 seitse sada uut kasutajat ja viis tuhat inimest, kes jälgivad edenemisriba. Hacker News annab reaalajas dokumendile 1162 punkti ja tsiteerib ühte rida neile tagasi: viiest varukopiast, ükski. Otsus, järelaanalüüs: saatke see, vastuse kohta. Nad juhivad intsidenti avalikult, süüdistavad protsessi ja avaldavad paranduste loendi probleeminumbritega. Esmaspäevane tegevus: taastage varukoopia. Kui te pole seda kunagi taastanud, siis teil seda pole.

2:42 Saatke mulle intsident, millest teil ikka veel rääkida ei lubata, kommentaarides või aadressil daily diff dot dev. Ja see on tänase päeva erinevus. Mina olen Niko Axrisist. Ühendage vastutustundlikult.

Allikad

  1. GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
  2. GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
  3. @gitlabstatus, "We accidentally deleted production data…"twitter.com
  4. @gitlabstatus, emergency maintenance noticetwitter.com
  5. Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
  6. Hacker News, the postmortem thread (377 points)news.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Seotud videod