+− THE DAILY DIFFdev & AI news
SHIP IT

Inženir je izbrisal produkcijsko bazo podatkov GitLab. 300 gigabajtov.

31.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

31. januar 2017, 23:27 UTC: inženir GitLab se je boril z zlomljeno repliko ob koncu dolge noči in odstranil imenik podatkov PostgreSQL na db1 namesto db2. db1 je bil primarni. Približno 300 GB baze podatkov GitLab.com je izginilo v sekundi ali dveh, in od petih mehanizmov za varnostno kopiranje in replikacijo ni deloval noben. Postmortem: časovnica od skoka neželene pošte do napačnega imena gostitelja, zakaj se je pg_basebackup zdelo zataknjeno, zakaj je pg_dump tiho odpovedoval (9.2 binarnih datotek na 9.6 bazi podatkov, neuspešna e-poštna sporočila so se odbijala zaradi DMARC), 18-urna obnova iz 6 ur starega posnetka okolja za testiranje, predvajana v živo na YouTubu, in kdo je v resnici kriv. Sodba o odzivu: SHIP IT.

Preberi pisno izdajo (angleščina) ↗

Kaj zajema ta videoposnetek

  • 31. jan 2017: rm -Rvf v podatkovnem imeniku primarnega strežnika; odstranjeno ~300 GB, ostalo 4,5 GB
  • 5 od 5 varnostnih kopij ne uspe: prazen S3 vedro (neskladnost različic pg_dump), ni Azure posnetkov na DB, izbrisana replika, dnevna LVM kopija brez spletnih kljuk
  • 1. februar, 18:00 UTC: GitLab.com je spet delujoč iz 6 ur starega ročnega posnetka; dokument v živo, prenos v živo, brezhiben postmortem s seznamom popravkov

Vprašanja in odgovori

Kaj se je zgodilo pri izbrisu produkcijske baze podatkov GitLab.com leta 2017?

Pozno 31. januarja 2017 je inženir GitLab, ki je poskušal popraviti pokvarjeno repliko, odstranil imenik podatkov PostgreSQL na db1 namesto db2. db1 je bil primarni. Od približno 300 GB jih je ostalo 4,5 GB. GitLab je tvitnil, da je pomotoma izbrisal produkcijske podatke, javno objavil svoje zapiske o incidentu in prenos obnovitve v živo na YouTubu.

about.gitlab.com · about.gitlab.com · twitter.com

Zakaj ob potrebah ni deloval noben od petih mehanizmov za varnostno kopiranje in replikacijo GitLab?

Po poročilu GitLab-a, je dnevni pg_dump v S3 propadel, ker je cron naloga izbrala PostgreSQL 9.2 binarne datoteke za bazo podatkov 9.6, in e-poštna sporočila o napakah so se odbila zaradi manjkajočega DMARC. Azure posnetki so pokrivali datotečne strežnike, ne pa baz podatkov. Replika je bila namerno izbrisana, in dnevni posnetek je imel odstranjene spletne kljuke. Preživel je le ročni posnetek, narejen za nepovezan test.

about.gitlab.com · about.gitlab.com

Zakaj je obnova GitLab.com trajala približno osemnajst ur?

Obnova je pomenila kopiranje diska iz okolja za testiranje nazaj v produkcijo prek poceni shrambe Azure s hitrostjo šestdeset megabitov na sekundo, kar je trajalo osemnajst ur. GitLab.com se je vrnil 1. februarja ob 18:00 UTC, z uporabo ročnega posnetka, starega šest ur. Izpad je povzročil izgubo šest ur podatkov, približno pet tisoč projektov, pet tisoč komentarjev in sedemsto novih uporabnikov, glede na epizodo.

about.gitlab.com · about.gitlab.com

Zakaj se postmortemi brez krivde osredotočajo na proces in ne na inženirja, ki je izvedel ukaz?

GitLab-ov postmortem, podpisan s strani CEO-ja, je inženirja ohranil anonimnega in neuspeh pripisal dvema imenoma gostitelja, oddaljenima za en znak, in petim sistemom za varnostno kopiranje, iz katerih nihče ni bil obnovljen. Produkcijski poziv je obarval rdeče in trajnosti podatkov dodelil lastnika, ker ga prej ni imel. Seznam popravkov je bil objavljen s številkami težav.

about.gitlab.com · news.ycombinator.com

Kaj bi se morale ekipe naučiti iz incidenta z bazo podatkov GitLab, in ali je bil odziv GitLab-a pravilen?

Sodba The Daily Diff je bila SHIP IT, glede odziva. GitLab je incident izvedel javno, krivdo pripisal procesu in objavil seznam popravkov s številkami težav. Akcija v ponedeljek v tej epizodi je obnovitev varnostne kopije, ker varnostne kopije, ki ni bila nikoli obnovljena, ni mogoče šteti za varnostno kopijo. Hacker News je dokumentu o incidentu v živo podelil 1.162 točk.

about.gitlab.com · news.ycombinator.com

Preveden prepis

Prevedeno iz izvirnega angleškega pripovedovanja. Razpoložljivi zvok in podnapisi so nadzorovani s strani YouTuba.

0:00 Inženir pri GitLabu zažene rm -rf na napačnem strežniku baze podatkov, in tristo gigabajtov GitLab dot com izgine v sekundi ali dveh, približno toliko časa, kolikor je potrebno za prebranje imena gostitelja. 31. januar 2017, 23:27. UTC. GitLab tvitne, da je pomotoma izbrisal produkcijske podatke, odpre svoje opombe o incidentu internetu in prenaša obnovitev v živo na YouTubu, drugi najbolj gledan prenos v živo na platformi. Naslednji dan, v pisni obliki: od petih tehnik varnostnega kopiranja,

0:25 nobena ne deluje zanesljivo. Kako se to zgodi, zakaj je to mogoče in kdo je v resnici kriv. To je The Daily Diff, postmortem. 17:20: inženir naredi posnetek produkcije za testiranje razbremenilca bremena v okolju za testiranje. 19:00: neželena pošta napade bazo podatkov, poleg tega pa opravilo trdo izbriše zaposlenega GitLab-a, ki ga je troll prijavil zaradi zlorabe. 23:00: replika zaostaja tako daleč, da je primarni strežnik že zavrgel

0:48 dnevnik, ki ga potrebuje; edina rešitev je, da se replika izbriše in primarni strežnik kopira ponovno. pg_basebackup se zatakne brez izpisa. Pravzaprav tiho čaka na primarni strežnik; nihče tega ne ve, in navodila za uporabo tega ne omenjajo. Inženir, ki naj bi se odjavil ob enajstih, se odloči, da je prazen podatkovni imenik problem in ga odstrani. Na db1. Primarni strežnik. Opazi sekundo ali dve kasneje; od približno tristo gigabajtov,

1:11 jih ostane 4,5. Varnostne kopije. Ena: pg_dump na S3, dnevno. Vedro je prazno. Cron naloga se izvaja na strežniku aplikacije brez baze podatkov, zato paket izbere binarne datoteke PostgreSQL 9.2 za bazo podatkov 9.6, ne uspe in pošlje e-pošto neuspeh, ki se odbije zaradi manjkajočega DMARC. Dva: Azure posnetki diska, omogočeni za datotečne strežnike, ne za baze podatkov.

1:32 Tri: replika, namerno izbrisana pred eno uro. Štiri: dnevni posnetek, star 24 ur, vsak webhook odstranjen s strani sinhronizacija okolja za testiranje. Pet: ročni posnetek iz 17:20, za nepovezan test. Ta zmaga. Obnovitev pomeni kopiranje diska iz okolja za testiranje nazaj v produkcijo preko poceni shrambe Azure pri šestdesetih megabitih na sekundo: osemnajst ur. GitLab dot com je spet v živo 1. februarja ob šestih popoldne UTC, šest ur starejši podatki.

1:58 git blame: dve imeni gostitelja, oddaljeni za en znak, in pet sistemov za varnostno kopiranje, iz katerih nihče ni nikoli obnovil. Ne inženir. Postmortem, podpisan s strani CEO-ja, ga ohranja anonimnega, obarva produkcijski poziv rdeče in dodeli lastnika trajnosti podatkov, ker ga do sedaj ni imel. Obseg uničenja: osemnajst ur nedosegljivosti, šest ur podatkov izgubljenih, približno pet tisoč projektov, pet tisoč komentarjev,

2:18 sedemsto novih uporabnikov in pet tisoč ljudi, ki gledajo vrstico napredka. Hacker News da dokumentu v živo 1.162 točk in citira eno vrstico nazaj: od petih varnostnih kopij, nobena. Sodba, postmortem: ship it, glede odziva. Incident so izvajali javno, krivdo pripisali procesu in objavili seznam popravkov s številkami težav. Ponedeljkova akcija: obnovite varnostno kopijo. Če je nikoli niste obnovili, je nimate.

2:42 Pošljite mi incident, o katerem še vedno ne smete govoriti, v komentarjih, ali na daily diff dot dev. In to je razlika za danes. Sem Niko iz Axrisi. Odgovorno združujte.

Viri

  1. GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
  2. GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
  3. @gitlabstatus, "We accidentally deleted production data…"twitter.com
  4. @gitlabstatus, emergency maintenance noticetwitter.com
  5. Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
  6. Hacker News, the postmortem thread (377 points)news.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Povezani videoposnetki