+− THE DAILY DIFFdev & AI news
SHIP IT

Un inginer a șters baza de date de producție GitLab. 300 de gigabytes.

31 ianuarie 2017, 23:27 UTC: un inginer GitLab, luptând cu o replică stricată la sfârșitul unei nopți lungi, șterge directorul de date PostgreSQL de pe db1 în loc de db2.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

31 ianuarie 2017, 23:27 UTC: un inginer GitLab, luptând cu o replică stricată la sfârșitul unei nopți lungi, șterge directorul de date PostgreSQL de pe db1 în loc de db2. db1 este primarul. Aproximativ 300 GB din baza de date GitLab.com dispar într-o secundă sau două, iar dintre cele cinci mecanisme de backup și replicare, niciunul nu funcționează. Postmortem: cronologia de la vârful de spam la numele de gazdă greșit, de ce pg_basebackup părea blocat, de ce pg_dump eșua în tăcere (binare 9.2 pe o bază de date 9.6, e-mailurile de eșec respinse de DMARC), restaurarea de 18 ore dintr-un snapshot de staging vechi de 6 ore, transmisă în direct pe YouTube, și cine este cu adevărat de vină. Verdictul privind răspunsul: SHIP IT.

Citiți ediția scrisă (engleză) ↗

Ce acoperă acest videoclip

  • 31 ian. 2017: rm -Rvf pe directorul de date al primarului; ~300 GB șterși, 4.5 GB rămași
  • 5 din 5 backup-uri eșuează: bucket S3 gol (incompatibilitate versiune pg_dump), fără snapshot-uri Azure pe BD, replică ștearsă, copie zilnică LVM fără webhook-uri
  • 1 feb., 18:00 UTC: GitLab.com revine dintr-un snapshot manual vechi de 6 ore; document live, stream live, postmortem fără vină cu o listă de rezolvări

Întrebări și răspunsuri

Ce s-a întâmplat în ștergerea bazei de date de producție GitLab.com din 2017?

Târziu în data de 31 ianuarie 2017, un inginer GitLab care încerca să repare o replică defectă a șters directorul de date PostgreSQL de pe db1 în loc de db2. db1 era primarul. Din aproximativ 300 GB, au rămas 4.5 GB. GitLab a anunțat pe Twitter că a șters accidental date de producție, a deschis public notele de incident și a transmis în direct recuperarea pe YouTube.

about.gitlab.com · about.gitlab.com · twitter.com

De ce niciunul dintre cele cinci mecanisme de backup și replicare ale GitLab nu a funcționat atunci când a fost nevoie de ele?

Conform postmortem-ului GitLab, pg_dump-ul zilnic către S3 eșuase deoarece sarcina cron a ales binare PostgreSQL 9.2 pentru o bază de date 9.6, iar e-mailurile sale de eșec au fost respinse din cauza lipsei DMARC. Snapshot-urile Azure acopereau serverele de fișiere, dar nu și bazele de date. Replica fusese ștearsă intenționat, iar snapshot-ul zilnic avea webhook-urile eliminate. Doar un snapshot manual, făcut pentru un test nelegat, a supraviețuit.

about.gitlab.com · about.gitlab.com

De ce a durat aproximativ optsprezece ore restaurarea GitLab.com?

Restaurarea a însemnat copierea discului de staging înapoi în producție prin stocarea ieftină a Azure la șaizeci de megabiți pe secundă, ceea ce a durat optsprezece ore. GitLab.com a revenit pe 1 februarie la ora 18:00 UTC, utilizând un snapshot manual vechi de șase ore. Pana de curent a costat șase ore de date, aproximativ cinci mii de proiecte, cinci mii de comentarii și șapte sute de utilizatori noi, conform episodului.

about.gitlab.com · about.gitlab.com

De ce postmortem-urile fără vină se concentrează pe proces, mai degrabă decât pe inginerul care a executat comanda?

Postmortem-ul GitLab, semnat de CEO, a păstrat inginerul anonim și a atribuit eșecul celor două nume de gazdă la o distanță de un caracter și celor cinci sisteme de backup din care nimeni nu a restaurat. A colorat promptul de producție în roșu și a atribuit durabilității datelor un proprietar, deoarece nu avea niciunul înainte. Lista de rezolvări a fost publicată cu numerele problemelor.

about.gitlab.com · news.ycombinator.com

Ce ar trebui să învețe echipele din incidentul cu baza de date a GitLab și a fost răspunsul GitLab adecvat?

Verdictul The Daily Diff a fost SHIP IT, privind răspunsul. GitLab a gestionat incidentul în public, a dat vina pe proces și a publicat o listă de rezolvări cu numerele problemelor. Acțiunea de luni a episodului este de a restaura un backup, deoarece un backup care nu a fost niciodată restaurat nu poate fi considerat un backup. Hacker News a acordat documentului de incident live 1.162 de puncte.

about.gitlab.com · news.ycombinator.com

Transcrierea tradusă

Tradus din narațiunea originală în engleză. Audio-ul și subtitrările disponibile sunt controlate de YouTube.

0:00 Un inginer de la GitLab rulează rm -rf pe serverul de baze de date greșit, și trei sute de gigabytes de GitLab dot com dispar într-o secundă sau două, aproximativ timpul necesar pentru a citi un nume de gazdă. 31 ianuarie 2017, 23:27 UTC. GitLab anunță pe Twitter că a șters accidental date de producție, își deschide notele de incident public pe internet și transmite în direct recuperarea pe YouTube, fiind al doilea cel mai urmărit stream live de pe platformă. A doua zi, în scris: din cinci tehnici de backup,

0:25 niciuna nu funcționează fiabil. Cum se întâmplă, de ce este posibil și cine este de fapt de vină. Acesta este The Daily Diff, postmortem. 17:20: un inginer realizează un snapshot al producției pentru a testa un echilibrator de încărcare în staging. 19:00: spam-ul bombardează baza de date, plus o sarcină de ștergere definitivă a unui angajat GitLab pe care un troll l-a raportat pentru abuz. 23:00: replica rămâne atât de mult în urmă încât primarul a aruncat deja

0:48 jurnalul de care avea nevoie; singura soluție este să ștergi replica și să copiezi primarul din nou. pg_basebackup se blochează fără ieșire. De fapt, așteaptă, în tăcere, primarul; nimeni nu știe asta, și ghidul de proceduri nu specifică. Inginerul, care intenționa să se deconecteze la unsprezece, decide că directorul de date gol este problema și îl șterge. Pe db1. Primarul. Observă o secundă sau două mai târziu; din aproximativ trei sute de gigabytes,

1:11 4.5 rămân. Backup-urile. Unu: pg_dump către S3, zilnic. Bucket-ul este gol. Sarcina cron rulează pe un server de aplicații fără bază de date, așa că pachetul alege binare PostgreSQL 9.2 pentru o bază de date 9.6, eșuează și trimite e-mailuri eșecul, care sunt respinse din cauza DMARC lipsă. Doi: snapshot-uri de disc Azure, activate pentru serverele de fișiere, nu și pentru bazele de date.

1:32 Trei: replica, ștearsă intenționat cu o oră în urmă. Patru: snapshot-ul zilnic, vechi de 24 de ore, toate webhook-urile eliminate de sincronizarea staging-ului. Cinci: snapshot-ul manual de la 5:20, pentru un test nelegat. Acesta câștigă. Restaurarea înseamnă copierea discului de staging înapoi în producție prin stocarea ieftină a Azure la șaizeci de megabiți pe secundă: optsprezece ore. GitLab.com revine pe 1 februarie la ora șase seara UTC, cu șase ore de date mai vechi.

1:58 git blame: două nume de gazdă la o diferență de un caracter și cinci sisteme de backup din care nimeni nu a restaurat vreodată. Nu inginerul. Postmortem-ul, semnat de CEO, îl păstrează anonim, colorează roșu promptul de producție și atribuie durabilității datelor un proprietar, deoarece până acum nu avea niciunul. Raza de impact: optsprezece ore de inactivitate, șase ore de date pierdute, aproximativ cinci mii de proiecte, cinci mii de comentarii,

2:18 șapte sute de utilizatori noi și cinci mii de oameni care urmăresc o bară de progres. Hacker News acordă documentului live 1.162 de puncte și citează o linie înapoi la ei: din cinci backup-uri, niciunul. Verdict, postmortem: SHIP IT, privind răspunsul. Ei gestionează incidentul public, dau vina pe proces și publică lista de remedieri cu numerele problemelor. Acțiune de luni: restaurați un backup. Dacă nu l-ai restaurat niciodată, nu ai unul.

2:42 Trimite-mi incidentul despre care încă nu ai voie să vorbești, în comentarii, sau la the daily diff dot dev. Și asta e diferența pentru azi. Sunt Niko de la Axrisi. Fuzionați responsabil.

Surse

  1. GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
  2. GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
  3. @gitlabstatus, "We accidentally deleted production data…"twitter.com
  4. @gitlabstatus, emergency maintenance noticetwitter.com
  5. Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
  6. Hacker News, the postmortem thread (377 points)news.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Videoclipuri similare