+− THE DAILY DIFFdev & AI news
SHIP IT

Un enginyer va esborrar la base de dades de producció de GitLab. 300 gigabytes.

31 de gener de 2017, 23:27 UTC: un enginyer de GitLab, lluitant contra una rèplica avariada al final d'una llarga nit, elimina el directori de dades de PostgreSQL a db1 en lloc de db2.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

31 de gener de 2017, 23:27 UTC: un enginyer de GitLab, lluitant contra una rèplica avariada al final d'una llarga nit, elimina el directori de dades de PostgreSQL a db1 en lloc de db2. db1 és el primari. Uns 300 GB de la base de dades de GitLab.com desapareixen en un segon o dos, i dels cinc mecanismes de còpia de seguretat i replicació, cap funciona. Autòpsia: la cronologia des de l'augment d'spam fins al nom d'amfitrió incorrecte, per què pg_basebackup semblava encallat, per què pg_dump fallava en silenci (binaris 9.2 en una base de dades 9.6, correus electrònics de fallada rebotats per DMARC), la restauració de 18 hores a partir d'una instantània d'staging de 6 hores transmesa en directe a YouTube, i qui en té la culpa realment. Veredicte sobre la resposta: SHIP IT.

Llegeix l'edició escrita (anglès) ↗

Què cobreix aquest vídeo

  • 31 de gener de 2017: rm -Rvf al directori de dades primari; ~300 GB eliminats, 4.5 GB restants
  • 5 de 5 còpies de seguretat fallen: cub S3 buit (desajust de versió de pg_dump), sense instantànies d'Azure a la BD, rèplica esborrada, còpia LVM diària sense webhooks
  • 1 de febrer, 18:00 UTC: GitLab.com torna a funcionar a partir d'una instantània manual de 6 hores; document en directe, transmissió en directe, autòpsia sense culpa amb una llista de correccions

Preguntes i respostes

Què va passar amb l'eliminació de la base de dades de producció de GitLab.com el 2017?

A finals del 31 de gener de 2017, un enginyer de GitLab que intentava reparar una rèplica avariada va eliminar el directori de dades de PostgreSQL a db1 en lloc de db2. db1 era el primari. D'aproximadament 300 GB, en van quedar 4,5 GB. GitLab va tuitejar que havia eliminat accidentalment dades de producció, va obrir les seves notes d'incidència públicament i va transmetre la recuperació a YouTube.

about.gitlab.com · about.gitlab.com · twitter.com

Per què cap dels cinc mecanismes de còpia de seguretat i replicació de GitLab va funcionar quan els va necessitar?

Segons l'autòpsia de GitLab, el pg_dump diari a S3 havia estat fallant perquè la feina cron triava binaris de PostgreSQL 9.2 per a una base de dades 9.6, i els seus correus electrònics de fallada rebotaven per DMARC perdut. Les instantànies d'Azure cobrien els servidors de fitxers, però no les bases de dades. La rèplica havia estat esborrada a propòsit, i la instantània diària tenia els seus webhooks eliminats. Només una instantània manual, presa per a una prova no relacionada, va sobreviure.

about.gitlab.com · about.gitlab.com

Per què la restauració de GitLab.com va trigar unes divuit hores?

La restauració va significar copiar el disc d'staging de nou a producció a través de l'emmagatzematge barat d'Azure a seixanta megabits per segon, cosa que va trigar divuit hores. GitLab.com va tornar l'1 de febrer a les 18:00 UTC, utilitzant una instantània manual de sis hores d'antiguitat. La interrupció va costar sis hores de dades, aproximadament cinc mil projectes, cinc mil comentaris i set-cents nous usuaris, segons l'episodi.

about.gitlab.com · about.gitlab.com

Per què les autòpsies sense culpa se centren en el procés en lloc de l'enginyer que va executar l'ordre?

L'autòpsia de GitLab, signada pel CEO, va mantenir l'enginyer anònim i va atribuir el fracàs a dos noms d'amfitrió separats per un caràcter i a cinc sistemes de còpia de seguretat dels quals ningú havia restaurat. Va acolorir el prompt de producció de vermell i va donar la durabilitat de les dades a un propietari, perquè abans no en tenia cap. La llista de correccions es va publicar amb números de problema.

about.gitlab.com · news.ycombinator.com

Què haurien d'aprendre els equips de l'incident de la base de dades de GitLab, i la resposta de GitLab va ser encertada?

El veredicte de The Daily Diff va ser SHIP IT, sobre la resposta. GitLab va gestionar l'incident en públic, va culpar el procés i va publicar una llista de correccions amb números de problema. L'acció de dilluns de l'episodi és restaurar una còpia de seguretat, perquè una còpia de seguretat que mai no ha estat restaurada no es pot considerar una còpia de seguretat. Hacker News va donar al document de l'incident en directe 1.162 punts.

about.gitlab.com · news.ycombinator.com

Transcripció traduïda

Traduït de la narració original en anglès. L'àudio i els subtítols disponibles estan controlats per YouTube.

0:00 Un enginyer de GitLab executa rm -rf al servidor de bases de dades equivocat, i tres-cents gigabytes de GitLab.com desapareixen en un segon o dos, el temps que es triga a llegir un nom d'amfitrió. 31 de gener de 2017, 23:27 p.m. UTC. GitLab tuiteja que ha esborrat accidentalment dades de producció, obre les seves notes d'incidència a Internet i transmet la recuperació a YouTube, la segona transmissió en directe més vista a la plataforma. L'endemà, per escrit: de cinc tècniques de còpia de seguretat,

0:25 cap funciona de manera fiable. Com passa, per què és possible i qui en té la culpa realment. Això és The Daily Diff, autòpsia. 17:20 p.m.: un enginyer fa una instantània de producció per provar un equilibrador de càrrega en staging. 19:00 p.m.: l'spam martelleja la base de dades, a més d'una feina que elimina un empleat de GitLab que un troll va denunciar per abús. 23:00 p.m.: la rèplica es queda tan endarrerida que el primari ja ha descartat

0:48 el registre que necessita; l'única solució és netejar la rèplica i copiar el primari de nou. pg_basebackup es penja sense sortida. De fet, està esperant, en silenci, el primari; ningú ho sap, i el llibre de procediments no ho diu. L'enginyer, que volia acabar a les onze, decideix que el directori de dades buit és el problema i l'elimina. A db1. El primari. Ho nota un segon o dos més tard; d'aproximadament tres-cents gigabytes,

1:11 en queden 4.5. Les còpies de seguretat. Una: pg_dump a S3, diària. El cub està buit. La feina cron s'executa en un servidor d'aplicacions sense base de dades, de manera que el paquet tria binaris de PostgreSQL 9.2 per a una base de dades 9.6, falla i envia correus electrònics de fallada, que reboten per DMARC perdut. Dos: instantànies de disc d'Azure, habilitades per als servidors de fitxers, no les bases de dades.

1:32 Tres: la rèplica, esborrada a propòsit fa una hora. Quatre: la instantània diària, de 24 hores d'antiguitat, tots els webhooks eliminats per la sincronització d'staging. Cinc: la instantània manual de les 5:20, per a una prova no relacionada. Aquesta és la que funciona. La restauració implica copiar el disc d'staging de nou a producció a través de l'emmagatzematge barat d'Azure a seixanta megabits per segon: divuit hores. GitLab.com torna a funcionar l'1 de febrer a les sis p.m. UTC, sis hores de dades més antigues.

1:58 git blame: dos noms d'amfitrió separats per un caràcter, i cinc sistemes de còpia de seguretat dels quals ningú mai havia restaurat. No l'enginyer. L'autòpsia, signada pel CEO, el manté anònim, acoloreix el prompt de producció de vermell i dóna la durabilitat de les dades a un propietari, perquè fins ara no en tenia cap. Radi de blast: divuit hores caigut, sis hores de dades perdudes, aproximadament cinc mil projectes, cinc mil comentaris,

2:18 set-cents usuaris nous i cinc mil persones mirant una barra de progrés. Hacker News dóna al document en directe 1.162 punts i els cita una línia: de cinc còpies de seguretat, cap. Veredicte, autòpsia: SHIP IT, sobre la resposta. Gestionen l'incident en públic, culpen el procés i publiquen la llista de correccions amb números de problema. Acció de dilluns: restaurar una còpia de seguretat. Si mai no l'has restaurat, no en tens cap.

2:42 Envia'm l'incident del qual encara no se't permet parlar, als comentaris, o a thedailydiff.dev. I aquesta és la diferència d'avui. Sóc Niko d'Axrisi. Fusiona amb responsabilitat.

Fonts

  1. GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
  2. GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
  3. @gitlabstatus, "We accidentally deleted production data…"twitter.com
  4. @gitlabstatus, emergency maintenance noticetwitter.com
  5. Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
  6. Hacker News, the postmortem thread (377 points)news.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Vídeos relacionats