Un enxeñeiro borrou a base de datos de produción de GitLab. 300 gigabytes.
31 de xaneiro de 2017, 23:27 UTC: un enxeñeiro de GitLab, loitando contra unha réplica rota ao final dunha longa noite, elimina o directorio de datos de PostgreSQL en db1 en lugar de db2.
31 de xaneiro de 2017, 23:27 UTC: un enxeñeiro de GitLab, loitando contra unha réplica rota ao final dunha longa noite, elimina o directorio de datos de PostgreSQL en db1 en lugar de db2. db1 é o primario. Uns 300 GB da base de datos de GitLab.com desaparecen nun segundo ou dous, e dos cinco mecanismos de copia de seguridade e replicación, ningún funciona. Postmortem: a liña de tempo desde o pico de spam ata o nome de host incorrecto, por que pg_basebackup parecía atascado, por que pg_dump fallara silenciosamente (binarios 9.2 nunha base de datos 9.6, correos electrónicos de fallo rexeitados por DMARC), a restauración de 18 horas desde unha instantánea de "staging" de 6 horas transmitida en directo en YouTube, e quen realmente ten a culpa. Veredicto sobre a resposta: SHIP IT.
Ler a edición escrita (inglés) ↗
Que abrangue este vídeo
- 31 de xan. de 2017: rm -Rvf no directorio de datos do primario; ~300 GB eliminados, 4,5 GB restantes
- 5 de 5 copias de seguridade fallan: balde S3 baleiro (incompatibilidade de versións de pg_dump), sen instantáneas de Azure na BD, réplica borrada, copia LVM diaria sen "webhooks"
- 1 de febreiro, 18:00 UTC: GitLab.com volve dunha instantánea manual de 6 horas de antigüidade; documento en directo, transmisión en directo, "postmortem" sen culpa cunha lista de correccións
Preguntas e respostas
Que pasou na eliminación da base de datos de produción de GitLab.com en 2017?
A finais do 31 de xaneiro de 2017, un enxeñeiro de GitLab que intentaba reparar unha réplica rota eliminou o directorio de datos de PostgreSQL en db1 en lugar de db2. db1 era o primario. Dos aproximadamente 300 GB, quedaron 4,5 GB. GitLab tuiteou que eliminara accidentalmente datos de produción, abriu as súas notas de incidente publicamente e transmitiu a recuperación en YouTube.
Por que ningún dos cinco mecanismos de copia de seguridade e replicación de GitLab funcionou cando os necesitaba?
Segundo o "postmortem" de GitLab, o pg_dump diario a S3 fallara porque o traballo cron seleccionou binarios de PostgreSQL 9.2 para unha base de datos 9.6, e os seus correos electrónicos de erro rebotaron por falta de DMARC. As instantáneas de Azure cubrían os servidores de ficheiros pero non as bases de datos. A réplica fora borrada a propósito, e a instantánea diaria tiña os seus "webhooks" eliminados. Só unha instantánea manual, tomada para unha proba non relacionada, sobreviviu.
Por que a restauración de GitLab.com tardou aproximadamente dezaoito horas?
A restauración significou copiar o disco de "staging" de volta á produción a través do almacenamento barato de Azure a sesenta megabits por segundo, o que tardou dezaoito horas. GitLab.com volveu o 1 de febreiro ás 18:00 UTC, usando unha instantánea manual de seis horas de antigüidade. A interrupción custou seis horas de datos, aproximadamente cinco mil proxectos, cinco mil comentarios e setecentos novos usuarios, segundo o episodio.
Por que os "postmortems" sen culpa se centran no proceso en lugar do enxeñeiro que executou o comando?
O "postmortem" de GitLab, asinado polo CEO, mantivo o enxeñeiro no anonimato e atribuíu o fallo a dous nomes de host separados por un carácter e a cinco sistemas de copia de seguridade dos que ninguén restaurara. Coloreou a mensaxe de produción de vermello e deulle á durabilidade dos datos un propietario, porque antes non tiña ningún. A lista de correccións publicouse con números de incidencia.
Que deberían aprender os equipos do incidente da base de datos de GitLab, e foi correcta a resposta de GitLab?
O veredicto de The Daily Diff foi SHIP IT, sobre a resposta. GitLab xestionou o incidente en público, culpou o proceso e publicou unha lista de correccións con números de incidencia. A acción do luns do episodio é restaurar unha copia de seguridade, porque unha copia de seguridade que nunca foi restaurada non pode considerarse unha copia de seguridade. Hacker News deulle ao documento do incidente en directo 1.162 puntos.
Transcrición traducida
Traducido da narración orixinal en inglés. O audio e os subtítulos dispoñibles son controlados por YouTube.
0:00 Un enxeñeiro de GitLab executa rm -rf no servidor de base de datos equivocado, e trescentos gigabytes de GitLab dot com desaparecen nun segundo ou dous, aproximadamente o tempo que leva ler un nome de host. 31 de xaneiro de 2017, 23:27 p.m. UTC. GitLab tuitea que eliminou accidentalmente datos de produción, abre as súas notas de incidente a internet e transmite a recuperación en YouTube, a segunda transmisión en directo da plataforma. Ao día seguinte, por escrito: de cinco técnicas de copia de seguridade,
0:25 ningunha funciona de forma fiable. Como ocorre, por que é posible e quen realmente ten a culpa. Isto é The Daily Diff, postmortem. 17:20 p.m.: un enxeñeiro fai unha instantánea da produción para probar un balanceador de carga no "staging". 19:00 p.m.: spam asalta a base de datos, ademais dun traballo que elimina un empregado de GitLab un "troll" denunciou por abuso. 23:00 p.m.: a réplica queda tan atrasada que o primario xa descartou
0:48 o rexistro que necesita; a única solución é borrar a réplica e copiar o primario de novo. pg_basebackup colga sen saída. De feito, está esperando, silenciosamente, polo primario; ninguén o sabe, e o libro de execución non o di. O enxeñeiro, que pretendía finalizar ás once, decide que o directorio de datos baleiro é o problema e elimínao. En db1. O primario. Dáse conta un segundo ou dous despois; de aproximadamente trescentos gigabytes,
1:11 quedan 4,5. As copias de seguridade. Un: pg_dump a S3, diariamente. O balde está baleiro. O traballo cron execútase nun servidor de aplicacións sen base de datos, polo que o paquete elixe binarios de PostgreSQL 9.2 para unha base de datos 9.6, falla e envía correos electrónicos o fallo, que rebota por falta de DMARC. Dous: instantáneas de disco de Azure, habilitadas para os servidores de arquivos, non as bases de datos.
1:32 Tres: a réplica, borrada a propósito hai unha hora. Catro: a instantánea diaria, de 24 horas, con todos os "webhooks" eliminados pola sincronización de "staging". Cinco: a instantánea manual das 17:20, para unha proba non relacionada. Esa gaña. Restaurar significa copiar o disco de "staging" de volta á produción a través do almacenamento barato de Azure a sesenta megabits por segundo: dezaoito horas. GitLab dot com volve o 1 de febreiro ás seis da tarde UTC, seis horas de datos máis antigos.
1:58 git blame: dous nomes de host separados por un carácter, e cinco sistemas de copia de seguridade dos que ninguén ten nunca restaurado. Non o enxeñeiro. O "postmortem", asinado polo CEO, mantén o seu anonimato, colorea a mensaxe de produción de vermello e dálle á durabilidade dos datos un propietario, porque ata agora non tiña ningún. Radio de explosión: dezaoito horas de inactividade, seis horas de datos perdidos, aproximadamente cinco mil proxectos, cinco mil comentarios,
2:18 setecentos novos usuarios e cinco mil persoas vendo unha barra de progreso. Hacker News outorga ao documento en directo 1.162 puntos e cita unha liña de volta a eles: de cinco copias de seguridade, ningunha. Veredicto, postmortem: SHIP IT, sobre a resposta. Executan o incidente en público, culpan o proceso e publican a lista de correccións con números de incidencia. Acción do luns: restaurar unha copia de seguridade. Se nunca a restauraches, non tes unha.
2:42 Envíame o incidente do que aínda non tes permitido falar, nos comentarios ou en the daily diff dot dev. E esa é a diferenza de hoxe. Son Niko de Axrisi. Fusiona con responsabilidade.
Fontes
- GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
- GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
- @gitlabstatus, "We accidentally deleted production data…"twitter.com
- @gitlabstatus, emergency maintenance noticetwitter.com
- Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
- Hacker News, the postmortem thread (377 points)news.ycombinator.com



