Un ingeniero eliminó la base de datos de producción de GitLab. 300 gigabytes.
31 de enero de 2017, 23:27 UTC: un ingeniero de GitLab, luchando contra una réplica rota al final de una larga noche, elimina el directorio de datos de PostgreSQL en db1 en lugar de db2.
31 de enero de 2017, 23:27 UTC: un ingeniero de GitLab, luchando contra una réplica rota al final de una larga noche, elimina el directorio de datos de PostgreSQL en db1 en lugar de db2. db1 es el primario. Aproximadamente 300 GB de la base de datos de GitLab.com desaparecen en uno o dos segundos, y de los cinco mecanismos de copia de seguridad y replicación, ninguno funciona. Postmortem: la línea de tiempo desde el pico de spam hasta el nombre de host incorrecto, por qué pg_basebackup parecía atascado, por qué pg_dump había estado fallando silenciosamente (binarios 9.2 en una base de datos 9.6, correos electrónicos de falla rechazados por DMARC), la restauración de 18 horas desde una instantánea de prueba de 6 horas transmitida en vivo en YouTube, y quién realmente tiene la culpa. Veredicto sobre la respuesta: SHIP IT.
Leer la edición escrita (inglés) ↗
Lo que cubre este video
- 31 de enero de 2017: rm -Rvf en el directorio de datos principal; ~300 GB eliminados, 4.5 GB restantes
- 5 de 5 copias de seguridad fallan: bucket S3 vacío (incompatibilidad de versión de pg_dump), no hay instantáneas de Azure en la base de datos, réplica eliminada, copia LVM diaria sin webhooks
- 1 de febrero, 18:00 UTC: GitLab.com se recupera de una instantánea manual de 6 horas; documento en vivo, transmisión en vivo, postmortem sin culpa con una lista de correcciones
Preguntas y respuestas
¿Qué pasó en la eliminación de la base de datos de producción de GitLab.com en 2017?
A últimas horas del 31 de enero de 2017, un ingeniero de GitLab que intentaba reparar una réplica rota eliminó el directorio de datos de PostgreSQL en db1 en lugar de db2. db1 era el principal. De aproximadamente 300 GB, quedaron 4,5 GB. GitLab tuiteó que había eliminado accidentalmente datos de producción, abrió sus notas de incidentes públicamente y transmitió la recuperación en YouTube.
¿Por qué ninguno de los cinco mecanismos de copia de seguridad y replicación de GitLab funcionó cuando los necesitaba?
Según el postmortem de GitLab, el pg_dump diario a S3 había estado fallando porque el trabajo cron eligió binarios de PostgreSQL 9.2 para una base de datos 9.6, y sus correos electrónicos de falla rebotaron por falta de DMARC. Las instantáneas de Azure cubrían servidores de archivos pero no bases de datos. La réplica había sido borrada a propósito, y la instantánea diaria tenía sus webhooks eliminados. Solo una instantánea manual, tomada para una prueba no relacionada, sobrevivió.
¿Por qué la restauración de GitLab.com tardó unas dieciocho horas?
La restauración significó copiar el disco de staging de vuelta a producción a través del almacenamiento barato de Azure a sesenta megabits por segundo, lo que tomó dieciocho horas. GitLab.com regresó el 1 de febrero a las 18:00 UTC, utilizando una instantánea manual de seis horas de antigüedad. La interrupción costó seis horas de datos, aproximadamente cinco mil proyectos, cinco mil comentarios y setecientos nuevos usuarios, según el episodio.
¿Por qué los postmortems sin culpa se centran en el proceso en lugar del ingeniero que ejecutó el comando?
El postmortem de GitLab, firmado por el CEO, mantuvo al ingeniero en el anonimato y atribuyó el fallo a dos nombres de host separados por un carácter y cinco sistemas de copia de seguridad de los que nadie había restaurado. Coloreó el prompt de producción de rojo y le dio un propietario a la durabilidad de los datos, porque antes no tenía ninguno. La lista de correcciones se publicó con números de incidencia.
¿Qué deben aprender los equipos del incidente de la base de datos de GitLab, y fue adecuada la respuesta de GitLab?
El veredicto de The Daily Diff fue SHIP IT, sobre la respuesta. GitLab gestionó el incidente en público, culpó al proceso y publicó una lista de correcciones con números de incidencia. La acción del lunes del episodio es restaurar una copia de seguridad, porque una copia de seguridad que nunca ha sido restaurada no puede considerarse una copia de seguridad. Hacker News le dio al documento del incidente en vivo 1,162 puntos.
Transcripción traducida
Traducido de la narración original en inglés. El audio y los subtítulos disponibles son controlados por YouTube.
0:00 Un ingeniero en GitLab ejecuta rm -rf en el servidor de base de datos equivocado, y trescientos gigabytes de GitLab punto com desaparecen en uno o dos segundos, aproximadamente el tiempo que se tarda en leer un nombre de host. 31 de enero de 2017, 11:27 p.m. UTC. GitLab tuitea que eliminó accidentalmente datos de producción, abre sus notas de incidente a internet y transmite la recuperación en YouTube, la segunda transmisión en vivo en la plataforma. Al día siguiente, por escrito: de cinco técnicas de copia de seguridad,
0:25 ninguna funciona de manera confiable. Cómo sucede, por qué es posible y quién realmente tiene la culpa. Esto es The Daily Diff, postmortem. 5:20 p.m.: un ingeniero toma instantáneas de producción para probar un balanceador de carga en staging. 7 p.m.: el spam golpea la base de datos, además de un trabajo que elimina permanentemente a un empleado de GitLab que un troll reportó por abuso. 11 p.m.: la réplica se atrasa tanto que la primaria ya ha descartado
0:48 el registro que necesita; la única solución es borrar la réplica y copiar la primaria de nuevo. pg_basebackup se cuelga sin salida. En realidad, está esperando, en silencio, a la primaria; nadie lo sabe, y el manual no lo dice. El ingeniero, que tenía la intención de cerrar la sesión a las once, decide que el directorio de datos vacío es el problema y lo elimina. En db1. La primaria. Se da cuenta uno o dos segundos después; de aproximadamente trescientos gigabytes,
1:11 quedan 4.5. Las copias de seguridad. Una: pg_dump a S3, diariamente. El bucket está vacío. El trabajo cron se ejecuta en un servidor de aplicaciones sin base de datos, por lo que el paquete elige binarios de PostgreSQL 9.2 para una base de datos 9.6, falla y envía correos electrónicos del fallo, que rebotan por falta de DMARC. Dos: instantáneas de disco de Azure, habilitadas para los servidores de archivos, no para las bases de datos.
1:32 Tres: la réplica, borrada a propósito hace una hora. Cuatro: la instantánea diaria, de 24 horas de antigüedad, con todos los webhooks eliminados por la sincronización de staging. Cinco: la instantánea manual de las 5:20, para una prueba no relacionada. Esa gana. Restaurar significa copiar el disco de staging de vuelta a producción a través del almacenamiento barato de Azure a sesenta megabits por segundo: dieciocho horas. GitLab punto com vuelve el 1 de febrero a las seis p.m. UTC, con seis horas menos de datos.
1:58 git blame: dos nombres de host separados por un carácter, y cinco sistemas de copia de seguridad de los que nadie ha restaurado nunca. No el ingeniero. El postmortem, firmado por el CEO, lo mantiene anónimo, colorea el prompt de producción de rojo y le da un propietario a la durabilidad de los datos, porque hasta ahora no tenía ninguno. Radio de explosión: dieciocho horas de inactividad, seis horas de datos perdidos, aproximadamente cinco mil proyectos, cinco mil comentarios,
2:18 setecientos nuevos usuarios y cinco mil personas viendo una barra de progreso. Hacker News le da al documento en vivo 1,162 puntos y cita una línea de vuelta a ellos: de cinco copias de seguridad, ninguna. Veredicto, postmortem: ship it, sobre la respuesta. Gestionan el incidente en público, culpan al proceso y publican la lista de correcciones con números de incidencia. Acción del lunes: restaurar una copia de seguridad. Si nunca la ha restaurado, no tiene una.
2:42 Envíenme el incidente del que todavía no se les permite hablar, en los comentarios, o en the daily diff punto dev. Y esa es la diferencia de hoy. Soy Niko de Axrisi. Fusionar responsablemente.
Fuentes
- GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
- GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
- @gitlabstatus, "We accidentally deleted production data…"twitter.com
- @gitlabstatus, emergency maintenance noticetwitter.com
- Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
- Hacker News, the postmortem thread (377 points)news.ycombinator.com



