Een ingenieur verwijderde de productiedatabase van GitLab. 300 gigabyte.
31 januari 2017, 23:27 UTC: een GitLab-ingenieur, vechtend met een kapotte replica aan het einde van een lange nacht, verwijdert de PostgreSQL-gegevensmap op db1 in plaats van db2.
31 januari 2017, 23:27 UTC: een GitLab-ingenieur, vechtend met een kapotte replica aan het einde van een lange nacht, verwijdert de PostgreSQL-gegevensmap op db1 in plaats van db2. db1 is de primaire. Ongeveer 300 GB van GitLab.com's database is in een seconde of twee verdwenen, en van de vijf back-up- en replicatiemechanismen werkt er geen. Postmortem: de tijdlijn van de spikkelpiek tot de verkeerde hostnaam, waarom pg_basebackup vast leek te zitten, waarom pg_dump stilzwijgend faalde (9.2 binaries op een 9.6 database, faalf-e-mails geblokkeerd door DMARC), de 18 uur durende herstel van een 6 uur oude staging-snapshot live gestreamd op YouTube, en wie er echt de schuld krijgt. Oordeel over de reactie: SHIP IT.
Lees de geschreven editie (Engels) ↗
Wat deze video behandelt
- 31 jan 2017: rm -Rvf op de gegevensmap van de primaire; ~300 GB verwijderd, 4.5 GB over
- 5 van de 5 back-ups mislukken: lege S3-bucket (pg_dump versie-mismatch), geen Azure-snapshots op de DB, gewiste replica, dagelijkse LVM-kopie zonder webhooks
- 1 feb, 18:00 UTC: GitLab.com terug van een 6 uur oude handmatige snapshot; live document, live stream, blameless postmortem met een fixlijst
Vragen en antwoorden
Wat gebeurde er bij de verwijdering van de productiedatabase van GitLab.com in 2017?
Laat op 31 januari 2017 verwijderde een GitLab-ingenieur die probeerde een kapotte replica te repareren, de PostgreSQL-gegevensmap op db1 in plaats van db2. db1 was de primaire. Van ongeveer 300 GB bleef 4,5 GB over. GitLab tweette dat het per ongeluk productiedata had verwijderd, opende zijn incidentnotities openbaar en streamde het herstel op YouTube.
Waarom werkten geen van GitLab's vijf back-up- en replicatiemechanismen toen het ze nodig had?
Volgens GitLab's postmortem faalde de dagelijkse pg_dump naar S3 omdat de cron-taak PostgreSQL 9.2-binaries koos voor een 9.6-database, en de foutmeldingen stuiterden vanwege een ontbrekende DMARC. Azure-snapshots dekten bestandsservers maar geen databases. De replica was opzettelijk gewist en de dagelijkse snapshot had zijn webhooks gestript. Alleen een handmatige snapshot, gemaakt voor een niet-gerelateerde test, overleefde.
Waarom duurde het herstellen van GitLab.com ongeveer achttien uur?
Herstellen betekende het kopiëren van de staging-schijf terug naar productie via Azure's goedkope opslag met zestig megabit per seconde, wat achttien uur duurde. GitLab.com keerde terug op 1 februari om 18:00 UTC, met behulp van een handmatige snapshot van zes uur oud. De storing kostte zes uur aan gegevens, ongeveer vijfduizend projecten, vijfduizend opmerkingen en zevenhonderd nieuwe gebruikers, volgens de aflevering.
Waarom richten blameless postmortems zich op het proces in plaats van op de ingenieur die het commando uitvoerde?
GitLab's postmortem, ondertekend door de CEO, hield de ingenieur anoniem en schreef de storing toe aan twee hostnamen met één teken verschil en vijf back-upsystemen waarvan niemand had hersteld. Het kleurde de productprompt rood en gaf gegevensduurzaamheid een eigenaar, omdat het die daarvoor niet had. De fixlijst werd gepubliceerd met issuemmers.
Wat moeten teams leren van het database-incident van GitLab, en was de reactie van GitLab deugdelijk?
Het oordeel van The Daily Diff was SHIP IT, over de reactie. GitLab voerde het incident openbaar uit, gaf het proces de schuld en publiceerde een fixlijst met issuemmers. De maandagactie van de aflevering is om een back-up te herstellen, want een back-up die nog nooit is hersteld, kan niet als een back-up worden beschouwd. Hacker News gaf het live incidentdocument 1.162 punten.
Vertaald transcript
Vertaald vanuit de originele Engelse gesproken tekst. Beschikbare audio en ondertiteling worden beheerd door YouTube.
0:00 Een ingenieur bij GitLab voert rm -rf uit op de verkeerde databaseserver, en driehonderd gigabyte van GitLab dot com verdwijnen in een seconde of twee, ongeveer de tijd die nodig is om een hostnaam te lezen. 31 januari 2017, 23:27 uur UTC. GitLab twittert dat het per ongeluk productiedata heeft verwijderd, opent zijn incidentnotities voor het internet en streamt het herstel op YouTube, de nummer twee livestream op het platform. De volgende dag, schriftelijk: van de vijf back-uptechnieken,
0:25 werkt er geen betrouwbaar. Hoe het gebeurt, waarom het mogelijk is, en wie er eigenlijk de schuld krijgt. Dit is The Daily Diff, postmortem. 17:20 uur: een ingenieur maakt een snapshot van de productie om een load balancer in staging te testen. 19:00 uur: spam hamert op de database, plus een taak die een GitLab-medewerker hard verwijdert een trol rapporteerde voor misbruik. 23:00 uur: de replica raakt zo ver achter dat de primaire de log al heeft weggegooid
0:48 die hij nodig heeft; de enige oplossing is om de replica te wissen en de primaire opnieuw te kopiëren. pg_basebackup blijft hangen zonder uitvoer. Het wacht eigenlijk, stilzwijgend, op de primaire; niemand weet dat, en het runbook vermeldt het niet. De ingenieur, die om elf uur wilde afmelden, besluit dat de lege gegevensmap het probleem is en verwijdert deze. Op db1. De primaire. Hij merkt het een seconde of twee later op; van ongeveer driehonderd gigabyte,
1:11 blijven er 4,5 over. De back-ups. Eén: pg_dump naar S3, dagelijks. De bucket is leeg. De cron-taak wordt uitgevoerd op een app-server zonder database, dus het pakket kiest PostgreSQL 9.2-binaries voor een 9.6-database, mislukt, en e-mailt de storing, die terugkaatst wegens ontbrekende DMARC. Twee: Azure-schijf-snapshots, ingeschakeld voor de bestandsservers, niet de databases.
1:32 Drie: de replica, opzettelijk een uur geleden gewist. Vier: de dagelijkse snapshot, 24 uur oud, elke webhook verwijderd door de staging-synchronisatie. Vijf: de handmatige snapshot van 17:20, voor een niet-gerelateerde test. Die wint. Herstellen betekent het kopiëren van de staging-schijf terug naar productie via Azure's goedkope opslag met zestig megabit per seconde: achttien uur. GitLab dot com is terug op 1 februari om zes uur 's middags. UTC, zes uur gegevens ouder.
1:58 git blame: twee hostnamen met één teken verschil, en vijf back-upsystemen waarvan niemand ooit heeft hersteld. Niet de ingenieur. De postmortem, ondertekend door de CEO, houdt hem anoniem, kleurt de productprompt rood en geeft dataduurzaamheid een eigenaar, omdat het er tot nu toe geen had. Blastradius: achttien uur downtime, zes uur gegevens verloren, ongeveer vijfduizend projecten, vijfduizend opmerkingen,
2:18 zevenhonderd nieuwe gebruikers en vijfduizend mensen die een voortgangsbalk bekijken. Hacker News geeft het live document 1.162 punten en citeert één regel terug naar hen: van de vijf back-ups, geen. Oordeel, postmortem: SHIP IT, over de reactie. Ze voeren het incident openbaar uit, wijten het aan het proces en publiceren de fixlijst met issuemmers. Maandag actie: herstel een back-up. Als je het nog nooit hebt hersteld, heb je er geen.
2:42 Stuur me het incident waar je het nog steeds niet over mag hebben, in de reacties, of op the daily diff dot dev. En dat is de diff voor vandaag. Ik ben Niko van Axrisi. Verantwoord samenvoegen.
Bronnen
- GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
- GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
- @gitlabstatus, "We accidentally deleted production data…"twitter.com
- @gitlabstatus, emergency maintenance noticetwitter.com
- Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
- Hacker News, the postmortem thread (377 points)news.ycombinator.com



