Inženýr smazal produkční databázi GitLabu. 300 gigabajtů.
31.
31. ledna 2017, 23:27 UTC: inženýr GitLabu, bojující s poškozenou replikou na konci dlouhé noci, odstranil datový adresář PostgreSQL na db1 místo db2. db1 je primární. Asi 300 GB databáze GitLab.com zmizelo během sekundy nebo dvou a z pěti mechanismů zálohování a replikace nefungoval ani jeden. Postmortem: časová osa od nárůstu spamu po nesprávný název hostitele, proč pg_basebackup vypadal zaseknutý, proč pg_dump selhával tiše (binární soubory 9.2 na databázi 9.6, e-maily o selhání odražené DMARC), 18hodinové obnovení ze 6hodinového snapshotu stagingu streamované živě na YouTube a kdo za to skutečně nese vinu. Verdikt k reakci: SHIP IT.
Přečtěte si psané vydání (anglicky) ↗
Co toto video pokrývá
- 31. ledna 2017: rm -Rvf v datovém adresáři primáru; ~300 GB odstraněno, 4,5 GB zbývá
- 5 z 5 záloh selhalo: prázdný S3 bucket (nesoulad verzí pg_dump), žádné snímky Azure na DB, smazaná replika, denní LVM kopie bez webhooků
- 1. února, 18:00 UTC: GitLab.com obnoven z 6hodinového ručního snímku; živý dokument, živý stream, bezchybná postmortem s opravným seznamem
Otázky a odpovědi
Co se stalo při smazání produkční databáze GitLab.com v roce 2017?
Koncem 31. ledna 2017 inženýr GitLabu, který se snažil opravit poškozenou repliku, odstranil datový adresář PostgreSQL na db1 místo db2. db1 byl primární. Ze zhruba 300 GB zůstalo 4,5 GB. GitLab tweetoval, že omylem smazal produkční data, zveřejnil své poznámky k incidentu a streamoval obnovu na YouTube.
Proč žádný z pěti zálohovacích a replikačních mechanismů GitLabu nefungoval, když je potřeboval?
Podle postmortem zprávy GitLabu denní pg_dump na S3 selhával, protože cron job vybral binární soubory PostgreSQL 9.2 pro databázi 9.6 a jeho e-maily o selhání se odrazily kvůli chybějícímu DMARC. Snímky Azure pokrývaly souborové servery, ale ne databáze. Replika byla úmyslně vymazána a denní snímek měl odstraněné webhooky. Přežil pouze ruční snímek, pořízený pro nesouvisející test.
Proč trvalo obnovení GitLab.com asi osmnáct hodin?
Obnovení znamenalo zkopírování disku stagingu zpět do produkce přes levné úložiště Azure rychlostí šedesát megabitů za sekundu, což trvalo osmnáct hodin. GitLab.com se vrátil 1. února v 18:00 UTC, s použitím ručního snímku starého šest hodin. Výpadek stál šest hodin dat, zhruba pět tisíc projektů, pět tisíc komentářů a sedm set nových uživatelů, podle epizody.
Proč se postmortemy bez obviňování zaměřují na proces spíše než na inženýra, který spustil příkaz?
Postmortem zpráva GitLabu, podepsaná generálním ředitelem, udržela inženýra v anonymitě a přisoudila selhání dvěma názvům hostitelů, které se lišily o jeden znak, a pěti zálohovacím systémům, ze kterých nikdo neobnovoval. Produkční výzvu obarvila na červeno a přidělila vlastníka pro trvanlivost dat, protože dříve žádného neměla. Seznam oprav byl zveřejněn s čísly problémů.
Co by si týmy měly vzít z incidentu s databází GitLabu a byla reakce GitLabu správná?
Verdikt The Daily Diff byl SHIP IT, k reakci. GitLab incident vedl veřejně, obvinil proces a zveřejnil seznam oprav s čísly problémů. Pondělní akce epizody je obnovit zálohu, protože záloha, která nikdy nebyla obnovena, nemůže být počítána jako záloha. Hacker News dal živému dokumentu incidentu 1 162 bodů.
Přeložený přepis
Přeloženo z původního anglického vyprávění. Dostupné audio a titulky jsou řízeny YouTube.
0:00 Inženýr v GitLabu spustí rm -rf na nesprávném databázovém serveru, a tři sta gigabajtů GitLab dot com zmizí během sekundy nebo dvou, přibližně tak dlouho trvá přečtení názvu hostitele. 31. ledna 2017, 23:27 UTC. GitLab tweetuje, že omylem smazal produkční data, zpřístupní své poznámky k incidentu internetu a streamuje obnovu na YouTube, druhý největší živý přenos na platformě. Následující den písemně: z pěti zálohovacích technik,
0:25 žádná nefunguje spolehlivě. Jak se to stane, proč je to možné a kdo za to skutečně nese vinu. Toto je The Daily Diff, postmortem. 17:20: inženýr vytvoří snímek produkce pro testování load balanceru ve stagingu. 19:00: spam zasáhne databázi, plus úloha, která natvrdo maže zaměstnance GitLabu, kterého nahlásil troll za zneužívání. 23:00: replika se tak daleko zpozdí, že primár už zahodil
0:48 potřebný log; jediné řešení je vymazat repliku a znovu zkopírovat primár. pg_basebackup se zasekne bez výstupu. Ve skutečnosti tiše čeká na primár; nikdo to neví, a v příručce to není uvedeno. Inženýr, který se měl odhlásit v jedenáct, se rozhodne, že prázdný datový adresář je problém a odstraní ho. Na db1. Primární. Všimne si toho o sekundu nebo dvě později; zhruba ze tří set gigabajtů,
1:11 zbývá 4,5. Zálohy. Jedna: pg_dump na S3, denně. Bucket je prázdný. Cron job běží na aplikačním serveru bez databáze, takže balíček vybere binární soubory PostgreSQL 9.2 pro databázi 9.6, selže a odešle e-maily o selhání, které se odrazí kvůli chybějícímu DMARC. Dvě: snímky disku Azure, povolené pro souborové servery, ne pro databáze.
1:32 Tři: replika, úmyslně vymazaná před hodinou. Čtyři: denní snímek, starý 24 hodin, všechny webhooky odstraněné synchronizací stagingu. Pět: ruční snímek z 17:20, pro nesouvisející test. Ten vyhraje. Obnovení znamená zkopírování staging disku zpět do produkce přes levné úložiště Azure rychlostí šedesát megabitů za sekundu: osmnáct hodin. GitLab dot com je zpět 1. února v šest večer UTC, o šest hodin dat starší.
1:58 git blame: dva názvy hostitelů, které se liší o jeden znak, a pět zálohovacích systémů, ze kterých nikdo nikdy neobnovoval. Ne inženýr. Postmortem, podepsané generálním ředitelem, ho udržuje v anonymitě, obarví produkční výzvu na červeno a přidělí vlastníka pro trvanlivost dat, protože až dosud žádného neměla. Dosah výbuchu: osmnáct hodin mimo provoz, šest hodin dat pryč, zhruba pět tisíc projektů, pět tisíc komentářů,
2:18 sedm set nových uživatelů a pět tisíc lidí sledujících ukazatel průběhu. Hacker News dává živému dokumentu 1 162 bodů a cituje jeden řádek zpět: z pěti záloh, žádná. Verdikt, postmortem: ship it, k reakci. Incident vedou veřejně, obviňují proces a publikují seznam oprav s čísly problémů. Pondělní akce: obnovit zálohu. Pokud jste ji nikdy neobnovili, žádnou nemáte.
2:42 Pošlete mi incident, o kterém stále nesmíte mluvit, v komentářích, nebo na daily diff dot dev. A to je dnešní diff. Jsem Niko z Axrisi. Slučujte zodpovědně.
Zdroje
- GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
- GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
- @gitlabstatus, "We accidentally deleted production data…"twitter.com
- @gitlabstatus, emergency maintenance noticetwitter.com
- Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
- Hacker News, the postmortem thread (377 points)news.ycombinator.com



