Inžinier vymazal produkčnú databázu GitLabu. 300 gigabajtov.
31.
31. januára 2017, 23:27 UTC: inžinier GitLabu, bojujúci s nefunkčnou replikou na konci dlhej noci, odstráni dátový adresár PostgreSQL na db1 namiesto db2. db1 je primárny. Asi 300 GB databázy GitLab.com zmizne za sekundu alebo dve a zo piatich mechanizmov zálohovania a replikácie nefunguje žiadny. Postmortem: časová os od špičky spamu po nesprávny názov hostiteľa, prečo pg_basebackup vyzeral zaseknutý, prečo pg_dump ticho zlyhával (binárne súbory 9.2 na databáze 9.6, e-maily o zlyhaní odrazené DMARC), 18-hodinová obnova zo 6-hodinového snímku stagingu streamovaného naživo na YouTube a kto skutočne nesie vinu. Verdikt o reakcii: SHIP IT.
Prečítajte si písanú edíciu (anglicky) ↗
Čo toto video pokrýva
- 31. januára 2017: rm -Rvf v dátovom adresári primárneho servera; odstránených ~300 GB, zostalo 4,5 GB
- 5 z 5 záloh zlyhalo: prázdny S3 bucket (nesúlad verzií pg_dump), žiadne Azure snímky na DB, vymazaná replika, denná kópia LVM bez webhookov
- 1. februára, 18:00 UTC: GitLab.com je späť zo 6-hodinového manuálneho snímku; živý dokument, živý prenos, bezchybný postmortem so zoznamom opráv
Otázky a odpovede
Čo sa stalo pri vymazaní produkčnej databázy GitLab.com v roku 2017?
Koncom 31. januára 2017 inžinier GitLabu, snažiaci sa opraviť nefunkčnú repliku, odstránil dátový adresár PostgreSQL na db1 namiesto db2. db1 bol primárny server. Z približne 300 GB zostalo 4,5 GB. GitLab tweetoval, že omylom vymazal produkčné dáta, verejne sprístupnil svoje poznámky k incidentu a streamoval obnovu na YouTube.
Prečo nefungoval žiadny z piatich zálohovacích a replikačných mechanizmov GitLabu, keď ich potreboval?
Podľa postmortem GitLabu denný pg_dump do S3 zlyhával, pretože cron job vybral binárne súbory PostgreSQL 9.2 pre databázu 9.6 a e-maily o zlyhaní sa odrazili pre chýbajúci DMARC. Snímky Azure pokrývali súborové servery, ale nie databázy. Replika bola úmyselne vymazaná a denná snímka mala odstránené svoje webhooks. Prežil iba manuálny snímok, urobený pre nesúvisiaci test.
Prečo trvala obnova GitLab.com približne osemnásť hodín?
Obnova znamenala kopírovanie staging disku späť do produkcie cez lacné úložisko Azure rýchlosťou šesťdesiat megabitov za sekundu, čo trvalo osemnásť hodín. GitLab.com sa vrátil do prevádzky 1. februára o 18:00 UTC, pričom použil manuálny snímok starý šesť hodín. Výpadok stál šesť hodín dát, približne päťtisíc projektov, päťtisíc komentárov a sedemsto nových používateľov, podľa epizódy.
Prečo sa bezchybné postmortemy zameriavajú na proces, a nie na inžiniera, ktorý spustil príkaz?
Postmortem GitLabu, podpísané generálnym riaditeľom, udržalo inžiniera v anonymite a pripísalo zlyhanie dvom názvom hostiteľov vzdialeným o jeden znak a piatim zálohovacím systémom, z ktorých nikto neobnovoval. Sfarbilo produkčný prompt na červeno a dalo trvanlivosti dát majiteľa, pretože predtým žiadneho nemala. Zoznam opráv bol zverejnený s číslami úloh.
Čo by si mali tímy vziať z incidentu s databázou GitLabu a bola reakcia GitLabu správna?
Verdikt The Daily Diff bol SHIP IT, čo sa týka reakcie. GitLab incident riešil verejne, obvinil proces a zverejnil zoznam opráv s číslami úloh. Pondelková akcia epizódy je obnoviť zálohu, pretože záloha, ktorá nikdy nebola obnovená, nemôže byť považovaná za zálohu. Hacker News dalo živému dokumentu incidentu 1 162 bodov.
Preložený prepis
Preložené z pôvodného anglického rozprávania. Dostupný zvuk a titulky sú kontrolované službou YouTube.
0:00 Inžinier v GitLabe spustí rm -rf na nesprávnom databázovom serveri, a tristo gigabajtov GitLab dot com zmizne za sekundu alebo dve, približne tak dlho, ako trvá prečítanie názvu hostiteľa. 31. januára 2017, 23:27. UTC. GitLab tweetuje, že omylom vymazal produkčné dáta, otvorí svoje poznámky k incidentu internetu a streamuje obnovu na YouTube, čo je druhý najsledovanejší živý prenos na platforme. Na druhý deň, písomne: z piatich zálohovacích techník,
0:25 žiadna nefunguje spoľahlivo. Ako sa to stane, prečo je to možné a kto skutočne nesie vinu. Toto je The Daily Diff, postmortem. 17:20: inžinier vytvorí snímku produkcie na testovanie load balancera v stagingu. 19:00: spam zasiahne databázu, plus úloha tvrdo vymazávajúca zamestnanca GitLabu, ktorého troll nahlásil za zneužitie. 23:00: replika tak zaostane, že primárny server už zahodil
0:48 potrebný log; jedinou opravou je vymazať repliku a znova skopírovať primárny server. pg_basebackup sa zavesí bez výstupu. V skutočnosti ticho čaká na primárny server; nikto to nevie, a v dokumentácii to nie je uvedené. Inžinier, ktorý sa mal odhlásiť o jedenástej, sa rozhodne, že prázdny dátový adresár je problém a odstráni ho. Na db1. Primárny server. Všimne si to o sekundu alebo dve neskôr; z približne tristo gigabajtov,
1:11 zostalo 4,5. Zálohy. Jedna: pg_dump do S3, denne. Bucket je prázdny. Cron job beží na aplikačnom serveri bez databázy, takže balík vyberie binárne súbory PostgreSQL 9.2 pre databázu 9.6, zlyhá a odošle e-maily o zlyhaní, ktoré sa odrazia pre chýbajúci DMARC. Dve: snímky diskov Azure, povolené pre súborové servery, nie pre databázy.
1:32 Tri: replika, úmyselne vymazaná pred hodinou. Štyri: denná snímka, 24 hodín stará, všetky webhooks odstránené synchronizáciou stagingu. Päť: manuálna snímka z 17:20, pre nesúvisiaci test. Tá vyhrá. Obnovenie znamená kopírovanie staging disku späť do produkcie cez lacné úložisko Azure rýchlosťou šesťdesiat megabitov za sekundu: osemnásť hodín. GitLab dot com je späť 1. februára o 18:00. UTC, o šesť hodín starší dátami.
1:58 git blame: dva názvy hostiteľov vzdialené o jeden znak a päť zálohovacích systémov, z ktorých nikto nikdy neobnovoval. Nie inžinier. Postmortem, podpísané generálnym riaditeľom, ho ponecháva v anonymite, sfarbuje produkčný prompt na červeno a dáva trvanlivosti dát majiteľa, pretože doteraz žiadneho nemala. Polomer výbuchu: osemnásť hodín mimo prevádzky, šesť hodín dát stratených, približne päťtisíc projektov, päťtisíc komentárov,
2:18 sedemsto nových používateľov a päťtisíc ľudí sledujúcich ukazovateľ priebehu. Hacker News dáva živému dokumentu 1 162 bodov a cituje jednu riadok späť na nich: z piatich záloh, žiadna. Verdikt, postmortem: ship it, na reakciu. Incident riadia verejne, vinia proces a zverejňujú zoznam opráv s číslami úloh. Pondelková akcia: obnoviť zálohu. Ak ste ju nikdy neobnovili, nemáte ju.
2:42 Pošlite mi incident, o ktorom stále nesmiete hovoriť, v komentároch alebo na the daily diff dot dev. A to je diff pre dnešok. Som Niko z Axrisi. Zlučujte zodpovedne.
Zdroje
- GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
- GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
- @gitlabstatus, "We accidentally deleted production data…"twitter.com
- @gitlabstatus, emergency maintenance noticetwitter.com
- Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
- Hacker News, the postmortem thread (377 points)news.ycombinator.com



