Verkfræðingur eyddi framleiðslugagnagrunni GitLab. 300 gígabæt.
31.
31. janúar 2017, 23:27 UTC: verkfræðingur hjá GitLab, sem var að berjast við bilaða afritun eftir langan vinnudag, fjarlægir PostgreSQL gagnamöppuna á db1 í stað db2. db1 er aðalgagnagrunnurinn. Um 300 GB af gagnagrunni GitLab.com er horfið á einni eða tveimur sekúndum, og af fimm afritunar- og afritunaraðferðum virkar engin. Eftir dauða: tímalínan frá spammtoppnum til rangs hýsingarheitis, hvers vegna pg_basebackup virtist vera fast, hvers vegna pg_dump hafði verið að bila hljóðlaust (9.2 keyrsluskrár á 9.6 gagnagrunni, villupóstar skoppuðu af DMARC), 18 klukkustunda endurheimtin frá 6 klukkustunda gamalli sviðsmynd sem var streymt beint á YouTube, og hver ber raunverulega sökina. Dómur um viðbrögðin: SHIP IT.
Lestu skriflegu útgáfuna (enska) ↗
Það sem þetta myndband fjallar um
- 31. janúar 2017: rm -Rvf á gagnamöppu aðalgagnagrunns; ~300 GB eytt, 4.5 GB eftir.
- 5 af 5 afritunum bila: tóm S3 fötu (pg_dump útgáfuágreiningur), engar Azure skyndimyndir á gagnagrunninum, eytt afrit, daglegt LVM afrit án vefkrókum.
- 1. febrúar, 18:00 UTC: GitLab.com aftur í gang frá 6 klukkustunda gamalli handvirkri skyndimynd; lifandi skjal, lifandi streymi, blameless postmortem með lagfæringarlista.
Spurningar og svör
Hvað gerðist í eyðingu framleiðslugagnagrunns GitLab.com árið 2017?
Seint 31. janúar 2017 fjarlægði verkfræðingur hjá GitLab, sem reyndi að laga bilað afrit, PostgreSQL gagnamöppuna á db1 í stað db2. db1 var aðalgagnagrunnurinn. Af um 300 GB, voru 4.5 GB eftir. GitLab tísti að það hefði óvart eytt framleiðslugögnum, opnaði atviksglósur sínar opinberlega og streymdi endurheimtinni á YouTube.
Hvers vegna virkaði enginn af fimm afritunar- og endurheimtunaraðferðum GitLab þegar þau þurftu á þeim að halda?
Samkvæmt eftirliti GitLab hafði daglega pg_dump til S3 bilað vegna þess að cron starfið valdi PostgreSQL 9.2 keyrsluskrár fyrir 9.6 gagnagrunn, og villupóstar þess skoppuðu vegna vantar DMARC. Azure skyndimyndir náðu yfir skráarþjóna en ekki gagnagrunna. Afritið hafði verið eytt viljandi og daglega skyndimyndin hafði vefkrókana sína fjarlægða. Aðeins handvirk skyndimynd, tekin fyrir óskylda prófun, lifði af.
Hvers vegna tók endurheimt GitLab.com um átján klukkustundir?
Endurheimt þýddi að afrita sviðsetningardiskinn aftur í framleiðslu yfir ódýra Azure geymslu á sextíu megabitum á sekúndu, sem tók átján klukkustundir. GitLab.com sneri aftur 1. febrúar klukkan 18:00 UTC, með því að nota handvirka skyndimynd sex klukkustunda gamla. Truflunin kostaði sex klukkustundir af gögnum, um það bil fimm þúsund verkefni, fimm þúsund athugasemdir og sjö hundruð nýja notendur, samkvæmt þættinum.
Hvers vegna einblína blameless postmortem á ferlið frekar en verkfræðinginn sem keyrði skipunina?
Eftirlit GitLab, undirritað af forstjóra, hélt verkfræðingnum nafnlausum og rakti bilunina til tveggja hýsingarheita sem voru einum staf í sundur og fimm afritunarkerfa sem enginn hafði endurheimt frá. Það litaði framleiðsluhvetjuna rauða og gaf gagnastöðugleika eiganda, vegna þess að það hafði engan áður. Lagfæringarlistinn var birtur með útgáfunúmerum.
Hvað ættu teymi að læra af gagnagrunnsatvikinu hjá GitLab, og voru viðbrögð GitLab góð?
Dómur The Daily Diff var SHIP IT, um viðbrögðin. GitLab stýrði atvikinu opinberlega, kenndi ferlinu og birti lagfæringarlista með útgáfunúmerum. Mánudagsaðgerð þáttarins er að endurheimta afrit, vegna þess að afrit sem aldrei hefur verið endurheimt getur ekki talist afrit. Hacker News gaf lifandi atviksaskjalinu 1.162 stig.
Þýtt afrit
Þýtt úr upprunalegri enskri frásögn. Tiltækt hljóð og textar eru stjórnaðir af YouTube.
0:00 Verkfræðingur hjá GitLab keyrir rm -rf á rangan gagnagrunnsþjón, og þrjú hundruð gígabæti af GitLab.com hverfa á einni eða tveimur sekúndum, um það bil þann tíma sem það tekur að lesa hýsingarheiti. 31. janúar 2017, klukkan 23:27 UTC. GitLab tístir að það hafi óvart eytt framleiðslugögnum, opnar atviksglósur sínar fyrir internetinu og streymir endurheimtinni á YouTube, annað mest horfða lifandi streymið á vettvanginum. Næsta dag, skriflega: af fimm afritunaraðferðum,
0:25 enginn virkar áreiðanlega. Hvernig það gerist, hvers vegna það er mögulegt og hver fær raunverulega sökina. Þetta er The Daily Diff, eftir dauða. 17:20: verkfræðingur tekur skyndimynd af framleiðslu til að prófa jafnvægisstýringu í sviðsetningu. 19:00: ruslpóstur hamrar gagnagrunninn, auk starfs sem eyðir GitLab starfsmanni sem tröll tilkynnti fyrir misnotkun. 23:00: afritið fellur svo langt á eftir að aðalgagnagrunnurinn hefur þegar hent
0:48 skránni sem það þarf; eina lausnin er að eyða afritinu og afrita aðalgagnagrunninn aftur. pg_basebackup hangir án úttaks. Það er í raun að bíða, hljóðlaust, eftir aðalgagnagrunninum; enginn veit það, og handbókin segir það ekki. Verkfræðingurinn, sem ætlaði að skrá sig út klukkan ellefu, ákveður að tóm gagnamappan sé vandamálið og fjarlægir hana. Á db1. Aðalgagnagrunnurinn. Hann tekur eftir því sekúndu eða tveimur síðar; af um það bil þrjú hundruð gígabætum,
1:11 4.5 eru eftir. Afritin. Eitt: pg_dump til S3, daglega. Fatan er tóm. Cron starfið keyrir á forritaþjóni án gagnagrunns, svo pakkinn velur PostgreSQL 9.2 keyrsluskrár fyrir 9.6 gagnagrunn, bilar og sendir tölvupóst bilunina, sem skoppar fyrir vantar DMARC. Tvö: Azure diskaskyndimyndir, virkjaðar fyrir skráarþjónana, ekki gagnagrunnana.
1:32 Þrjú: afritið, eytt viljandi fyrir klukkustund síðan. Fjögur: daglega skyndimyndin, 24 klukkustunda gömul, allir vefkrókar fjarlægðir af sviðsetningarsamstillingu. Fimm: handvirka skyndimyndin frá 17:20, fyrir óskyld prófun. Sú vinnur. Endurheimt þýðir að afrita sviðsetningardiskinn aftur í framleiðslu yfir ódýra Azure geymslu á sextíu megabitum á sekúndu: átján klukkustundir. GitLab.com er aftur í gangi 1. febrúar klukkan sex síðdegis UTC, sex klukkustundum eldri gagna.
1:58 git blame: tvö hýsingarheiti sem eru einum staf í sundur, og fimm afritunarkerfi sem enginn hefur nokkru sinni endurheimt frá. Ekki verkfræðingurinn. Eftir dauða, undirritaður af forstjóra, heldur honum nafnlausum, litur framleiðsluhvetjuna rauðan og gefur gagnastöðugleika eiganda, vegna þess að fram að þessu hafði það engan. Sprengjuradíus: átján klukkustundir niðri, sex klukkustundir af gögnum horfin, um það bil fimm þúsund verkefni, fimm þúsund athugasemdir,
2:18 sjö hundruð nýir notendur, og fimm þúsund manns að horfa á framvindustiku. Hacker News gefur lifandi skjalinu 1.162 stig og vitnar í eina línu aftur til þeirra: af fimm afritum, enginn. Dómur, eftir dauða: SHIP IT, á viðbrögðunum. Þeir stýra atvikinu opinberlega, kenna ferlinu og birta lagfæringarlista með útgáfunúmerum. Mánudags aðgerð: endurheimta afrit. Ef þú hefur aldrei endurheimt það, áttu ekki eitt.
2:42 Sendu mér atvikið sem þér er enn ekki heimilt að tala um, í athugasemdum, eða á the daily diff dot dev. Og það er diff fyrir í dag. Ég er Niko frá Axrisi. Sameinaðu á ábyrgan hátt.
Heimildir
- GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
- GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
- @gitlabstatus, "We accidentally deleted production data…"twitter.com
- @gitlabstatus, emergency maintenance noticetwitter.com
- Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
- Hacker News, the postmortem thread (377 points)news.ycombinator.com



