Ինժեները ջնջել է GitLab-ի արտադրական տվյալների բազան։ 300 գիգաբայթ։
2017 թվականի հունվարի 31, 23:27 UTC.
2017 թվականի հունվարի 31, 23:27 UTC. GitLab-ի ինժեները, երկար գիշերվա վերջում պայքարելով կոտրված պատճենի դեմ, PostgreSQL տվյալների գրացուցակը հեռացնում է db1-ից՝ db2-ի փոխարեն։ db1-ը հիմնականն է։ Մոտ 300 ԳԲ GitLab.com-ի տվյալների բազան անհետանում է մեկ-երկու վայրկյանում, և հինգ կրկնօրինակման և վերարտադրման մեխանիզմներից ոչ մեկը չի աշխատում։ Հետմահու. ժամանակացույցը սպամի աճից մինչև սխալ հոսթի անունը, թե ինչու pg_basebackup-ը կարծես թե կանգ էր առել, թե ինչու pg_dump-ը լուռ ձախողվում էր (9.2 երկուական ֆայլեր 9.6 տվյալների բազայում, ձախողման էլեկտրոնային նամակները հետ էին մղվում DMARC-ի կողմից), 18-ժամյա վերականգնումը 6-ժամյա բեմականացման սնապշոթից, որը ուղիղ հեռարձակվում էր YouTube-ում, և թե ով է իրականում մեղավորը։ Արձագանքի վերդիկտը՝ SHIP IT։
Կարդացեք գրավոր տարբերակը (անգլերեն) ↗
Ինչ է ընդգրկում այս տեսանյութը
- 2017 թվականի հունվարի 31. rm -Rvf հիմնականի տվյալների գրացուցակում. ~300 ԳԲ հեռացված, 4.5 ԳԲ մնացել է
- 5 կրկնօրինակներից 5-ը ձախողվում են. դատարկ S3 պահոց (pg_dump տարբերակի անհամապատասխանություն), տվյալների բազայի վրա Azure սնապշոթներ չկան, ջնջված պատճեն, ամենօրյա LVM պատճեն առանց վեբհուքերի
- Փետրվարի 1, 18:00 UTC. GitLab.com-ը վերականգնված է 6-ժամյա հին ձեռքով սնապշոթից. ուղիղ փաստաթուղթ, ուղիղ հեռարձակում, անմեղ հետմահու վերլուծություն շտկումների ցանկով
Հարցեր և պատասխաններ
Ի՞նչ է տեղի ունեցել 2017 թվականին GitLab.com-ի արտադրական տվյալների բազայի ջնջման ժամանակ:
2017 թվականի հունվարի 31-ի ուշ երեկոյան GitLab-ի ինժեները, փորձելով վերականգնել կոտրված պատճենը, PostgreSQL-ի տվյալների գրացուցակը հեռացրեց db1-ից՝ db2-ի փոխարեն։ db1-ը հիմնականն էր։ Մոտ 300 ԳԲ-ից մնացել էր 4.5 ԳԲ։ GitLab-ը թվիթերում հայտնեց, որ պատահաբար ջնջել է արտադրական տվյալները, հրապարակեց իր միջադեպի նշումները և YouTube-ում ուղիղ հեռարձակեց վերականգնման գործընթացը։
Ինչու՞ GitLab-ի հինգ պահուստային և կրկնօրինակման մեխանիզմներից ոչ մեկը չաշխատեց, երբ դրանց կարիքը կար:
Ըստ GitLab-ի հետմահու վերլուծության՝ ամենօրյա pg_dump-ը դեպի S3 ձախողվում էր, քանի որ cron-ի աշխատանքը ընտրել էր PostgreSQL 9.2 երկուական ֆայլեր 9.6 տվյալների բազայի համար, և դրա ձախողման էլեկտրոնային նամակները հետ էին մղվում DMARC-ի բացակայության պատճառով։ Azure-ի սնապշոթները ծածկում էին ֆայլային սերվերները, բայց ոչ տվյալների բազաները։ Պատճենը միտումնավոր ջնջվել էր, իսկ ամենօրյա սնապշոթից հեռացվել էին դրա վեբհուքերը։ Միայն ձեռքով արված սնապշոթը, որը արվել էր անկապ փորձարկման համար, պահպանվել էր։
Ինչու՞ GitLab.com-ի վերականգնումը տևեց մոտ տասնութ ժամ։
Վերականգնումը նշանակում էր բեմականացման սկավառակը հետ արտադրության մեջ պատճենել Azure-ի էժան պահեստավորման միջոցով վաթսուն մեգաբիթ/վրկ արագությամբ, ինչը տևեց տասնութ ժամ։ GitLab.com-ը վերականգնվեց փետրվարի 1-ին, 18:00 UTC-ին՝ օգտագործելով վեց ժամականի հին ձեռքով արված սնապշոթ։ Միջադեպը արժեցավ վեց ժամվա տվյալներ, մոտ հինգ հազար նախագծեր, հինգ հազար մեկնաբանություններ և յոթ հարյուր նոր օգտատերեր, ըստ դրվագի։
Ինչու՞ անմեղ հետմահու վերլուծությունները կենտրոնանում են գործընթացի վրա, այլ ոչ թե այն ինժեների, ով գործարկել է հրամանը:
GitLab-ի հետմահու վերլուծությունը, որը ստորագրված է գործադիր տնօրենի կողմից, ինժեներին անանուն պահեց և ձախողումը վերագրեց երկու հոսթի անուններին, որոնք տարբերվում էին մեկ նիշով, և հինգ կրկնօրինակման համակարգերին, որոնցից ոչ ոք չէր վերականգնել։ Այն կարմրացրեց արտադրական հուշումը և տվյալների ամրությանը տեր տվեց, քանի որ նախկինում դա չկար։ Շտկումների ցանկը հրապարակվեց խնդիրների համարների հետ։
Ի՞նչ պետք է թիմերը քաղեն GitLab-ի տվյալների բազայի միջադեպից, և արդյոք GitLab-ի արձագանքը ճի՞շտ էր։
The Daily Diff-ի դատավճիռը SHIP IT էր՝ արձագանքի վերաբերյալ։ GitLab-ը հանրային դարձրեց միջադեպը, մեղադրեց գործընթացին և հրապարակեց շտկումների ցանկը խնդիրների համարներով։ Դրվագի երկուշաբթիի գործողությունն է վերականգնել կրկնօրինակը, քանի որ երբեք չվերականգնված կրկնօրինակը չի կարող համարվել կրկնօրինակ։ Hacker News-ը ուղիղ միջադեպի փաստաթղթին տվեց 1,162 միավոր։
Թարգմանված արձանագրություն
Թարգմանվել է բնօրինակ անգլերեն պատմությունից։ Հասանելի աուդիո և ենթագրերը վերահսկվում են YouTube-ի կողմից։
0:00 GitLab-ի ինժեները սխալ տվյալների բազայի սերվերի վրա գործարկում է rm -rf հրամանը, և GitLab.com-ի երեք հարյուր գիգաբայթը անհետանում է մեկ կամ երկու վայրկյանում, մոտավորապես այնքան ժամանակ, որքան հարկավոր է հոսթի անուն կարդալու համար: 2017 թվականի հունվարի 31, ժամը 23:27 UTC: GitLab-ը թվիթերում հայտնում է, որ պատահաբար ջնջել է արտադրական տվյալները, իր միջադեպի նշումները հասանելի է դարձնում ինտերնետին և YouTube-ում հեռարձակում է վերականգնումը՝ հարթակի երկրորդ ամենադիտվող ուղիղ եթերը։ Հաջորդ օրը, գրավոր. հինգ կրկնօրինակման մեթոդներից
0:25 ոչ մեկը հուսալիորեն չի աշխատում։ Ինչպես է դա տեղի ունենում, ինչու է դա հնարավոր, և ով է իրականում մեղավորը: Սա The Daily Diff-ն է, հետմահու վերլուծություն։ Երեկոյան 5:20. ինժեները սնապշոթ է անում արտադրությունը բեմադրման մեջ բեռնվածություն բաշխողը փորձարկելու համար։ Երեկոյան 7. սպամը հարվածում է տվյալների բազային, գումարած մի աշխատանք, որը կոշտ ջնջում է GitLab-ի աշխատակցին տրոլը հայտնել է չարաշահման համար։ Ժամը 11-ին՝ պատճենը այնքան է հետ մնում, որ հիմնականը արդեն հեռացրել է
0:48 նրան անհրաժեշտ մատյանը. միակ լուծումը պատճենը ջնջելն է և հիմնականը կրկնօրինակելը կրկին. pg_basebackup-ը կախված է առանց ելքի։ Այն իրականում լուռ սպասում է հիմնականին. ոչ ոք դա չգիտի, իսկ գործարկման ուղեցույցը չի ասում։ Ինժեները, ով մտադիր էր հեռանալ ժամը տասնմեկին, որոշում է, որ դատարկ տվյալների գրացուցակը խնդիրն է և հեռացնում է այն։ db1-ի վրա։ Հիմնականը։ Նա նկատում է մեկ կամ երկու վայրկյան անց. մոտ երեք հարյուր գիգաբայթից,
1:11 մնում է 4.5. Պահուստային պատճենները: Մեկ. pg_dump դեպի S3, ամենօրյա։ Դույլը դատարկ է։ Cron-ի աշխատանքը գործարկվում է առանց տվյալների բազայի հավելվածների սերվերի վրա, ուստի փաթեթը ընտրում է PostgreSQL 9.2 երկուական ֆայլեր 9.6 տվյալների բազայի համար, ձախողվում է և էլեկտրոնային նամակներ է ուղարկում ձախողումը, որը հետ է մղվում DMARC-ի բացակայության պատճառով։ Երկու. Azure սկավառակի սնապշոթներ, միացված ֆայլային սերվերների համար, ոչ թե տվյալների բազաների։
1:32 Երեք. պատճենը, միտումնավոր ջնջված մեկ ժամ առաջ։ Չորս. ամենօրյա սնապշոթը, 24 ժամականի հին, ամեն վեբհուք հեռացված է բեմականացման համաժամացումով։ Հինգ. ձեռքով արված սնապշոթը 5:20-ից, անկապ փորձարկման համար։ Այդ մեկը հաղթում է։ Վերականգնումը նշանակում է բեմականացման սկավառակը հետ արտադրության մեջ պատճենել Azure-ի էժան պահեստավորման միջոցով վաթսուն մեգաբիթ/վրկ արագությամբ. տասնութ ժամ։ GitLab.com-ը վերականգնվել է փետրվարի 1-ին, երեկոյան ժամը վեցին UTC, վեց ժամվա տվյալներով ավելի հին։
1:58 git blame: երկու հոսթի անուններ, որոնք տարբերվում են մեկ նիշով, և հինգ կրկնօրինակման համակարգեր, որոնցից ոչ ոք երբեք չի վերականգնել։ Ոչ թե ինժեները։ Հետմահու վերլուծությունը, որը ստորագրված է գործադիր տնօրենի կողմից, նրան անանուն է պահում, արտադրական հուշումը կարմրացնում է և տվյալների ամրությանը տեր է տալիս, քանի որ մինչ այդ դա չկար։ Պայթյունի շառավիղը՝ տասնութ ժամի խափանում, վեց ժամվա տվյալների կորուստ, մոտ հինգ հազար նախագծեր, հինգ հազար մեկնաբանություններ,
2:18 յոթ հարյուր նոր օգտատեր, և հինգ հազար մարդ, ովքեր դիտում են առաջընթացի գծապատկերը։ Hacker News-ը ուղիղ եթերի փաստաթղթին տալիս է 1,162 միավոր և մեջբերում է մեկ նախադասություն՝ հինգ կրկնօրինակներից ոչ մեկը։ Դատավճիռ, հետմահու վերլուծություն. ship it, արձագանքի վերաբերյալ։ Նրանք հանրային են դարձնում միջադեպը, մեղադրում գործընթացին և հրապարակում շտկումների ցանկը խնդիրների համարների հետ։ Երկուշաբթիի գործողություն. վերականգնել կրկնօրինակը։ Եթե դուք երբեք չեք վերականգնել այն, ապա չունեք մեկը։
2:42 Ուղարկեք ինձ այն միջադեպը, որի մասին դուք դեռ թույլ չեք տալիս խոսել, մեկնաբանություններում, կամ the daily diff dot dev կայքում։ Եվ սա է այսօրվա տարբերությունը։ Ես Նիկոն եմ Axrisi-ից։ Միավորվեք պատասխանատվությամբ։
Աղբյուրներ
- GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
- GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
- @gitlabstatus, "We accidentally deleted production data…"twitter.com
- @gitlabstatus, emergency maintenance noticetwitter.com
- Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
- Hacker News, the postmortem thread (377 points)news.ycombinator.com



