Инженер GitLab-тың өндірістік дерекқорын жойды. 300 гигабайт.
2017 жылғы 31 қаңтар, 23:27 UTC: GitLab инженері ұзақ түннің соңында бұзылған репликамен күресіп, db2 орнына db1-дегі PostgreSQL деректер каталогын жойды.
2017 жылғы 31 қаңтар, 23:27 UTC: GitLab инженері ұзақ түннің соңында бұзылған репликамен күресіп, db2 орнына db1-дегі PostgreSQL деректер каталогын жойды. db1 - негізгі. GitLab.com дерекқорының шамамен 300 ГБ бір-екі секундта жойылды, және бес резервтік көшіру және репликация механизмдерінің ешқайсысы жұмыс істемеді. Постморт: спам шабуылынан қате хост атауына дейінгі уақыт кестесі, pg_basebackup неге тұрып қалған сияқты болды, pg_dump неге үнсіз сәтсіз аяқталды (9.6 дерекқорына 9.2 екілік файлдары, сәтсіздік туралы электрондық пошталар DMARC арқылы кері қайтарылды), YouTube-те тікелей эфирде көрсетілген 6 сағат бұрынғы дайындық үлгісінен 18 сағаттық қалпына келтіру және кінәні кім алады. Жауапқа қатысты үкім: SHIP IT.
Жазбаша басылымды оқыңыз (ағылшынша) ↗
Бұл бейне не туралы
- 2017 жылғы 31 қаңтар: негізгі деректер каталогында rm -Rvf; ~300 ГБ жойылды, 4,5 ГБ қалды
- 5 резервтік көшірмеден 5-і сәтсіз аяқталды: бос S3 бакеті (pg_dump нұсқасы сәйкес келмеді), ДҚ-да Azure үлгілері жоқ, тазартылған реплика, вебхуктарсыз күнделікті LVM көшірмесі
- 1 ақпан, 18:00 UTC: GitLab.com 6 сағат бұрынғы қолмен жасалған үлгіден қалпына келтірілді; тікелей құжат, тікелей эфир, түзету тізімі бар кінәсіз постморт
Сұрақтар мен жауаптар
2017 жылғы GitLab.com өндірістік дерекқорының жойылуында не болды?
2017 жылдың 31 қаңтарының кешінде GitLab инженері бұзылған репликаны жөндеуге тырысып, db2 орнына db1-дегі PostgreSQL деректер каталогын жойды. db1 негізгі болды. Шамамен 300 ГБ-тың 4,5 ГБ-ы қалды. GitLab өзінің өндірістік деректерін абайсызда жойғанын Twitter-де жариялады, оқиға туралы жазбаларын көпшілікке ашты және қалпына келтіруді YouTube-те тікелей көрсетті.
GitLab-тың бес резервтік көшіру және репликация механизмдерінің ешқайсысы олар қажет болған кезде неге жұмыс істемеді?
GitLab-тың постморты бойынша, S3-ке күнделікті pg_dump cron жұмысы PostgreSQL 9.2 екілік файлдарын 9.6 дерекқорына таңдағандықтан сәтсіз аяқталған, және оның сәтсіздік туралы электрондық пошталары DMARC жоқ болғандықтан кері қайтарылған. Azure үлгілері файл серверлерін қамтыған, бірақ дерекқорларды емес. Реплика әдейі тазартылған, ал күнделікті үлгіден вебхуктар жойылған. Тек қатысы жоқ тест үшін жасалған қолмен үлгі ғана сақталған.
GitLab.com-ды қалпына келтіруге неге шамамен он сегіз сағат кетті?
Қалпына келтіру дайындық дискісін Azure-дің арзан сақтау орны арқылы секундына алпыс мегабитпен өндіріске қайта көшіруді білдірді, бұл он сегіз сағатты алды. GitLab.com 1 ақпанда 18:00 UTC-те, алты сағат бұрынғы қолмен жасалған үлгіні пайдаланып қайта қосылды. Үзіліс алты сағаттық деректерді, шамамен бес мың жобаны, бес мың түсініктемені және жеті жүз жаңа пайдаланушыны жоғалтты, эпизодқа сәйкес.
Кінәсіз постморттар команданы орындаған инженерге емес, процеске неге назар аударады?
Бас директор қол қойған GitLab-тың постморты инженерді анонимді ұстады және сәтсіздікті бір таңбаға айырмашылығы бар екі хост атауына және ешкім қалпына келтірмеген бес резервтік көшіру жүйесіне байланыстырды. Ол өндіріс сұранысын қызыл түспен белгіледі және деректердің тұрақтылығына иелік берді, өйткені оған дейін ешкім ие болмаған. Түзету тізімі мәселе нөмірлерімен жарияланды.
Командалар GitLab-тың дерекқор оқиғасынан не алуы керек, және GitLab-тың жауабы дұрыс болды ма?
The Daily Diff-тің үкімі жауапқа қатысты SHIP IT болды. GitLab оқиғаны көпшілік алдында жүргізді, процесті кінәлады және мәселе нөмірлерімен түзету тізімін жариялады. Эпизодтың дүйсенбідегі әрекеті - резервтік көшірмені қалпына келтіру, өйткені ешқашан қалпына келтірілмеген резервтік көшірме резервтік көшірме болып саналмайды. Hacker News тікелей оқиға құжатына 1,162 ұпай берді.
Аударылған транскрипция
Бастапқы ағылшын тіліндегі баяндамадан аударылған. Қолжетімді аудио және субтитрлерді YouTube басқарады.
0:00 GitLab инженері қате дерекқор серверінде rm -rf командасын орындайды, және GitLab dot com-ның үш жүз гигабайты бір-екі секундта жоғалады, хост атауын оқуға кететін уақыттай. 2017 жылғы 31 қаңтар, кешкі 11:27. UTC. GitLab өндірістік деректерді кездейсоқ жойғанын твиттерде жариялайды, оқиға туралы жазбаларын интернетке ашық қалдырады және қалпына келтіруді YouTube-те тікелей эфирде көрсетеді, платформадағы екінші тікелей эфир. Келесі күні, жазбаша: бес резервтік көшіру әдісінен,
0:25 ешқайсысы сенімді жұмыс істемейді. Бұл қалай болады, неге мүмкін және кінәны кім алады. Бұл The Daily Diff, постморт. Кешкі 5:20: инженер өндірістің үлгісін жасайды дайындық ортасындағы жүктеме балансирін тексеру үшін. Кешкі 7: спам дерекқорға соққы береді, сонымен қатар GitLab қызметкерін қатты жоятын жұмыс, тролль теріс пайдалану үшін хабарлаған. Кешкі 11: реплика соншалықты артта қалып, негізгі жүйе оған қажет журналды жойып жіберді;
0:48 жалғыз шешім - репликаны тазалап, негізгі жүйені қайта көшіру. pg_basebackup ешқандай шығыссыз тұрып қалады. Ол шын мәнінде, үнсіз, негізгі жүйені күтіп тұр; ешкім білмейді, және басқару кітабында жазылмаған. Сағат он бірде жұмысын аяқтауды жоспарлаған инженер, бос деректер каталогы мәселе екенін шешіп, оны жояды. db1-де. Негізгі жүйеде. Ол бір-екі секундтан кейін байқайды; шамамен үш жүз гигабайттан,
1:11 4.5 қалды. Резервтік көшірмелер. Бірінші: күнделікті S3-ке pg_dump. Бакет бос. Cron жұмысы дерекқоры жоқ қолданба серверінде орындалады, сондықтан пакет 9.6 дерекқорына PostgreSQL 9.2 екілік файлдарын таңдайды, сәтсіз аяқталады және сәтсіздік туралы электрондық поштаны жібереді, ол DMARC жоқ болғандықтан кері қайтарылады. Екінші: Azure дискісінің үлгілері, файл серверлері үшін қосылған, дерекқорлар үшін емес.
1:32 Үшінші: реплика, бір сағат бұрын әдейі тазартылған. Төртінші: күнделікті үлгі, 24 сағат бұрынғы, барлық вебхуктар дайындық синхрондауы арқылы жойылған. Бесінші: кешкі 5:20-да жасалған қолмен үлгі, қатысы жоқ тест үшін. Сол жеңді. Қалпына келтіру дайындық дискісін Azure-дің арзан сақтау орны арқылы өндіріске қайта көшіруді білдіреді, секундына алпыс мегабитпен: он сегіз сағат. GitLab dot com 1 ақпанда кешкі алтыда қайта қосылады. UTC, алты сағатқа ескі деректермен.
1:58 git blame: бір таңбаға айырмашылығы бар екі хост атауы және ешкім ешқашан қалпына келтірмеген бес резервтік көшіру жүйесі. Инженер емес. Бас директор қол қойған постморт оны анонимді ұстайды, өндіріс сұранысын қызыл түспен белгілейді және деректердің тұрақтылығына иелік береді, өйткені оған дейін ешкім ие болмаған. Жойылған аумақ: он сегіз сағат істен шықты, алты сағаттық деректер жойылды, шамамен бес мың жоба, бес мың түсініктеме,
2:18 жеті жүз жаңа пайдаланушы және бес мың адам прогресс жолағын қарап отырды. Hacker News тікелей құжатқа 1,162 ұпай берді және олардан бір жолды келтірді: бес резервтік көшірмеден ешқайсысы жоқ. Үкім, постморт: жауапқа қатысты ship it. Олар оқиғаны көпшілік алдында жүргізді, процесті кінәлады және түзету тізімін мәселе нөмірлерімен жариялады. Дүйсенбідегі әрекет: резервтік көшірмені қалпына келтіру. Егер сіз оны ешқашан қалпына келтірмеген болсаңыз, сізде ол жоқ.
2:42 Маған әлі де айтуға рұқсат етілмеген оқиғаны жіберіңіз, пікірлерде немесе daily diff dot dev сайтында. Ал бүгінгі айырмашылық осы. Мен Axrisi-ден Никомын. Жауапкершілікпен біріктіріңіз.
Дереккөздер
- GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
- GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
- @gitlabstatus, "We accidentally deleted production data…"twitter.com
- @gitlabstatus, emergency maintenance noticetwitter.com
- Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
- Hacker News, the postmortem thread (377 points)news.ycombinator.com



