Інжынер выдаліў вытворчую базу дадзеных GitLab. 300 гігабайт.
31 студзеня 2017 г., 23:27 UTC: інжынер GitLab, змагаючыся са зламанай рэплікай у канцы доўгай ночы, выдаляе каталог дадзеных PostgreSQL на db1 замест db2.
31 студзеня 2017 г., 23:27 UTC: інжынер GitLab, змагаючыся са зламанай рэплікай у канцы доўгай ночы, выдаляе каталог дадзеных PostgreSQL на db1 замест db2. db1 з'яўляецца асноўным. Каля 300 ГБ базы дадзеных GitLab.com знікае за секунду-дзве, і з пяці механізмаў рэзервовага капіявання і рэплікацыі ніводны не працуе. Пасмяротны аналіз: хроніка ад усплёску спаму да няправільнага імя хоста, чаму pg_basebackup выглядаў заблакаваным, чаму pg_dump моўчкі выходзіў з ладу (бінарныя файлы 9.2 на базе дадзеных 9.6, памылковыя электронныя лісты, адхіленыя DMARC), 18-гадзіннае аднаўленне са здымка 6-гадзіннай даўнасці ў прамым эфіры на YouTube, і хто сапраўды нясе віну. Вынік па рэакцыі: SHIP IT.
Чытаць пісьмовае выданне (англійская) ↗
Што ахоплівае гэта відэа
- 31 студзеня 2017 г.: rm -Rvf у каталогу дадзеных асноўнага сервера; выдалена ~300 ГБ, засталося 4,5 ГБ
- 5 з 5 рэзервовых копій не працуюць: пусты кантэйнер S3 (несупадзенне версій pg_dump), няма здымкаў Azure на БД, сцёртая рэпліка, штодзённая копія LVM без вэбхукаў
- 1 лютага, 18:00 UTC: GitLab.com адноўлены з 6-гадзіннага ручнога здымка; жывы дакумент, жывая трансляцыя, пасмяротны аналіз без абвінавачванняў са спісам выпраўленняў
Пытанні і адказы
Што адбылося ў 2017 годзе з выдаленнем вытворчай базы дадзеных GitLab.com?
Позна ўвечары 31 студзеня 2017 года інжынер GitLab, спрабуючы адрамантаваць зламаную рэпліку, выдаліў каталог дадзеных PostgreSQL на db1 замест db2. db1 быў асноўным. З прыблізна 300 ГБ засталося 4,5 ГБ. GitLab напісаў у твітэры, што выпадкова выдаліў вытворчыя дадзеныя, публічна адкрыў свае нататкі аб інцыдэнце і трансляваў аднаўленне на YouTube.
Чаму ніводны з пяці механізмаў рэзервовага капіявання і рэплікацыі GitLab не спрацаваў, калі гэта было неабходна?
Згодна з пасмяротным аналізам GitLab, штодзённае рэзервовае капіраванне pg_dump у S3 не атрымлівалася, таму што заданне cron выбірала бінарныя файлы PostgreSQL 9.2 для базы дадзеных 9.6, а электронныя лісты аб збоях адхіляліся з-за адсутнасці DMARC. Здымкі Azure ахоплівалі файлавыя серверы, але не базы дадзеных. Рэпліка была наўмысна сцёрта, а штодзённы здымак быў без вэбхукаў. Выжыў толькі ручны здымак, зроблены для незвязанага тэсту.
Чаму аднаўленне GitLab.com заняло каля васемнаццаці гадзін?
Аднаўленне азначала капіраванне стэйджынг-дыска назад у прадакшн праз таннае сховішча Azure на хуткасці шэсцьдзесят мегабіт у секунду, што заняло васемнаццаць гадзін. GitLab.com аднавіўся 1 лютага ў 18:00 UTC, выкарыстоўваючы ручны здымак шасцігадзіннай даўнасці. Перабоі каштавалі шасці гадзін дадзеных, прыблізна пяці тысяч праектаў, пяці тысяч каментарыяў і сямісот новых карыстальнікаў, згодна з эпізодам.
Чаму беспраблемныя пасмяротныя аналізы засяроджваюцца на працэсе, а не на інжынеры, які выканаў каманду?
Пасмяротны аналіз GitLab, падпісаны генеральным дырэктарам, захаваў інжынера ананімным і прыпісаў збой двум імёнам хостаў, якія адрозніваліся на адзін сімвал, і пяці сістэмам рэзервовага капіявання, з якіх ніхто не аднаўляў. Ён афарбаваў вытворчы запыт у чырвоны колер і даў устойлівасці дадзеных уладальніка, таму што да гэтага часу яго не было. Спіс выпраўленняў быў апублікаваны з нумарамі выпускаў.
Што каманды павінны ўзяць з інцыдэнту з базай дадзеных GitLab, і ці была рэакцыя GitLab абгрунтаванай?
Вынік The Daily Diff быў SHIP IT, па рэакцыі. GitLab апрацаваў інцыдэнт публічна, абвінаваціў працэс і апублікаваў спіс выпраўленняў з нумарамі выпускаў. Дзеянне эпізоду на панядзелак - аднаўленне рэзервовай копіі, таму што рэзервовая копія, якая ніколі не была адноўлена, не можа лічыцца рэзервовай копіяй. Hacker News даў жывому дакументу інцыдэнту 1162 балы.
Перакладзеная стэнаграма
Перакладзена з арыгінальнай англійскай агучкі. Даступнае аўдыя і субтытры кантралююцца YouTube.
0:00 Інжынер у GitLab запускае rm -rf на няправільным серверы базы дадзеных, і трыста гігабайт GitLab.com знікаюць за секунду-дзве, прыблізна столькі часу, колькі патрабуецца, каб прачытаць імя хоста. 31 студзеня 2017 года, 23:27. UTC. GitLab твітуе, што выпадкова выдаліў вытворчыя дадзеныя, адкрывае свае нататкі аб інцыдэнце для інтэрнэту і транслюе аднаўленне на YouTube, другая па папулярнасці жывая трансляцыя на платформе. На наступны дзень, пісьмова: з пяці метадаў рэзервовага капіявання,
0:25 ніводзін не працуе надзейна. Як гэта адбываецца, чаму гэта магчыма і хто насамрэч нясе віну. Гэта The Daily Diff, пасмяротны аналіз. 17:20: інжынер робіць здымак прадакшну для тэсціравання балансіроўшчыка нагрузкі ў стэйджынгу. 19:00: спам бамбіць базу дадзеных, плюс задача жорсткага выдалення супрацоўніка GitLab, якога троль паведаміў за злоўжыванне. 23:00: рэпліка адстае настолькі, што асноўны сервер ужо адкінуў
0:48 журнал, які ёй патрэбны; адзінае выпраўленне - сцерці рэпліку і скапіяваць асноўны сервер зноў. pg_basebackup завісае без вываду. Ён насамрэч чакае, моўчкі, асноўны сервер; ніхто гэтага не ведае, і ў дакументацыі гэтага няма. Інжынер, які меў намер сысці ў адзінаццаць, вырашае, што пусты каталог дадзеных з'яўляецца праблемай і выдаляе яго. На db1. Асноўны сервер. Ён заўважае праз секунду-дзве; з прыблізна трохсот гігабайт,
1:11 засталося 4,5. Рэзервовыя копіі. Першае: pg_dump у S3, штодзённа. Кантэйнер пусты. Задача cron запускаецца на серверы прыкладанняў без базы дадзеных, таму пакет выбірае бінарныя файлы PostgreSQL 9.2 для базы дадзеных 9.6, збойвае і адпраўляе электронныя лісты аб збоі, якія адхіляюцца з-за адсутнасці DMARC. Другое: здымкі дыскаў Azure, уключаныя для файлавых сервераў, а не баз дадзеных.
1:32 Трэцяе: рэпліка, сцёртая наўмысна гадзіну таму. Чацвёртае: штодзённы здымак, 24-гадзіннай даўнасці, кожны вэбхук выдалены сінхранізацыяй стэйджынгу. Пятае: ручны здымак з 17:20, для незвязанага тэсту. Гэты выйграе. Аднаўленне азначае капіраванне стэйджынг-дыска назад у прадакшн праз таннае сховішча Azure на хуткасці шэсцьдзесят мегабіт у секунду: васемнаццаць гадзін. GitLab.com вяртаецца 1 лютага ў 18:00 UTC, з дадзенымі шасцігадзіннай даўнасці.
1:58 git blame: два імя хоста, якія адрозніваюцца на адзін сімвал, і пяць сістэм рэзервовага капіявання, з якіх ніхто ніколі не аднаўляў. Не інжынер. Пасмяротны аналіз, падпісаны генеральным дырэктарам, захоўвае яго ананімнасць, афарбоўвае вытворчы запыт у чырвоны колер і дае ўстойлівасці дадзеных уладальніка, бо да гэтага часу яго не было. Радыус выбуху: васемнаццаць гадзін прастою, шэсць гадзін дадзеных зніклі, прыблізна пяць тысяч праектаў, пяць тысяч каментарыяў,
2:18 семсот новых карыстальнікаў і пяць тысяч чалавек, якія назіраюць за панэллю прагрэсу. Hacker News дае жывому дакументу 1162 балы і цытуе адзін радок назад ім: з пяці рэзервовых копій — ніводнай. Вынік, пасмяротны аналіз: SHIP IT, па рэакцыі. Яны праводзяць інцыдэнт публічна, абвінавачваюць працэс і публікуюць спіс выпраўленняў з нумарамі выпускаў. Панядзелак дзеянне: аднавіць рэзервовую копію. Калі вы ніколі яе не аднаўлялі, у вас яе няма.
2:42 Дашліце мне інцыдэнт, пра які вам усё яшчэ не дазволена гаварыць, у каментарах або на daily diff dot dev. І гэта розніца на сёння. Я Ніка з Axrisi. Аб'ядноўвайце адказна.
Крыніцы
- GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
- GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
- @gitlabstatus, "We accidentally deleted production data…"twitter.com
- @gitlabstatus, emergency maintenance noticetwitter.com
- Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
- Hacker News, the postmortem thread (377 points)news.ycombinator.com



