+− THE DAILY DIFFdev & AI news
SHIP IT

Інжынер выдаліў вытворчую базу дадзеных GitLab. 300 гігабайт.

31 студзеня 2017 г., 23:27 UTC: інжынер GitLab, змагаючыся са зламанай рэплікай у канцы доўгай ночы, выдаляе каталог дадзеных PostgreSQL на db1 замест db2.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

31 студзеня 2017 г., 23:27 UTC: інжынер GitLab, змагаючыся са зламанай рэплікай у канцы доўгай ночы, выдаляе каталог дадзеных PostgreSQL на db1 замест db2. db1 з'яўляецца асноўным. Каля 300 ГБ базы дадзеных GitLab.com знікае за секунду-дзве, і з пяці механізмаў рэзервовага капіявання і рэплікацыі ніводны не працуе. Пасмяротны аналіз: хроніка ад усплёску спаму да няправільнага імя хоста, чаму pg_basebackup выглядаў заблакаваным, чаму pg_dump моўчкі выходзіў з ладу (бінарныя файлы 9.2 на базе дадзеных 9.6, памылковыя электронныя лісты, адхіленыя DMARC), 18-гадзіннае аднаўленне са здымка 6-гадзіннай даўнасці ў прамым эфіры на YouTube, і хто сапраўды нясе віну. Вынік па рэакцыі: SHIP IT.

Чытаць пісьмовае выданне (англійская) ↗

Што ахоплівае гэта відэа

  • 31 студзеня 2017 г.: rm -Rvf у каталогу дадзеных асноўнага сервера; выдалена ~300 ГБ, засталося 4,5 ГБ
  • 5 з 5 рэзервовых копій не працуюць: пусты кантэйнер S3 (несупадзенне версій pg_dump), няма здымкаў Azure на БД, сцёртая рэпліка, штодзённая копія LVM без вэбхукаў
  • 1 лютага, 18:00 UTC: GitLab.com адноўлены з 6-гадзіннага ручнога здымка; жывы дакумент, жывая трансляцыя, пасмяротны аналіз без абвінавачванняў са спісам выпраўленняў

Пытанні і адказы

Што адбылося ў 2017 годзе з выдаленнем вытворчай базы дадзеных GitLab.com?

Позна ўвечары 31 студзеня 2017 года інжынер GitLab, спрабуючы адрамантаваць зламаную рэпліку, выдаліў каталог дадзеных PostgreSQL на db1 замест db2. db1 быў асноўным. З прыблізна 300 ГБ засталося 4,5 ГБ. GitLab напісаў у твітэры, што выпадкова выдаліў вытворчыя дадзеныя, публічна адкрыў свае нататкі аб інцыдэнце і трансляваў аднаўленне на YouTube.

about.gitlab.com · about.gitlab.com · twitter.com

Чаму ніводны з пяці механізмаў рэзервовага капіявання і рэплікацыі GitLab не спрацаваў, калі гэта было неабходна?

Згодна з пасмяротным аналізам GitLab, штодзённае рэзервовае капіраванне pg_dump у S3 не атрымлівалася, таму што заданне cron выбірала бінарныя файлы PostgreSQL 9.2 для базы дадзеных 9.6, а электронныя лісты аб збоях адхіляліся з-за адсутнасці DMARC. Здымкі Azure ахоплівалі файлавыя серверы, але не базы дадзеных. Рэпліка была наўмысна сцёрта, а штодзённы здымак быў без вэбхукаў. Выжыў толькі ручны здымак, зроблены для незвязанага тэсту.

about.gitlab.com · about.gitlab.com

Чаму аднаўленне GitLab.com заняло каля васемнаццаці гадзін?

Аднаўленне азначала капіраванне стэйджынг-дыска назад у прадакшн праз таннае сховішча Azure на хуткасці шэсцьдзесят мегабіт у секунду, што заняло васемнаццаць гадзін. GitLab.com аднавіўся 1 лютага ў 18:00 UTC, выкарыстоўваючы ручны здымак шасцігадзіннай даўнасці. Перабоі каштавалі шасці гадзін дадзеных, прыблізна пяці тысяч праектаў, пяці тысяч каментарыяў і сямісот новых карыстальнікаў, згодна з эпізодам.

about.gitlab.com · about.gitlab.com

Чаму беспраблемныя пасмяротныя аналізы засяроджваюцца на працэсе, а не на інжынеры, які выканаў каманду?

Пасмяротны аналіз GitLab, падпісаны генеральным дырэктарам, захаваў інжынера ананімным і прыпісаў збой двум імёнам хостаў, якія адрозніваліся на адзін сімвал, і пяці сістэмам рэзервовага капіявання, з якіх ніхто не аднаўляў. Ён афарбаваў вытворчы запыт у чырвоны колер і даў устойлівасці дадзеных уладальніка, таму што да гэтага часу яго не было. Спіс выпраўленняў быў апублікаваны з нумарамі выпускаў.

about.gitlab.com · news.ycombinator.com

Што каманды павінны ўзяць з інцыдэнту з базай дадзеных GitLab, і ці была рэакцыя GitLab абгрунтаванай?

Вынік The Daily Diff быў SHIP IT, па рэакцыі. GitLab апрацаваў інцыдэнт публічна, абвінаваціў працэс і апублікаваў спіс выпраўленняў з нумарамі выпускаў. Дзеянне эпізоду на панядзелак - аднаўленне рэзервовай копіі, таму што рэзервовая копія, якая ніколі не была адноўлена, не можа лічыцца рэзервовай копіяй. Hacker News даў жывому дакументу інцыдэнту 1162 балы.

about.gitlab.com · news.ycombinator.com

Перакладзеная стэнаграма

Перакладзена з арыгінальнай англійскай агучкі. Даступнае аўдыя і субтытры кантралююцца YouTube.

0:00 Інжынер у GitLab запускае rm -rf на няправільным серверы базы дадзеных, і трыста гігабайт GitLab.com знікаюць за секунду-дзве, прыблізна столькі часу, колькі патрабуецца, каб прачытаць імя хоста. 31 студзеня 2017 года, 23:27. UTC. GitLab твітуе, што выпадкова выдаліў вытворчыя дадзеныя, адкрывае свае нататкі аб інцыдэнце для інтэрнэту і транслюе аднаўленне на YouTube, другая па папулярнасці жывая трансляцыя на платформе. На наступны дзень, пісьмова: з пяці метадаў рэзервовага капіявання,

0:25 ніводзін не працуе надзейна. Як гэта адбываецца, чаму гэта магчыма і хто насамрэч нясе віну. Гэта The Daily Diff, пасмяротны аналіз. 17:20: інжынер робіць здымак прадакшну для тэсціравання балансіроўшчыка нагрузкі ў стэйджынгу. 19:00: спам бамбіць базу дадзеных, плюс задача жорсткага выдалення супрацоўніка GitLab, якога троль паведаміў за злоўжыванне. 23:00: рэпліка адстае настолькі, што асноўны сервер ужо адкінуў

0:48 журнал, які ёй патрэбны; адзінае выпраўленне - сцерці рэпліку і скапіяваць асноўны сервер зноў. pg_basebackup завісае без вываду. Ён насамрэч чакае, моўчкі, асноўны сервер; ніхто гэтага не ведае, і ў дакументацыі гэтага няма. Інжынер, які меў намер сысці ў адзінаццаць, вырашае, што пусты каталог дадзеных з'яўляецца праблемай і выдаляе яго. На db1. Асноўны сервер. Ён заўважае праз секунду-дзве; з прыблізна трохсот гігабайт,

1:11 засталося 4,5. Рэзервовыя копіі. Першае: pg_dump у S3, штодзённа. Кантэйнер пусты. Задача cron запускаецца на серверы прыкладанняў без базы дадзеных, таму пакет выбірае бінарныя файлы PostgreSQL 9.2 для базы дадзеных 9.6, збойвае і адпраўляе электронныя лісты аб збоі, якія адхіляюцца з-за адсутнасці DMARC. Другое: здымкі дыскаў Azure, уключаныя для файлавых сервераў, а не баз дадзеных.

1:32 Трэцяе: рэпліка, сцёртая наўмысна гадзіну таму. Чацвёртае: штодзённы здымак, 24-гадзіннай даўнасці, кожны вэбхук выдалены сінхранізацыяй стэйджынгу. Пятае: ручны здымак з 17:20, для незвязанага тэсту. Гэты выйграе. Аднаўленне азначае капіраванне стэйджынг-дыска назад у прадакшн праз таннае сховішча Azure на хуткасці шэсцьдзесят мегабіт у секунду: васемнаццаць гадзін. GitLab.com вяртаецца 1 лютага ў 18:00 UTC, з дадзенымі шасцігадзіннай даўнасці.

1:58 git blame: два імя хоста, якія адрозніваюцца на адзін сімвал, і пяць сістэм рэзервовага капіявання, з якіх ніхто ніколі не аднаўляў. Не інжынер. Пасмяротны аналіз, падпісаны генеральным дырэктарам, захоўвае яго ананімнасць, афарбоўвае вытворчы запыт у чырвоны колер і дае ўстойлівасці дадзеных уладальніка, бо да гэтага часу яго не было. Радыус выбуху: васемнаццаць гадзін прастою, шэсць гадзін дадзеных зніклі, прыблізна пяць тысяч праектаў, пяць тысяч каментарыяў,

2:18 семсот новых карыстальнікаў і пяць тысяч чалавек, якія назіраюць за панэллю прагрэсу. Hacker News дае жывому дакументу 1162 балы і цытуе адзін радок назад ім: з пяці рэзервовых копій — ніводнай. Вынік, пасмяротны аналіз: SHIP IT, па рэакцыі. Яны праводзяць інцыдэнт публічна, абвінавачваюць працэс і публікуюць спіс выпраўленняў з нумарамі выпускаў. Панядзелак дзеянне: аднавіць рэзервовую копію. Калі вы ніколі яе не аднаўлялі, у вас яе няма.

2:42 Дашліце мне інцыдэнт, пра які вам усё яшчэ не дазволена гаварыць, у каментарах або на daily diff dot dev. І гэта розніца на сёння. Я Ніка з Axrisi. Аб'ядноўвайце адказна.

Крыніцы

  1. GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
  2. GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
  3. @gitlabstatus, "We accidentally deleted production data…"twitter.com
  4. @gitlabstatus, emergency maintenance noticetwitter.com
  5. Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
  6. Hacker News, the postmortem thread (377 points)news.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Звязаныя відэа

postmortem · be · 25 вер 2026 г.

Баг у адну мілісекунду спыніў паветраны рух Вялікабрытаніі. На шэсць гадзін.

У 10:00 у аўторак, 8 верасня, адзін звычайны запыт squawk-кода ў Нацыянальнай паветранай сістэме (NAS) NATS быў перапынены паведамленнем з больш высокім прыярытэтам, пакуль ён знаходзіўся на паўдарогі

3:06 ↗
postmortem · be · 22 вер 2026 г.

Перазагрузка адправіла Telstra ў 2006 год. Дзевяць мільёнаў тэлефонаў.

Інжынер у Мельбурне ўключае шасі сінхранізацыі ў 2:50 раніцы, і да сняданку найбуйнейшая мабільная сетка Аўстраліі пагаджаецца, што гэта лістапад 2006 года. 8 ліпеня 2026 года: карта GPS у шасі NTP Te

3:15 ↗