+− THE DAILY DIFFdev & AI news
SHIP IT

Инженер ја избриша продукциската база на податоци на GitLab. 300 гигабајти.

31 јануари 2017 година, 23:27 UTC: инженер на GitLab, борејќи се со скршена реплика на крајот од долга ноќ, го отстранува директориумот за податоци на PostgreSQL на db1 наместо на db2.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

31 јануари 2017 година, 23:27 UTC: инженер на GitLab, борејќи се со скршена реплика на крајот од долга ноќ, го отстранува директориумот за податоци на PostgreSQL на db1 наместо на db2. db1 е примарниот. Околу 300 GB од базата на податоци на GitLab.com исчезнаа за секунда или две, а од петте механизми за резервна копија и репликација, ниту еден не работи. Постмортем: временската рамка од скокот на спам до погрешното име на хост, зошто pg_basebackup изгледаше заглавено, зошто pg_dump тивко откажуваше (9.2 бинарни на база на податоци 9.6, е-поштата за неуспех одбиени од DMARC), 18-часовното враќање од 6-часовна снимка од staging пренесувана во живо на YouTube, и кој навистина ја сноси вината. Пресуда за одговорот: SHIP IT.

Прочитајте го пишаното издание (англиски) ↗

Што покрива ова видео

  • 31 јануари 2017: rm -Rvf на директориумот за податоци на примарниот сервер; отстранети ~300 GB, останати 4.5 GB
  • 5 од 5 резервни копии откажуваат: празен S3 кош (несовпаѓање на верзијата на pg_dump), нема Azure снимки на базата на податоци, избришана реплика, дневна LVM копија без вебхукови
  • 1 февруари, 18:00 UTC: GitLab.com се врати од 6-часовна рачна снимка; документ во живо, пренос во живо, постмортем без вина со список за поправки

Прашања и одговори

Што се случи со бришењето на продукциската база на податоци на GitLab.com во 2017 година?

Кон крајот на 31 јануари 2017 година, инженер на GitLab кој се обидуваше да поправи скршена реплика, го отстрани директориумот за податоци на PostgreSQL на db1 наместо на db2. db1 беше примарниот сервер. Од приближно 300 GB, останаа 4.5 GB. GitLab твитуваше дека случајно избришале продукциски податоци, ги отворија своите белешки за инцидентот јавно и го пренесуваа опоравувањето на YouTube.

about.gitlab.com · about.gitlab.com · twitter.com

Зошто ниту еден од петте механизми за резервна копија и репликација на GitLab не работеше кога беа потребни?

Според постмортемот на GitLab, дневниот pg_dump на S3 откажувал бидејќи cron задачата избирала PostgreSQL 9.2 бинарни за база на податоци 9.6, а е-поштата за неуспех се одбивале поради недостаток на DMARC. Azure снимките ги покривале серверите за датотеки, но не и базите на податоци. Репликата била намерно избришана, а дневната снимка ги имала отстрането своите вебхукови. Преживеала само рачна снимка, направена за несроден тест.

about.gitlab.com · about.gitlab.com

Зошто враќањето на GitLab.com траеше околу осумнаесет часа?

Враќањето значеше копирање на дискот за staging назад во продукција преку евтиното складиште на Azure со шеесет мегабити во секунда, што траеше осумнаесет часа. GitLab.com се врати на 1 февруари во 18:00 UTC, користејќи рачна снимка стара шест часа. Прекинот чинеше шест часа податоци, приближно пет илјади проекти, пет илјади коментари и седумстотини нови корисници, според епизодата.

about.gitlab.com · about.gitlab.com

Зошто постмортемите без вина се фокусираат на процесот, а не на инженерот кој ја извршил командата?

Постмортемот на GitLab, потпишан од извршниот директор, го чуваше инженерот анонимен и неуспехот го припиша на две имиња на хостови со разлика од еден знак и пет системи за резервна копија од кои никој не се вратил. Го обои продукцискиот промпт црвено и ѝ даде сопственик на издржливоста на податоците, бидејќи претходно немаше. Списокот за поправки беше објавен со броеви на проблеми.

about.gitlab.com · news.ycombinator.com

Што треба да научат тимовите од инцидентот со базата на податоци на GitLab, и дали одговорот на GitLab беше исправен?

Пресудата на The Daily Diff беше SHIP IT, за одговорот. GitLab го водеше инцидентот јавно, го обвини процесот и објави список за поправки со броеви на проблеми. Понеделничката акција на епизодата е да се врати резервна копија, бидејќи резервна копија која никогаш не била вратена не може да се смета за резервна копија. Hacker News му даде на документот за инцидентот во живо 1.162 поени.

about.gitlab.com · news.ycombinator.com

Преведен транскрипт

Преведено од оригиналната англиска нарација. Достапното аудио и наслови се контролирани од YouTube.

0:00 Инженер во GitLab извршува rm -rf на погрешен сервер за база на податоци, и триста гигабајти од GitLab dot com исчезнуваат за секунда или две, приближно колку што е потребно да се прочита име на хост. 31 јануари 2017 година, 23:27 часот UTC. GitLab твитува дека случајно избришал продукциски податоци, ги отвора своите белешки за инциденти за интернет, и го пренесува опоравувањето на YouTube, вториот по гледаност пренос во живо на платформата. Следниот ден, во писмена форма: од пет техники за резервна копија,

0:25 ниту една не работи сигурно. Како се случува, зошто е можно, и кој всушност ја сноси вината. Ова е The Daily Diff, постмортем. 17:20 часот: инженер прави снимка од продукцијата за да тестира балансер на оптоварување во staging. 19:00 часот: спам ја бомбардира базата на податоци, плус задача за трајно бришење на вработен во GitLab трол пријавен за злоупотреба. 23:00 часот: репликата заостанува толку многу што примарниот веќе го отфрлил

0:48 логот што ѝ е потребен; единствено решение е да се избрише репликата и повторно да се копира примарниот. pg_basebackup се заглавува без излез. Всушност, тивко чека на примарниот; никој не го знае тоа, а упатството не кажува. Инженерот, кој требаше да се одјави во единаесет, одлучува дека празниот директориум за податоци е проблемот и го отстранува. На db1. Примарниот. Забележува секунда или две подоцна; од приближно триста гигабајти,

1:11 остануваат 4.5. Резервните копии. Еден: pg_dump на S3, дневно. Кошот е празен. Cron задачата се извршува на апликативен сервер без база на податоци, па пакетот избира PostgreSQL 9.2 бинарни за база на податоци 9.6, откажува, и праќа е-пошта за неуспехот, која се одбива поради недостаток на DMARC. Две: Azure снимки на дискови, овозможени за фајл серверите, не за базите на податоци.

1:32 Три: репликата, намерно избришана пред еден час. Четири: дневната снимка, стара 24 часа, сите вебхукови отстранети со staging синхронизацијата. Пет: рачната снимка од 17:20, за несроден тест. Таа победува. Враќањето значи копирање на staging дискот назад во продукција преку евтиното складиште на Azure со шеесет мегабити во секунда: осумнаесет часа. GitLab dot com се врати на 1 февруари во 18 часот. UTC, податоци постари шест часа.

1:58 git blame: две имиња на хостови со разлика од еден знак, и пет системи за резервна копија од кои никој никогаш не се вратил. Не инженерот. Постмортем, потпишан од извршниот директор, го држи анонимен, ја обојува продукциската наредба црвено, и ѝ дава сопственик на издржливоста на податоците, бидејќи досега немаше. Радиус на експлозија: осумнаесет часа застој, шест часа изгубени податоци, приближно пет илјади проекти, пет илјади коментари,

2:18 седумстотини нови корисници, и пет илјади луѓе кои гледаат лента за напредок. Hacker News дава на документот во живо 1.162 поени и цитира една линија назад кон нив: од пет резервни копии, ниту една. Пресуда, постмортем: SHIP IT, за одговорот. Тие го водат инцидентот јавно, го обвинуваат процесот, и го објавуваат списокот за поправки со броеви на проблеми. Понеделничка акција: врати резервна копија. Ако никогаш не сте ја вратиле, ја немате.

2:42 Испратете ми го инцидентот за кој сè уште не ви е дозволено да зборувате, во коментарите, или на the daily diff dot dev. И тоа е разликата за денес. Јас сум Нико од Axrisi. Спојувајте одговорно.

Извори

  1. GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
  2. GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
  3. @gitlabstatus, "We accidentally deleted production data…"twitter.com
  4. @gitlabstatus, emergency maintenance noticetwitter.com
  5. Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
  6. Hacker News, the postmortem thread (377 points)news.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Поврзани видеа

postmortem · mk · 9 сеп. 2026 г.

Вештачка интелигенција избриша продукциска база на податоци. Девет секунди.

Код агент со вештачка интелигенција (Cursor што работи на Claude Opus 4.6) наидува на неусогласеност на ингеренциите во поставувањето и ја „поправа“ со повикување volumeDelete на Railway со токен со о

3:23 ↗
postmortem · mk · 25 сеп. 2026 г.

Една милисекундна грешка го запре воздушниот сообраќај во Велика Британија. Шест часа.

Во 10:00 часот во вторник, 8 септември, едно рутинско барање за squawk-код во Националниот воздушен систем (NAS) на NATS е прекинато од порака со повисок приоритет додека делумно ажурира вредност. Про

3:06 ↗
postmortem · mk · 22 сеп. 2026 г.

Рестартирањето ја врати Телстра во 2006 година. Девет милиони телефони.

Инженер во Мелбурн повторно вклучува временски шасија во 2:50 часот по полноќ, и до појадок најголемата мобилна мрежа во Австралија се согласува дека е ноември 2006 година. 8 јули 2026 година: GPS кар

3:15 ↗