+− THE DAILY DIFFdev & AI news
SHIP IT

Инжењер је избрисао продукциону базу података GitLab-а. 300 гигабајта.

31.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

31. јануар 2017, 23:27 УТЦ: инжењер GitLab-а, борећи се са поквареном репликом на крају дуге ноћи, уклања PostgreSQL директоријум података на db1 уместо db2. db1 је примарни. Око 300 ГБ базе података GitLab.com-а нестаје за секунду или две, а од пет механизама за прављење резервних копија и репликацију, ниједан не ради. Постмортем: временска линија од скока спама до погрешног имена хоста, зашто је pg_basebackup изгледао заглављено, зашто је pg_dump тихо падао (9.2 бинарне датотеке на 9.6 бази података, е-поруке о квару одбијене од стране DMARC-а), 18-часовни опоравак од 6-сатног снимка за привремени сервер емитованог уживо на YouTube-у, и ко је заправо крив. Пресуда о одговору: SHIP IT.

Прочитајте писано издање (енглески) ↗

Шта овај видео покрива

  • 31. јануар 2017: rm -Rvf на директоријуму података примарног сервера; уклоњено ~300 ГБ, остало 4,5 ГБ
  • 5 од 5 резервних копија је отказало: празан S3 бакет (неподударност верзије pg_dump), нема Азуре снимака на бази података, обрисана реплика, дневна LVM копија без вебхукова
  • 1. фебруар, 18:00 УТЦ: GitLab.com се вратио из ручног снимка старог 6 сати; документ уживо, стрим уживо, постмортем без кривице са списком поправки

Питања и одговори

Шта се догодило приликом брисања продукционе базе података GitLab.com-а 2017. године?

Касно 31. јануара 2017. године, инжењер GitLab-а који је покушавао да поправи покварену реплику уклонио је PostgreSQL директоријум података на db1 уместо db2. db1 је био примарни. Од приближно 300 ГБ, остало је 4,5 ГБ. GitLab је твитовао да је случајно избрисао продукционе податке, јавно отворио своје белешке о инциденту и стримовао опоравак на YouTube-у.

about.gitlab.com · about.gitlab.com · twitter.com

Зашто ниједан од пет GitLab-ових механизама за прављење резервних копија и репликацију није радио када је било потребно?

Према GitLab-овом постмортему, дневни pg_dump на S3 није успевао јер је cron посао бирао PostgreSQL 9.2 бинарне датотеке за базу података 9.6, а његове е-поруке о грешкама су се одбијале због недостајућег DMARC-а. Azure снимци су покривали сервере датотека, али не и базе података. Реплика је намерно обрисана, а дневни снимак је имао уклоњене вебхукове. Преживео је само ручни снимак, направљен за неки други тест.

about.gitlab.com · about.gitlab.com

Зашто је опоравак GitLab.com-а трајао око осамнаест сати?

Опоравак је значио копирање диска за привремени сервер назад у продукцију преко Азуре-овог јефтиног складишта брзином од шездесет мегабита у секунди, што је трајало осамнаест сати. GitLab.com се вратио 1. фебруара у 18:00 УТЦ, користећи ручни снимак стар шест сати. Прекид је коштао шест сати података, приближно пет хиљада пројеката, пет хиљада коментара и седамсто нових корисника, према епизоди.

about.gitlab.com · about.gitlab.com

Зашто се постмортеми без кривице фокусирају на процес, а не на инжењера који је покренуо команду?

GitLab-ов постмортем, потписан од стране извршног директора, задржао је инжењера анонимним и приписао је грешку двама називима хостова који се разликују за један знак и пет система резервних копија из којих нико није враћао податке. Обојио је продукциони промпт црвеном бојом и дао трајности података власника, јер пре тога није имао ниједног. Листа поправки је објављена са бројевима проблема.

about.gitlab.com · news.ycombinator.com

Шта тимови треба да извуку из GitLab-овог инцидента са базом података, и да ли је GitLab-ов одговор био исправан?

Пресуда The Daily Diff-а је била SHIP IT, у вези са одговором. GitLab је инцидент водио јавно, кривио процес и објавио листу поправки са бројевима проблема. Акција за понедељак из епизоде је враћање резервне копије, јер резервна копија која никада није враћена не може се сматрати резервном копијом. Hacker News је документу инцидента уживо дао 1.162 поена.

about.gitlab.com · news.ycombinator.com

Преведени транскрипт

Преведено са оригиналне енглеске нарације. Доступни аудио и титлови контролисани су од стране YouTube-а.

0:00 Инжењер у GitLab-у покреће rm -rf на погрешном серверу базе података, и триста гигабајта GitLab dot com-а нестаје за секунду или две, отприлике онолико времена колико је потребно за читање имена хоста. 31. јануар 2017, 23:27 УТЦ. GitLab твитује да је случајно избрисао продукционе податке, отвара своје белешке о инциденту интернету и стримује опоравак на YouTube-у, други најгледанији стрим на платформи. Следећег дана, писмено: од пет техника прављења резервних копија,

0:25 ниједна не ради поуздано. Како се то дешава, зашто је могуће и ко је заправо крив. Ово је The Daily Diff, постмортем. 17:20: инжењер прави снимак продукције да тестира балансер оптерећења у привременом окружењу. 19:00: спам напада базу података, плус посао који насилно брише запосленог GitLab-а којег је трол пријавио због злоупотребе. 23:00: реплика толико заостаје да је примарни сервер већ одбацио

0:48 дневник који му је потребан; једино решење је да се обрише реплика и поново копира примарни сервер. pg_basebackup се заглављује без излаза. Заправо чека, тихо, на примарни сервер; нико то не зна, а књига процедура не каже. Инжењер, који је намеравао да се одјави у једанаест, одлучује да је празан директоријум података проблем и уклања га. На db1. Примарном. Примећује секунду или две касније; од отприлике триста гигабајта,

1:11 остало је 4,5. Резервне копије. Један: pg_dump на S3, дневно. Кофа је празна. Црон посао се покреће на серверу апликација без базе података, тако да пакет бира PostgreSQL 9.2 бинарне датотеке за базу података 9.6, пада, и шаље е-поруке о квару, које се одбијају због недостајућег DMARC-а. Два: Азуре снимци диска, омогућени за сервере датотека, не за базе података.

1:32 Три: реплика, намерно обрисана пре сат времена. Четири: дневни снимак, стар 24 сата, сваки вебхук уклоњен синхронизацијом привременог окружења. Пет: ручни снимак од 17:20, за неки други тест. Тај је победио. Обнављање значи копирање диска привременог окружења назад у продукцију преко Азуре-овог јефтиног складишта брзином од шездесет мегабита у секунди: осамнаест сати. GitLab dot com се враћа 1. фебруара у 18:00 УТЦ, са шест сати старијим подацима.

1:58 git blame: два имена хоста са једним знаком разлике, и пет система за прављење резервних копија из којих нико никада није враћао податке. Није инжењер. Постмортем, потписан од стране извршног директора, чува његову анонимност, боји продукциони промпт црвено и даје трајности података власника, јер до сада није имала ниједног. Радијус експлозије: осамнаест сати застоја, шест сати података изгубљено, отприлике пет хиљада пројеката, пет хиљада коментара,

2:18 седам стотина нових корисника и пет хиљада људи који посматрају траку напретка. Hacker News даје документу уживо 1.162 поена и цитира једну линију назад: од пет резервних копија, ниједна. Пресуда, постмортем: ship it, у вези са одговором. Они воде инцидент јавно, криве процес и објављују листу поправки са бројевима проблема. Понедељна акција: обновити резервну копију. Ако је никада нисте обновили, немате је.

2:42 Пошаљите ми инцидент о коме вам још увек није дозвољено да причате, у коментарима, или на the daily diff dot dev. И то је разлика за данас. Ја сам Нико из Axrisi-ја. Спајајте одговорно.

Извори

  1. GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
  2. GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
  3. @gitlabstatus, "We accidentally deleted production data…"twitter.com
  4. @gitlabstatus, emergency maintenance noticetwitter.com
  5. Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
  6. Hacker News, the postmortem thread (377 points)news.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Повезани видеи

postmortem · sr · 25. 9. 2026.

Грешка од једне милисекунде зауставила је ваздушни саобраћај у Великој Британији. Шест сати.

У уторак, 8. септембра, у 10:00, један рутински захтев за squawk-код у Националном систему ваздушног простора (NAS) компаније NATS бива прекинут поруком вишег приоритета док је делимично ажурирао вред

3:06 ↗