+− THE DAILY DIFFdev & AI news
SHIP IT

Інженер видалив виробничу базу даних GitLab. 300 гігабайт.

31 січня 2017 року, 23:27 UTC: інженер GitLab, борючись із зламаною реплікою наприкінці довгої ночі, видаляє каталог даних PostgreSQL на db1 замість db2.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

31 січня 2017 року, 23:27 UTC: інженер GitLab, борючись із зламаною реплікою наприкінці довгої ночі, видаляє каталог даних PostgreSQL на db1 замість db2. db1 є основним. Приблизно 300 ГБ бази даних GitLab.com зникають за секунду-дві, і з п'яти механізмів резервного копіювання та реплікації жоден не працює. Постмортем: хронологія від сплеску спаму до неправильного імені хоста, чому pg_basebackup виглядав завислим, чому pg_dump мовчазно виходив з ладу (бінарники 9.2 на базі даних 9.6, електронні листи про збій відхилялися DMARC), 18-годинне відновлення з 6-годинного знімка "staging", що транслювався в прямому ефірі на YouTube, і хто насправді несе відповідальність. Вердикт щодо відповіді: SHIP IT.

Читати письмову версію (англійською) ↗

Що охоплює це відео

  • 31 січня 2017 року: rm -Rvf у каталозі даних основного сервера; видалено ~300 ГБ, залишилося 4,5 ГБ
  • 5 з 5 резервних копій не вдалися: порожній кошик S3 (невідповідність версій pg_dump), відсутність знімків Azure на базі даних, стерта репліка, щоденна копія LVM без вебхуків
  • 1 лютого, 18:00 UTC: GitLab.com повернувся з 6-годинного ручного знімка; живий документ, пряма трансляція, бездоганний постмортем зі списком виправлень

Запитання та відповіді

Що сталося під час видалення виробничої бази даних GitLab.com у 2017 році?

Пізно ввечері 31 січня 2017 року інженер GitLab, намагаючись відновити зламану репліку, видалив каталог даних PostgreSQL на db1 замість db2. db1 був основним. З приблизно 300 ГБ залишилося 4,5 ГБ. GitLab твітував, що випадково видалив виробничі дані, публічно відкрив свої нотатки про інцидент і транслював відновлення на YouTube.

about.gitlab.com · about.gitlab.com · twitter.com

Чому жоден з п'яти механізмів резервного копіювання та реплікації GitLab не спрацював, коли вони були потрібні?

Згідно з постмортемом GitLab, щоденне pg_dump до S3 не спрацьовувало, тому що завдання cron вибирало бінарні файли PostgreSQL 9.2 для бази даних 9.6, а його електронні листи про збій відхилялися через відсутність DMARC. Знімки Azure охоплювали файлові сервери, але не бази даних. Репліка була навмисно стерта, а щоденний знімок мав видалені вебхуки. Вижив лише ручний знімок, зроблений для непов'язаного тесту.

about.gitlab.com · about.gitlab.com

Чому відновлення GitLab.com зайняло близько вісімнадцяти годин?

Відновлення означало копіювання диска "staging" назад до виробництва через дешеве сховище Azure зі швидкістю шістдесят мегабіт на секунду, що зайняло вісімнадцять годин. GitLab.com повернувся 1 лютого о 18:00 UTC, використовуючи ручний знімок, якому було шість годин. Перебій коштував шести годин даних, приблизно п'яти тисяч проектів, п'яти тисяч коментарів та семисот нових користувачів, згідно з епізодом.

about.gitlab.com · about.gitlab.com

Чому бездоганні постмортеми зосереджуються на процесі, а не на інженера, який виконав команду?

Постмортем GitLab, підписаний генеральним директором, зберіг інженера анонімним і приписав збій двом іменам хоста, що відрізняються на один символ, і п'яти системам резервного копіювання, з яких ніхто не відновлювався. Він зафарбував виробничий "prompt" червоним і надав власнику стійкість даних, оскільки раніше її не було. Список виправлень був опублікований з номерами проблем.

about.gitlab.com · news.ycombinator.com

Що команди повинні взяти з інциденту з базою даних GitLab, і чи була відповідь GitLab правильною?

Вердикт The Daily Diff щодо відповіді був SHIP IT. GitLab публічно провів розслідування інциденту, звинуватив процес і опублікував список виправлень з номерами проблем. Дія в понеділок, згідно з епізодом, полягає у відновленні резервної копії, оскільки резервна копія, яка ніколи не відновлювалася, не може вважатися резервною копією. Hacker News дав живому документу про інцидент 1162 бали.

about.gitlab.com · news.ycombinator.com

Перекладена стенограма

Перекладено з оригінальної англійської розповіді. Доступне аудіо та субтитри контролюються YouTube.

0:00 Інженер GitLab запускає rm -rf на неправильному сервері бази даних, і триста гігабайт GitLab.com зникають за секунду-дві, приблизно стільки часу потрібно, щоб прочитати ім'я хоста. 31 січня 2017 року, 23:27 UTC. GitLab твітує, що випадково видалив виробничі дані, відкриває свої нотатки про інцидент для інтернету та транслює відновлення на YouTube, другий за популярністю прямий ефір на платформі. Наступного дня, письмово: з п'яти методів резервного копіювання,

0:25 жоден не працює надійно. Як це відбувається, чому це можливо і хто насправді несе відповідальність. Це The Daily Diff, постмортем. 17:20: інженер робить знімок виробництва для тестування балансувальника навантаження в "staging". 19:00: спам "бомбить" базу даних, а також завдання жорсткого видалення співробітника GitLab, якого троль повідомив про зловживання. 23:00: репліка настільки відстає, що основний сервер вже відкинув

0:48 потрібний йому журнал; єдине виправлення – стерти репліку та знову скопіювати основний сервер. pg_basebackup зависає без виводу. Він насправді чекає, мовчки, на основний сервер; ніхто про це не знає, і "runbook" про це не говорить. Інженер, який мав завершити роботу об одинадцятій, вирішує, що порожній каталог даних є проблемою і видаляє його. На db1. Основний. Він помічає це через секунду-дві; з приблизно трьохсот гігабайт,

1:11 4,5 залишаються. Резервні копії. Перша: pg_dump до S3, щодня. Кошик порожній. Завдання cron виконується на сервері додатків без бази даних, тому пакет обирає бінарні файли PostgreSQL 9.2 для бази даних 9.6, виходить з ладу та надсилає електронні листи про збій, який відхиляється через відсутність DMARC. Друга: знімки диска Azure, увімкнені для файлових серверів, а не для баз даних.

1:32 Третя: репліка, навмисно стерта годину тому. Четверта: щоденний знімок, 24-годинної давності, всі вебхуки видалені синхронізацією "staging". П'ята: ручний знімок з 17:20, для непов'язаного тесту. Цей перемагає. Відновлення означає копіювання диска "staging" назад до виробництва через дешеве сховище Azure зі швидкістю шістдесят мегабіт на секунду: вісімнадцять годин. GitLab.com повертається 1 лютого о 18:00 UTC, на шість годин даних старше.

1:58 git blame: два імені хоста, що відрізняються на один символ, і п'ять систем резервного копіювання, з яких ніхто ніколи не відновлювався. Не інженер. Постмортем, підписаний генеральним директором, зберігає його анонімність, зафарбовує виробничий "prompt" червоним і надає власнику стійкість даних, тому що дотепер її не було. Радіус ураження: вісімнадцять годин простою, шість годин даних втрачено, приблизно п'ять тисяч проектів, п'ять тисяч коментарів,

2:18 сімсот нових користувачів і п'ять тисяч людей, які дивляться на індикатор прогресу. Hacker News дає живому документу 1162 бали і цитує один рядок у відповідь: з п'яти резервних копій – жодної. Вердикт, постмортем: SHIP IT, щодо відповіді. Вони проводять інцидент публічно, звинувачують процес і публікують список виправлень з номерами проблем. Дія в понеділок: відновлення резервної копії. Якщо ви ніколи її не відновлювали, у вас її немає.

2:42 Надішліть мені інцидент, про який вам досі не дозволено говорити, у коментарях або на thedailydiff.dev. І це "diff" на сьогодні. Я Ніко з Axrisi. Об'єднуйте відповідально.

Джерела

  1. GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
  2. GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
  3. @gitlabstatus, "We accidentally deleted production data…"twitter.com
  4. @gitlabstatus, emergency maintenance noticetwitter.com
  5. Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
  6. Hacker News, the postmortem thread (377 points)news.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Пов'язані відео

postmortem · uk · 25 вер. 2026 р.

Мільйонна частка секунди зупинила авіатрафік Великої Британії. Шість годин.

О 10:00 у вівторок, 8 вересня, один звичайний запит коду транспондера в Національній системі повітряного простору (NAS) NATS переривається повідомленням з вищим пріоритетом, доки він частково оновлює

3:06 ↗
postmortem · uk · 22 вер. 2026 р.

Перезавантаження відкинуло Telstra у 2006 рік. Дев'ять мільйонів телефонів.

Інженер у Мельбурні о 2:50 ночі знову вмикає шасі синхронізації, і до сніданку найбільша мобільна мережа Австралії погоджується, що зараз листопад 2006 року. 8 липня 2026 року: GPS-карта в шасі NTP Te

3:15 ↗