+− THE DAILY DIFFdev & AI news
SHIP IT

Инженер удалил производственную базу данных GitLab. 300 гигабайт.

31 января 2017 года, 23:27 UTC: инженер GitLab, борясь со сломанной репликой в конце долгой ночи, удаляет каталог данных PostgreSQL на db1 вместо db2.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

31 января 2017 года, 23:27 UTC: инженер GitLab, борясь со сломанной репликой в конце долгой ночи, удаляет каталог данных PostgreSQL на db1 вместо db2. db1 является первичным сервером. Около 300 ГБ базы данных GitLab.com исчезают за одну-две секунды, и ни один из пяти механизмов резервного копирования и репликации не работает. Постмортем: хронология от всплеска спама до неправильного имени хоста, почему pg_basebackup казался зависшим, почему pg_dump тихонько сбоил (бинарники 9.2 на базе данных 9.6, электронные письма о сбоях отскакивали из-за DMARC), 18-часовое восстановление из 6-часового снимка промежуточной среды, транслировавшееся в прямом эфире на YouTube, и кто на самом деле виноват. Вердикт по реакции: SHIP IT.

Читать письменное издание (на английском) ↗

Что освещается в этом видео

  • 31 января 2017 года: rm -Rvf в каталоге данных первичного сервера; удалено ~300 ГБ, осталось 4,5 ГБ
  • 5 из 5 резервных копий не работают: пустой S3-корзина (несоответствие версий pg_dump), нет снимков Azure на БД, стёртая реплика, ежедневная LVM-копия без веб-хуков
  • 1 февраля, 18:00 UTC: GitLab.com восстановлен из 6-часового ручного снимка; живой документ, прямая трансляция, постмортем без обвинений со списком исправлений

Вопросы и ответы

Что произошло при удалении производственной базы данных GitLab.com в 2017 году?

Поздно вечером 31 января 2017 года инженер GitLab, пытаясь исправить сломанную реплику, удалил каталог данных PostgreSQL на db1 вместо db2. db1 был основным. Из примерно 300 ГБ осталось 4,5 ГБ. GitLab сообщил в Twitter, что случайно удалил производственные данные, публично открыл свои заметки об инциденте и транслировал восстановление на YouTube.

about.gitlab.com · about.gitlab.com · twitter.com

Почему ни один из пяти механизмов резервного копирования и репликации GitLab не сработал, когда они были нужны?

Согласно постмортему GitLab, ежедневный pg_dump в S3 сбоил, потому что задача cron выбирала бинарники PostgreSQL 9.2 для базы данных 9.6, а электронные письма о сбоях отскакивали из-за отсутствия DMARC. Снимки Azure охватывали файловые серверы, но не базы данных. Реплика была намеренно очищена, а из ежедневного снимка были удалены веб-хуки. Выжил только ручной снимок, сделанный для несвязанного теста.

about.gitlab.com · about.gitlab.com

Почему восстановление GitLab.com заняло около восемнадцати часов?

Восстановление означало копирование диска промежуточной среды обратно в производственную среду через дешёвое хранилище Azure со скоростью шестьдесят мегабит в секунду, что заняло восемнадцать часов. GitLab.com вернулся в сеть 1 февраля в 18:00 UTC, используя ручной снимок шестичасовой давности. Простой стоил шести часов данных, примерно пяти тысяч проектов, пяти тысяч комментариев и семисот новых пользователей, согласно эпизоду.

about.gitlab.com · about.gitlab.com

Почему постмортемы без обвинений сосредоточены на процессе, а не на инженере, который выполнил команду?

Постмортем GitLab, подписанный генеральным директором, сохранил инженера анонимным и приписал сбой двум именам хостов с разницей в один символ и пяти системам резервного копирования, из которых никто не восстанавливался. Он окрасил производственную подсказку в красный цвет и назначил владельца для обеспечения надёжности данных, потому что до этого его не было. Список исправлений был опубликован с номерами проблем.

about.gitlab.com · news.ycombinator.com

Что должны извлечь команды из инцидента с базой данных GitLab, и была ли реакция GitLab адекватной?

Вердикт The Daily Diff был SHIP IT, по реакции. GitLab провёл инцидент публично, обвинил процесс и опубликовал список исправлений с номерами проблем. Действие эпизода в понедельник — восстановить резервную копию, потому что резервная копия, которая никогда не восстанавливалась, не может считаться резервной копией. Hacker News дал документу о живом инциденте 1162 балла.

about.gitlab.com · news.ycombinator.com

Переведенная стенограмма

Переведено с оригинального английского повествования. Доступные аудио и субтитры контролируются YouTube.

0:00 Инженер GitLab запускает rm -rf на неправильном сервере базы данных, и триста гигабайт GitLab.com исчезают за одну-две секунды, примерно за столько времени, сколько требуется, чтобы прочитать имя хоста. 31 января 2017 года, 23:27 UTC. GitLab сообщает в Twitter, что случайно удалил производственные данные, открывает свои заметки об инциденте для интернета и транслирует восстановление на YouTube, второй по популярности прямой эфир на платформе. На следующий день, письменно: из пяти методов резервного копирования,

0:25 ни один не работает надёжно. Как это происходит, почему это возможно и кто на самом деле виноват. Это The Daily Diff, постмортем. 17:20: инженер делает снимок производственной среды, чтобы протестировать балансировщик нагрузки в промежуточной среде. 19:00: спам обрушивается на базу данных, а также задание, жёстко удаляющее сотрудника GitLab, о котором сообщил тролль за нарушение правил. 23:00: реплика отстаёт настолько, что основной сервер уже отбросил

0:48 необходимый журнал; единственное решение — очистить реплику и скопировать основной сервер снова. pg_basebackup зависает без вывода. На самом деле он молча ждёт основной сервер; никто об этом не знает, и в регламенте об этом не сказано. Инженер, который собирался уйти в одиннадцать, решает, что пустой каталог данных является проблемой и удаляет его. На db1. Основном сервере. Он замечает это через секунду-две; из примерно трёхсот гигабайт

1:11 осталось 4,5. Резервные копии. Один: pg_dump в S3, ежедневно. Корзина пуста. Задача cron запускается на сервере приложений без базы данных, поэтому пакет выбирает бинарники PostgreSQL 9.2 для базы данных 9.6, сбоит и отправляет электронные письма о сбое, которые отскакивают из-за отсутствия DMARC. Два: снимки дисков Azure, включённые для файловых серверов, а не для баз данных.

1:32 Три: реплика, намеренно очищенная час назад. Четыре: ежедневный снимок, 24-часовой давности, все веб-хуки удалены при синхронизации промежуточной среды. Пять: ручной снимок от 17:20, для несвязанного теста. Этот выигрывает. Восстановление означает копирование диска промежуточной среды обратно в производственную среду через дешёвое хранилище Azure со скоростью шестьдесят мегабит в секунду: восемнадцать часов. GitLab.com возвращается 1 февраля в шесть вечера UTC, на шесть часов устаревших данных.

1:58 git blame: два имени хоста с разницей в один символ и пять систем резервного копирования, из которых никто никогда не восстанавливался. Не инженер. Постмортем, подписанный генеральным директором, сохраняет его анонимность, окрашивает производственную подсказку в красный цвет и назначает владельца для обеспечения надёжности данных, потому что до сих пор его не было. Радиус поражения: восемнадцать часов простоя, шесть часов данных утеряны, примерно пять тысяч проектов, пять тысяч комментариев,

2:18 семьсот новых пользователей и пять тысяч человек, наблюдающих за индикатором выполнения. Hacker News даёт живому документу 1162 балла и цитирует одну строку в ответ: из пяти резервных копий — ни одной. Вердикт, постмортем: SHIP IT, по реакции. Они проводят инцидент публично, обвиняют процесс и публикуют список исправлений с номерами проблем. Действие в понедельник: восстановить резервную копию. Если вы никогда её не восстанавливали, у вас её нет.

2:42 Пришлите мне инцидент, о котором вам до сих пор не разрешено говорить, в комментариях или на thedailydiff.dev. И это разница на сегодня. Я Нико из Axrisi. Сливайте ответственно.

Источники

  1. GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
  2. GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
  3. @gitlabstatus, "We accidentally deleted production data…"twitter.com
  4. @gitlabstatus, emergency maintenance noticetwitter.com
  5. Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
  6. Hacker News, the postmortem thread (377 points)news.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Похожие видео

postmortem · ru · 25 сент. 2026 г.

Ошибка в одну миллисекунду остановила воздушное движение в Великобритании. На шесть часов.

Во вторник, 8 сентября, в 10:00 обычный запрос squawk-кода в Национальной системе воздушного пространства NATS (NAS) прерывается сообщением с более высоким приоритетом в процессе обновления значения.

3:06 ↗
postmortem · ru · 22 сент. 2026 г.

Перезагрузка отбросила Telstra в 2006 год. Девять миллионов телефонов.

Инженер в Мельбурне в 2:50 ночи снова включает шасси синхронизации, и к завтраку крупнейшая мобильная сеть Австралии соглашается, что сейчас ноябрь 2006 года. 8 июля 2026 года: GPS-карта в шасси NTP T

3:15 ↗