Инженер изтри производствената база данни на GitLab. 300 гигабайта.
31 януари 2017 г., 23:27 UTC: инженер на GitLab, борейки се с повредена реплика в края на дълга нощ, премахва директорията с данни на PostgreSQL на db1 вместо на db2.
31 януари 2017 г., 23:27 UTC: инженер на GitLab, борейки се с повредена реплика в края на дълга нощ, премахва директорията с данни на PostgreSQL на db1 вместо на db2. db1 е основната. Около 300 GB от базата данни на GitLab.com изчезват за секунда-две, а от петте механизма за архивиране и репликация нито един не работи. Постмортем: хронологията от пика на спама до грешното име на хост, защо pg_basebackup изглеждаше заседнал, защо pg_dump мълчаливо се проваляше (9.2 двоични файлове на база данни 9.6, имейли за провал, отхвърлени от DMARC), 18-часовото възстановяване от 6-часова моментна снимка на staging, стриймвана на живо в YouTube, и кой всъщност е виновен. Присъда за отговора: SHIP IT.
Прочетете писменото издание (английски) ↗
Какво обхваща този видеоклип
- 31 януари 2017 г.: rm -Rvf в директорията с данни на основния сървър; ~300 GB премахнати, 4.5 GB останали
- 5 от 5 архиви се провалят: празен S3 bucket (несъответствие във версията на pg_dump), без Azure моментни снимки на базата данни, изтрита реплика, ежедневно LVM копие без уебхукове
- 1 февруари, 18:00 UTC: GitLab.com се възстановява от 6-часова ръчна моментна снимка; документ на живо, поток на живо, безгрешен постмортем със списък с корекции
Въпроси и отговори
Какво се случи при изтриването на производствената база данни на GitLab.com през 2017 г.?
Късно на 31 януари 2017 г. инженер на GitLab, опитвайки се да поправи повредена реплика, премахна директорията с данни на PostgreSQL на db1 вместо на db2. db1 беше основният сървър. От приблизително 300 GB останаха 4.5 GB. GitLab туитна, че по погрешка е изтрил производствени данни, отвори публично бележките си за инцидента и стриймва възстановяването в YouTube.
Защо нито един от петте механизма за архивиране и репликация на GitLab не проработи, когато беше необходим?
Според постмортема на GitLab, ежедневното копие на pg_dump към S3 се е проваляло, защото задачата cron е използвала PostgreSQL 9.2 двоични файлове за база данни 9.6, а имейлите за неуспех са били отхвърлени поради липсващ DMARC. Моментните снимки на Azure са обхващали файлови сървъри, но не и бази данни. Репликата е била изтрита нарочно, а от ежедневната моментна снимка са били премахнати уебхуковете. Оцеляла е само ръчна моментна снимка, направена за несвързан тест.
Защо възстановяването на GitLab.com отне около осемнадесет часа?
Възстановяването означаваше копиране на диска за staging обратно в продукцията през евтиното хранилище на Azure със шестдесет мегабита в секунда, което отне осемнадесет часа. GitLab.com се върна на 1 февруари в 18:00 UTC, използвайки ръчна моментна снимка на шест часа. Прекъсването струваше шест часа данни, приблизително пет хиляди проекта, пет хиляди коментара и седемстотин нови потребители, според епизода.
Защо постмортемите без обвинения се фокусират върху процеса, а не върху инженера, който е изпълнил командата?
Постмортемът на GitLab, подписан от изпълнителния директор, запази инженера анонимен и приписа провала на две имена на хостове, разделени с един символ, и пет системи за архивиране, от които никой не беше възстановявал. Той оцвети производствената подкана в червено и даде собственик на устойчивостта на данните, тъй като преди това нямаше такъв. Списъкът с корекции беше публикуван с номера на задачи.
Какво трябва да научат екипите от инцидента с базата данни на GitLab и беше ли адекватен отговорът на GitLab?
Присъдата на The Daily Diff беше SHIP IT, относно отговора. GitLab проведе инцидента публично, обвини процеса и публикува списък с корекции с номера на задачи. Действието в понеделник на епизода е да се възстанови резервно копие, защото резервно копие, което никога не е било възстановявано, не може да се счита за резервно копие. Hacker News даде на документа за инцидента на живо 1162 точки.
Преведен препис
Преведено от оригиналния английски разказ. Наличните аудио и субтитри се контролират от YouTube.
0:00 Инженер от GitLab изпълнява rm -rf на грешен сървър на база данни, и триста гигабайта от GitLab.com изчезват за секунда-две, приблизително толкова време, колкото е необходимо за прочитане на име на хост. 31 януари 2017 г., 23:27 ч. UTC. GitLab туитва, че по погрешка е изтрил производствени данни, отваря бележките си за инцидента за интернет и стриймва възстановяването в YouTube, вторият по популярност стрийм на живо на платформата. На следващия ден, писмено: от пет техники за архивиране,
0:25 нито една не работи надеждно. Как се случва, защо е възможно и кой всъщност е виновен. Това е The Daily Diff, постмортем. 17:20 ч.: инженер прави моментна снимка на производството за да тества балансьор на натоварване в staging. 19:00 ч.: спам атакува базата данни, плюс задача, която твърдо изтрива служител на GitLab, трол докладва за злоупотреба. 23:00 ч.: репликата изостава толкова много, че основният сървър вече е изхвърлил
0:48 необходимия му лог; единственото решение е да се изтрие репликата и да се копира основният отново. pg_basebackup виси без изход. Всъщност чака, мълчаливо, основния сървър; никой не знае това, и наръчникът не го посочва. Инженерът, който е трябвало да приключи в единадесет, решава, че празната директория с данни е проблемът и я премахва. На db1. Основният. Забелязва секунда-две по-късно; от приблизително триста гигабайта,
1:11 остават 4.5. Архивите. Едно: pg_dump към S3, ежедневно. Кошчето е празно. Задачата cron се изпълнява на сървър за приложения без база данни, така че пакетът избира PostgreSQL 9.2 двоични файлове за база данни 9.6, проваля се и изпраща имейли за провала, които се отхвърлят поради липсващ DMARC. Две: Моментни снимки на Azure диск, активирани за файловите сървъри, не за базите данни.
1:32 Три: репликата, изтрита нарочно преди час. Четири: ежедневната моментна снимка, на 24 часа, всеки уебхук е премахнат от синхронизацията на staging. Пет: ръчната моментна снимка от 17:20, за несвързан тест. Тази печели. Възстановяването означава копиране на staging диска обратно в производството през евтиното хранилище на Azure със шестдесет мегабита в секунда: осемнадесет часа. GitLab.com се връща на 1 февруари в шест вечерта UTC, шест часа по-стари данни.
1:58 git blame: две имена на хостове, разделени от един символ, и пет системи за архивиране, от които никой не е възстановявал никога. Не инженерът. Постмортемът, подписан от изпълнителния директор, го запазва анонимен, оцветява производствената подкана в червено и дава собственик на устойчивостта на данните, защото досега нямаше такъв. Радиус на взрива: осемнадесет часа прекъсване, шест часа изгубени данни, приблизително пет хиляди проекта, пет хиляди коментара,
2:18 седемстотин нови потребители и пет хиляди души, гледащи лента за напредък. Hacker News дава на документа на живо 1162 точки и цитира един ред обратно на тях: от пет архива, нито един. Присъда, постмортем: SHIP IT, по отношение на отговора. Те провеждат инцидента публично, обвиняват процеса и публикуват списъка с корекции с номера на задачи. Действие в понеделник: възстановете резервно копие. Ако никога не сте го възстановявали, нямате такова.
2:42 Изпратете ми инцидента, за който все още не ви е позволено да говорите, в коментарите или на thedailydiff.dev. И това е различното за днес. Аз съм Нико от Axrisi. Обединявайте отговорно.
Източници
- GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
- GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
- @gitlabstatus, "We accidentally deleted production data…"twitter.com
- @gitlabstatus, emergency maintenance noticetwitter.com
- Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
- Hacker News, the postmortem thread (377 points)news.ycombinator.com



