Инженер ја избриша продукциската база на податоци на GitLab. 300 гигабајти.
31 јануари 2017 година, 23:27 UTC: инженер на GitLab, борејќи се со скршена реплика на крајот од долга ноќ, го отстранува директориумот за податоци на PostgreSQL на db1 наместо на db2.
31 јануари 2017 година, 23:27 UTC: инженер на GitLab, борејќи се со скршена реплика на крајот од долга ноќ, го отстранува директориумот за податоци на PostgreSQL на db1 наместо на db2. db1 е примарниот. Околу 300 GB од базата на податоци на GitLab.com исчезнаа за секунда или две, а од петте механизми за резервна копија и репликација, ниту еден не работи. Постмортем: временската рамка од скокот на спам до погрешното име на хост, зошто pg_basebackup изгледаше заглавено, зошто pg_dump тивко откажуваше (9.2 бинарни на база на податоци 9.6, е-поштата за неуспех одбиени од DMARC), 18-часовното враќање од 6-часовна снимка од staging пренесувана во живо на YouTube, и кој навистина ја сноси вината. Пресуда за одговорот: SHIP IT.
Прочитајте го пишаното издание (англиски) ↗
Што покрива ова видео
- 31 јануари 2017: rm -Rvf на директориумот за податоци на примарниот сервер; отстранети ~300 GB, останати 4.5 GB
- 5 од 5 резервни копии откажуваат: празен S3 кош (несовпаѓање на верзијата на pg_dump), нема Azure снимки на базата на податоци, избришана реплика, дневна LVM копија без вебхукови
- 1 февруари, 18:00 UTC: GitLab.com се врати од 6-часовна рачна снимка; документ во живо, пренос во живо, постмортем без вина со список за поправки
Прашања и одговори
Што се случи со бришењето на продукциската база на податоци на GitLab.com во 2017 година?
Кон крајот на 31 јануари 2017 година, инженер на GitLab кој се обидуваше да поправи скршена реплика, го отстрани директориумот за податоци на PostgreSQL на db1 наместо на db2. db1 беше примарниот сервер. Од приближно 300 GB, останаа 4.5 GB. GitLab твитуваше дека случајно избришале продукциски податоци, ги отворија своите белешки за инцидентот јавно и го пренесуваа опоравувањето на YouTube.
Зошто ниту еден од петте механизми за резервна копија и репликација на GitLab не работеше кога беа потребни?
Според постмортемот на GitLab, дневниот pg_dump на S3 откажувал бидејќи cron задачата избирала PostgreSQL 9.2 бинарни за база на податоци 9.6, а е-поштата за неуспех се одбивале поради недостаток на DMARC. Azure снимките ги покривале серверите за датотеки, но не и базите на податоци. Репликата била намерно избришана, а дневната снимка ги имала отстрането своите вебхукови. Преживеала само рачна снимка, направена за несроден тест.
Зошто враќањето на GitLab.com траеше околу осумнаесет часа?
Враќањето значеше копирање на дискот за staging назад во продукција преку евтиното складиште на Azure со шеесет мегабити во секунда, што траеше осумнаесет часа. GitLab.com се врати на 1 февруари во 18:00 UTC, користејќи рачна снимка стара шест часа. Прекинот чинеше шест часа податоци, приближно пет илјади проекти, пет илјади коментари и седумстотини нови корисници, според епизодата.
Зошто постмортемите без вина се фокусираат на процесот, а не на инженерот кој ја извршил командата?
Постмортемот на GitLab, потпишан од извршниот директор, го чуваше инженерот анонимен и неуспехот го припиша на две имиња на хостови со разлика од еден знак и пет системи за резервна копија од кои никој не се вратил. Го обои продукцискиот промпт црвено и ѝ даде сопственик на издржливоста на податоците, бидејќи претходно немаше. Списокот за поправки беше објавен со броеви на проблеми.
Што треба да научат тимовите од инцидентот со базата на податоци на GitLab, и дали одговорот на GitLab беше исправен?
Пресудата на The Daily Diff беше SHIP IT, за одговорот. GitLab го водеше инцидентот јавно, го обвини процесот и објави список за поправки со броеви на проблеми. Понеделничката акција на епизодата е да се врати резервна копија, бидејќи резервна копија која никогаш не била вратена не може да се смета за резервна копија. Hacker News му даде на документот за инцидентот во живо 1.162 поени.
Преведен транскрипт
Преведено од оригиналната англиска нарација. Достапното аудио и наслови се контролирани од YouTube.
0:00 Инженер во GitLab извршува rm -rf на погрешен сервер за база на податоци, и триста гигабајти од GitLab dot com исчезнуваат за секунда или две, приближно колку што е потребно да се прочита име на хост. 31 јануари 2017 година, 23:27 часот UTC. GitLab твитува дека случајно избришал продукциски податоци, ги отвора своите белешки за инциденти за интернет, и го пренесува опоравувањето на YouTube, вториот по гледаност пренос во живо на платформата. Следниот ден, во писмена форма: од пет техники за резервна копија,
0:25 ниту една не работи сигурно. Како се случува, зошто е можно, и кој всушност ја сноси вината. Ова е The Daily Diff, постмортем. 17:20 часот: инженер прави снимка од продукцијата за да тестира балансер на оптоварување во staging. 19:00 часот: спам ја бомбардира базата на податоци, плус задача за трајно бришење на вработен во GitLab трол пријавен за злоупотреба. 23:00 часот: репликата заостанува толку многу што примарниот веќе го отфрлил
0:48 логот што ѝ е потребен; единствено решение е да се избрише репликата и повторно да се копира примарниот. pg_basebackup се заглавува без излез. Всушност, тивко чека на примарниот; никој не го знае тоа, а упатството не кажува. Инженерот, кој требаше да се одјави во единаесет, одлучува дека празниот директориум за податоци е проблемот и го отстранува. На db1. Примарниот. Забележува секунда или две подоцна; од приближно триста гигабајти,
1:11 остануваат 4.5. Резервните копии. Еден: pg_dump на S3, дневно. Кошот е празен. Cron задачата се извршува на апликативен сервер без база на податоци, па пакетот избира PostgreSQL 9.2 бинарни за база на податоци 9.6, откажува, и праќа е-пошта за неуспехот, која се одбива поради недостаток на DMARC. Две: Azure снимки на дискови, овозможени за фајл серверите, не за базите на податоци.
1:32 Три: репликата, намерно избришана пред еден час. Четири: дневната снимка, стара 24 часа, сите вебхукови отстранети со staging синхронизацијата. Пет: рачната снимка од 17:20, за несроден тест. Таа победува. Враќањето значи копирање на staging дискот назад во продукција преку евтиното складиште на Azure со шеесет мегабити во секунда: осумнаесет часа. GitLab dot com се врати на 1 февруари во 18 часот. UTC, податоци постари шест часа.
1:58 git blame: две имиња на хостови со разлика од еден знак, и пет системи за резервна копија од кои никој никогаш не се вратил. Не инженерот. Постмортем, потпишан од извршниот директор, го држи анонимен, ја обојува продукциската наредба црвено, и ѝ дава сопственик на издржливоста на податоците, бидејќи досега немаше. Радиус на експлозија: осумнаесет часа застој, шест часа изгубени податоци, приближно пет илјади проекти, пет илјади коментари,
2:18 седумстотини нови корисници, и пет илјади луѓе кои гледаат лента за напредок. Hacker News дава на документот во живо 1.162 поени и цитира една линија назад кон нив: од пет резервни копии, ниту една. Пресуда, постмортем: SHIP IT, за одговорот. Тие го водат инцидентот јавно, го обвинуваат процесот, и го објавуваат списокот за поправки со броеви на проблеми. Понеделничка акција: врати резервна копија. Ако никогаш не сте ја вратиле, ја немате.
2:42 Испратете ми го инцидентот за кој сè уште не ви е дозволено да зборувате, во коментарите, или на the daily diff dot dev. И тоа е разликата за денес. Јас сум Нико од Axrisi. Спојувајте одговорно.
Извори
- GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
- GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
- @gitlabstatus, "We accidentally deleted production data…"twitter.com
- @gitlabstatus, emergency maintenance noticetwitter.com
- Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
- Hacker News, the postmortem thread (377 points)news.ycombinator.com



