Инженер GitLab'тын өндүрүш маалымат базасын өчүрдү. 300 гигабайт.
2017-жылдын 31-январында, саат 23:27 UTC: GitLab инженери, узак түндүн аягында бузулган реплика менен күрөшүп, db2 ордуна db1деги PostgreSQL маалымат каталогун өчүрдү.
2017-жылдын 31-январында, саат 23:27 UTC: GitLab инженери, узак түндүн аягында бузулган реплика менен күрөшүп, db2 ордуна db1деги PostgreSQL маалымат каталогун өчүрдү. db1 негизги сервер болчу. GitLab.com маалымат базасынын болжол менен 300 ГБ бир-эки секундда жок болду, жана беш камдык көчүрүү жана репликация механизмдеринин эч бири иштебей калды. Постмортем: спамдын көбөйүшүнөн туура эмес хост аталышына чейинки убакыт сызыгы, pg_basebackup эмне үчүн тыгылып калгандай көрүнгөнү, pg_dump эмне үчүн унчукпай иштебей калгандыгы (9.6 маалымат базасында 9.2 бинардык файлдар, ката тууралуу электрондук каттар DMARC тарабынан четке кагылган), YouTubeда түз ободо көрсөтүлгөн 6 сааттык эски сахналык сүрөттөн 18 сааттык калыбына келтирүү, жана күнөөнү ким чындыгында алат. Жооп боюнча өкүм: SHIP IT.
Жазма басылышын окуу (Англисче) ↗
Бул видео эмнелерди камтыйт
- 2017-жылдын 31-январында: негизги сервердин маалымат каталогунда rm -Rvf; ~300 ГБ өчүрүлдү, 4.5 ГБ калды
- 5 камдык көчүрүүнүн 5и тең иштебей калды: бош S3 чакасы (pg_dump версиясынын дал келбестиги), ДБда Azure сүрөттөрү жок, өчүрүлгөн реплика, вебхуктарсыз күнүмдүк LVM көчүрмөсү
- 1-февраль, 18:00 UTC: GitLab.com 6 сааттык эски кол менен тартылган сүрөттөн кайтарылды; түз документ, түз эфир, оңдоо тизмеси менен күнөөсүз постмортем
Суроолор жана жооптор
2017-жылы GitLab.com өндүрүштүк маалымат базасын өчүрүүдө эмне болгон?
2017-жылдын 31-январында кечинде, GitLab инженери бузулган репликаны оңдоого аракет кылып жатып, db2 ордуна db1 дарегиндеги PostgreSQL маалымат каталогун өчүрүп салган. db1 негизги болгон. Болжол менен 300 ГБдан 4,5 ГБ калган. GitLab өндүрүштүк маалыматтарды кокустан жок кылгандыгын Твиттерде жарыялап, инцидент боюнча жазууларын жалпыга ачык жарыялаган жана калыбына келтирүүнү YouTube'да көрсөткөн.
GitLab'тын беш камдык көчүрүү жана репликация механизмдеринин эч бири эмне үчүн керек болгондо иштебей калган?
GitLab'тын постмортемине ылайык, S3ке күнүмдүк pg_dump иштебей калган, анткени cron жумушу 9.6 маалымат базасы үчүн PostgreSQL 9.2 бинардык файлдарын тандаган, жана анын ката тууралуу электрондук каттары DMARC жок болгондуктан кайтарылган. Azure сүрөттөрү файл серверлерин камтыган, бирок маалымат базаларын эмес. Реплика атайылап өчүрүлгөн, ал эми күнүмдүк сүрөттүн вебхуктары алынып салынган. Бир гана кол менен тартылган сүрөт, байланышсыз тест үчүн тартылган, сакталып калган.
GitLab.comду калыбына келтирүү эмне үчүн он сегиз саатка жакын убакытты алган?
Калыбына келтирүү сахналык дискти Azure'дун арзан сактагычы аркылуу секундуна алтымыш мегабит ылдамдыгы менен өндүрүшкө көчүрүү дегенди билдирген, бул он сегиз саатты алган. GitLab.com 1-февралда саат 18:00 UTCде, алты сааттык эски кол менен тартылган сүрөттү колдонуп кайтып келген. Үзгүлтүк алты сааттык маалыматты, болжол менен беш миң долбоорду, беш миң комментарийди жана жети жүз жаңы колдонуучуну түзгөн.
Күнөөсүз постмортемдер эмне үчүн команданы иштеткен инженерге эмес, процесске басым жасашат?
Башкы директор кол койгон GitLab'тын постмортеми, инженерди жашыруун кармаган жана катаны бир символ айырмасы бар эки хост аталышына жана эч ким кайра калыбына келтирбеген беш камдык системага байланыштырган. Ал өндүрүш сурамжылоосун кызыл түскө боёгон жана маалыматтын туруктуулугуна ээлик берген, анткени буга чейин анын ээси болгон эмес. Оңдоо тизмеси маселе номерлери менен жарыяланган.
Командалар GitLab'тын маалымат базасы инцидентинен эмнени үйрөнүшү керек, жана GitLab'тын жообу туура болду беле?
The Daily Diff'тин өкүмү SHIP IT, жооп боюнча болгон. GitLab инцидентти коомчулукка ачык жарыялап, процессти күнөөлөп, оңдоо тизмесин маселе номерлери менен жарыялаган. Эпизоддун Дүйшөмбү аракеттери - камдык көчүрмөнү калыбына келтирүү, анткени эч качан калыбына келтирилбеген камдык көчүрмөнү камдык көчүрмө деп эсептөөгө болбойт. Hacker News түз инцидент документин 1,162 упай менен баалаган.
Котормо стенограмма
Англис тилиндеги баштапкы баяндамадан которулган. Жеткиликтүү аудио жана коштомо жазуулар YouTube тарабынан көзөмөлдөнөт.
0:00 GitLab инженери туура эмес маалымат базасы серверинде rm -rf командасын иштетет, жана GitLab.comдун үч жүз гигабайты бир-эки секундда жоголот, хост атын окууга канча убакыт кетсе. 2017-жылдын 31-январы, кечки саат 11:27. UTC. GitLab өндүрүш маалыматтарын кокусунан өчүрүп салганын твиттерге жазат, инцидент жазууларын интернетке ачып, калыбына келтирүүнү YouTubeда түз ободо көрсөтөт, платформадагы экинчи орунда турган түз эфир. Кийинки күнү, жазуу түрүндө: беш камдык көчүрүү ыкмасынан,
0:25 эч кимиси ишенимдүү иштебей жатат. Кантип болду, эмне үчүн мүмкүн болду жана күнөөнү ким чындыгында алат. Бул The Daily Diff, постмортем. 5:20 кечки: инженер өндүрүштүк сүрөттү тартат сахнада жүк балансын текшерүү үчүн. 7 кечки: спам маалымат базасын бомбалайт, плюс GitLab кызматкерин катуу өчүрүүчү жумуш тролль кыянаттык үчүн кабарлаган. 11 кечки: реплика ушунчалык артта калгандыктан, негизги сервер буга чейин
0:48 керектүү журналды жок кылган; жалгыз чечим - репликаны өчүрүп, негизги серверди кайрадан көчүрүү. pg_basebackup эч кандай чыгарылышсыз тыгылып калат. Ал чындыгында, унчукпай, негизги серверди күтүп жатат; муну эч ким билбейт, жана runbook айтпайт. Саат он бирде чыгып кетүүнү пландаштырган инженер, бош маалымат каталогу маселе деп чечип, аны өчүрөт. db1де. Негизги серверде. Бир-эки секунддан кийин байкайт; болжол менен үч жүз гигабайттан,
1:11 4.5 калды. Камдык көчүрмөлөр. Биринчиси: pg_dump S3га, күнүмдүк. Чака бош. Крон жумушу маалымат базасы жок колдонмо серверинде иштейт, ошондуктан пакет PostgreSQL 9.2 бинардык файлдарын 9.6 маалымат базасы үчүн тандайт, иштебей калат жана катаны электрондук почта аркылуу жөнөтөт, ал DMARC жок болгондуктан кайтарылат. Экинчиси: Azure диск сүрөттөрү, файл серверлери үчүн иштетилген, маалымат базалары үчүн эмес.
1:32 Үчүнчүсү: реплика, бир саат мурун атайын өчүрүлгөн. Төртүнчүсү: күнүмдүк сүрөт, 24 сааттык, ар бир вебхук сахналык синхрондоштуруу менен жок кылынган. Бешинчиси: 5:20дагы кол менен тартылган сүрөт, байланышсыз тест үчүн. Ошол жеңет. Калыбына келтирүү - бул сахналык дискти Azure'дун арзан сактагычы аркылуу секундуна алтымыш мегабит ылдамдыгы менен өндүрүшкө көчүрүү: он сегиз саат. GitLab.com 1-февраль кечки саат алтыда кайра иштейт UTC, алты сааттык маалымат эскиси.
1:58 git blame: бир символ айырмасы бар эки хост аталышы, жана эч ким кайра калыбына келтирбеген беш камдык система. Инженер эмес. Башкы директор кол койгон постмортем, аны жашыруун кармайт, өндүрүш сурамжылоосун кызыл түскө боёйт жана маалыматтын туруктуулугуна ээлик берет, себеби буга чейин анын ээси болгон эмес. Жарылуу радиусу: он сегиз саат өчүк, алты сааттык маалымат жоголду, болжол менен беш миң долбоор, беш миң комментарий,
2:18 жети жүз жаңы колдонуучу, жана беш миң адам прогресс тилкесин көрүп жатышат. Hacker News түз документке 1,162 упай берет жана бир сапты аларга кайра келтирет: беш камдык көчүрмөдөн, эч кимиси жок. Өкүм, постмортем: SHIP IT, жооп боюнча. Алар инцидентти коомчулукка ачык жарыялап, процессти күнөөлөп, оңдоо тизмесин маселе номерлери менен жарыялашты. Дүйшөмбү аракеттери: камдык көчүрмөнү калыбына келтирүү. Эгер сиз аны эч качан калыбына келтирбесеңиз, анда сизде андай жок.
2:42 Мага дагы эле айтууга уруксат берилбеген инцидентти жөнөтүңүз, комментарийлерде, же daily diff dot dev дарегинде. Жана бул бүгүнкү diff. Мен Axrisi'ден Никомун. Жоопкерчилик менен бириктириңиз.
Булактар
- GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
- GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
- @gitlabstatus, "We accidentally deleted production data…"twitter.com
- @gitlabstatus, emergency maintenance noticetwitter.com
- Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
- Hacker News, the postmortem thread (377 points)news.ycombinator.com



