Muhandis GitLabning ishlab chiqarish ma'lumotlar bazasini o'chirib tashladi. 300 gigabayt.
2017-yil 31-yanvar, 23:27 UTC: GitLab muhandisi uzoq tunning oxirida buzilgan replika bilan kurashib, db2 o'rniga db1dagi PostgreSQL ma'lumotlar katalogini o'chirdi.
2017-yil 31-yanvar, 23:27 UTC: GitLab muhandisi uzoq tunning oxirida buzilgan replika bilan kurashib, db2 o'rniga db1dagi PostgreSQL ma'lumotlar katalogini o'chirdi. db1 asosiy edi. GitLab.com ma'lumotlar bazasining taxminan 300 GB bir-ikki soniya ichida yo'qoldi va beshta zaxira va replikatsiya mexanizmidan hech biri ishlamayotgan edi. Postmortum: spam to'lqinidan noto'g'ri xost nomiga qadar vaqt jadvali, nima uchun pg_basebackup to'xtab qolganga o'xshadi, nima uchun pg_dump jimgina ishlamayotgan edi (9.6 ma'lumotlar bazasida 9.2 ikkilik fayllar, DMARC tomonidan qaytarilgan xato elektron pochta xabarlari), YouTube'da jonli efirga uzatilgan 6 soatlik eskirmagan sahnalashtirish nusxasidan 18 soatlik tiklash va ayb kimga yuklatilgani. Javob bo'yicha hukm: SHIP IT.
Yozma nashrini oʻqing (inglizcha) ↗
Bu video nimani qamrab oladi
- 2017-yil 31-yanvar: asosiy ma'lumotlar katalogida rm -Rvf; ~300 GB o'chirildi, 4.5 GB qoldi
- 5 ta zaxiradan 5 tasi ishlamaydi: bo'sh S3 chelagi (pg_dump versiyasi mos kelmasligi), DBda Azure suratlari yo'q, o'chirilgan replika, veb-hooklarisiz kundalik LVM nusxasi
- 1-fevral, 18:00 UTC: GitLab.com 6 soatlik eskirmagan qo'lda olingan suratdan qayta tiklandi; jonli hujjat, jonli efir, tuzatish ro'yxati bilan aybsiz postmortum
Savollar va javoblar
2017-yilgi GitLab.com ishlab chiqarish ma'lumotlar bazasini o'chirishda nima sodir bo'ldi?
2017-yil 31-yanvar kuni kechqurun GitLab muhandisi buzilgan replikani tuzatishga urinayotganida, db2 o'rniga db1'dagi PostgreSQL ma'lumotlar katalogini o'chirdi. db1 asosiy edi. Taxminan 300 GBdan 4,5 GB qoldi. GitLab ishlab chiqarish ma'lumotlarini tasodifan o'chirib tashlaganini tvitterda e'lon qildi, o'zining hodisa qaydlarini ommaviy ravishda ochdi va YouTube'da tiklashni jonli efirda namoyish etdi.
GitLabning beshta zaxira va replikatsiya mexanizmidan hech biri ularga kerak bo'lganda nima uchun ishlamadi?
GitLabning postmortumiga ko'ra, S3ga kundalik pg_dump ishlamayotgan edi, chunki cron ishi 9.6 ma'lumotlar bazasi uchun PostgreSQL 9.2 ikkilik fayllarini tanlagan va uning xato elektron pochta xabarlari DMARC yo'qligi sababli qaytarilgan. Azure suratlari fayl serverlarini qamrab olgan, lekin ma'lumotlar bazalarini emas. Replika ataylab o'chirilgan va kundalik suratining veb-hooklari olib tashlangan edi. Faqatgina bog'liq bo'lmagan sinov uchun olingan qo'lda olingan surat saqlanib qolgan.
GitLab.comni tiklash uchun nima uchun taxminan o'n sakkiz soat vaqt ketdi?
Tiklash Azure'ning arzon saqlash joyi orqali sahnalashtirish diskini ishlab chiqarishga oltmish megabit/sekund tezlikda nusxalashni anglatardi, bu o'n sakkiz soat vaqt oldi. GitLab.com 1-fevral kuni UTC vaqti bilan 18:00 da, olti soatlik qo'lda olingan suratdan foydalangan holda qayta tiklandi. Hodisaga ko'ra, uzilish olti soatlik ma'lumotlar, taxminan besh ming loyiha, besh ming izoh va yetti yuzta yangi foydalanuvchini yo'qotishga olib keldi.
Nima uchun aybsiz postmortumlar buyruqni ishga tushirgan muhandisga emas, balki jarayonga e'tibor qaratadi?
Bosh direktor tomonidan imzolangan GitLabning postmortumi muhandisni anonim saqladi va xatoni bir belgiga farq qiladigan ikkita xost nomi va hech kim tiklamagan beshta zaxira tizimiga bog'ladi. U ishlab chiqarish promptini qizil rangga bo'yadi va ma'lumotlar chidamliligiga egasini berdi, chunki undan oldin hech kim yo'q edi. Tuzatish ro'yxati masala raqamlari bilan nashr etildi.
Jamoalar GitLabning ma'lumotlar bazasi hodisasidan nimani o'rganishlari kerak va GitLabning javobi to'g'rimi edi?
The Daily Diffning hukmi javob bo'yicha SHIP IT edi. GitLab hodisani ommaviy ravishda boshqardi, jarayonni aybladi va masala raqamlari bilan tuzatish ro'yxatini nashr etdi. Epizodning dushanba harakati zaxirani tiklashdir, chunki hech qachon tiklanmagan zaxira zaxira deb hisoblanmaydi. Hacker News jonli hodisa hujjatiga 1,162 ball berdi.
Tarjima qilingan transkript
Asl inglizcha hikoyadan tarjima qilingan. Mavjud audio va subtitrlar YouTube tomonidan boshqariladi.
0:00 GitLabdagi bir muhandis noto'g'ri ma'lumotlar bazasi serverida rm -rf buyrug'ini ishga tushiradi, va GitLab dot comning uch yuz gigabayt ma'lumotlari bir-ikki soniya ichida g'oyib bo'ladi, xost nomini o'qish uchun qancha vaqt ketadigan bo'lsa, shuncha vaqt. 2017-yil 31-yanvar, soat 23:27. UTC. GitLab tasodifan ishlab chiqarish ma'lumotlarini o'chirib yuborganini tvitterda e'lon qiladi, o'zining hodisa qaydlarini internetga ochadi va tiklash jarayonini YouTube'da jonli efirga uzatadi, platformadagi ikkinchi eng ko'p ko'rilgan jonli efir. Keyingi kun, yozma ravishda: beshta zaxira usulidan,
0:25 hech biri ishonchli ishlamayapti. Bu qanday sodir bo'ladi, nima uchun bu mumkin va ayb aslida kimga yuklatiladi. Bu The Daily Diff, postmortum. Soat 17:20: bir muhandis ishlab chiqarishning suratini oladi sahnalashtirishdagi yuk balanserini sinab ko'rish uchun. Soat 19:00: spam ma'lumotlar bazasini bombardimon qiladi, shuningdek, GitLab xodimini qattiq o'chiradigan ish troll tomonidan suiiste'mollik uchun xabar qilingan. Soat 23:00: replika shunchalik orqada qoladiki, asosiy allaqachon tashlab yuborgan
0:48 u kerak bo'lgan logni; yagona tuzatish replikani o'chirish va asosiy nusxasini olishdir yana. pg_basebackup hech qanday chiqishsiz to'xtab qoladi. U aslida jimgina asosiy uchun kutmoqda; buni hech kim bilmaydi, va ish kitobi aytmaydi. Soat o'n birda ishni tugatmoqchi bo'lgan muhandis bo'sh ma'lumotlar katalogini hal qiladi muammo ekanligini va uni o'chiradi. Db1da. Asosiyda. U bir-ikki soniya o'tgach payqaydi; taxminan uch yuz gigabaytdan,
1:11 4.5 qoldi. Zaxiralar. Bir: har kuni S3ga pg_dump. Chelak bo'sh. Cron ishi ma'lumotlar bazasi bo'lmagan ilova serverida ishlaydi, shuning uchun paket tanlaydi 9.6 ma'lumotlar bazasi uchun PostgreSQL 9.2 ikkilik fayllarini, ishlamaydi va elektron pochta orqali xabar yuboradi DMARC yo'qligi sababli xato qaytariladi. Ikki: Azure disk suratlari, fayl serverlari uchun yoqilgan, ma'lumotlar bazalari uchun emas.
1:32 Uch: replika, bir soat oldin ataylab o'chirilgan. To'rt: kundalik surat, 24 soatlik, har bir veb-hook tomonidan olib tashlangan sahnalashtirish sinxronizatsiyasi. Besh: 17:20dagi qo'lda olingan surat, bog'liq bo'lmagan sinov uchun. Bu g'alaba qozonadi. Tiklash Azure'ning arzon saqlash joyi orqali sahnalashtirish diskini ishlab chiqarishga oltmish megabit/sekund tezlikda nusxalashni anglatadi: o'n sakkiz soat. GitLab dot com 1-fevral kuni soat o'n sakkizda qayta tiklandi UTC, olti soatlik ma'lumotlar eskiroq. git blame: bir belgiga farq qiladigan ikkita xost nomi va hech kimdan tiklanmagan beshta zaxira tizimi.
1:58 Muhandis emas. Bosh direktor tomonidan imzolangan postmortum uni anonim saqlaydi, ishlab chiqarish promptini qizil rangga bo'yaydi va ma'lumotlar chidamliligiga egasini beradi, chunki ungacha hech kim yo'q edi. Portlash radiusi: o'n sakkiz soat ishlamay qolgan, olti soatlik ma'lumotlar yo'qolgan, taxminan besh ming loyiha, besh ming izoh, yetti yuzta yangi foydalanuvchi va besh ming kishi progress paneli tomosha qilmoqda. Hacker News jonli hujjatga 1,162 ball beradi va bir qatorni ularga qaytaradi:
2:18 beshta zaxiradan hech biri. Hukm, postmortum: javob bo'yicha SHIP IT. Ular hodisani ommaviy ravishda boshqaradi, jarayonni ayblaydi va tuzatish ro'yxatini nashr etadi masala raqamlari bilan. Dushanba harakati: zaxirani tiklash. Agar siz uni hech qachon tiklamagan bo'lsangiz, sizda u yo'q. Menga hali ham gapirishga ruxsat berilmagan hodisani yuboring, izohlarda yoki daily diff dot devda.
2:42 Va bugungi farq shu. Men Axrisidan Niko. Mas'uliyat bilan birlashtiring. Qanday qilib GitLab.com ishlab chiqarish ma'lumotlar bazasini o'chirishga olib kelgan halokatli xato aniq bir belgi noto'g'ri bo'lgani sababli sodir bo'ldi. 2017-yilgi GitLab.com ishlab chiqarish ma'lumotlar bazasini o'chirishda nima sodir bo'ldi?
Manbalar
- GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
- GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
- @gitlabstatus, "We accidentally deleted production data…"twitter.com
- @gitlabstatus, emergency maintenance noticetwitter.com
- Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
- Hacker News, the postmortem thread (377 points)news.ycombinator.com



