+− THE DAILY DIFFdev & AI news
SHIP IT

Bir mühəndis GitLab-ın istehsal məlumat bazasını sildi. 300 giqabayt.

31 yanvar 2017-ci il, 23:27 UTC: uzun bir gecənin sonunda xarab olmuş replika ilə mübarizə aparan GitLab mühəndisi db2 əvəzinə db1-də PostgreSQL məlumat qovluğunu silir.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

31 yanvar 2017-ci il, 23:27 UTC: uzun bir gecənin sonunda xarab olmuş replika ilə mübarizə aparan GitLab mühəndisi db2 əvəzinə db1-də PostgreSQL məlumat qovluğunu silir. db1 əsasdır. GitLab.com-un məlumat bazasının təxminən 300 GB-ı bir-iki saniyə ərzində yox olur və beş ehtiyat nüsxə və replikasiya mexanizmindən heç biri işləmir. Postmortem: spam sıçrayışından səhv host adına qədər zaman qrafiki, pg_basebackup-ın niyə ilişib qalması, pg_dump-ın niyə səssizcə uğursuz olması (9.2 bazasında 9.6 ikili fayllar, DMARC tərəfindən rədd edilən uğursuzluq e-poçtları), YouTube-da canlı yayımlanan 6 saatlıq köhnə mərhələli snapshotdan 18 saatlıq bərpa və əslində kimin günahkar olması. Cavaba dair hökm: SHIP IT.

Yazılı nəşri oxuyun (İngiliscə) ↗

Bu videoda nələr əhatə olunur

  • 31 yanvar 2017: əsas məlumat qovluğunda rm -Rvf; ~300 GB silindi, 4.5 GB qaldı
  • 5 ehtiyat nüsxədən 5-i uğursuz olur: boş S3 qab (pg_dump versiya uyğunsuzluğu), DB-də Azure snapshotları yoxdur, silinmiş replika, vebhooksuz gündəlik LVM kopyası
  • 1 fevral, 18:00 UTC: GitLab.com 6 saatlıq əl ilə çəkilmiş snapshotdan bərpa edildi; canlı sənəd, canlı yayım, düzəliş siyahısı ilə günahsız postmortem

Suallar və cavablar

2017-ci ildə GitLab.com istehsal məlumat bazasının silinməsində nə baş verdi?

31 yanvar 2017-ci il tarixində, gecə saatlarında, bir GitLab mühəndisi sınmış replikanı təmir etməyə çalışarkən db2 əvəzinə db1-də PostgreSQL məlumat qovluğunu sildi. db1 əsas server idi. Təxminən 300 GB məlumatdan 4.5 GB qaldı. GitLab istehsal məlumatlarını təsadüfən sildiyini tvitterdə bildirdi, hadisə qeydlərini ictimaiyyətə açdı və bərpa prosesini YouTube-da canlı yayımladı.

about.gitlab.com · about.gitlab.com · twitter.com

GitLab-ın beş ehtiyat nüsxə və replikasiya mexanizmindən heç biri lazım olduğunda niyə işləmədi?

GitLab-ın postmorteminə görə, S3-ə gündəlik pg_dump uğursuz olurdu, çünki cron işi 9.6 məlumat bazası üçün PostgreSQL 9.2 ikili faylları seçirdi və uğursuzluq e-poçtları DMARC-ın olmaması səbəbindən rədd edilirdi. Azure snapshotları fayl serverlərini əhatə edirdi, lakin məlumat bazalarını deyil. Replika qəsdən silinmişdi və gündəlik snapshotun vebhookları silinmişdi. Yalnız əlaqəsiz bir test üçün çəkilmiş əl ilə snapshot qaldı.

about.gitlab.com · about.gitlab.com

GitLab.com-un bərpası niyə təxminən on səkkiz saat çəkdi?

Bərpa etmək staging diskini Azure-un ucuz saxlama yerindən saniyədə altmış meqabit sürətlə istehsala kopyalamaq demək idi, bu da on səkkiz saat çəkdi. GitLab.com 1 fevral saat 18:00 UTC-də, altı saatlıq əl ilə snapshot istifadə edərək geri qayıtdı. Hadisəyə görə, kəsilmə altı saatlıq məlumat, təxminən beş min layihə, beş min şərh və yeddi yüz yeni istifadəçiyə başa gəldi.

about.gitlab.com · about.gitlab.com

Günahsız postmortemlər əmri işlədən mühəndisə deyil, prosesə niyə diqqət yetirir?

CEO tərəfindən imzalanmış GitLab-ın postmortemü mühəndisi anonim saxladı və uğursuzluğu bir simvol fərqli iki host adına və heç kimin əvvəl bərpa etmədiyi beş ehtiyat nüsxə sisteminə bağladı. İstehsal komandasının sorğu işarəsini qırmızı rəngə boyadı və məlumatın davamlılığına bir sahib verdi, çünki əvvəl heç biri yox idi. Düzəliş siyahısı problem nömrələri ilə nəşr edildi.

about.gitlab.com · news.ycombinator.com

Komandalar GitLab-ın məlumat bazası incidentindən nə götürməli və GitLab-ın cavabı düzgün idimi?

The Daily Diff-in hökmü cavaba görə SHIP IT idi. GitLab incidenti ictimai şəkildə idarə etdi, prosesi günahlandırdı və problem nömrələri ilə düzəliş siyahısını nəşr etdi. Hadisənin bazar ertəsi hərəkəti bir ehtiyat nüsxəni bərpa etməkdir, çünki heç vaxt bərpa edilməyən bir ehtiyat nüsxə ehtiyat nüsxə kimi qəbul edilə bilməz. Hacker News canlı incident sənədinə 1162 bal verdi.

about.gitlab.com · news.ycombinator.com

Tərcümə olunmuş transkript

Orijinal ingilis dilindəki nəqldən tərcümə edilmişdir. Mövcud audio və subtitrlər YouTube tərəfindən idarə olunur.

0:00 GitLab-da bir mühəndis səhv məlumat bazası serverində rm -rf əmrini işlədir, və GitLab dot com-un üç yüz giqabaytı bir-iki saniyə ərzində yox olur, bir host adını oxumağa nə qədər vaxt lazımdırsa, o qədər. 31 yanvar 2017-ci il, saat 23:27. UTC. GitLab istehsal məlumatlarını təsadüfən sildiyini tvit edir, incident qeydlərini internetə açır və bərpanı YouTube-da canlı yayımlayır, platformada ikinci ən çox izlənən canlı yayım. Növbəti gün, yazılı şəkildə: beş ehtiyat nüsxə texnikasından,

0:25 heç biri etibarlı şəkildə işləmir. Necə baş verir, niyə mümkündür və əslində kimin günahkar olması. Bu The Daily Diff, postmortem. 17:20: bir mühəndis istehsalın snapshotını çəkir staging-də bir yük tənzimləyicisini sınamaq üçün. 19:00: spam məlumat bazasına zərbə vurur, üstəlik bir GitLab əməkdaşını sərt şəkildə silən bir iş troll sui-istifadə barədə məlumat verdi. 23:00: replika o qədər geri qalır ki, əsas artıq tələb olunan logu silmişdir;

0:48 yeganə düzəliş replikanı silmək və əsası yenidən kopyalamaqdır. pg_basebackup heç bir çıxış olmadan donur. Əslində, səssizcə əsası gözləyir; heç kim bunu bilmir, və runbookda yazılmayıb. Saat on birdə işdən çıxmağı düşünən mühəndis boş məlumat qovluğunun problem olduğuna qərar verir və onu silir. db1-də. Əsas. Bir-iki saniyə sonra fərq edir; təxminən üç yüz giqabaytdan,

1:11 4.5 qalır. Ehtiyat nüsxələr. Bir: S3-ə gündəlik pg_dump. Qab boşdur. Cron işi məlumat bazası olmayan bir proqram serverində işləyir, buna görə paket 9.6 məlumat bazası üçün PostgreSQL 9.2 ikili faylları seçir, uğursuz olur və uğursuzluğu e-poçtla göndərir, lakin DMARC-ın olmaması səbəbindən rədd edilir. İki: Azure disk snapshotları, fayl serverləri üçün aktivdir, məlumat bazaları üçün deyil.

1:32 Üç: replika, bir saat əvvəl qəsdən silindi. Dörd: gündəlik snapshot, 24 saatlıq, staging sinxronizasiyası tərəfindən bütün vebhooklar silindi. Beş: 17:20-də çəkilmiş əl ilə snapshot, əlaqəsiz bir test üçün. Bu qalib gəlir. Bərpa etmək staging diskini Azure-un ucuz saxlama yerindən saniyədə altmış meqabit sürətlə istehsala kopyalamaq deməkdir: on səkkiz saat. GitLab dot com 1 fevral saat altıda geri qayıdır. UTC, altı saatlıq məlumat daha köhnə. git blame: bir simvol fərqli iki host adı və heç kimin əvvəl bərpa etmədiyi beş ehtiyat nüsxə sistemi.

1:58 Mühəndis deyil. CEO tərəfindən imzalanmış postmortem onu anonim saxlayır, istehsal komandasının sorğu işarəsini qırmızı rəngə boyayır və məlumatın davamlılığına bir sahib verir, çünki indiyə qədər heç biri yox idi. Partlayış radiusu: on səkkiz saat işləmədi, altı saatlıq məlumat yox oldu, təxminən beş min layihə, beş min şərh, yeddi yüz yeni istifadəçi və beş min insan irəliləyiş çubuğunu izləyir. Hacker News canlı sənədə 1162 bal verir və onlardan birini sitat gətirir:

2:18 beş ehtiyat nüsxədən heç biri. Hökm, postmortem: cavaba görə, ship it. Onlar incidenti ictimai şəkildə idarə edir, prosesi günahlandırır və düzəliş siyahısını problem nömrələri ilə nəşr edirlər. Bazar ertəsi hərəkəti: ehtiyat nüsxəni bərpa edin. Əgər onu heç bərpa etməmisinizsə, sizdə yoxdur. Mənə hələ danışmağınıza icazə verilməyən incidenti göndərin, şərhlərdə, və ya daily diff dot dev ünvanında.

2:42 Və bugünkü fərq budur. Mən Axrisi-dən Nikonam. Məsuliyyətlə birləşdirin. An engineer at GitLab runs rm -rf on the wrong database server, and three hundred gigabytes of GitLab dot com vanish in a second or two,

Mənbələr

  1. GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
  2. GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
  3. @gitlabstatus, "We accidentally deleted production data…"twitter.com
  4. @gitlabstatus, emergency maintenance noticetwitter.com
  5. Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
  6. Hacker News, the postmortem thread (377 points)news.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Əlaqəli videolar