+− THE DAILY DIFFdev & AI news
SHIP IT

Bir mühendis GitLab'ın üretim veritabanını sildi. 300 gigabayt.

31 Ocak 2017, 23:27 UTC: uzun bir gecenin sonunda bozuk bir replikayla mücadele eden bir GitLab mühendisi, db2 yerine db1'deki PostgreSQL veri dizinini kaldırdı.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

31 Ocak 2017, 23:27 UTC: uzun bir gecenin sonunda bozuk bir replikayla mücadele eden bir GitLab mühendisi, db2 yerine db1'deki PostgreSQL veri dizinini kaldırdı. db1 birincildi. GitLab.com'un veritabanının yaklaşık 300 GB'ı bir veya iki saniye içinde kayboldu ve beş yedekleme ve replikasyon mekanizmasından hiçbiri çalışmıyordu. Olay sonrası inceleme: spam artışından yanlış ana bilgisayar adına kadar zaman çizelgesi, pg_basebackup'ın neden takılı kaldığı, pg_dump'ın neden sessizce başarısız olduğu (9.6 veritabanında 9.2 ikili dosyaları, DMARC tarafından geri dönen hata e-postaları), YouTube'da canlı yayınlanan 6 saatlik bir hazırlık anlık görüntüsünden 18 saatlik geri yükleme ve asıl suçlu kim. Yanıta ilişkin karar: SHIP IT.

Yazılı sürümü oku (İngilizce) ↗

Bu video neleri kapsar

  • 31 Ocak 2017: birincil veri dizininde rm -Rvf; ~300 GB kaldırıldı, 4.5 GB kaldı
  • 5 yedeklemenin 5'i başarısız oldu: boş S3 kovası (pg_dump sürüm uyuşmazlığı), DB'de Azure anlık görüntüsü yok, silinmiş kopya, web kancaları olmayan günlük LVM kopyası
  • 1 Şubat, 18:00 UTC: GitLab.com, 6 saatlik manuel bir anlık görüntüden geri döndü; canlı belge, canlı yayın, düzeltme listesi içeren suçsuz olay sonrası inceleme

Sorular ve cevaplar

2017 GitLab.com üretim veritabanı silme olayında ne oldu?

31 Ocak 2017'nin sonlarında, bozuk bir kopyayı onarmaya çalışan bir GitLab mühendisi, db2 yerine db1'deki PostgreSQL veri dizinini kaldırdı. db1 birincildi. Yaklaşık 300 GB'ın 4.5 GB'ı kaldı. GitLab, üretim verilerini yanlışlıkla sildiğini tweetledi, olay notlarını herkese açık olarak yayınladı ve kurtarma işlemini YouTube'da canlı yayınladı.

about.gitlab.com · about.gitlab.com · twitter.com

GitLab'ın beş yedekleme ve replikasyon mekanizmasından hiçbiri neden ihtiyaç duyulduğunda çalışmadı?

GitLab'ın olay sonrası incelemesine göre, günlük pg_dump S3'e başarısız oluyordu çünkü cron işi 9.6 veritabanı için PostgreSQL 9.2 ikili dosyalarını seçiyordu ve hata e-postaları DMARC eksikliği nedeniyle geri dönüyordu. Azure anlık görüntüleri dosya sunucularını kapsıyordu ancak veritabanlarını kapsamıyordu. Kopya kasten silinmişti ve günlük anlık görüntünün web kancaları çıkarılmıştı. Yalnızca alakasız bir test için alınmış manuel bir anlık görüntü hayatta kaldı.

about.gitlab.com · about.gitlab.com

GitLab.com'u geri yüklemek neden yaklaşık on sekiz saat sürdü?

Geri yükleme, hazırlık diskini Azure'ın ucuz depolaması üzerinden saniyede altmış megabit hızla üretime kopyalamak anlamına geliyordu ve bu on sekiz saat sürdü. GitLab.com, 1 Şubat saat 18:00 UTC'de, altı saatlik manuel bir anlık görüntü kullanarak geri döndü. Bölüme göre kesinti, altı saatlik veri, yaklaşık beş bin proje, beş bin yorum ve yedi yüz yeni kullanıcıya mal oldu.

about.gitlab.com · about.gitlab.com

Suçsuz olay sonrası incelemeler, komutu çalıştıran mühendis yerine neden sürece odaklanır?

CEO tarafından imzalanan GitLab'ın olay sonrası incelemesi, mühendisi anonim tuttu ve hatayı bir karakter arayla iki ana bilgisayar adına ve daha önce kimsenin geri yüklemediği beş yedekleme sistemine bağladı. Üretim istemini kırmızıya boyadı ve veri kalıcılığına bir sahip atadı, çünkü daha önce hiç yoktu. Düzeltme listesi sorun numaralarıyla birlikte yayınlandı.

about.gitlab.com · news.ycombinator.com

Ekipler GitLab'ın veritabanı olayından ne ders çıkarmalı ve GitLab'ın tepkisi sağlam mıydı?

The Daily Diff'in kararı, yanıta ilişkin olarak SHIP IT oldu. GitLab olayı halka açık yürüttü, süreci suçladı ve sorun numaralarıyla birlikte bir düzeltme listesi yayınladı. Bölümün Pazartesi eylemi, bir yedeklemeyi geri yüklemekti, çünkü hiç geri yüklenmemiş bir yedekleme yedek olarak sayılamaz. Hacker News, canlı olay belgesine 1.162 puan verdi.

about.gitlab.com · news.ycombinator.com

Çevrilmiş deşifre

Orijinal İngilizce anlatımdan çevrilmiştir. Mevcut ses ve altyazılar YouTube tarafından kontrol edilir.

0:00 GitLab'daki bir mühendis yanlış veritabanı sunucusunda rm -rf komutunu çalıştırıyor, ve üç yüz gigabayt GitLab dot com bir veya iki saniye içinde kayboluyor, bir ana bilgisayar adını okumak ne kadar sürerse o kadar. 31 Ocak 2017, 23:27. UTC. GitLab üretim verilerini yanlışlıkla sildiğini tweet'liyor, olay notlarını internete açıyor ve kurtarma işlemini YouTube'da canlı yayınlıyor, platformdaki en çok izlenen ikinci canlı yayın. Ertesi gün, yazılı olarak: beş yedekleme tekniğinden,

0:25 hiçbiri güvenilir bir şekilde çalışmıyor. Nasıl oluyor, neden mümkün ve gerçekte kim suçlanıyor. Burası The Daily Diff, olay sonrası inceleme. 17:20: bir mühendis üretim anlık görüntüsü alıyor hazırlık ortamında bir yük dengeleyiciyi test etmek için. 19:00: spam veritabanını vuruyor, ayrıca bir GitLab çalışanını hard-silme işi de var bir trol kötüye kullanım nedeniyle şikayet etti. 23:00: kopya o kadar geride kalıyor ki birincil zaten atmış

0:48 ihtiyaç duyduğu günlüğü; tek çözüm kopyayı silmek ve birincili kopyalamak tekrar. pg_basebackup çıktı vermeden takılıyor. Aslında sessizce birincili bekliyor; kimse bunu bilmiyor, ve kılavuzda yazmıyor. Saat on birde mesaiyi bitirmeyi düşünen mühendis, boş veri dizininin sorun olduğunu düşünüyor ve onu kaldırıyor. db1'de. Birincil. Bir veya iki saniye sonra fark ediyor; yaklaşık üç yüz gigabayttan,

1:11 4.5 kalmış. Yedeklemeler. Bir: pg_dump S3'e, günlük. Kova boş. Cron işi veritabanı olmayan bir uygulama sunucusunda çalışıyor, bu yüzden paket 9.6 veritabanı için PostgreSQL 9.2 ikili dosyalarını seçiyor, başarısız oluyor ve eksik DMARC nedeniyle geri dönen bir hata e-postası gönderiyor. İki: Azure disk anlık görüntüleri, dosya sunucuları için etkinleştirildi, veritabanları için değil.

1:32 Üç: kopya, bir saat önce kasıtlı olarak silinmiş. Dört: günlük anlık görüntü, 24 saatlik, tüm web kancaları tarafından çıkarılmış hazırlık senkronizasyonu. Beş: 17:20'den alınan manuel anlık görüntü, alakasız bir test için. O kazanıyor. Geri yükleme, hazırlık diskini Azure'ın ucuz depolaması üzerinden üretime kopyalamak demek saniyede altmış megabit hızla: on sekiz saat. GitLab dot com 1 Şubat akşam altıda geri döndü. UTC, altı saatlik veri daha eski.

1:58 git blame: bir karakter arayla iki ana bilgisayar adı ve kimsenin daha önce geri yüklemediği beş yedekleme sistemi. Asıl önemli olan mühendis değil. Mühendis değil. CEO tarafından imzalanan olay sonrası inceleme onu anonim tutuyor, üretim istemini kırmızıya boyuyor ve veri kalıcılığına bir sahip atıyor, çünkü şimdiye kadar hiç yoktu. Patlama yarıçapı: on sekiz saat kesinti, altı saatlik veri kaybı, yaklaşık beş bin proje, beş bin yorum,

2:18 yedi yüz yeni kullanıcı ve beş bin kişi bir ilerleme çubuğunu izliyor. Hacker News canlı belgeye 1.162 puan veriyor ve bir satır alıntı yapıyor onlara geri: beş yedeklemeden hiçbiri. Karar, olay sonrası inceleme: SHIP IT, yanıta ilişkin. Olayı halka açık yürüttüler, süreci suçladılar ve düzeltme listesini yayınladılar sorun numaralarıyla. Pazartesi eylemi: bir yedeklemeyi geri yükleyin. Eğer hiç geri yüklemediyseniz, bir tane yok demektir.

2:42 Bana hala konuşmanıza izin verilmeyen olayı gönderin, yorumlar kısmında veya the daily diff dot dev adresinden. Ve bugünün farkı bu. Ben Axrisi'den Niko. Sorumlu bir şekilde birleştirin.

Kaynaklar

  1. GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
  2. GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
  3. @gitlabstatus, "We accidentally deleted production data…"twitter.com
  4. @gitlabstatus, emergency maintenance noticetwitter.com
  5. Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
  6. Hacker News, the postmortem thread (377 points)news.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

İlgili videolar