Inżynier usunął produkcyjną bazę danych GitLab. 300 gigabajtów.
31 stycznia 2017, 23:27 UTC: inżynier GitLab, walcząc z uszkodzoną repliką pod koniec długiej nocy, usuwa katalog danych PostgreSQL na db1 zamiast db2.
31 stycznia 2017, 23:27 UTC: inżynier GitLab, walcząc z uszkodzoną repliką pod koniec długiej nocy, usuwa katalog danych PostgreSQL na db1 zamiast db2. db1 jest głównym. Około 300 GB bazy danych GitLab.com znika w sekundę lub dwie, a z pięciu mechanizmów tworzenia kopii zapasowych i replikacji żaden nie działa. Postmortem: oś czasu od skoku spamu do błędnej nazwy hosta, dlaczego pg_basebackup wyglądał na zablokowany, dlaczego pg_dump zawodził cicho (binarki 9.2 na bazie danych 9.6, e-maile o błędach odrzucone przez DMARC), 18-godzinne przywracanie z 6-godzinnej migawki staging streamowane na żywo na YouTube i kto tak naprawdę ponosi winę. Werdykt w sprawie odpowiedzi: SHIP IT.
Przeczytaj wydanie pisemne (angielski) ↗
Co obejmuje ten film
- 31 stycznia 2017: rm -Rvf w katalogu danych głównego serwera; usunięto ~300 GB, pozostało 4,5 GB
- 5 z 5 kopii zapasowych zawodzi: pusty kubeł S3 (niezgodność wersji pg_dump), brak migawek Azure na bazie danych, usunięta replika, codzienna kopia LVM bez webhooków
- 1 lutego, 18:00 UTC: GitLab.com wraca z 6-godzinnej ręcznej migawki; dokument na żywo, transmisja na żywo, postmortem bez obwiniania z listą poprawek
Pytania i odpowiedzi
Co stało się podczas usunięcia produkcyjnej bazy danych GitLab.com w 2017 roku?
Późnym wieczorem 31 stycznia 2017 roku, inżynier GitLab, próbujący naprawić uszkodzoną replikę, usunął katalog danych PostgreSQL na db1 zamiast db2. db1 był głównym. Z około 300 GB, pozostało 4,5 GB. GitLab tweetnął, że przypadkowo usunął dane produkcyjne, publicznie udostępnił notatki dotyczące incydentu i transmitował odzyskiwanie na YouTube.
Dlaczego żaden z pięciu mechanizmów tworzenia kopii zapasowych i replikacji GitLab nie zadziałał, gdy był potrzebny?
Według postmortem GitLab, codzienna kopia pg_dump do S3 zawodziła, ponieważ zadanie crona wybrało binarki PostgreSQL 9.2 dla bazy danych 9.6, a e-maile o błędach odbijały się z powodu brakującego DMARC. Migawki Azure obejmowały serwery plików, ale nie bazy danych. Replika została celowo usunięta, a codzienna migawka miała usunięte webhooki. Przetrwała tylko ręczna migawka, wykonana dla niezwiązanego testu.
Dlaczego przywracanie GitLab.com zajęło około osiemnastu godzin?
Przywracanie oznaczało kopiowanie dysku staging z powrotem do produkcji przez tani magazyn Azure z prędkością sześćdziesięciu megabitów na sekundę, co zajęło osiemnaście godzin. GitLab.com wrócił 1 lutego o 18:00 UTC, korzystając z ręcznej migawki sprzed sześciu godzin. Awarie kosztowały sześć godzin danych, około pięciu tysięcy projektów, pięciu tysięcy komentarzy i siedemset nowych użytkowników, według odcinka.
Dlaczego bezstronne postmortem skupiają się na procesie, a nie na inżynierze, który wykonał polecenie?
Postmortem GitLab, podpisane przez CEO, utrzymało inżyniera anonimowego i przypisało awarię dwóm nazwom hostów różniącym się jednym znakiem i pięciu systemom kopii zapasowych, z których nikt nigdy nie przywracał. Kolorowało monit produkcyjny na czerwono i nadawało trwałości danych właściciela, ponieważ wcześniej go nie było. Lista poprawek została opublikowana z numerami problemów.
Co zespoły powinny wyciągnąć z incydentu z bazą danych GitLab, i czy odpowiedź GitLab była rozsądna?
Werdykt The Daily Diff brzmiał SHIP IT, w odpowiedzi. GitLab prowadził incydent publicznie, obwinił proces i opublikował listę poprawek z numerami problemów. Akcja poniedziałkowa odcinka to przywrócenie kopii zapasowej, ponieważ kopia zapasowa, która nigdy nie została przywrócona, nie może być uznana za kopię zapasową. Hacker News dał dokumentowi incydentu na żywo 1162 punkty.
Przetłumaczona transkrypcja
Przetłumaczono z oryginalnej narracji angielskiej. Dostępne audio i napisy są kontrolowane przez YouTube.
0:00 Inżynier w GitLab uruchamia rm -rf na niewłaściwym serwerze bazy danych, a trzysta gigabajtów GitLab.com znika w sekundę lub dwie, czyli mniej więcej tyle, ile zajmuje odczytanie nazwy hosta. 31 stycznia 2017, 23:27 UTC. GitLab tweetuje, że przypadkowo usunął dane produkcyjne, udostępnia swoje notatki dotyczące incydentu w internecie i transmituje odzyskiwanie na YouTube, jako numer dwa w transmisjach na żywo na platformie. Następnego dnia, pisemnie: z pięciu technik tworzenia kopii zapasowych,
0:25 żadna nie działa niezawodnie. Jak to się dzieje, dlaczego jest to możliwe i kto tak naprawdę ponosi winę. To jest The Daily Diff, postmortem. 17:20: inżynier tworzy migawkę produkcji w celu przetestowania load balancera w środowisku staging. 19:00: spam uderza w bazę danych, plus zadanie twardego usuwania pracownika GitLab zgłoszonego przez trolla za nadużycie. 23:00: replika tak bardzo się opóźnia, że główny serwer już odrzucił
0:48 potrzebny log; jedynym rozwiązaniem jest wyczyszczenie repliki i skopiowanie głównego serwera ponownie. pg_basebackup zawiesza się bez żadnego wyjścia. W rzeczywistości czeka, cicho, na główny serwer; nikt o tym nie wie, a runbook o tym nie mówi. Inżynier, który miał wylogować się o jedenastej, decyduje, że pusty katalog danych jest problemem i usuwa go. Na db1. Głównym serwerze. Zauważa sekundę lub dwie później; z około trzystu gigabajtów,
1:11 pozostaje 4,5. Kopie zapasowe. Pierwsza: pg_dump do S3, codziennie. Kubeł jest pusty. Zadanie crona uruchamia się na serwerze aplikacji bez bazy danych, więc pakiet wybiera binarki PostgreSQL 9.2 dla bazy danych 9.6, zawodzi i wysyła e-maile o błędzie, które odbijają się z powodu brakującego DMARC. Druga: migawki dysków Azure, włączone dla serwerów plików, nie dla baz danych.
1:32 Trzecia: replika, celowo wyczyszczona godzinę temu. Czwarta: codzienna migawka, 24-godzinna, wszystkie webhooki usunięte przez synchronizację staging. Piąta: ręczna migawka z 17:20, do niezwiązanego testu. Ta wygrywa. Przywracanie oznacza kopiowanie dysku staging z powrotem do produkcji przez tani magazyn Azure z prędkością sześćdziesięciu megabitów na sekundę: osiemnaście godzin. GitLab.com wraca 1 lutego o 18:00 UTC, sześć godzin starszych danych.
1:58 git blame: dwie nazwy hostów różniące się jednym znakiem i pięć systemów kopii zapasowych, z których nikt nigdy nie przywracał. Nie inżynier. Postmortem, podpisane przez CEO, utrzymuje jego anonimowość, koloruje monit produkcyjny na czerwono i nadaje trwałości danych właściciela, ponieważ do tej pory go nie było. Promień eksplozji: osiemnaście godzin przestoju, sześć godzin danych utraconych, około pięciu tysięcy projektów, pięciu tysięcy komentarzy,
2:18 siedemset nowych użytkowników i pięć tysięcy ludzi oglądających pasek postępu. Hacker News daje dokumentowi na żywo 1162 punkty i cytuje jedną linijkę z powrotem: z pięciu kopii zapasowych, żadnej. Werdykt, postmortem: SHIP IT, w odpowiedzi. Prowadzą incydent publicznie, obwiniają proces i publikują listę poprawek z numerami problemów. Akcja poniedziałkowa: przywróć kopię zapasową. Jeśli nigdy jej nie przywróciłeś, to jej nie masz.
2:42 Wyślij mi incydent, o którym nadal nie wolno ci rozmawiać, w komentarzach lub na thedailydiff.dev. I to jest diff na dziś. Jestem Niko z Axrisi. Łącz odpowiedzialnie.
Źródła
- GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
- GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
- @gitlabstatus, "We accidentally deleted production data…"twitter.com
- @gitlabstatus, emergency maintenance noticetwitter.com
- Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
- Hacker News, the postmortem thread (377 points)news.ycombinator.com



