+− THE DAILY DIFFdev & AI news
SHIP IT

Egy mérnök törölte a GitLab éles adatbázisát. 300 gigabájt.

2017.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

2017. január 31., 23:27 UTC: egy GitLab mérnök, aki egy hosszú éjszaka végén egy meghibásodott replikával küzdött, a db2 helyett a db1-en távolította el a PostgreSQL adatkönyvtárát. A db1 volt a primary. A GitLab.com adatbázisának mintegy 300 GB-ja másodpercek alatt eltűnt, és az öt biztonsági mentési és replikációs mechanizmus közül egy sem működött. Posztmortem: az idővonal a spam rohamtól a rossz hosztnévig, miért tűnt úgy, hogy a pg_basebackup beragadt, miért hibázott a pg_dump némán (9.2-es binárisok 9.6-os adatbázison, a DMARC által visszautasított hibalevelek), a 18 órás visszaállítás egy 6 órával korábbi staging pillanatképből élőben közvetítve a YouTube-on, és kit terhel valójában a felelősség. A válasz ítélete: SHIP IT.

Olvassa el az írott kiadást (angolul) ↗

Amit ez a videó tartalmaz

  • 2017. január 31.: rm -Rvf a primary adatkönyvtárán; ~300 GB eltávolítva, 4,5 GB maradt
  • 5-ből 5 biztonsági mentés meghiúsul: üres S3 bucket (pg_dump verzióeltérés), nincs Azure pillanatkép az adatbázison, törölt replika, napi LVM másolat webhookok nélkül
  • Február 1., 18:00 UTC: A GitLab.com visszaállt egy 6 órával korábbi manuális pillanatképből; élő dokumentum, élő közvetítés, hibamentes posztmortem javítási listával

Kérdések és válaszok

Mi történt a 2017-es GitLab.com éles adatbázisának törlésével?

2017. január 31-én késő este egy GitLab mérnök, aki egy meghibásodott replikát próbált megjavítani, a db2 helyett a db1-en távolította el a PostgreSQL adatkönyvtárát. A db1 volt az elsődleges. A körülbelül 300 GB-ból 4,5 GB maradt. A GitLab tweetelt, hogy véletlenül törölte a éles adatokat, nyilvánossá tette az incidensről szóló jegyzeteit, és élőben közvetítette a helyreállítást a YouTube-on.

about.gitlab.com · about.gitlab.com · twitter.com

Miért nem működött a GitLab öt biztonsági mentési és replikációs mechanizmusa közül egy sem, amikor szükség volt rájuk?

A GitLab posztmortemje szerint a napi pg_dump S3-ra való mentése azért hiúsult meg, mert a cron feladat a PostgreSQL 9.2 binárisokat választotta egy 9.6-os adatbázishoz, és a hibalevelek DMARC hiány miatt visszapattantak. Az Azure pillanatképek a fájlszerverekre vonatkoztak, de nem az adatbázisokra. A replikát szándékosan törölték, és a napi pillanatképről eltávolították a webhookokat. Csak egy manuális pillanatkép, amelyet egy nem kapcsolódó teszthez készítettek, maradt meg.

about.gitlab.com · about.gitlab.com

Miért tartott körülbelül tizennyolc óráig a GitLab.com helyreállítása?

A visszaállítás azt jelentette, hogy a staging lemezt vissza kellett másolni az éles környezetbe az Azure olcsó tárolóján keresztül hatvan megabit/másodperc sebességgel, ami tizennyolc órát vett igénybe. A GitLab.com február 1-jén 18:00 UTC-kor tért vissza, egy hat órával korábbi manuális pillanatképet használva. Az eset szerint a leállás hat órányi adatot, körülbelül ötezer projektet, ötezer kommentet és hétszáz új felhasználót érintett.

about.gitlab.com · about.gitlab.com

Miért összpontosítanak a hibamentes posztmortemek a folyamatra, nem pedig arra a mérnökre, aki kiadta a parancsot?

A GitLab vezérigazgatója által aláírt posztmortem anonim módon tartotta a mérnököt, és a hibát két, egy karakterben eltérő hosztnévnek, valamint öt olyan biztonsági mentési rendszernek tulajdonította, amelyből senki sem állított még vissza. Vörösre színezte az éles környezet promptját, és tulajdonost adott az adatmegőrzésnek, mert korábban nem volt ilyen. A javítási listát hibaszámokkal tették közzé.

about.gitlab.com · news.ycombinator.com

Mit tanulhatnak a csapatok a GitLab adatbázis incidenséből, és helyes volt-e a GitLab válasza?

A The Daily Diff ítélete SHIP IT volt, a válaszra vonatkozóan. A GitLab nyilvánosan kezelte az incidenst, a folyamatot okolta, és közzétett egy javítási listát hibaszámokkal. Az epizód hétfői teendője egy biztonsági mentés visszaállítása, mert egy olyan biztonsági mentés, amelyet soha nem állítottak vissza, nem tekinthető biztonsági mentésnek. A Hacker News 1162 pontot adott az élő incidens dokumentumnak.

about.gitlab.com · news.ycombinator.com

Lefordított átirat

Az eredeti angol narrációból fordítva. A rendelkezésre álló hangot és feliratokat a YouTube vezérli.

0:00 Egy GitLab mérnök az rm -rf parancsot futtatja rossz adatbázis szerveren, és háromszáz gigabájt GitLab dot com eltűnik egy-két másodperc alatt, körülbelül annyi idő alatt, amennyi egy hosztnév elolvasásához kell. 2017. január 31., este 11:27 UTC. A GitLab tweetel arról, hogy véletlenül törölte az éles adatokat, nyilvánosan elérhetővé teszi az incidensről szóló jegyzeteit az interneten, és élőben közvetíti a helyreállítást a YouTube-on, a platform második legnézettebb élő közvetítéseként. Másnap írásban: öt biztonsági mentési technika közül,

0:25 egyik sem működik megbízhatóan. Hogyan történik, miért lehetséges, és kit terhel valójában a felelősség. Ez a The Daily Diff, posztmortem. 17:20: egy mérnök pillanatképet készít az éles környezetről egy terheléselosztó teszteléséhez a staging környezetben. 19:00: spam támadja az adatbázist, plusz egy feladat véglegesen töröl egy GitLab alkalmazottat, akit egy troll jelentett be visszaélés miatt. 23:00: a replika annyira lemarad, hogy a primary már eldobta

0:48 a szükséges naplót; az egyetlen megoldás a replika törlése és a primary másolása újra. A pg_basebackup kimenet nélkül lefagy. Valójában némán vár a primary-re; senki sem tudja ezt, és a runbook sem említi. A mérnök, aki tizenegykor akart befejezni, úgy dönt, az üres adatkönyvtár a probléma, és eltávolítja. A db1-en. A primary-n. Egy-két másodperccel később veszi észre; körülbelül háromszáz gigabájtból,

1:11 4,5 marad. A biztonsági mentések. Egy: pg_dump az S3-ra, naponta. Az bucket üres. A cron feladat egy olyan alkalmazásszerveren fut, amelyen nincs adatbázis, így a csomag PostgreSQL 9.2 binárisokat választ egy 9.6-os adatbázishoz, meghiúsul, és e-maileket küld a hibáról, ami DMARC hiány miatt visszapattan. Kettő: Azure lemez pillanatképek, engedélyezve a fájlszerverekhez, de nem az adatbázisokhoz.

1:32 Három: a replika, szándékosan törölve egy órával ezelőtt. Négy: a napi pillanatkép, 24 órás, minden webhookot eltávolított a staging szinkronizálás. Öt: az 5:20-as manuális pillanatkép, egy nem kapcsolódó teszthez. Ez győz. A visszaállítás azt jelenti, hogy a staging lemezt visszamásolják az éles környezetbe az Azure olcsó tárolóján keresztül hatvan megabit/másodperc sebességgel: tizennyolc óra. A GitLab dot com visszatér február 1-jén este hatkor UTC, hat órányi adattal korábban.

1:58 git blame: két hosztnév egy karakter eltéréssel, és öt biztonsági mentési rendszer, amiből senki sem állított még vissza. Nem a mérnök. A posztmortem, amelyet a vezérigazgató írt alá, anonim marad, vörösre színezi az éles környezet promptját, és tulajdonost ad az adatmegőrzésnek, mert eddig nem volt ilyen. Hatáskör: tizennyolc óra leállás, hat órányi adat elvesztése, körülbelül ötezer projekt, ötezer komment,

2:18 hétszáz új felhasználó, és ötezer ember, aki egy folyamatjelző sávot néz. A Hacker News 1162 pontot ad az élő dokumentumnak, és egy sort idéz vissza nekik: öt biztonsági mentésből egy sem. Ítélet, posztmortem: SHIP IT, a válaszra vonatkozóan. Nyilvánosan kezelik az incidenst, a folyamatot okolják, és közzéteszik a javítási listát hibaszámokkal. Hétfői teendő: visszaállítani egy biztonsági mentést. Ha még sosem állítottad vissza, akkor nincs ilyened.

2:42 Küldd el nekem az incidenst, amiről még mindig nem beszélhetsz, a kommentekben, vagy a daily diff dot dev címen. És ez a mai diff. Niko vagyok az Axrisi-től. Felelősségteljesen egyesíts.

Források

  1. GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
  2. GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
  3. @gitlabstatus, "We accidentally deleted production data…"twitter.com
  4. @gitlabstatus, emergency maintenance noticetwitter.com
  5. Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
  6. Hacker News, the postmortem thread (377 points)news.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Kapcsolódó videók