Inžinierius ištrynė GitLab gamybos duomenų bazę. 300 gigabaitų.
2017 m.
2017 m. sausio 31 d., 23:27 UTC: GitLab inžinierius, ilgai kovodamas su sugedusia replika, pašalina PostgreSQL duomenų katalogą db1 vietoje db2. db1 yra pirminis. Apie 300 GB GitLab.com duomenų bazės dingo per sekundę ar dvi, o iš penkių atsarginių kopijų ir replikacijos mechanizmų nė vienas neveikia. Postmortem: laiko juosta nuo šlamšto piko iki neteisingo pagrindinio kompiuterio pavadinimo, kodėl pg_basebackup atrodė užstrigęs, kodėl pg_dump tyliai nepavyko (9.2 dvejetainiai failai 9.6 duomenų bazėje, DMARC atmetė nesėkmingus el. laiškus), 18 valandų atkūrimas iš 6 valandų senumo staging momentinės nuotraukos, tiesiogiai transliuojamas YouTube, ir kas iš tikrųjų kaltas. Verdiktas dėl atsakymo: SHIP IT.
Skaityti rašytinę versiją (anglų k.) ↗
Kas aptariama šiame vaizdo įraše
- 2017 m. sausio 31 d.: rm -Rvf pirminio duomenų kataloge; pašalinta ~300 GB, liko 4,5 GB
- 5 iš 5 atsarginių kopijų nepavyksta: tuščias S3 kibiras (pg_dump versijos neatitikimas), nėra „Azure“ momentinių kopijų DB, išvalyta replika, kasdieninė LVM kopija be "webhooks"
- Vasario 1 d., 18:00 UTC: GitLab.com grįžo iš 6 valandų senumo rankinės momentinės kopijos; gyvas dokumentas, tiesioginė transliacija, be kaltinimų "postmortem" su taisymų sąrašu
Klausimai ir atsakymai
Kas nutiko 2017 m. „GitLab.com“ gamybos duomenų bazės ištrynimo metu?
2017 m. sausio 31 d. vėlai vakare „GitLab“ inžinierius, bandydamas pataisyti sugedusią repliką, pašalino „PostgreSQL“ duomenų katalogą iš db1 vietoj db2. db1 buvo pirminė. Iš maždaug 300 GB, liko 4,5 GB. „GitLab“ tviteryje pranešė, kad netyčia ištrynė gamybos duomenis, viešai atidarė savo incidentų užrašus ir transliaciją atkūrimą „YouTube“.
Kodėl nė vienas iš penkių „GitLab“ atsarginių kopijų ir replikacijos mechanizmų neveikė, kai jų reikėjo?
Pagal „GitLab“ "postmortem", kasdienė pg_dump į S3 nepavykdavo, nes „cron“ užduotis pasirinko „PostgreSQL 9.2“ dvejetainius failus 9.6 duomenų bazei, o jos nesėkmių el. laiškai buvo atmesti dėl trūkstamo DMARC. „Azure“ momentinės kopijos apėmė failų serverius, bet ne duomenų bazes. Replika buvo tyčia ištrinta, o kasdienės momentinės kopijos „webhooks“ buvo pašalinti. Išliko tik rankinė momentinė kopija, padaryta nesusijusiam testui.
Kodėl „GitLab.com“ atkūrimas užtruko apie aštuoniolika valandų?
Atkūrimas reiškė "staging" disko kopijavimą atgal į gamybos aplinką per „Azure“ pigią saugyklą šešiasdešimt megabitų per sekundę greičiu, o tai užtruko aštuoniolika valandų. „GitLab.com“ grįžo vasario 1 d. 18:00 UTC, naudodamas šešių valandų senumo rankinę momentinę kopiją. Pertrauka kainavo šešias valandas duomenų, maždaug penkis tūkstančius projektų, penkis tūkstančius komentarų ir septynis šimtus naujų vartotojų, kaip nurodyta epizode.
Kodėl "blameless postmortem" ataskaitos dėmesį skiria procesui, o ne inžinieriui, kuris paleido komandą?
„GitLab“ "postmortem" ataskaita, pasirašyta generalinio direktoriaus, išlaikė inžinierių anonimu ir nesėkmę priskyrė dviems pagrindinio kompiuterio pavadinimams, besiskiriantiems vienu simboliu, ir penkioms atsarginių kopijų sistemoms, iš kurių niekas nebuvo atkurta. Ji nuspalvino gamybos raginimą raudonai ir duomenų ilgaamžiškumui suteikė savininką, nes anksčiau jo nebuvo. Taisymų sąrašas buvo paskelbtas su problemų numeriais.
Ką komandos turėtų išmokti iš „GitLab“ duomenų bazės incidento ir ar „GitLab“ atsakas buvo pagrįstas?
„The Daily Diff“ verdiktas buvo SHIP IT, dėl atsakymo. „GitLab“ viešai valdo incidentą, kaltina procesą ir paskelbė taisymų sąrašą su problemų numeriais. Epizodo pirmadienio veiksmas yra atkurti atsarginę kopiją, nes atsarginė kopija, kuri niekada nebuvo atkurta, negali būti laikoma atsargine kopija. „Hacker News“ gyvajam incidento dokumentui suteikė 1162 taškus.
Išverstas transkriptas
Išversta iš originalo anglų kalbos. Galimas garso ir subtitrų valdymas per YouTube.
0:00 „GitLab“ inžinierius paleidžia rm -rf ant neteisingo duomenų bazės serverio, ir trys šimtai gigabaitų „GitLab dot com“ dingsta per sekundę ar dvi, maždaug tiek laiko, kiek užtrunka perskaityti pagrindinio kompiuterio pavadinimą. 2017 m. sausio 31 d., 23:27 UTC. „GitLab“ tviteryje praneša, kad netyčia ištrynė gamybos duomenis, atveria savo incidentų užrašus internetui ir transliuoja atkūrimą „YouTube“, antras pagal dydį tiesioginės transliacijos platformoje. Kitą dieną raštu: iš penkių atsarginių kopijų kūrimo būdų,
0:25 nė vienas neveikia patikimai. Kaip tai atsitinka, kodėl tai įmanoma ir kas iš tikrųjų yra kaltas. Tai „The Daily Diff“, „postmortem“. 17:20 val.: inžinierius daro gamybos momentinę kopiją norėdamas išbandyti apkrovos balansuotuvą staging aplinkoje. 19:00 val.: šiukšlės užtvindo duomenų bazę, be to, darbas sunkiai ištrina „GitLab“ darbuotoją, trolis pranešė apie piktnaudžiavimą. 23:00 val.: replika taip atsilieka, kad pirminis jau išmetė
0:48 reikalingą žurnalą; vienintelis sprendimas yra ištrinti repliką ir vėl nukopijuoti pirminį vėl. pg_basebackup užstringa be jokio išvesties. Jis iš tikrųjų tyliai laukia pirminio; niekas to nežino, ir vadove to nėra. Inžinierius, kuris turėjo atsijungti vienuoliktą, nusprendžia, kad tuščias duomenų katalogas yra problema ir jį pašalina. Ant db1. Pirminio. Jis pastebi po sekundės ar dviejų; iš maždaug trijų šimtų gigabaitų,
1:11 liko 4,5. Atsarginės kopijos. Pirmas: pg_dump į S3, kasdien. Kibiras yra tuščias. „Cron“ užduotis vykdoma programos serveryje be duomenų bazės, todėl paketas pasirenka „PostgreSQL 9.2“ dvejetainius failus 9.6 duomenų bazėms, nepavyksta ir išsiunčia el. laiškus apie nesėkmę, kuri atmetama dėl trūkstamo DMARC. Antras: „Azure“ disko momentinės kopijos, įjungtos failų serveriams, o ne duomenų bazėms.
1:32 Trečias: replika, tyčia ištrinta prieš valandą. Ketvirtas: kasdieninė momentinė kopija, 24 valandų senumo, kiekvienas "webhook" pašalintas staging sinchronizacija. Penktas: rankinė momentinė kopija nuo 5:20, skirta nesusijusiam testui. Šis laimi. Atkūrimas reiškia "staging" disko kopijavimą atgal į gamybos aplinką per "Azure" pigų saugyklą šešiasdešimt megabitų per sekundę greičiu: aštuoniolika valandų. „GitLab dot com“ grįžta vasario 1 d. šeštą valandą vakaro UTC, šešiomis valandomis senesni duomenys.
1:58 git blame: du pagrindinio kompiuterio pavadinimai, besiskiriantys vienu simboliu, ir penkios atsarginių kopijų sistemos, iš kurių niekas niekada nebuvo atkurta. Ne inžinierius. „Postmortem“ ataskaita, pasirašyta generalinio direktoriaus, išlaiko jį anonimu, nuspalvina gamybos raginimą raudonai ir duomenų ilgaamžiškumui suteikia savininką, nes iki šiol jo nebuvo. Sprogimo spindulys: aštuoniolika valandų neveikimo, šešios valandos duomenų prarasta, maždaug penki tūkstančiai projektų, penki tūkstančiai komentarų,
2:18 septyni šimtai naujų vartotojų ir penki tūkstančiai žmonių, stebinčių progreso juostą. „Hacker News“ gyvajam dokumentui suteikia 1162 taškus ir cituoja vieną eilutė atgal jiems: iš penkių atsarginių kopijų – nė viena. Verdiktas, "postmortem": SHIP IT, dėl atsakymo. Jie viešai valdo incidentą, kaltina procesą ir skelbia taisymų sąrašą su problemų numeriais. Pirmadienio veiksmas: atkurkite atsarginę kopiją. Jei niekada jos neatkūrėte, jos neturite.
2:42 Atsiųskite man incidentą, apie kurį jums vis dar neleidžiama kalbėti, komentaruose arba daily diff dot dev. Ir tai yra šiandienos skirtumas. Aš esu Niko iš Axrisi. Sujunkite atsakingai.
Šaltiniai
- GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
- GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
- @gitlabstatus, "We accidentally deleted production data…"twitter.com
- @gitlabstatus, emergency maintenance noticetwitter.com
- Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
- Hacker News, the postmortem thread (377 points)news.ycombinator.com



