Insinööri poisti GitLabin tuotantotietokannan. 300 gigatavua.
Tammikuun 31.
Tammikuun 31. päivänä 2017 klo 23:27 UTC: GitLabin insinööri, taistellessaan rikkinäistä replikaa vastaan pitkän illan päätteeksi, poistaa PostgreSQL:n datakansion db1:ltä db2:n sijaan. db1 on ensisijainen. Noin 300 Gt GitLab.comin tietokannasta katoaa sekunnissa tai kahdessa, ja viidestä varmuuskopio- ja replikointimekanismista yksikään ei toimi. Jälkisynkkyys: aikajana roskapostipiikistä väärään isäntänimeen, miksi pg_basebackup näytti jumissa olevalta, miksi pg_dump oli epäonnistunut äänettömästi (9.2 binäärit 9.6 tietokannassa, virhesähköpostit DMARC:n torjumat), 18 tunnin palautus 6 tuntia vanhasta staging-tilannekuvasta, joka lähetettiin suorana YouTubessa, ja kuka todella on syyllinen. Tuomio vastauksesta: SHIP IT.
Lue kirjoitettu versio (englanniksi) ↗
Mitä tämä video käsittelee
- 31. tammikuuta 2017: rm -Rvf ensisijaisen datakansioon; ~300 Gt poistettu, 4,5 Gt jäljellä
- 5 viidestä varmuuskopiosta epäonnistuu: tyhjä S3-säilö (pg_dump-versioyhteensopimattomuus), ei Azure-tilannekuvia tietokannassa, pyyhitty replika, päivittäinen LVM-kopio ilman webhookeja
- 1. helmikuuta klo 18:00 UTC: GitLab.com takaisin 6 tuntia vanhasta manuaalisesta tilannekuvasta; live-dokumentti, live-striimi, syytön jälkianalyysi korjauslistalla
Kysymyksiä ja vastauksia
Mitä tapahtui vuoden 2017 GitLab.comin tuotantotietokannan poistossa?
Tammikuun 31. päivän 2017 loppupuolella GitLabin insinööri, joka yritti korjata rikkinäistä replikaa, poisti PostgreSQL-datakansion db1:ltä db2:n sijaan. db1 oli ensisijainen. Noin 300 Gt:sta 4,5 Gt jäi jäljelle. GitLab tviittasi poistaneensa vahingossa tuotantodataa, avasi tapauksen muistiinpanot julkisesti ja suoratoisti palautusta YouTubessa.
Miksi yksikään GitLabin viidestä varmuuskopio- ja replikointimekanismista ei toiminut, kun niitä tarvittiin?
GitLabin jälkianalyysin mukaan päivittäinen pg_dump S3:een oli epäonnistunut, koska cron-työ valitsi PostgreSQL 9.2 -binäärit 9.6-tietokantaa varten, ja sen virhesähköpostit pomppasivat takaisin puuttuvan DMARC:n vuoksi. Azure-tilannekuvat kattoivat tiedostopalvelimet, mutta eivät tietokantoja. Replika oli pyyhitty tarkoituksella, ja päivittäisestä tilannekuvasta oli poistettu sen webhookit. Vain manuaalinen tilannekuva, joka oli otettu riippumattomaan testiin, säilyi.
Miksi GitLab.comin palauttaminen kesti noin kahdeksantoista tuntia?
Palauttaminen tarkoitti staging-levyn kopioimista takaisin tuotantoon Azuren halvan tallennustilan yli kuusikymmentä megabittiä sekunnissa, mikä kesti kahdeksantoista tuntia. GitLab.com palasi 1. helmikuuta klo 18:00 UTC, käyttäen kuusi tuntia vanhaa manuaalista tilannekuvaa. Katkos maksoi kuusi tuntia dataa, noin viisituhatta projektia, viisituhatta kommenttia ja seitsemänsataa uutta käyttäjää, jakson mukaan.
Miksi syyttömät jälkianalyysit keskittyvät prosessiin pikemminkin kuin komennon suorittaneeseen insinööriin?
Toimitusjohtajan allekirjoittama GitLabin jälkianalyysi piti insinöörin anonyyminä ja johtui kahdesta isäntänimestä, jotka erosivat toisistaan yhdellä merkillä, ja viidestä varmuuskopiojärjestelmästä, joista kukaan ei ollut palauttanut. Se värjäsi tuotantokehotteen punaiseksi ja antoi tiedon kestävyydelle omistajan, koska sitä ei ollut aiemmin ollut. Korjauslista julkaistiin ongelmanumeroilla.
Mitä tiimien tulisi oppia GitLabin tietokantatapauksesta, ja oliko GitLabin vastaus asianmukainen?
The Daily Diffin tuomio vastauksesta oli SHIP IT. GitLab hoiti tapauksen julkisesti, syytti prosessia ja julkaisi korjauslistan ongelmanumeroilla. Jakson maanantain toiminta on palauttaa varmuuskopio, koska varmuuskopiota, jota ei ole koskaan palautettu, ei voida laskea varmuuskopioksi. Hacker News antoi live-tapausdokumentille 1 162 pistettä.
Käännetty transkriptio
Käännetty alkuperäisestä englanninkielisestä selostuksesta. Käytettävissä olevan äänen ja tekstitysten hallinta tapahtuu YouTuben kautta.
0:00 GitLAbin insinööri ajaa rm -rf väärälle tietokantapalvelimelle, ja kolmesataa gigatavua GitLab.comia katoaa sekunnissa tai kahdessa, eli suunnilleen sen ajan, mikä isäntänimen lukemiseen menee. Tammikuun 31. päivä 2017, klo 23.27 UTC. GitLab tviittaa, että se poisti vahingossa tuotantodataa, avaa tapaturman muistiinpanonsa internetiin ja striimaa palautusta YouTubessa, alustan toiseksi katsotuimpana suoratoistona. Seuraavana päivänä kirjallisesti: viidestä varmuuskopiointitekniikasta,
0:25 yksikään ei toimi luotettavasti. Miten se tapahtuu, miksi se on mahdollista, ja kuka todella saa syyt niskoilleen. Tämä on The Daily Diff, jälkianalyysi. Klo 17:20: insinööri ottaa tilannekuvan tuotannosta testatakseen kuormituksen tasaajaa staging-ympäristössä. Klo 19:00: roskaposti pommittaa tietokantaa, sekä työ, joka poistaa pysyvästi GitLabin työntekijän, josta trolli ilmoitti väärinkäytöstä. Klo 23:00: replika jää niin paljon jälkeen, että ensisijainen on jo hylännyt
0:48 tarvitsemansa lokin; ainoa korjaus on pyyhkiä replika ja kopioida ensisijainen uudelleen. pg_basebackup jumittuu ilman tulostetta. Se todellisuudessa odottaa äänettömästi ensisijaista; kukaan ei tiedä sitä, eikä ohjekirja kerro sitä. Insinööri, jonka oli tarkoitus lopettaa klo yhdeltätoista, päättää, että tyhjä datakansio on ongelma ja poistaa sen. Db1:stä. Ensisijaisesta. Hän huomaa sekunnin tai kaksi myöhemmin; noin kolmestasadasta gigatavusta,
1:11 4,5 on jäljellä. Varmuuskopiot. Yksi: pg_dump S3:een, päivittäin. Säilö on tyhjä. Cron-työ suoritetaan sovelluspalvelimella ilman tietokantaa, joten paketti valitsee PostgreSQL 9.2 -binäärit 9.6-tietokannalle, epäonnistuu ja lähettää sähköpostit epäonnistumisesta, joka pomppaa takaisin puuttuvan DMARC:n vuoksi. Kaksi: Azure-levyjen tilannekuvat, käytössä tiedostopalvelimille, ei tietokannoille.
1:32 Kolme: replika, poistettu tarkoituksella tunti sitten. Neljä: päivittäinen tilannekuva, 24 tuntia vanha, kaikki webhookit poistettu staging-synkronoinnin yhteydessä. Viisi: manuaalinen tilannekuva klo 17:20, erillistä testiä varten. Tämä voittaa. Palauttaminen tarkoittaa staging-levyn kopioimista takaisin tuotantoon Azuren halvan tallennustilan yli kuusikymmentä megabittiä sekunnissa: kahdeksantoista tuntia. GitLab.com on takaisin 1. helmikuuta klo 18.00 UTC, kuusi tuntia vanhempi data.
1:58 git blame: kaksi isäntänimeä, jotka eroavat toisistaan yhdellä merkillä, ja viisi varmuuskopiointijärjestelmää, joista kukaan ei ole koskaan palauttanut. Ei insinööri. Toimitusjohtajan allekirjoittama jälkianalyysi pitää hänet anonyyminä, värjää tuotantokehotteen punaiseksi ja antaa tiedon kestävyydelle omistajan, koska tähän asti sillä ei ollut sellaista. Vahinkoalue: kahdeksantoista tuntia pois käytöstä, kuusi tuntia dataa kadonnut, noin viisituhatta projektia, viisituhatta kommenttia,
2:18 seitsemänsataa uutta käyttäjää ja viisituhatta ihmistä seuraamassa edistymispalkkia. Hacker News antaa live-dokumentille 1 162 pistettä ja lainaa yhtä riviä takaisin heille: viidestä varmuuskopiosta, ei yhtäkään. Tuomio, jälkianalyysi: SHIP IT, vastauksesta. He hoitavat tapahtuman julkisesti, syyttävät prosessia ja julkaisevat korjauslistan ongelmanumeroilla. Maanantain toimenpide: palauta varmuuskopio. Jos et ole koskaan palauttanut sitä, sinulla ei ole sellaista.
2:42 Lähetä minulle tapaus, josta et saa vieläkään puhua, kommenteissa tai osoitteeseen daily diff dot dev. Ja se on tämän päivän ero. Olen Niko Axrisista. Yhdistä vastuullisesti.
Lähteet
- GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
- GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
- @gitlabstatus, "We accidentally deleted production data…"twitter.com
- @gitlabstatus, emergency maintenance noticetwitter.com
- Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
- Hacker News, the postmortem thread (377 points)news.ycombinator.com



