Inženieris izdzēsa GitLab ražošanas datubāzi. 300 gigabaiti.
2017.
2017. gada 31. janvāris, 23:27 UTC: GitLab inženieris, cīnoties ar salauztu repliku pēc garas nakts, noņem PostgreSQL datu direktoriju db1, nevis db2. db1 ir primārā. Aptuveni 300 GB no GitLab.com datubāzes pazūd vienā vai divās sekundēs, un no pieciem rezerves kopēšanas un replikācijas mehānismiem neviens nedarbojas. Postmortem: laika skala no surogātpasta uzplūdiem līdz nepareizam resursdatoram, kāpēc pg_basebackup izskatījās iestrēdzis, kāpēc pg_dump bija klusi kļūdījies (9.2 binārie faili uz 9.6 datubāzes, kļūmju e-pasti atgriezās DMARC dēļ), 18 stundu atjaunošana no 6 stundas vecas inscenēšanas momentuzņēmuma, kas tika straumēts tiešraidē YouTube, un kurš patiesībā ir vainojams. Spriedums par atbildi: SHIP IT.
Lasiet rakstisko izdevumu (angļu valodā) ↗
Ko aptver šis video
- 2017. gada 31. janvāris: rm -Rvf uz primārā datu direktorija; izdzēsti ~300 GB, atlikuši 4.5 GB
- 5 no 5 dublējumiem neizdodas: tukša S3 kauss (pg_dump versijas neatbilstība), nav Azure momentuzņēmumu datubāzē, notīrīta replika, ikdienas LVM kopija bez tīmekļa āķiem
- 1. februāris, 18:00 UTC: GitLab.com atgriezies no 6 stundas veca manuāla momentuzņēmuma; tiešraides dokuments, tiešraides straume, bezvainīga pēcnāves analīze ar labojumu sarakstu
Jautājumi un atbildes
Kas notika ar GitLab.com ražošanas datubāzes dzēšanu 2017. gadā?
2017. gada 31. janvārī, vēlu vakarā, GitLab inženieris, mēģinot labot salauztu repliku, noņēma PostgreSQL datu direktoriju db1, nevis db2. db1 bija primārā. No aptuveni 300 GB palika 4.5 GB. GitLab tvītoja, ka nejauši izdzēsis ražošanas datus, publiski atvēra incidenta piezīmes un straumēja atkopšanu YouTube.
Kāpēc neviens no GitLab pieciem dublēšanas un replikācijas mehānismiem nedarbojās, kad tie bija nepieciešami?
Saskaņā ar GitLab pēcnāves analīzi, ikdienas pg_dump uz S3 bija kļūdījies, jo cron darbs izvēlējās PostgreSQL 9.2 bināros failus 9.6 datubāzei, un tā kļūmju e-pasti atgriezās trūkstošā DMARC dēļ. Azure momentuzņēmumi aptvēra failu serverus, bet ne datubāzes. Replika bija apzināti notīrīta, un ikdienas momentuzņēmumam bija noņemti tīmekļa āķi. Izdzīvoja tikai manuāls momentuzņēmums, kas tika veikts neatkarīgam testam.
Kāpēc GitLab.com atjaunošana aizņēma aptuveni astoņpadsmit stundas?
Atjaunošana nozīmēja inscenēšanas diska kopēšanu atpakaļ uz ražošanu, izmantojot Azure lēto glabātuvi ar sešdesmit megabitiem sekundē, kas aizņēma astoņpadsmit stundas. GitLab.com atgriezās 1. februārī plkst. 18:00 UTC, izmantojot sešas stundas vecu manuālu momentuzņēmumu. Pārtraukums izmaksāja sešas stundas datu, aptuveni piecus tūkstošus projektu, piecus tūkstošus komentāru un septiņus simtus jaunu lietotāju, saskaņā ar epizodi.
Kāpēc bezvainīgas pēcnāves analīzes koncentrējas uz procesu, nevis uz inženieri, kurš izpildīja komandu?
GitLab pēcnāves analīze, ko parakstījis izpilddirektors, inženieri saglabāja anonīmu un kļūmi attiecināja uz diviem resursdatoru nosaukumiem, kas atšķīrās par vienu rakstzīmi, un piecām dublēšanas sistēmām, no kurām neviens nebija atjaunots. Tā ražošanas uzvednes krāsu mainīja uz sarkanu un piešķīra datu izturībai īpašnieku, jo pirms tam tāda nebija. Labojumu saraksts tika publicēts ar problēmu numuriem.
Ko komandām vajadzētu ņemt vērā no GitLab datubāzes incidenta, un vai GitLab atbilde bija saprātīga?
The Daily Diff spriedums bija SHIP IT, par atbildi. GitLab veica incidentu publiski, vainoja procesu un publicēja labojumu sarakstu ar problēmu numuriem. Epizodes pirmdienas darbība ir atjaunot dublējumu, jo dublējumu, kas nekad nav atjaunots, nevar uzskatīt par dublējumu. Hacker News tiešraides incidenta dokumentam piešķīra 1162 punktus.
Tulkotais transkripts
Tulkojums no oriģinālā angļu stāstījuma. Pieejamais audio un subtitri tiek kontrolēti no YouTube.
0:00 Inženieris GitLab izpilda rm -rf uz nepareizā datubāzes servera, un trīssimt gigabaiti GitLab dot com pazūd vienā vai divās sekundēs, apmēram tik ilgi, cik nepieciešams, lai izlasītu resursdatora nosaukumu. 2017. gada 31. janvāris, 23:27 UTC. GitLab tvīto, ka nejauši izdzēsis ražošanas datus, atver savas incidenta piezīmes internetam un straumē atkopšanu YouTube, platformas otrā populārākā tiešraides straume. Nākamajā dienā, rakstiski: no piecām dublēšanas tehnikām,
0:25 neviena nedarbojas droši. Kā tas notiek, kāpēc tas ir iespējams un kurš patiesībā ir vainojams. Šis ir The Daily Diff, pēcnāves analīze. 17:20: inženieris uzņem momentuzņēmumu ražošanai, lai pārbaudītu slodzes balansētāju testēšanas vidē. 19:00: surogātpasts bombardē datubāzi, kā arī darbs, kas neatgriezeniski dzēš GitLab darbinieku, ko ziņojis trolls par ļaunprātīgu izmantošanu. 23:00: replika atpaliek tik tālu, ka primārais jau ir izdzēsis
0:48 nepieciešamo žurnālu; vienīgais risinājums ir notīrīt repliku un nokopēt primāro atkal. pg_basebackup iestrēgst bez izvades. Tas patiesībā klusi gaida primāro; neviens to nezina, un rokasgrāmatā nav teikts. Inženieris, kurš plānoja beigt darbu vienpadsmitos, nolemj, ka tukšais datu direktorijs ir problēma un to noņem. Uz db1. Primārā. Viņš pamana sekundes vai divas vēlāk; no aptuveni trīssimt gigabaitiem,
1:11 paliek 4.5. Rezerves kopijas. Viens: pg_dump uz S3, katru dienu. Kauss ir tukšs. Cron darbs darbojas lietojumprogrammu serverī bez datubāzes, tāpēc pakotne izvēlas PostgreSQL 9.2 bināros failus 9.6 datubāzei, neizdodas un nosūta e-pastus par kļūmi, kas atgriežas trūkstošā DMARC dēļ. Divi: Azure disku momentuzņēmumi, iespējoti failu serveriem, nevis datubāzēm.
1:32 Trīs: replika, apzināti notīrīta pirms stundas. Četri: ikdienas momentuzņēmums, 24 stundas vecs, katrs tīmekļa āķis izņemts ar inscenēšanas sinhronizāciju. Pieci: manuālais momentuzņēmums no 17:20, neatkarīgam testam. Tas ir uzvarētājs. Atjaunošana nozīmē inscenēšanas diska kopēšanu atpakaļ uz ražošanu, izmantojot Azure lēto glabātuvi ar sešdesmit megabitiem sekundē: astoņpadsmit stundas. GitLab dot com ir atpakaļ 1. februārī plkst. 18:00. UTC, sešas stundas vecāki dati.
1:58 git blame: divi resursdatoru nosaukumi, kas atšķiras par vienu rakstzīmi, un piecas dublēšanas sistēmas, no kurām neviens nav nekad nav atjaunots. Ne inženieris. Pēcnāves analīze, ko parakstījis izpilddirektors, viņu saglabā anonīmu, ražošanas uzvednes krāsu maina uz sarkanu un piešķir datu izturībai īpašnieku, jo līdz šim tāda nebija. Sprādziena rādiuss: astoņpadsmit stundas dīkstāves, sešas stundas datu zuduma, aptuveni pieci tūkstoši projektu, pieci tūkstoši komentāru,
2:18 septiņi simti jaunu lietotāju un pieci tūkstoši cilvēku, kas skatās progresa joslu. Hacker News piešķir tiešraides dokumentam 1162 punktus un citē vienu rindu atpakaļ: no piecām dublējumkopijām, neviena. Spriedums, pēcnāves analīze: SHIP IT, par atbildi. Viņi veic incidentu publiski, vaino procesu un publicē labojumu sarakstu ar problēmu numuriem. Pirmdienas darbība: atjaunot dublējumu. Ja jūs to nekad neesat atjaunojis, jums tā nav.
2:42 Nosūtiet man incidentu, par kuru jums joprojām nav atļauts runāt, komentāros vai daily diff dot dev. Un tas ir šodienas atšķirība. Esmu Niko no Axrisi. Atbildīgi apvienot.
Avoti
- GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
- GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
- @gitlabstatus, "We accidentally deleted production data…"twitter.com
- @gitlabstatus, emergency maintenance noticetwitter.com
- Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
- Hacker News, the postmortem thread (377 points)news.ycombinator.com



