+− THE DAILY DIFFdev & AI news
SHIP IT

Инженер GitLab-ын үйлдвэрлэлийн мэдээллийн санг устгав. 300 гигабайт.

2017 оны 1-р сарын 31, 23:27 UTC: GitLab-ын инженер, урт шөнийн эцэст эвдэрсэн репликатай тэмцэж байгаад, db2-ын оронд db1 дээрх PostgreSQL өгөгдлийн лавлахыг устгав.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

2017 оны 1-р сарын 31, 23:27 UTC: GitLab-ын инженер, урт шөнийн эцэст эвдэрсэн репликатай тэмцэж байгаад, db2-ын оронд db1 дээрх PostgreSQL өгөгдлийн лавлахыг устгав. db1 нь үндсэн сервер байв. GitLab.com-ын мэдээллийн сангийн ойролцоогоор 300 ГБ нь нэг хоёр секундын дотор алга болж, таван нөөцлөлт болон хуулбарлах механизм нэг нь ч ажиллахгүй байв. Постмортем: спамын өсөлтөөс буруу хостны нэр хүртэлх цагийн хуваарь, pg_basebackup яагаад гацсан харагдсан, pg_dump яагаад чимээгүй алдаа зааж байсан (9.6 мэдээллийн санд 9.2 хоёртын файлууд, DMARC-аас алдааны имэйл буцсан), YouTube дээр шууд дамжуулсан 6 цагийн өмнөх шатны зурагнаас 18 цагийн хугацаанд сэргээсэн, болон хэн үнэхээр буруутай вэ. Хариултын тухай шийдвэр: SHIP IT.

Бичмэл хувилбарыг унших (Англи) ↗

Энэ видео юуг хамардаг

  • 2017 оны 1-р сарын 31: үндсэн өгөгдлийн лавлах дээр rm -Rvf ажиллуулсан; ~300 ГБ устгагдсан, 4.5 ГБ үлдсэн
  • 5 нөөцлөлтөөс 5 нь алдаа заасан: хоосон S3 сав (pg_dump хувилбарын зөрүү), DB дээр Azure-ын агшин зураг байхгүй, устгасан реплика, вэбхуукгүй өдөр тутмын LVM хуулбар
  • 2-р сарын 1, 18:00 UTC: GitLab.com 6 цагийн өмнөх гар ажиллагаатай агшин зурагнаас сэргээгдэв; шууд баримт бичиг, шууд дамжуулалт, засварлах жагсаалттай буруугүй постмортем

Түгээмэл асуултууд

2017 оны GitLab.com үйлдвэрлэлийн мэдээллийн санг устгасан хэрэг юу болсон бэ?

2017 оны 1-р сарын 31-ний орой GitLab-ын инженер эвдэрсэн репликаг засах гэж оролдох үедээ db2-ын оронд db1 дээрх PostgreSQL-ийн өгөгдлийн директорыг устгасан. db1 нь үндсэн сервер байсан. Ойролцоогоор 300 ГБ-аас 4.5 ГБ үлдсэн. GitLab үйлдвэрлэлийн өгөгдлөө санамсаргүйгээр устгасан тухайгаа жиргэж, ослын тэмдэглэлээ олон нийтэд нээж, сэргээлтийг YouTube дээр шууд дамжуулсан.

about.gitlab.com · about.gitlab.com · twitter.com

GitLab-ын таван нөөцлөлт болон хуулбарлах механизм хэрэгтэй үедээ яагаад нэг нь ч ажиллаагүй вэ?

GitLab-ын постмортемын дагуу, S3-т хийх өдөр тутмын pg_dump крон ажил PostgreSQL 9.2-ийн хоёртын файлуудыг 9.6 мэдээллийн санд сонгосноос болж алдаа зааж байсан, мөн алдааны имэйлүүд нь DMARC байхгүйгээс буцаж байсан. Azure-ын агшин зурагнууд нь файлын серверүүдийг хамарсан боловч мэдээллийн сангуудыг хамарсангүй. Реплика зориудаар устгагдсан байсан, мөн өдөр тутмын агшин зураг нь вэбхуукуудаа алдсан байсан. Зөвхөн хамааралгүй туршилтанд зориулж авсан гар ажиллагаатай агшин зураг л үлдсэн.

about.gitlab.com · about.gitlab.com

GitLab.com-ыг сэргээхэд яагаад арван найман цаг орчим шаардагдсан бэ?

Сэргээх гэдэг нь шатны дискийг үйлдвэрлэлд Azure-ын хямдхан хадгалах сангаар секундэд жаран мегабит хурдтайгаар хуулахыг хэлдэг байсан бөгөөд энэ нь арван найман цаг үргэлжилсэн. GitLab.com 2-р сарын 1-ний 18:00 UTC цагт, зургаан цагийн өмнөх гар ажиллагаатай агшин зураг ашиглан буцаж ирсэн. Энэ осол нь зургаан цагийн өгөгдөл, ойролцоогоор таван мянган төсөл, таван мянган сэтгэгдэл, долоон зуун шинэ хэрэглэгчийн хохирол учруулсан.

about.gitlab.com · about.gitlab.com

Буруугүй постмортемүүд яагаад командыг ажиллуулсан инженерээс илүү үйл явцад анхаарлаа хандуулдаг вэ?

Гүйцэтгэх захирлын гарын үсэгтэй GitLab-ын постмортем инженерээ нууц хэвээр үлдээж, алдааг нэг тэмдэгтээр ялгаатай хоёр хост нэр, мөн хэн ч хэзээ ч сэргээж үзээгүй таван нөөцлөлтийн системээс болсон гэж тодорхойлсон. Энэ нь үйлдвэрлэлийн командыг улаанаар будаж, өгөгдлийн бат бөх байдалд эзэмшигчийг өгсөн, учир нь өмнө нь эзэмшигчгүй байсан. Засварлах жагсаалтыг асуудлын дугааруудын хамт нийтэлсэн.

about.gitlab.com · news.ycombinator.com

Багууд GitLab-ын мэдээллийн сангийн осолтоос юуг сурах ёстой вэ, мөн GitLab-ын хариулт нь зөв байсан уу?

The Daily Diff-ын шийдвэр нь хариултын хувьд SHIP IT байсан. GitLab осолыг олон нийтэд нээлттэй явуулж, үйл явцыг буруутгаж, асуудлын дугааруудын хамт засварлах жагсаалтыг нийтэлсэн. Энэ эпизодын Даваа гаригийн үйлдэл бол нөөцлөлтийг сэргээх явдал юм, учир нь хэзээ ч сэргээгдэж байгаагүй нөөцлөлтийг нөөцлөлт гэж тооцох боломжгүй. Hacker News шууд осолын баримт бичигт 1,162 оноо өгсөн.

about.gitlab.com · news.ycombinator.com

Орчуулсан бичлэг

Англи хэл дээрх эх хувилбараас орчуулсан. Боломжтой дуу болон хадмал орчуулгыг YouTube хянадаг.

0:00 GitLab-ын нэг инженер буруу мэдээллийн сангийн сервер дээр rm -rf ажиллуулсан, тэгээд GitLab.com-ын гурван зуун гигабайт нэг, хоёр секундын дотор алга болсон, энэ нь хост нэрийг уншихад шаардагдах хугацаатай адил. 2017 оны 1-р сарын 31, 23:27 UTC. GitLab үйлдвэрлэлийн өгөгдлөө санамсаргүйгээр устгасан тухайгаа жиргэж, осолын тэмдэглэлээ интернэтэд нээж, сэргээлтийг YouTube дээр шууд дамжуулсан, тухайн платформын хамгийн их үзсэн хоёр дахь шууд дамжуулалт болсон. Дараагийн өдөр, бичгээр: таван нөөцлөлтийн арга техникээс,

0:25 нэг нь ч найдвартай ажиллахгүй байв. Энэ хэрхэн болсон, яагаад боломжтой байсан, болон хэн үнэхээр буруутай вэ. Энэ бол The Daily Diff, постмортем. 17:20: нэг инженер үйлдвэрлэлийн агшин зураг авсан шатны ачаалал тэнцвэржүүлэгчийг шалгахын тулд. 19:00: спам мэдээллийн санг бөмбөгдөж, нэмээд GitLab-ын ажилтан а-г хатуу устгах ажиллагаа тролл хүчирхийллийн улмаас мэдээлсэн. 23:00: реплика хэт хоцорч, үндсэн сервер шаардлагатай лог-ыг аль хэдийн хаясан байв;

0:48 ганцхан шийдэл бол репликаг устгаж, үндсэн серверийг дахин хуулах явдал байв. pg_basebackup гацаж, ямар ч гарц өгөхгүй байв. Энэ нь үнэндээ чимээгүйгээр үндсэн серверийг хүлээж байсан; хэн ч үүнийг мэдээгүй, мөн runbook-т бичигдээгүй байв. Арван нэгэн цагт ажлаа дуусгахаар төлөвлөж байсан инженер, хоосон өгөгдлийн лавлахыг асуудал гэж үзээд устгасан. db1 дээр. Үндсэн сервер. Тэрээр нэг, хоёр секундын дараа анзаарсан; ойролцоогоор гурван зуун гигабайтаас,

1:11 4.5 үлдсэн. Нөөцлөлтүүд. Нэг: pg_dump-ийг S3-т, өдөр бүр. Сав нь хоосон байв. Крон ажил нь мэдээллийн сангүй апп сервер дээр ажилладаг тул багц PostgreSQL 9.2-ийн хоёртын файлуудыг 9.6 мэдээллийн санд сонгож, алдаа зааж, алдааны имэйлийг илгээсэн, харин DMARC байхгүйгээс буцсан. Хоёр: Azure дискийн агшин зураг, файлын серверүүдэд идэвхжүүлсэн, мэдээллийн сангуудад биш.

1:32 Гурван: реплика, нэг цагийн өмнө зориудаар устгасан. Дөрөв: өдөр тутмын агшин зураг, 24 цагийн өмнөх, бүх вэбхуук нь шатны синхрончлолоор устгагдсан. Тав: 17:20-д авсан гар ажиллагаатай агшин зураг, хамааралгүй туршилтанд зориулсан. Тэр нь ялсан. Сэргээх гэдэг нь шатны дискийг үйлдвэрлэлд Azure-ын хямдхан хадгалах сангаар секундэд жаран мегабит хурдтайгаар хуулахыг хэлнэ: арван найман цаг. GitLab.com 2-р сарын 1-нд 18:00 цагт буцаж ирэв, UTC, зургаан цагийн өмнөх өгөгдөлтэй.

1:58 git blame: нэг тэмдэгтээр ялгаатай хоёр хост нэр, мөн хэн ч хэзээ ч сэргээж үзээгүй таван нөөцлөлтийн систем. Инженер биш. Гүйцэтгэх захирлын гарын үсэгтэй постмортем түүнийг нууц хэвээр үлдээж, үйлдвэрлэлийн командыг улаанаар будаж, өгөгдлийн бат бөх байдалд эзэмшигчийг өгсөн, учир нь одоог хүртэл эзэмшигчгүй байсан. Үр нөлөөний хүрээ: арван найман цаг унтарсан, зургаан цагийн өгөгдөл алга болсон, ойролцоогоор таван мянган төсөл, таван мянган сэтгэгдэл, долоон зуун шинэ хэрэглэгч, болон таван мянган хүн ахиц дэвшлийн мөрийг харж байв.

2:18 Hacker News шууд баримт бичигт 1,162 оноо өгч, нэг мөрийг тэдэнд буцаан иш татсан: таван нөөцлөлтөөс, нэг нь ч үгүй. Шийдвэр, постмортем: хариултын хувьд SHIP IT. Тэд осолыг олон нийтэд нээлттэй явуулж, үйл явцыг буруутгаж, засварлах жагсаалтыг асуудлын дугааруудын хамт нийтэлсэн. Даваа гаригийн үйлдэл: нөөцлөлтийг сэргээх. Хэрэв та үүнийг хэзээ ч сэргээж үзээгүй бол танд нөөцлөлт байхгүй. Таны ярихыг зөвшөөрөөгүй байгаа осолыг надад илгээнэ үү,

2:42 коммент хэсэгт, эсвэл thedailydiff.dev хаягаар. Мөн энэ бол өнөөдрийн "ялгаа" байлаа. Би Axrisi-гийн Нико байна. Хариуцлагатай нэгдээрэй. Хариуцлагатай нэгтгэх.

Эх сурвалжууд

  1. GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
  2. GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
  3. @gitlabstatus, "We accidentally deleted production data…"twitter.com
  4. @gitlabstatus, emergency maintenance noticetwitter.com
  5. Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
  6. Hacker News, the postmortem thread (377 points)news.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Холбогдох видеонууд

postmortem · mn · 2026 оны 9-р сарын 9

Хиймэл оюун үйлдвэрлэлийн мэдээллийн санг устгав. Есөн секунд.

Хиймэл оюуны код бичигч агент (Cursor нь Claude Opus 4.6 ажиллуулж байна) туршилтын шатанд итгэмжлэлийн зөрчилд орж, хамааралгүй файлаас олсон бүртгэлийн хүрээний токеноор Railway дээр volumeDelete ду

3:23 ↗
postmortem · mn · 2026 оны 9-р сарын 25

Нэг миллисекундын алдаанаас болж Их Британийн агаарын хөдөлгөөн зогссон. Зургаан цагийн турш.

9-р сарын 8-ны Мягмар гарагийн 10:00 цагт NATS-ын Үндэсний Агаарын Орон Зайн Систем (NAS)-ийн доторх ердийн squawk-кодын нэг хүсэлтийг утгыг шинэчилж байх үед илүү өндөр ач холбогдолтой мессеж тасалду

3:06 ↗
postmortem · mn · 2026 оны 9-р сарын 22

Дахин ачаалах үйлдэл Telstra-г 2006 он руу буцаажээ. Есөн сая утас.

Мельбурны нэг инженер өглөөний 2:50 цагт цаг хэмжигч төхөөрөмжийг асаахад өглөөний цайны үеэр Австралийн хамгийн том үүрэн холбооны сүлжээ 2006 оны арваннэгдүгээр сар болсон гэдэгт санал нийлжээ. 2026

3:15 ↗