+− THE DAILY DIFFdev & AI news
SHIP IT

አንድ መሃንዲስ የ GitLabን የምርት ዳታቤዝ ሰርዟል። 300 ጊጋባይት።

ጃንዋሪ 31፣ 2017፣ 23:27 UTC፡ አንድ የ GitLab መሃንዲስ ረጅም ምሽት መጨረሻ ላይ ከተበላሸ ቅጂ ጋር ሲታገል በ db2 ፈንታ በ db1 ላይ ያለውን የ PostgreSQL ዳታ ማውጫ ሰርዟል። db1 ዋናው ነው። ወደ 300 ጊባ የሚጠጋ የ GitLab.com ዳታቤዝ በአንድ ወይም በሁለት ሰከንድ ውስጥ ጠፍቷል፣ እና ከአምስቱ የመጠባበቂያ እና የማባዛት ዘዴዎች ውስጥ አንዳቸውም እየሰሩ አይደሉም። ከስህተት በኋላ ምርመራ፡ የጊዜ መስመር ከSPAM መጨመር እስከ የተሳሳተ አስተናጋጅ ስም፣ pg_basebackup ለምን እንደተጣበቀ፣ pg_dump ለምን በጸጥታ ይከሽፍ እንደነበር (9.2 ሁለትዮሽ በ9.6 ዳታቤዝ ላይ፣ የውድቀት ኢሜይሎች በDMARC ተመልሰዋል)፣ የ18 ሰዓት መልሶ ማግኛ ከ6 ሰዓት ዕድሜ ካለው የማስተዋወቂያ ቅጽበታዊ ገጽ እይታ በYouTube ላይ በቀጥታ የተላለፈ፣ እና በእርግጥ ተጠያቂው ማነው። በምላሹ ላይ የተሰጠው ፍርድ፡ SHIP IT።

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

ጃንዋሪ 31፣ 2017፣ 23:27 UTC፡ አንድ የ GitLab መሃንዲስ ረጅም ምሽት መጨረሻ ላይ ከተበላሸ ቅጂ ጋር ሲታገል በ db2 ፈንታ በ db1 ላይ ያለውን የ PostgreSQL ዳታ ማውጫ ሰርዟል። db1 ዋናው ነው። ወደ 300 ጊባ የሚጠጋ የ GitLab.com ዳታቤዝ በአንድ ወይም በሁለት ሰከንድ ውስጥ ጠፍቷል፣ እና ከአምስቱ የመጠባበቂያ እና የማባዛት ዘዴዎች ውስጥ አንዳቸውም እየሰሩ አይደሉም። ከስህተት በኋላ ምርመራ፡ የጊዜ መስመር ከSPAM መጨመር እስከ የተሳሳተ አስተናጋጅ ስም፣ pg_basebackup ለምን እንደተጣበቀ፣ pg_dump ለምን በጸጥታ ይከሽፍ እንደነበር (9.2 ሁለትዮሽ በ9.6 ዳታቤዝ ላይ፣ የውድቀት ኢሜይሎች በDMARC ተመልሰዋል)፣ የ18 ሰዓት መልሶ ማግኛ ከ6 ሰዓት ዕድሜ ካለው የማስተዋወቂያ ቅጽበታዊ ገጽ እይታ በYouTube ላይ በቀጥታ የተላለፈ፣ እና በእርግጥ ተጠያቂው ማነው። በምላሹ ላይ የተሰጠው ፍርድ፡ SHIP IT።

የጽሑፍ እትሙን ያንብቡ (እንግሊዝኛ) ↗

ይህ ቪዲዮ ምን ይሸፍናል

  • ጃን 31፣ 2017: rm -Rvf በዋናው የውሂብ ማውጫ ላይ; ~300 ጊባ ተወግዷል፣ 4.5 ጊባ ቀርቷል
  • 5 ከ5 መጠባበቂያዎች አልተሳካም: ባዶ S3 ባልዲ (pg_dump ስሪት አለመጣጣም)፣ በDB ላይ ምንም Azure ቅጽበታዊ ገጽ እይታዎች የሉም፣ የተሰረዘ ቅጂ፣ የዕለት ተዕለት LVM ቅጂ ያለ ዌብሆኮች
  • ፌብሩዋሪ 1፣ 18:00 UTC: GitLab.com ከ6 ሰዓት ዕድሜ ካለው በእጅ ቅጽበታዊ ገጽ እይታ ተመልሷል፤ የቀጥታ ሰነድ፣ የቀጥታ ስርጭት፣ ከጥገና ዝርዝር ጋር እንከን የለሽ ምርመራ

ጥያቄዎች እና መልሶች

በ2017ቱ የ GitLab.com የምርት ዳታቤዝ መሰረዝ ምን ተፈጠረ?

ጃንዋሪ 31 ቀን 2017 መጨረሻ ላይ አንድ የ GitLab መሐንዲስ የተበላሸ ቅጂን ለመጠገን ሲሞክር በ db2 ፋንታ በ db1 ላይ ያለውን የ PostgreSQL የውሂብ ማውጫ አስወገደ። db1 ዋናው ነበር። ከ300 ጂቢ ውስጥ፣ 4.5 ጂቢ ቀረ። GitLab በአጋጣሚ የምርት መረጃን እንደሰረዘ በትዊተር ገፁ ላይ አስታውቋል፣ የክስተት ማስታወሻዎቹን በይፋ አውጥቷል እና የማገገሚያ ሂደቱን በዩቲዩብ ላይ በቀጥታ አሰራጭቷል።

about.gitlab.com · about.gitlab.com · twitter.com

GitLab አምስቱ የመጠባበቂያ እና የማባዛት ዘዴዎች ሲያስፈልጉት ለምን አልሰሩም?

በ GitLab ከስህተት በኋላ ምርመራ መሰረት፣ የዕለት ተዕለት pg_dump ወደ S3 የከሸፈው የcron ስራ PostgreSQL 9.2 ሁለትዮሾችን ለ9.6 ዳታቤዝ ስለመረጠ ነው፣ እና የውድቀት ኢሜይሎቹ ለጎደለው DMARC ተመልሰዋል። Azure ቅጽበታዊ ገጽ እይታዎች የፋይል አገልጋዮችን እንጂ ዳታቤዝ አይሸፍኑም። ቅጂው ሆን ተብሎ ተጠርጓል፣ እና የዕለታዊ ቅጽበታዊ ገጽ እይታ ዌብሆኮቹ ተወግደዋል። ለአግባብነት የሌለው ሙከራ የተወሰደው በእጅ ቅጽበታዊ ገጽ እይታ ብቻ ተርፏል።

about.gitlab.com · about.gitlab.com

GitLab.com ን መልሶ ለማምጣት ለምን አስራ ስምንት ሰዓታት ያህል ፈጀ?

መልሶ ማግኛ ማለት የማስተዋወቂያ ዲስኩን ወደ ምርት በ Azure ርካሽ ማከማቻ በስልሳ ሜጋቢት በሰከንድ መቅዳት ማለት ነው፣ ይህም አስራ ስምንት ሰዓታት ፈጅቷል። GitLab.com በፌብሩዋሪ 1 በ18:00 UTC ተመለሰ፣ ስድስት ሰዓት ዕድሜ ያለውን በእጅ ቅጽበታዊ ገጽ እይታ በመጠቀም። እንደ ክፍሉ ገለጻ፣ መቋረጡ ስድስት ሰዓታት የውሂብ፣ በግምት አምስት ሺህ ፕሮጀክቶች፣ አምስት ሺህ አስተያየቶች እና ሰባት መቶ አዳዲስ ተጠቃሚዎችን አስከፍሏል።

about.gitlab.com · about.gitlab.com

እንከን የለሽ ምርመራዎች ትዕዛዙን ባካሄደው መሃንዲስ ላይ ከማተኮር ይልቅ በሂደት ላይ የሚያተኩሩት ለምንድን ነው?

በዋና ስራ አስፈፃሚው የተፈረመው የ GitLab የኋላ ትንታኔ፣ መሃንዲሱን ማንነቱን ሚስጥራዊ አድርጎታል እና ውድቀቱን ለአንድ ቁምፊ ለተለያዩ ሁለት አስተናጋጅ ስሞች እና ማንም ያልመለሰላቸው አምስት የመጠባበቂያ ስርዓቶች ነው ብሏል። የምርት መጠየቂያውን ቀይ ቀለም ሰጥቶታል እና ለመረጃ ዘላቂነት ባለቤት ሰጥቷል፣ ምክንያቱም ከዚህ በፊት ባለቤት አልነበረውም። የጥገና ዝርዝሩ ከችግር ቁጥሮች ጋር ታትሟል።

about.gitlab.com · news.ycombinator.com

ቡድኖች ከ GitLab የዳታቤዝ አደጋ ምን መማር አለባቸው፣ እና የ GitLab ምላሽ ጥሩ ነበር?

የ The Daily Diff ፍርድ SHIP IT ነበር፣ በምላሹ ላይ። GitLab አደጋውን በይፋ አካሂዷል፣ ሂደቱን ወርፏል እና የጥገና ዝርዝርን ከችግር ቁጥሮች ጋር አሳትሟል። የክፍሉ የሰኞ እርምጃ መጠባበቂያን ወደነበረበት መመለስ ነው፣ ምክንያቱም ተመልሶ የማያውቅ መጠባበቂያ እንደ መጠባበቂያ ሊቆጠር አይችልም። Hacker News የቀጥታ አደጋ ሰነዱን 1,162 ነጥብ ሰጥቶታል።

about.gitlab.com · news.ycombinator.com

የተተረጎመ ግልባጭ

ከዋናው የእንግሊዝኛ ትረካ የተተረጎመ። የሚገኙ ኦዲዮ እና መግለጫ ጽሑፎች በYouTube ቁጥጥር ስር ናቸው።

0:00 በ GitLab የሚገኝ መሃንዲስ rm -rf ን በተሳሳተ የዳታቤዝ አገልጋይ ላይ ያካሂዳል፣ እና ሶስት መቶ ጊጋባይት የ GitLab dot com በአንድ ወይም በሁለት ሰከንድ ውስጥ ይጠፋል፣ አስተናጋጅ ስም ለማንበብ የሚፈጀውን ያህል ጊዜ። ጃንዋሪ 31፣ 2017፣ ምሽት 11:27 UTC። GitLab በስህተት የምርት መረጃ እንደሰረዘ በትዊተር ያስታውቃል፣ የአደጋውን ማስታወሻዎች ለኢንተርኔት ይፋ ያደርጋል፣ እና መልሶ ማግኘቱን በYouTube ላይ ያስተላልፋል፣ በመድረኩ ላይ ሁለተኛው የቀጥታ ስርጭት። በማግስቱ፣ በጽሑፍ: ከአምስት የመጠባበቂያ ዘዴዎች ውስጥ፣

0:25 አንዳቸውም በአስተማማኝ ሁኔታ እየሰሩ አይደሉም። እንዴት እንደሚሆን፣ ለምን ይቻላል፣ እና በእርግጥ ተጠያቂው ማነው። ይህ The Daily Diff፣ ከስህተት በኋላ ምርመራ። ምሽት 5:20: አንድ መሃንዲስ ምርትን ፎቶ ያነሳል በማስተዋወቂያ ውስጥ የጭነት ማከፋፈያ ለመፈተሽ። ምሽት 7: SPAM ዳታቤዙን ያጠቃል፣ በተጨማሪም አንድ የ GitLab ሰራተኛን በሃይል የሚሰርዝ ስራ አንድ ሰርጎ ገብ ለጥቃት ሪፖርት አድርጓል። ምሽት 11: ቅጂው በጣም ከመዘግየቱ የተነሳ ዋናው አስቀድሞ አስወግዷል

0:48 የሚያስፈልገውን ሎግ; ብቸኛው መፍትሄ ቅጂውን ማጥፋት እና ዋናውን መቅዳት እንደገና። pg_basebackup ያለ ምንም ውፅዓት ይጣበቃል። በእርግጥም በጸጥታ ዋናውን እየጠበቀ ነው; ማንም አያውቅም፣ እና የሩንቡክ አይልም። መሃንዲሱ፣ በአስራ አንድ ሰዓት ለመውጣት የነበረው፣ ባዶው የውሂብ ማውጫ ችግሩ እንደሆነ ይወስናል እና ያስወግደዋል። በ db1 ላይ። ዋናው። ከአንድ ወይም ከሁለት ሰከንድ በኋላ ያስተውላል; ከሦስት መቶ ጊጋባይት ውስጥ፣

1:11 4.5 ይቀራል። መጠባበቂያዎቹ። አንድ: pg_dump ወደ S3፣ በየቀኑ። ባልዲው ባዶ ነው። የcron ስራ የሚሰራው ዳታቤዝ በሌለው የመተግበሪያ አገልጋይ ላይ ነው፣ ስለዚህ ፓኬጁ ይመርጣል PostgreSQL 9.2 ሁለትዮሾችን ለ9.6 ዳታቤዝ፣ አይሳካም፣ እና ኢሜይሎችን ይልካል ውድቀቱን፣ ይህም ለጎደለው DMARC ይመለሳል። ሁለት: Azure ዲስክ ቅጽበታዊ ገጽ እይታዎች፣ ለፋይል አገልጋዮች የነቁ፣ ለዳታቤዝ አይደለም።

1:32 ሶስት: ቅጂው፣ ከአንድ ሰዓት በፊት ሆን ተብሎ የተጠራረገ። አራት: የዕለታዊ ቅጽበታዊ ገጽ እይታ፣ የ24 ሰዓት ዕድሜ ያለው፣ ሁሉም ዌብሆክ በ የማስተዋወቂያ ማመሳሰል ተወግዷል። አምስት: በእጅ የተወሰደው ቅጽበታዊ ገጽ እይታ ከምሽቱ 5:20፣ ከአንድ አግባብነት ለሌለው ሙከራ። ያኛው ያሸንፋል። መልሶ ማግኛ ማለት የማስተዋወቂያ ዲስኩን ወደ ምርት መቅዳት ማለት ነው በ Azure ርካሽ ማከማቻ በስልሳ ሜጋቢት በሰከንድ: አስራ ስምንት ሰዓታት። GitLab dot com በፌብሩዋሪ 1 ስድስት ሰዓት ላይ ይመለሳል። UTC፣ ስድስት ሰዓት የቆየ ውሂብ።

1:58 git blame: ሁለት አስተናጋጅ ስሞች አንድ ቁምፊ ተለያይተው፣ እና አምስት የመጠባበቂያ ስርዓቶች ማንም ሰው ከዚህ በፊት ካልተመለሱ። መሃንዲሱ አይደለም። በዋና ስራ አስፈፃሚው የተፈረመው የኋላ ትንታኔ፣ ማንነቱን ሚስጥራዊ ያደርገዋል፣ የምርት መጠየቂያውን ቀይ ቀለም ይሰጠዋል፣ እና የመረጃ ዘላቂነት ባለቤት ይሰጠዋል፣ ምክንያቱም እስከ አሁን ድረስ ባለቤት አልነበረውም። የፍንዳታ ራዲየስ: አስራ ስምንት ሰዓታት ጠፍቷል፣ ስድስት ሰዓታት የውሂብ ጠፍቷል፣ በግምት አምስት ሺህ ፕሮጀክቶች፣ አምስት ሺህ አስተያየቶች፣

2:18 ሰባት መቶ አዳዲስ ተጠቃሚዎች፣ እና አምስት ሺህ ሰዎች የሂደት አሞሌ እየተመለከቱ። Hacker News የቀጥታ ሰነዱን 1,162 ነጥብ ይሰጠዋል እና አንዱን ይጠቅሳል መስመር መልሶላቸው: ከአምስት መጠባበቂያዎች፣ የለም። የኋላ ትንታኔ ውሳኔ: ship it፣ በምላሹ ላይ። አደጋውን በይፋ ያካሂዳሉ፣ ሂደቱን ይወቅሳሉ፣ እና የጥገና ዝርዝሩን ያትማሉ ከችግር ቁጥሮች ጋር። የሰኞ እርምጃ: መጠባበቂያን ወደነበረበት መመለስ። ከዚህ በፊት ካልመለሱት፣ የለዎትም።

2:42 ስለሱ ማውራት የማይፈቀድልዎትን አደጋ ይላኩልኝ፣ በአስተያየቶች ውስጥ፣ ወይም በ daily diff dot dev። እና የዛሬው ልዩነት ይኸው ነው። እኔ ኒኮ ነኝ ከ Axrisi። በኃላፊነት ያዋህዱ።

ምንጮች

  1. GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
  2. GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
  3. @gitlabstatus, "We accidentally deleted production data…"twitter.com
  4. @gitlabstatus, emergency maintenance noticetwitter.com
  5. Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
  6. Hacker News, the postmortem thread (377 points)news.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

ተዛማጅ ቪዲዮዎች

postmortem · am · 9 ሴፕቴ 2026

አንድ AI የምርት ዳታቤዝ ሰርዟል። ዘጠኝ ሰከንዶች።

አንድ AI ኮዲንግ ወኪል (Cursor Claude Opus 4.6ን እየሰራ) በቅድመ-ምርት ላይ የማረጋገጫ መለያ ስህተት ገጥሞታል እና ባልተዛመደ ፋይል ውስጥ ባገኘው የአካውንት-ስኮፕድ ቶከን Railway ላይ volumeDelete በመጥራት "አስተካክሎታል"። የምርት ዳታቤዝ እና ሁሉም የድምጽ ምትኬዎች፣ በዘጠኝ ሰከንዶ

3:23 ↗
postmortem · am · 25 ሴፕቴ 2026

አንድ ሚሊሰከንድ ስህተት የዩኬ አየር ትራፊክን አቆመ። ስድስት ሰዓታት።

ማክሰኞ መስከረም 8 ከጠዋቱ 10:00 ላይ፣ በNATS ብሔራዊ የአየር ክልል ሲስተም (NAS) ውስጥ አንድ መደበኛ የስኳክ-ኮድ ጥያቄ እሴት በማዘመን ላይ እያለ ከፍተኛ ቅድሚያ ባለው መልእክት ተቋርጧል። የመጋለጥ መስኮቱ አንድ ሚሊሰከንድ ያህል ነው። ጥያቄው የተሳሳተ ሆኖ ይቀጥላል፣ የበረራ መረጃው ይበላሻል፣ እና ከ

3:06 ↗
postmortem · am · 22 ሴፕቴ 2026

ዳግም ማስነሳት ቴልስትራን ወደ 2006 አስመለሰ። ዘጠኝ ሚሊዮን ስልኮች።

በሜልበርን የሚገኝ አንድ መሃንዲስ ከጠዋቱ 2:50 ላይ የሰዓት አሰራር ቻሲስን እንደገና ሲያስጀምር፣ በቁርስ ሰአት የአውስትራሊያ ትልቁ የሞባይል አውታረ መረብ ህዳር 2006 እንደሆነ ተስማማ። ጁላይ 8, 2026: በቴልስትራ የኤንቲፒ ቻሲስ ውስጥ ያለ የጂፒኤስ ካርድ የሃይል አቅርቦት ጥገና በሚደረግበት ጊዜ እንደገና

3:15 ↗
postmortem · am · 19 ሴፕቴ 2026

Google Cloud ባዶ በሆነ መስክ ላይ ተበላሸ። ሶስት ሰዓታት።

ጥቂት ባዶ መስኮች ያለው የፖሊሲ ረድፍ ባዶ ጠቋሚ ሲመታ Google Cloud በአንድ ጊዜ በሁሉም ክልል ይበላሻል — ከዚያም Cloudflare ከእሱ ጋር ይወድቃል። ሰኔ 12፣ 2025፣ 17:49 UTC፡ Service Control፣ እያንዳንዱን የGoogle Cloud ኤፒአይ ጥያቄ የሚያፀድቀው ሁለትዮሽ፣ “ያልታሰቡ ባዶ

2:57 ↗