+− THE DAILY DIFFdev & AI news
SHIP IT

একজন প্রকৌশলী গিটল্যাবের উৎপাদন ডেটাবেস মুছে ফেলেছেন। ৩০০ গিগাবাইট।

৩১শে জানুয়ারী, ২০১৭, ২৩:২৭ ইউটিসি: একজন গিটল্যাব প্রকৌশলী, দীর্ঘ রাতের শেষে একটি ভাঙা প্রতিলিপি মেরামত করতে গিয়ে, db2 এর পরিবর্তে db1-এ পোস্টgreSQL ডেটা ডিরেক্টরি মুছে ফেলেন।

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

৩১শে জানুয়ারী, ২০১৭, ২৩:২৭ ইউটিসি: একজন গিটল্যাব প্রকৌশলী, দীর্ঘ রাতের শেষে একটি ভাঙা প্রতিলিপি মেরামত করতে গিয়ে, db2 এর পরিবর্তে db1-এ পোস্টgreSQL ডেটা ডিরেক্টরি মুছে ফেলেন। db1 ছিল প্রধান ডেটাবেস। প্রায় ৩০০ জিবি GitLab.com-এর ডেটাবেস এক বা দুই সেকেন্ডের মধ্যে অদৃশ্য হয়ে যায় এবং পাঁচটি ব্যাকআপ ও প্রতিলিপি পদ্ধতির কোনোটিই কাজ করছিল না। পোস্টমর্টেম: স্প্যামের তীব্রতা থেকে ভুল হোস্টনাম পর্যন্ত সময়রেখা, কেন pg_basebackup আটকে আছে বলে মনে হয়েছিল, কেন pg_dump চুপচাপ ব্যর্থ হচ্ছিল (9.6 ডেটাবেসে 9.2 বাইনারি, DMARC দ্বারা ব্যর্থতার ইমেলগুলি বাউন্স করা হয়েছিল), ইউটিউবে সরাসরি সম্প্রচারিত ৬-ঘন্টা পুরানো স্টেজিং স্ন্যাপশট থেকে ১৮-ঘন্টা পুনরুদ্ধার, এবং কে আসলে দায়ী। প্রতিক্রিয়ার রায়: SHIP IT।

লিখিত সংস্করণ পড়ুন (ইংরেজি) ↗

এই ভিডিওতে যা আছে

  • জানুয়ারী ৩১, ২০১৭: প্রাথমিক ডেটা ডিরেক্টরিতে rm -Rvf; প্রায় ৩০০ জিবি মুছে ফেলা হয়েছে, ৪.৫ জিবি অবশিষ্ট আছে
  • ৫টি ব্যাকআপের মধ্যে ৫টিই ব্যর্থ: খালি S3 বাকেট (pg_dump সংস্করণ অমিল), ডিবিতে কোনো অ্যাজুর স্ন্যাপশট নেই, মুছে ফেলা প্রতিলিপি, ওয়েবহুক ছাড়া দৈনিক LVM কপি
  • ফেব্রুয়ারী ১, ১৮:০০ ইউটিসি: একটি ৬-ঘন্টা পুরানো ম্যানুয়াল স্ন্যাপশট থেকে GitLab.com ফিরে এসেছে; লাইভ ডক, লাইভ স্ট্রিম, একটি ফিক্স তালিকা সহ ব্লেমলেস পোস্টমর্টেম

প্রশ্ন ও উত্তর

2017 সালে GitLab.com প্রোডাকশন ডেটাবেস মুছে ফেলার ঘটনায় কী ঘটেছিল?

৩১ জানুয়ারী, ২০১৭ এর শেষের দিকে, একজন GitLab প্রকৌশলী একটি ভাঙা রেপ্লিকা মেরামত করার চেষ্টা করার সময় db2 এর পরিবর্তে db1 এ PostgreSQL ডেটা ডিরেক্টরি সরিয়ে দেন। db1 ছিল প্রাইমারি। প্রায় ৩০০ জিবি এর মধ্যে ৪.৫ জিবি অবশিষ্ট ছিল। GitLab টুইট করে জানিয়েছিল যে তারা ভুলবশত প্রোডাকশন ডেটা মুছে ফেলেছে, তাদের ঘটনার নোটগুলি প্রকাশ্যে প্রকাশ করেছে এবং YouTube এ পুনরুদ্ধার প্রক্রিয়া লাইভস্ট্রিম করেছে।

about.gitlab.com · about.gitlab.com · twitter.com

যখন GitLab-এর পাঁচটি ব্যাকআপ এবং রেপ্লিকেশন মেকানিজম কাজ করা দরকার ছিল, তখন সেগুলোর কোনোটিই কাজ করেনি কেন?

GitLab-এর পোস্টমর্টেম অনুযায়ী, S3-তে দৈনিক pg_dump ব্যর্থ হচ্ছিল কারণ cron জব একটি 9.6 ডেটাবেসের জন্য PostgreSQL 9.2 বাইনারি বেছে নিচ্ছিল এবং DMARC অনুপস্থিত থাকার কারণে এর ব্যর্থতার ইমেলগুলি বাউন্স করছিল। Azure স্ন্যাপশট ফাইল সার্ভারগুলিকে কভার করত কিন্তু ডেটাবেসগুলিকে নয়। রেপ্লিকাটি উদ্দেশ্যমূলকভাবে মুছে ফেলা হয়েছিল এবং দৈনিক স্ন্যাপশটের ওয়েবহুকগুলি বাদ দেওয়া হয়েছিল। শুধুমাত্র একটি ম্যানুয়াল স্ন্যাপশট, যা একটি সম্পর্কহীন পরীক্ষার জন্য নেওয়া হয়েছিল, সেটি টিকে ছিল।

about.gitlab.com · about.gitlab.com

GitLab.com পুনরুদ্ধার করতে প্রায় আঠারো ঘন্টা সময় লেগেছিল কেন?

পুনরুদ্ধারের অর্থ ছিল Azure-এর সস্তা স্টোরেজের মাধ্যমে প্রতি সেকেন্ডে ষাট মেগাবিট গতিতে স্টেজিং ডিস্ককে প্রোডাকশনে কপি করা, যা আঠারো ঘন্টা সময় নেয়। GitLab.com 1লা ফেব্রুয়ারি 18:00 UTC-তে ফিরে আসে, একটি ছয় ঘন্টা পুরোনো ম্যানুয়াল স্ন্যাপশট ব্যবহার করে। ঘটনাটি ছয় ঘন্টার ডেটা, প্রায় পাঁচ হাজার প্রকল্প, পাঁচ হাজার মন্তব্য এবং সাতশত নতুন ব্যবহারকারীর ক্ষতি করে, পর্বটি অনুযায়ী।

about.gitlab.com · about.gitlab.com

কেন ব্লেমলেস পোস্টমর্টেমগুলি কমান্ড চালানো ইঞ্জিনিয়ারের পরিবর্তে প্রক্রিয়ার উপর বেশি মনোযোগ দেয়?

সিইও দ্বারা স্বাক্ষরিত GitLab-এর পোস্টমর্টেম, ইঞ্জিনিয়ারকে বেনামী রেখেছিল এবং ব্যর্থতার কারণ হিসেবে এক অক্ষর ব্যবধানে থাকা দুটি হোস্টনাম এবং পাঁচটি ব্যাকআপ সিস্টেমকে দায়ী করেছিল যেগুলি থেকে এর আগে কেউ পুনরুদ্ধার করেনি। এটি প্রোডাকশন প্রম্পটকে লাল রঙে রঞ্জিত করেছিল এবং ডেটা স্থায়িত্বের জন্য একজন মালিক নিয়োগ করেছিল, কারণ এর আগে কোনো মালিক ছিল না। ফিক্স তালিকাটি ইস্যু নম্বর সহ প্রকাশিত হয়েছিল।

about.gitlab.com · news.ycombinator.com

টিমগুলির GitLab-এর ডেটাবেস ঘটনা থেকে কী শেখা উচিত এবং GitLab-এর প্রতিক্রিয়া কি সঠিক ছিল?

The Daily Diff-এর রায় ছিল প্রতিক্রিয়ার উপর SHIP IT। GitLab ঘটনাটি প্রকাশ্যে পরিচালনা করেছে, প্রক্রিয়াটিকে দায়ী করেছে এবং ইস্যু নম্বর সহ একটি ফিক্স তালিকা প্রকাশ করেছে। পর্বটির সোমবারের কর্ম পরিকল্পনা হল একটি ব্যাকআপ পুনরুদ্ধার করা, কারণ একটি ব্যাকআপ যা কখনও পুনরুদ্ধার করা হয়নি তাকে ব্যাকআপ হিসাবে গণ্য করা যায় না। Hacker News লাইভ ঘটনার নথিটিকে 1,162 পয়েন্ট দিয়েছে।

about.gitlab.com · news.ycombinator.com

অনুবাদিত প্রতিলিপি

মূল ইংরেজি বর্ণনা থেকে অনূদিত। উপলব্ধ অডিও এবং ক্যাপশন YouTube দ্বারা নিয়ন্ত্রিত।

0:00 গিটল্যাবের একজন প্রকৌশলী ভুল ডেটাবেস সার্ভারে rm -rf চালান, এবং গিটল্যাব ডট কমের তিনশ গিগাবাইট ডেটা এক বা দুই সেকেন্ডে অদৃশ্য হয়ে যায়, একটি হোস্টনাম পড়তে যে সময় লাগে প্রায় সেই সময়। ২০১৭ সালের ৩১শে জানুয়ারী, রাত ১১:২৭ ইউটিসি। গিটল্যাব টুইট করে যে তারা ভুলবশত প্রোডাকশন ডেটা মুছে ফেলেছে, তাদের ইনসিডেন্ট নোটগুলি ইন্টারনেটের জন্য উন্মুক্ত করে এবং ইউটিউবে পুনরুদ্ধার প্রক্রিয়াটি লাইভ স্ট্রিম করে, প্ল্যাটফর্মে দ্বিতীয় সেরা লাইভ স্ট্রিম। পরের দিন, লিখিতভাবে: পাঁচটি ব্যাকআপ পদ্ধতির মধ্যে,

0:25 কোনোটিই নির্ভরযোগ্যভাবে কাজ করছে না। কীভাবে এটি ঘটে, কেন এটি সম্ভব, এবং আসলে কে দায়ী। এটি The Daily Diff, পোস্টমর্টেম। বিকাল ৫:২০: একজন প্রকৌশলী প্রোডাকশন স্ন্যাপশট করেন স্টেজিং-এ একটি লোড ব্যালেন্সার পরীক্ষা করার জন্য। সন্ধ্যা ৭টা: স্প্যাম ডেটাবেসকে আঘাত করে, সাথে একটি কাজ যা একজন গিটল্যাব কর্মীকে কঠোরভাবে মুছে দেয় ট্রল অপব্যবহারের জন্য রিপোর্ট করেছিল। রাত ১১টা: প্রতিলিপি এত পিছিয়ে পড়ে যে প্রাইমারি ইতিমধ্যেই ডিসকার্ড করে দিয়েছে

0:48 যে লগ এটির প্রয়োজন; একমাত্র সমাধান হল প্রতিলিপি মুছে ফেলা এবং প্রাইমারি আবার অনুলিপি করা আবার। pg_basebackup কোনো আউটপুট ছাড়াই আটকে থাকে। এটি আসলে চুপচাপ প্রাইমারির জন্য অপেক্ষা করছে; কেউ তা জানে না, এবং রানবুকে তা বলা নেই। প্রকৌশলী, যিনি এগারোটায় কাজ শেষ করতে চেয়েছিলেন, সিদ্ধান্ত নেন যে খালি ডেটা ডিরেক্টরি সমস্যা এবং সেটি সরিয়ে দেন। db1-এ। প্রাইমারিতে। তিনি এক বা দুই সেকেন্ড পরে লক্ষ্য করেন; প্রায় তিনশ গিগাবাইটের মধ্যে,

1:11 ৪.৫ বাকি আছে। ব্যাকআপগুলো। এক: প্রতিদিন S3-তে pg_dump। বালতি খালি। ক্রন জব একটি অ্যাপ সার্ভারে চলে যেখানে কোনো ডেটাবেস নেই, তাই প্যাকেজটি বেছে নেয় একটি ৯.৬ ডেটাবেসের জন্য পোস্টgreSQL ৯.২ বাইনারি, ব্যর্থ হয়, এবং ইমেল করে ব্যর্থতা, যা DMARC অনুপস্থিতির কারণে বাউন্স করে। দুই: অ্যাজুর ডিস্ক স্ন্যাপশট, ফাইল সার্ভারগুলির জন্য সক্ষম করা হয়েছে, ডেটাবেসগুলির জন্য নয়।

1:32 তিন: প্রতিলিপি, এক ঘন্টা আগে ইচ্ছাকৃতভাবে মুছে ফেলা হয়েছে। চার: দৈনিক স্ন্যাপশট, ২৪ ঘন্টা পুরানো, স্টেজিং সিঙ্ক দ্বারা সমস্ত ওয়েবহুক সরিয়ে ফেলা হয়েছে। পাঁচ: বিকাল ৫:২০ এর ম্যানুয়াল স্ন্যাপশট, একটি সম্পর্কহীন পরীক্ষার জন্য। সেটিই জেতে। পুনরুদ্ধারের অর্থ হল স্টেজিং ডিস্কটি অ্যাজুরের সস্তা স্টোরেজ ব্যবহার করে প্রতি সেকেন্ডে ষাট মেগাবিট গতিতে প্রোডাকশনে ফিরিয়ে আনা: আঠারো ঘন্টা। GitLab ডট কম ১লা ফেব্রুয়ারী সন্ধ্যা ছয়টায় ফিরে আসে ইউটিসি, ছয় ঘন্টার ডেটা পুরনো। গিট ব্লেম: দুটি হোস্টনামের মধ্যে এক অক্ষরের পার্থক্য, এবং পাঁচটি ব্যাকআপ সিস্টেম যা কেউ

1:58 কখনও পুনরুদ্ধার করেনি। প্রকৌশলী নয়। সিইও দ্বারা স্বাক্ষরিত পোস্টমর্টেম, তাকে বেনামী রাখে, প্রোডাকশন প্রম্পটকে লাল রঙ করে, এবং ডেটা স্থায়িত্বের একটি মালিক দেয়, কারণ এতদিন এর কোনো মালিক ছিল না। ধ্বংসের মাত্রা: আঠারো ঘন্টা ডাউন, ছয় ঘন্টার ডেটা হারানো, প্রায় পাঁচ হাজার প্রকল্প, পাঁচ হাজার মন্তব্য, সাতশ নতুন ব্যবহারকারী, এবং পাঁচ হাজার মানুষ একটি অগ্রগতি বার দেখছে।

2:18 হ্যাকার নিউজ লাইভ ডককে ১,১৬২ পয়েন্ট দেয় এবং একটি লাইন তাদের ফিরিয়ে দেয়: পাঁচটি ব্যাকআপের মধ্যে, একটিও না। রায়, পোস্টমর্টেম: প্রতিক্রিয়ার উপর SHIP IT। তারা জনসমক্ষে ঘটনাটি পরিচালনা করে, প্রক্রিয়াটিকে দোষারোপ করে, এবং সমস্যা নম্বর সহ ফিক্স তালিকা প্রকাশ করে। সোমবারের কাজ: একটি ব্যাকআপ পুনরুদ্ধার করুন। যদি আপনি এটি কখনও পুনরুদ্ধার না করে থাকেন, তবে আপনার কাছে একটি নেই। আপনি যে ঘটনাটি সম্পর্কে এখনও কথা বলার অনুমতি পাননি, সেটি আমাকে পাঠান, মন্তব্যে, অথবা daily diff ডট dev-এ।

2:42 এবং আজকের জন্য এটাই পার্থক্য। আমি Axrisi থেকে নিকো। দায়িত্ব সহকারে মার্জ করুন। আমি Axrisi থেকে নিকো। দায়িত্ব সহকারে মার্জ করুন।

উৎস

  1. GitLab, "Postmortem of database outage of January 31" (Feb 10, 2017)about.gitlab.com
  2. GitLab, "GitLab.com database incident" (Feb 1, 2017)about.gitlab.com
  3. @gitlabstatus, "We accidentally deleted production data…"twitter.com
  4. @gitlabstatus, emergency maintenance noticetwitter.com
  5. Hacker News, "GitLab Database Incident – Live Report" (1,162 points, 598 comments)news.ycombinator.com
  6. Hacker News, the postmortem thread (377 points)news.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

সম্পর্কিত ভিডিও

postmortem · bn · ৯ সেপ, ২০২৬

একটি এআই একটি প্রোডাকশন ডেটাবেস মুছে দিয়েছে। নয় সেকেন্ড।

একটি এআই কোডিং এজেন্ট (Cursor, Claude Opus 4.6 চালিত) স্টেজিংয়ে একটি প্রমাণপত্রের অমিল খুঁজে পায় এবং একটি 'সংশোধন' করে, একটি সম্পর্কহীন ফাইলে খুঁজে পাওয়া একটি অ্যাকাউন্ট-স্কোপড টোকেন ব্যবহার করে Rail

3:23 ↗
postmortem · bn · ২৫ সেপ, ২০২৬

এক-মিলিসেকেন্ডের একটি ত্রুটি যুক্তরাজ্যের বিমান চলাচল বন্ধ করে দিয়েছে। ছয় ঘণ্টা ধরে।

মঙ্গলবার, ৮ সেপ্টেম্বর সকাল ১০:০০ টায়, NATS-এর ন্যাশনাল এয়ারস্পেস সিস্টেম (NAS)-এর মধ্যে একটি রুটিন স্কোয়াক-কোড অনুরোধ একটি উচ্চ-অগ্রাধিকার বার্তার দ্বারা বাধাগ্রস্ত হয় যখন এটি একটি মান আপডেট করার

3:06 ↗
postmortem · bn · ২২ সেপ, ২০২৬

একটি রিবুট টেলস্ট্রাকে ২০০৬ সালে ফিরিয়ে নিয়ে যায়। নব্বই লক্ষ ফোন।

মেলবোর্নের একজন প্রকৌশলী ভোর ২:৫০ টায় একটি টাইমিং চ্যাসিস পুনরায় চালু করেন এবং সকালের নাস্তার সময় অস্ট্রেলিয়ার বৃহত্তম মোবাইল নেটওয়ার্ক একমত হয় যে এটি ২০০৬ সালের নভেম্বর মাস। ৮ জুলাই, ২০২৬: টেলস

3:15 ↗
postmortem · bn · ১৯ সেপ, ২০২৬

একটি ফাঁকা ক্ষেত্রে গুগল ক্লাউড ক্র্যাশ করেছে। তিন ঘণ্টা।

কয়েকটি ফাঁকা ক্ষেত্র সহ একটি নীতি সারি একটি শূন্য পয়েন্টারকে আঘাত করে এবং গুগল ক্লাউড একই সাথে প্রতিটি অঞ্চলে ক্র্যাশ করে — তারপরে ক্লাউডফ্লেয়ারও এর সাথে পড়ে যায়। ১২ জুন, ২০২৫, ১৭:৪৯ ইউটিসি: সার্

2:57 ↗