+− THE DAILY DIFFdev & AI news
SHIP IT

একটি রিবুট টেলস্ট্রাকে ২০০৬ সালে ফিরিয়ে নিয়ে যায়। নব্বই লক্ষ ফোন।

মেলবোর্নের একজন প্রকৌশলী ভোর ২:৫০ টায় একটি টাইমিং চ্যাসিস পুনরায় চালু করেন এবং সকালের নাস্তার সময় অস্ট্রেলিয়ার বৃহত্তম মোবাইল নেটওয়ার্ক একমত হয় যে এটি ২০০৬ সালের নভেম্বর মাস।

মেলবোর্নের একজন প্রকৌশলী ভোর ২:৫০ টায় একটি টাইমিং চ্যাসিস পুনরায় চালু করেন এবং সকালের নাস্তার সময় অস্ট্রেলিয়ার বৃহত্তম মোবাইল নেটওয়ার্ক একমত হয় যে এটি ২০০৬ সালের নভেম্বর মাস। ৮ জুলাই, ২০২৬: টেলস্ট্রার এনটিপি চ্যাসিসে একটি জিপিএস কার্ড পাওয়ার সাপ্লাই মেরামতের সময় রিবুট হয়, এর ফার্মওয়্যারে কখনও জিপিএস উইক-রোলওভার আপডেট হয়নি, তাই এটি পুরনো যুগটি বেছে নেয় এবং ১০২৪ সপ্তাহ অতীতে ফিরে যায়। যেহেতু অক্টোবর ২০২৫-এর একটি ওয়ার্কঅ্যারাউন্ড সেই কার্ডটিকে নেটওয়ার্কের একমাত্র স্ট্র্যাটাম-১ উৎস বানিয়েছিল — এবং ২০২০ সালের এনটিপি পিয়ারিং-এ পরিবর্তনের ফলে অন্য প্রতিটি উৎস এর অধস্তন হয়ে পড়েছিল — ভুল তারিখটি ভোটে জয়ী হয়। হ্যান্ডওভার নোডগুলি ভোর ৪টা থেকে রিসেট হতে শুরু করে, সমস্ত কল এবং ডেটা সেশনের ৪৫% প্রভাবিত হয়, প্রায় ৯০ লক্ষ গ্রাহক কল, টেক্সট বা ডেটা হারান, ৬০৪টি ট্রিপল জিরো কল ত্রুটি দেখায়, ভিক্টোরিয়ার আঞ্চলিক ট্রেনগুলি বন্ধ হয়ে যায় এবং বেশিরভাগ পরিষেবা ১২:১২ টায় ফিরে আসে। টেলস্ট্রার নিজস্ব অ্যালার্মগুলি একটি প্ল্যাটফর্মে ছিল যা অফিস চলাকালীন পরীক্ষা করা হত; কোম্পানিটি লক্ষ্য করে কারণ গ্রাহকরা "Telstra outage" লিখে গুগল করছিল।

লিখিত সংস্করণ পড়ুন (ইংরেজি) ↗

এই ভিডিওতে যা আছে

  • একটি জিপিএস কার্ড ২০০৬ সালের নভেম্বরে জেগে ওঠে
  • সময়রেখা: ২০১০ নকশা → ২০২০ চ্যাসিস → অক্টোবর ২০২৫ জিপিএস কার্ড → ০২:৫০
  • সকাল: ০৪:০০ এমএমই রিসেট → ০৪:২০ অ্যালার্ম ঝড় → ১২:১২ পুনরুদ্ধার
  • পদ্ধতি: এনটিপি চুক্তি অনুযায়ী ভোট দেয়, সম্ভাব্যতা অনুযায়ী নয়
  • git blame — Telstra ৫৫ · peering ২৫ · firmware ১৫ · the power supply ৫

অনুবাদিত প্রতিলিপি

মূল ইংরেজি বর্ণনা থেকে অনূদিত। উপলব্ধ অডিও এবং ক্যাপশন YouTube দ্বারা নিয়ন্ত্রিত।

একটি জিপিএস কার্ড ২০০৬ সালের নভেম্বরে জেগে ওঠে

0:00 মেলবোর্নের একজন প্রকৌশলী সকাল ২:৫০টায় একটি টাইমিং চ্যাসিস পুনরায় চালু করেন এবং সকালের নাস্তার সময় অস্ট্রেলিয়ার বৃহত্তম মোবাইল নেটওয়ার্ক একমত হয় যে এটি ২০০৬ সালের নভেম্বর মাস। টেলস্ট্রার বাইরের প্রতিবেদন বলছে, তারিখটি একটি জিপিএস কার্ড থেকে এসেছে এবং পুরো নেটওয়ার্ক এর জন্য ভোট দিয়েছে। প্রায় ৯০ লক্ষ গ্রাহক কল, টেক্সট বা ডেটা হারান, এবং ভিক্টোরিয়ার আঞ্চলিক ট্রেনগুলি দিনের জন্য বন্ধ হয়ে যায়। কীভাবে এটি ঘটলো, কেন একটি কার্ড জাতীয় ঘড়ির চেয়ে অগ্রাধিকার পেলো,

0:23 এবং কে এর জন্য দায়ী। এটি The Daily Diff, ময়নাতদন্ত।

সময়রেখা: ২০১০ নকশা → ২০২০ চ্যাসিস → অক্টোবর ২০২৫ জিপিএস কার্ড → ০২:৫০

0:28 ২০১০ সাল। নকশাটি পাঠ্যপুস্তক অনুযায়ী। তিনটি জাতীয় সময় উৎস দুটি সার্ভারে ফিড করে, সেগুলো নিচের তিনটিতে ফিড করে, এবং প্রতিটি নোড কেবল ওপর থেকে সময় নেয়। নিরীক্ষকরা এটিকে উদ্দেশ্য পূরণের জন্য উপযুক্ত বলে অভিহিত করে। ২০২০ সাল। নতুন চ্যাসিস। এটি তার নিজস্ব নিচের সার্ভারে ফিড করতে পারে না, তাই সিডনি এবং মেলবোর্ন ক্রস-ওয়্যার্ড হয়ে যায় এবং প্রতিটি সাইট একটি রেফারেন্সে নেমে আসে। তারপর সবকিছু পিয়ারিংয়ে পরিবর্তন করা হয়, যেখানে যে কোনো সার্ভার যে কোনো

0:50 সার্ভার থেকে সময় নিতে পারে যা এটি খুঁজে পায়। “timing loop” শব্দটি কোনো নথিতে নেই। অক্টোবর ২০২৫। মেলবোর্ন সিডনিকে হারাতে থাকে, এবং এর অ্যালার্মগুলো স্ট্র্যাটাম ফাইভ দেখায়, যার মানে এটি তার নিজের গ্রাহকদের কাছ থেকে সময় নেয়। কেউ একটি টিকিট ফাইল করে না। পরিবর্তে প্রকৌশলীরা একটি জিপিএস কার্ড চালু করেন যা পাঁচ বছর ধরে নিষ্ক্রিয় ছিল। অ্যালার্মগুলো বন্ধ হয়।

1:07 মেলবোর্ন এখন স্ট্র্যাটাম ওয়ান, জাতীয় প্রতিষ্ঠানের র‍্যাঙ্ক, এবং কেউ এটি পর্যালোচনা করে না। আটই জুলাই, ভোর ২:৫০। একটি পাওয়ার সাপ্লাই প্রতিস্থাপনের প্রয়োজন, তাই চ্যাসিস রিবুট হয়, এবং জিপিএস কার্ডটিও এর সাথে। এর ফার্মওয়্যার কখনও আপডেট করা হয়নি, তাই এটি পুরনো যুগটি বেছে নেয় এবং এক হাজার চব্বিশ সপ্তাহ অতীতে ফিরে যায়। মেলবোর্ন হলো গাছের চূড়া, এবং নিচের অংশ একমত হতে শুরু করে।

সকাল: ০৪:০০ এমএমই রিসেট → ০৪:২০ অ্যালার্ম ঝড় → ১২:১২ পুনরুদ্ধার

1:26 ভোর ৪টা, হ্যান্ডওভার নোডগুলি রিসেট হতে শুরু করে। ৪:২০, একটি অ্যালার্ম ঝড়, এমন একটি প্ল্যাটফর্মে যার অ্যালার্মগুলো অফিস চলাকালীন পড়া হয়। ৪:২৯, টেলস্ট্রা লক্ষ্য করে, কারণ গ্রাহকরা "Telstra outage" লিখে গুগল করছে। যারা পরিবর্তনটি করেছিল সেই প্রকৌশলীরা বাধ্যতামূলক বিশ্রামে আছে, এবং তারিখটি খুঁজে পেতে কয়েক ঘণ্টা লাগে। ১২:১২ এর মধ্যে বেশিরভাগ গ্রাহক ফিরে আসে।

পদ্ধতি: এনটিপি চুক্তি অনুযায়ী ভোট দেয়, সম্ভাব্যতা অনুযায়ী নয়

1:47 কেন এটি সম্ভব ছিল? এনটিপি-র দুটি প্রতিরক্ষা ব্যবস্থা রয়েছে। নিম্ন স্ট্র্যাটাম জয়ী হয়, এবং বাইরের গুলো বাতিল হয়। জিপিএস কার্ডটি ত্রুটিপূর্ণ উৎসকে সর্বোচ্চ র‍্যাঙ্ক দিয়েছিল, এবং যে প্রতিটি উৎস দ্বিমত পোষণ করতে পারতো তা অধস্তন ছিল, এটি পুনরাবৃত্তি করে। এনটিপি কখনও জিজ্ঞাসা করে না যে একটি তারিখ সম্ভাব্য কিনা, কেবল অন্যরা একমত কিনা। প্রোটোকল কাজ করেছিল।

2:06 আর্কিটেকচার কাজ করেনি।

git blame — Telstra ৫৫ · peering ২৫ · firmware ১৫ · the power supply ৫

2:07 git blame. টেলস্ট্রা, ৫৫ শতাংশ। কেউ ঘড়ির মালিক ছিল না, তাই কেউ পরিবর্তনটি পর্যালোচনা করেনি, এবং এই নির্দিষ্ট বাগ সম্পর্কে দুটি বিক্রেতা বুলেটিন অপঠিত রয়ে গিয়েছিল। পিয়ারিং মোড, ২৫, সার্ভারগুলোকে তাদের নিজস্ব প্রতিধ্বনি দিয়ে ভোট দিতে দেওয়ার জন্য। ফার্মওয়্যার, ১৫, প্রকাশিত এবং কখনও ইনস্টল করা হয়নি। ৫ শতাংশ পাওয়ার সাপ্লাইয়ের জন্য, একটি বুধবার ভোর ২:৫০ বেছে নেওয়ার জন্য। প্রভাবের ব্যাপ্তি। সেই দিনের সমস্ত কল এবং ডেটা সেশনের ৪৫ শতাংশ,

প্রভাবের ব্যাপ্তি: ৪৫% সেশন, $৩০K বক্সের জন্য $৩০M জরিমানা

2:30 সিইও সিনেটকে জানান। টেবিলে জরিমানা রয়েছে ৩০ মিলিয়ন ডলার, একটি ৩০ হাজার ডলারের বক্স থেকে একটি বিনামূল্যে আপডেট অনুপস্থিত থাকার জন্য। কার্ডটি ২০১৯ সালের আসল রোলওভার থেকে বেঁচে গিয়েছিল কারণ কেউ এটিকে বন্ধ করেনি। মেরামত এটিকে মেরে ফেলে। রায়, ময়নাতদন্ত: SHIP IT, প্রতিক্রিয়ার উপর।

রায় + সোমবারের লাইন: তিনটি টুপি পরা একটি ঘড়ি

2:46 টেলস্ট্রা বাইরের নিরীক্ষক নিয়োগ করে, প্রতিবেদনটি অপ্রকাশিতভাবে প্রকাশ করে, এই কথা সহ যে তারা কখনও সময়কে গুরুত্বপূর্ণ বলে বিবেচনা করেনি, এবং এটি নামার আগে তিনটি সাইটকে পুরনো সার্ভারগুলো থেকে সরিয়ে নেয়। সোমবারের লাইন: একটি এনটিপি ট্রেস চালান এবং আপনার কতগুলো সময় উৎস তিনটি টুপি পরা একটি ঘড়ি তা গণনা করুন। আপনি এখনও যে ঘটনাটি নিয়ে কথা বলার অনুমতি পাননি তা আমাকে পাঠান, মন্তব্যে, অথবা thedailydiff.dev এ। এবং আজকের জন্য এটাই diff।

3:10 আমি Axrisi থেকে Niko। দায়িত্বশীলভাবে মার্জ করুন।

উৎস

  1. Technology Audit Partners, "Findings Report on the July 8th Telstra Outage" (published by Telstra, Sep 2, 2026)www.telstra.com.au
  2. Vicki Brady (Telstra CEO), "What we've learned from the external investigation of our July outage" (Sep 2, 2026)www.telstra.com.au
  3. Netnod, Sven-Christian Ebenhag, "Telstra outage: The night a network decided the year was 2006" (Sep 17, 2026)www.netnod.se
  4. Hacker News on the Netnod post (93 points)news.ycombinator.com
  5. The Guardian, Senate inquiry: 45 % of sessions, ~9M customers, 604 Triple Zero errors (Jul 17, 2026)www.theguardian.com
  6. ABC News, "Telstra recently warned about timing issue linked to national outage" (Jul 10, 2026)www.abc.net.au
  7. The Register, the day itself (Jul 8, 2026)www.theregister.com
  8. ACS Information Age, the $30,000 box and the $30M fine (Jul 14, 2026)ia.acs.org.au

সম্পর্কিত ভিডিও

postmortem · bn · ২৫ সেপ, ২০২৬

এক-মিলিসেকেন্ডের একটি ত্রুটি যুক্তরাজ্যের বিমান চলাচল বন্ধ করে দিয়েছে। ছয় ঘণ্টা ধরে।

মঙ্গলবার, ৮ সেপ্টেম্বর সকাল ১০:০০ টায়, NATS-এর ন্যাশনাল এয়ারস্পেস সিস্টেম (NAS)-এর মধ্যে একটি রুটিন স্কোয়াক-কোড অনুরোধ একটি উচ্চ-অগ্রাধিকার বার্তার দ্বারা বাধাগ্রস্ত হয় যখন এটি একটি মান আপডেট করার

3:06 ↗
postmortem · bn · ১৯ সেপ, ২০২৬

একটি ফাঁকা ক্ষেত্রে গুগল ক্লাউড ক্র্যাশ করেছে। তিন ঘণ্টা।

কয়েকটি ফাঁকা ক্ষেত্র সহ একটি নীতি সারি একটি শূন্য পয়েন্টারকে আঘাত করে এবং গুগল ক্লাউড একই সাথে প্রতিটি অঞ্চলে ক্র্যাশ করে — তারপরে ক্লাউডফ্লেয়ারও এর সাথে পড়ে যায়। ১২ জুন, ২০২৫, ১৭:৪৯ ইউটিসি: সার্

2:57 ↗
postmortem · bn · ১৬ সেপ, ২০২৬

ফেসবুক ইন্টারনেট থেকে নিজেকে মুছে ফেলেছে। ছয় ঘন্টা।

ফেসবুক ইন্টারনেট থেকে তার নিজস্ব ঠিকানা মুছে ফেলে, এবং যখন এর প্রকৌশলীরা এটি ফিরিয়ে আনতে আসে, তখন ব্যাজ রিডারগুলোও বন্ধ হয়ে যায়, কারণ সেগুলো ফেসবুকের উপর চলে। ৪ অক্টোবর, ২০২১, ১৫:৪০ UTC: একটি রুটিন

3:01 ↗
postmortem · bn · ১২ সেপ, ২০২৬

একটি রেগুলার এক্সপ্রেশন ক্লাউডফ্লেয়ারকে ২৭ মিনিটের জন্য অচল করে দিয়েছে।

২ জুলাই, ২০১৯, ১৩:৪২ ইউটিসি: ক্লাউডফ্লেয়ারের ওয়েব অ্যাপ্লিকেশন ফায়ারওয়ালের জন্য একটি নতুন নিয়ম প্রায় দুই সেকেন্ডের মধ্যে ১৮০+ শহরে চালু হয়। এটি সিমুলেট মোডে একটি XSS নিয়ম, তাই এটি কিছুই ব্লক ক

3:00 ↗