+− THE DAILY DIFFdev & AI news
SHIP IT

কীভাবে ক্লদ নার্ফ শনাক্ত করবেন (বাস্তব ডেটা সহ)

মানুষ বলে ক্লদ প্রতিটি লঞ্চের কয়েক সপ্তাহ পর থেকে বোবা হয়ে যায়।

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

মানুষ বলে ক্লদ প্রতিটি লঞ্চের কয়েক সপ্তাহ পর থেকে বোবা হয়ে যায়। একজন ডেভেলপার ক্লদ ওপাস ৫.৫-কে লঞ্চ সপ্তাহের থেকে ৩০ দিনের ঘড়িতে রেখেছিলেন, স্থির প্রশ্ন, একটি পিন করা ক্লদ কোড এবং পাবলিক নিয়ম সহ, এবং এটি দেখায় কেন আগে কেউ জানতে পারত না, এবং কেন আপনার টোকেন গণনা দেখার বিষয়। রায়: SHIP IT।

লিখিত সংস্করণ পড়ুন (ইংরেজি) ↗

এই ভিডিওতে যা আছে

  • লঞ্চের পর ক্লদ বোবা হয়ে যায়: তত্ত্বটি একটি ডে-জিরো ঘড়ির সাথে মিলিত হয়
  • লাইভনার্ফ: লঞ্চ সপ্তাহের থেকে ওপাস ৫.৫-এর উপর একটি ৩০ দিনের ঘড়ি
  • নার্ফ কিভাবে ধরবেন: ৭৮টি কখনও-সঠিক প্রশ্ন
  • এটি কী দেখতে পারে: ৭.৫ পয়েন্ট, এবং টোকেন গণনা প্রথমে সরে যায়
  • অন্ধ স্থান: একটি ওপাস ৫ অদলবদল এবং ৮টি ভুল উত্তর কী

প্রশ্ন ও উত্তর

লঞ্চের পর একটি এআই মডেলকে কি নীরবে খারাপ করা হয়েছে কিনা তা আপনি কীভাবে পরীক্ষা করতে পারেন?

একই নির্দিষ্ট প্রশ্নগুলো একটি নির্দিষ্ট সময়সূচীতে চালান এবং সঠিক মিলের সাথে সেগুলোকে গ্রেড করুন। livenerf রেপো Claude Opus 5.5-এর উপর 30 দিনের একটি ঘড়ি চালায়, দিনে একবার, এমন লগ সহ যা কেউ সম্পাদনা করতে পারবে না। এটি 78টি প্রশ্ন ব্যবহার করে যা মডেলটি শুধুমাত্র কখনও কখনও সঠিকভাবে উত্তর দেয়, কারণ একটি প্রশ্ন যা এটি সর্বদা সঠিকভাবে উত্তর দেয় তা বাদ পড়তে পারে না। এটি Claude কোড সংস্করণটি পিন করে, কারণ একটি পরিবর্তিত হারনেস একটি পরিবর্তিত মডেলের মতো দেখায়।

এই অংশটি দেখুন 1:24 · github.com · github.com

livenerf মিটার কত বড় পতন সনাক্ত করতে পারে?

দশ দিনের উইন্ডো প্রতি, মিটার প্রায় 7.5 পয়েন্টের পতন দেখতে পারে। রিগটি কাজ করে তা প্রমাণ করতে, লেখক ইচ্ছাকৃতভাবে ক্লাউডের প্রচেষ্টা কমিয়ে দিয়েছিলেন। কম প্রচেষ্টার ফলে আউটপুট প্রায় দুই-তৃতীয়াংশ এবং স্কোর আট পয়েন্ট কমে যায়। পুরানো অপাস 5 নীরবে প্রতিস্থাপন করা রিগের জন্য খুব ছোট একটি পরিবর্তন ছিল, এবং রিডমি সে কথা শুরুতেই বলে দিয়েছে।

এই অংশটি দেখুন 2:19 · github.com · github.com

এআই এজেন্ট কম ভাবছে কিনা তা লক্ষ্য করতে ডেভেলপারদের কী ট্র্যাক করা উচিত?

প্রতিটি টাস্কের জন্য আউটপুট টোকেন গণনা। livenerf পরীক্ষায়, কম ভাবনা উত্তরগুলিতে প্রদর্শিত হওয়ার আগে টোকেন গণনায় প্রদর্শিত হয়েছিল। এই পর্বটি আপনার মডেল সংস্করণ পিন করার, প্রতিটি টাস্কের জন্য আউটপুট টোকেন লগ করার এবং আপনার নিজের কিছু নির্দিষ্ট প্রশ্ন রাখার পরামর্শ দেয়। যদি আপনার এজেন্ট হঠাৎ ছোট করে লেখা শুরু করে, তাহলে প্রথমে আপনার লগগুলি পরীক্ষা করুন।

এই অংশটি দেখুন 2:19 · github.com · news.ycombinator.com

অ্যানথ্রোপিক কি বলে যে চাহিদা বেশি হলে তারা ক্লাউডের গুণমান হ্রাস করে?

অ্যানথ্রোপিক বলে যে তারা তা করে না। সেপ্টেম্বর 2025-এর তাদের পোস্টমর্টেম বলে যে তারা চাহিদা, দিনের সময় বা সার্ভার লোডের কারণে মডেলের গুণমান কখনই হ্রাস করে না। একই পোস্টটি স্বীকার করে যে তিনটি বাগ ক্লাউডকে খারাপ করে দিয়েছিল এবং ক্লাউড কোড ব্যবহারকারীদের প্রায় এক তৃতীয়াংশ অন্তত একবার ভুল সার্ভারে আঘাত করেছিল।

এই অংশটি দেখুন 3:08 · www.anthropic.com

livenerf এর ফলাফলগুলি কি ক্লাউড nerf দেখানোর জন্য এখনও বিশ্বস্ত হতে পারে?

The Daily Diff-এর রায় ছিল প্রকল্পের জন্য SHIP IT, কারণ এটি একটি টাইমস্ট্যাম্প, একটি পাবলিক নিয়মাবলী এবং একটি উল্লেখিত অন্ধ স্পট সহ প্রথম nerf যুক্তি। এই পর্বটি বলে যে 24 অক্টোবরের আগে এটি উদ্ধৃত করা উচিত নয়, কারণ ত্রিশ দিনের মধ্যে মাত্র ছয় দিন ছিল এবং প্রথম সম্ভাব্য কলটি তখন আসে। নিরীক্ষায় 8টি উত্তর কীও পাওয়া গেছে যা ভুল বলে মনে হচ্ছে।

এই অংশটি দেখুন 4:50 · github.com · github.com · news.ycombinator.com

অনুবাদিত প্রতিলিপি

মূল ইংরেজি বর্ণনা থেকে অনূদিত। উপলব্ধ অডিও এবং ক্যাপশন YouTube দ্বারা নিয়ন্ত্রিত।

লঞ্চের পর ক্লদ বোবা হয়ে যায়: তত্ত্বটি একটি ডে-জিরো ঘড়ির সাথে মিলিত হয়

0:00 সবাই জানে যে ক্লদ লঞ্চের কয়েক সপ্তাহ পরে বোবা হয়ে যায়। তাই একজন ডেভেলপার ওপাস ৫.৫-কে লঞ্চ সপ্তাহের থেকে একটি ঘড়িতে রেখেছিলেন, এবং ঘড়িটি বলে যে কেউ এখনও জানতে পারেনি। এই ভিডিওতে, তিনটি প্রশ্ন। কীভাবে আপনি একটি নার্ফ ধরবেন? এই মিটার কী দেখতে পারে? এবং অ্যানথ্রপিক কী বলে? এবং রেপোর ক্রেডিটগুলির একটি লাইন আমাকে উচ্চস্বরে হাসিয়েছিল।

0:20 আমি শেষে এটিতে আসব। আজ বুধবার, সেপ্টেম্বর ৩০, এবং এটি The Daily Diff। আজ তিনটি গল্প, এবং বড়টি হলো একটি গিটহাব রেপো যার নাম লাইভ নার্ফ।

লাইভনার্ফ: লঞ্চ সপ্তাহের থেকে ওপাস ৫.৫-এর উপর একটি ৩০ দিনের ঘড়ি

0:30 কয়েক মাস ধরে, মানুষ বলেছে যে অ্যানথ্রপিক লঞ্চের পরে চুপচাপ তার মডেলগুলিকে নার্ফ করে। সাধারণ তত্ত্বগুলি হলো একটি সঙ্কুচিত মডেল, একই নামের অধীনে একটি ছোট মডেল বা কেবল কম চিন্তা করা। রেপোটি এখনও পর্যন্ত প্রতিটি যুক্তিকে ভাইবস বনাম ভাইবস বলে অভিহিত করে। ওপাস ৫.৫ সেপ্টেম্বর ২২ তারিখে শিপ করা হয়েছিল, এবং এক সপ্তাহ আগে আমি আপনাদের বলেছিলাম যে এটি স্বাধীন বোর্ডে শীর্ষে ছিল যখন এটি মধ্যম মডেলের চেয়ে তিন গুণ বেশি শব্দ লিখছিল। আড়াই দিন পর, নিনজা হক নামের একজন ডেভেলপার ঘড়ি চালু করেন,

0:59 ৩০ দিনের জন্য দিনে একবার, এমন লগ সহ যা কেউ সম্পাদনা করতে পারে না। হ্যাকার নিউজ থ্রেড প্রায় ৮০০ পয়েন্ট পেয়েছিল এবং একটি টিম চ্যাটের মতো বিভক্ত হয়েছিল। একজন মন্তব্যকারী বলেছেন যে রিপোর্ট করা বেশিরভাগ ক্ষেত্রে মডেলগুলিকে নার্ফ করা বাস্তব নয়। অন্য একজন বলেছেন যে মানুষ কেবল নতুন বুদ্ধিমত্তার স্তরের সাথে অভ্যস্ত হচ্ছে। এবং একজন ক্লদ কোড পাওয়ার ব্যবহারকারী এখন প্রতিবার রেট-দিস-সেশন পপ-আপ বাতিল করেন, কারণ ক্লদকে রেটিং দেওয়া এটিকে আরও খারাপ করে বলে মনে হয়েছিল। পিয়ার রিভিউ। তো, প্রশ্ন এক, আপনি একটি নার্ফ কিভাবে ধরবেন?

নার্ফ কিভাবে ধরবেন: ৭৮টি কখনও-সঠিক প্রশ্ন

1:27 আপনি প্রায় ২৩০০ কঠিন পরীক্ষার প্রশ্ন দিয়ে শুরু করেন, এবং ওপাস প্রথম চেষ্টায় ৯৩ শতাংশ সঠিক করে, যা একটি ডিটেক্টরের জন্য অকেজো, কারণ একটি প্রশ্ন যা এটি সর্বদা সঠিক করে তা ড্রপ করতে পারে না। ৯৭ শতাংশ সর্বদা সঠিক বা সর্বদা ভুল ছিল, এবং যে ৭৮টি এটি শুধুমাত্র কখনও কখনও সঠিক করে সেগুলি প্যানেল হয়ে ওঠে। একই প্রম্পট, কোনো সরঞ্জাম নেই, এবং কোনো এআই বিচারক ছাড়াই সঠিক-ম্যাচ গ্রেডিং, কারণ বিচারকও সরে যাবেন। এটি হেডলেস ক্লদ কোডের মাধ্যমে একটি ম্যাক্স সাবস্ক্রিপশনে চলে,

1:55 কারণ API সংস্করণের দাম ছিল প্রায় ১৬০০ ডলার প্রতি মাসে। এবং ক্লদ কোড সংস্করণটি পিন করা আছে, কারণ, রেপোর ভাষায়, একটি পরিবর্তিত হারনেস দেখতে ঠিক একটি পরিবর্তিত মডেলের মতো। পরিসংখ্যানগুলি 'অ্যাডিং এরর বার্স টু ইভালস' নামের একটি কাগজ থেকে এসেছে, যা অ্যানথ্রপিকের ইভান মিলারের লেখা। সুতরাং অ্যানথ্রপিকের নিজস্ব গণিত এখন অ্যানথ্রপিককে নিরীক্ষণ করছে, যা গ্রাহক সহায়তার কাছে পরিষেবার শর্তাবলী উদ্ধৃত করার একাডেমিক সংস্করণ। গ্রাহক সহায়তার কাছে পরিষেবার শর্তাবলী উদ্ধৃত করার একাডেমিক সংস্করণ।

এটি কী দেখতে পারে: ৭.৫ পয়েন্ট, এবং টোকেন গণনা প্রথমে সরে যায়

2:19 প্রশ্ন দুই, এটি কী দেখতে পারে? দশ দিনের উইন্ডোতে, প্রায় সাড়ে সাত পয়েন্টের একটি ড্রপ। কাঠামোটি কাজ করে তা প্রমাণ করার জন্য, লেখক ইচ্ছাকৃতভাবে ক্লদের প্রচেষ্টাকে কমিয়ে দেন। মাঝারি প্রচেষ্টা আউটপুট প্রায় এক চতুর্থাংশ কমিয়ে দেয়, এবং স্কোর মাত্র চার পয়েন্ট। কম প্রচেষ্টা আউটপুট প্রায় দুই তৃতীয়াংশ কমিয়ে দেয়, আট পয়েন্টের জন্য। এটাই চুরি করার অংশ। কম চিন্তা করা উত্তরে প্রকাশ পাওয়ার আগেই টোকেন গণনায় প্রকাশ পায়।

2:43 সুতরাং আপনার মডেল সংস্করণ পিন করুন, প্রতি টাস্কে আউটপুট টোকেন লগ করুন, এবং আপনার নিজের কিছু স্থির প্রশ্ন রাখুন। যদি আপনার এজেন্ট হঠাৎ করে ছোট লেখা শুরু করে, রেডিট চেক করার আগে আপনার লগগুলি পরীক্ষা করুন। এবং এখানে সৎ অংশটি।

অন্ধ স্থান: একটি ওপাস ৫ অদলবদল এবং ৮টি ভুল উত্তর কী

2:54 চুপচাপ পুরোনো ওপাস ফাইভ পরিবর্তন করা কাঠামোটির জন্য খুব ছোট একটি পরিবর্তন ছিল। আর README তে এটি সামনেই লেখা আছে। নিরীক্ষায় আটটি উত্তর কীও পাওয়া গেছে যা ভুল দেখাচ্ছে, তাই নার্ফ ডিটেক্টর একটি নার্ফ খুঁজে পাওয়ার আগে বেঞ্চমার্কে ত্রুটি খুঁজে পেয়েছিল।

অ্যানথ্রপিক: আমরা কখনই মডেলের গুণমান হ্রাস করি না

3:08 প্রশ্ন তিন, অ্যানথ্রপিক কী বলে? গত বছর, অভিযোগের ঢেউয়ের পর, অ্যানথ্রপিক একটি পোস্টমর্টেম প্রকাশ করে। এতে বলা হয়েছে, উদ্ধৃতি, আমরা চাহিদা, দিনের সময় বা সার্ভার লোডের কারণে মডেলের মান কখনই হ্রাস করি না। দিনের সময় বা সার্ভার লোডের কারণে মডেলের মান কখনই হ্রাস করি না। একই পোস্টে স্বীকার করা হয়েছে যে তিনটি বাগ ক্লদের মান হ্রাস করেছিল, এবং প্রায় এক তৃতীয়াংশ ক্লদ কোড ব্যবহারকারীরা অন্তত একবার ভুল সার্ভারে আঘাত করেছিল। সুতরাং অভিযোগগুলি বাস্তব ছিল এবং কারণ ছিল বাগ, এজন্য রেপো সতর্ক করে যে লঞ্চ সপ্তাহ সবচেয়ে খারাপ সপ্তাহ হতে পারে।

3:35 ৩০ দিনের মধ্যে ছয় দিন হয়ে গেছে। প্রথম সম্ভাব্য ঘোষণাটি ২৪ অক্টোবর এর আশেপাশে আসে, সুতরাং সৎ উত্তরটি হলো কেউ জানে না, যারা নিশ্চিত ছিল তাদের সহ। কেউ প্রকাশ করে না এমন সংখ্যার কথা বলছি।

ডেটা সেন্টারগুলি তাদের সংখ্যা গোপন রাখে; ব্যাকব্লেজ প্রকাশ করে

3:46 লাইটহাউস রিপোর্টস এবং ডাচ পেপার ট্রাউফ খুঁজে পেয়েছে যে বেশিরভাগ ইউরোপীয় ডেটা সেন্টারগুলি তাদের বিদ্যুৎ এবং জলের ব্যবহার গোপন রাখে, যদিও একটি EU নিয়ম তিন বছর ধরে রিপোর্টিং বাধ্যতামূলক করেছে। নেদারল্যান্ডসে, এক চতুর্থাংশের কম প্রকাশ করে। একাই একটি মাইক্রোসফট ডেটা সেন্টার ডাচ বিদ্যুতের প্রায় এক শতাংশ ব্যবহার করে। এদিকে, ব্যাকব্লেজ আবার বিরক্তিকর কাজটি করেছে। এর ত্রৈমাসিক ড্রাইভের পরিসংখ্যান প্রায় সাড়ে তিন লাখ হার্ড ড্রাইভ কভার করে, এবং ব্যর্থতার হার ১.৭৩ শতাংশে উন্নীত হয়েছে,

4:16 যা বেশ কিছুদিন পর সর্বোচ্চ। তিনটি সিগেট মডেলের কোনো ব্যর্থতা ছিল না। ১৩ বছর ধরে ত্রৈমাসিক পর ত্রৈমাসিক একটি পাবলিক বেসলাইন দেখতে এমনই হয়। ১৩ বছর ধরে।

ক্রেডিট লাইন: ক্লদ মিটার তৈরি করতে সাহায্য করেছে

4:25 এখন, সেই ক্রেডিট লাইন। README স্বীকার করে যে রেপোটির অনেকটাই ক্লদের সাহায্যে লেখা হয়েছিল, যা পরিমাপ করা হচ্ছে সেই মডেল। সুতরাং ক্লদ মিটার তৈরি করতে সাহায্য করেছিল যা পরীক্ষা করে ক্লদ বোবা হয়ে গেছে কিনা। এজন্য গ্রেডাররা সাধারণ ফাংশন। লেখকের ভাষায়, আপনাকে লেখকের উপর বিশ্বাস রাখতে হবে না, মানুষ বা অন্য কিছু। আপনি যদি এটি আমার মুখে না শুনে পড়তে চান, তবে প্রতিদিন সকালে আপনার ইনবক্সে The Daily Diff আসে,

4:46 thedailydiff.dev এ বিনামূল্যে, লিঙ্ক নিচে দেওয়া আছে। তো, লাইভ নার্ফের আজকের রায়।

রায়: SHIP IT, এবং ২৪ অক্টোবর এর আগে এটি উদ্ধৃত করবেন না

4:51 SHIP IT। আমি এটি শিপ করব কারণ এটি প্রথম নার্ফ যুক্তি যা আমি দেখেছি একটি টাইমস্ট্যাম্প, একটি পাবলিক রুলবুক এবং একটি ঘোষিত অন্ধ স্থান সহ। তবে ২৪ অক্টোবর এর আগে এটি উদ্ধৃত করবেন না। এবং এটাই আজকের The Daily Diff। আমি Axrisi থেকে নিকো। দায়িত্বের সাথে মার্জ করুন।

উৎস

  1. livenerfgithub.com
  2. Validationgithub.com
  3. Hacker Newsnews.ycombinator.com
  4. Anthropic postmortem (Sep 2025)www.anthropic.com
  5. Adding Error Bars to Evals (Evan Miller)arxiv.org
  6. Inspect (UK AI Security Institute)inspect.aisi.org.uk
  7. NL Timesnltimes.nl
  8. Hacker Newsnews.ycombinator.com
  9. Backblaze Drive Stats Q2 2026www.backblaze.com
  10. Hacker Newsnews.ycombinator.com

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

সম্পর্কিত ভিডিও

daily · bn · ২৩ সেপ, ২০২৬

Claude Opus 5.5 দাম কমিয়েছে। OpenAI আরও কমিয়েছে।

Anthropic Claude Opus 5.5 প্রকাশ করেছে: বেশিরভাগ কাজে ফ্যাবলের স্তরে, স্টিকার মূল্যের এক পঞ্চমাংশ ছাড় এবং ক্যাশে করা রিডে ৬০% ছাড়। প্রায় নব্বই মিনিট পরে OpenAI GPT-6 Sol এবং Luna প্রকাশ করেছে, যা ত

5:12 ↗
daily · bn · ৬ নভে, ২০২৬

Claude Code ব্যবহারকারীদের ইমেল ওয়েবসাইটগুলিতে যোগাযোগের ঠিকানা হিসাবে পাঠিয়েছে

Claude Code সাইন-ইন করা অ্যাকাউন্টের ইমেল ঠিকানা মডেলের প্রসঙ্গে যুক্ত করেছে, এবং এজেন্ট কখনও কখনও সেই ঠিকানাটি ইউজার-এজেন্ট হেডারে ঢুকিয়ে দিয়েছে এমন curl অনুরোধগুলিতে যা এটি ওয়েবসাইটগুলির জন্য লিখ

5:08 ↗
daily · bn · ১ অক্টো, ২০২৬

Gemini 4 Argon হল গুগলের সেরা মডেল। আপনি এখনো এটি ব্যবহার করতে পারবেন না।

গুগল তাদের নতুন ফ্রন্টিয়ার মডেল Gemini 4 Argon ঘোষণা করেছে, এবং শুধুমাত্র বিশ্বস্ত সাইবার ডিফেন্ডাররাই এটি ব্যবহার করতে পারবেন। গুগলের নিজস্ব ১৯-সারি বিশিষ্ট বেঞ্চমার্ক সারণী কী দেখাচ্ছে, স্বাধীন লিডা

4:53 ↗
daily · bn · ২৭ সেপ, ২০২৬

OpenAI কেন তার পাইরেটেড বইগুলো মুছে ফেলেছে

২০১৯ সালে OpenAI এর এক গবেষকের উদ্ধৃত করা হয়, যেখানে তিনি একটি পাইরেটেড-বই সাইটে প্রশিক্ষণ দেওয়ার বিষয়ে তার উদ্বেগের কথা বলেন, যা ছিল "Hacker News-এ অপটিক্স"। OpenAI কী জানতো, কে বিল গেটসকে বলেছিল, ফা

5:01 ↗