জিপিটি-৬ অ্যাস্ট্রা অন্য একটি এআই-এর অন্তহীন চিন্তাভাবনাকে প্যাচ করেছে
এমআইটি-র সাথে যুক্ত একটি গবেষণা GPT-6 অ্যাস্ট্রা ব্যবহার করে একটি ছোট কুইন মডেলের ওজন সম্পাদনা করেছে এবং আরও উত্তর শেষ করতে সহায়তা করেছে।
এমআইটি-র সাথে যুক্ত একটি গবেষণা GPT-6 অ্যাস্ট্রা ব্যবহার করে একটি ছোট কুইন মডেলের ওজন সম্পাদনা করেছে এবং আরও উত্তর শেষ করতে সহায়তা করেছে। এর রিপোর্ট করা গণিতের স্কোর বৃদ্ধি একটি লক্ষ্যযুক্ত লুপ মেরামত, পাইথন বিশ্লেষণ এবং অনুশীলনের প্রতিক্রিয়ার উপর নির্ভর করে। একটি পৃথক ছোট-জেম্মা ফলো-আপে কোনো প্রতিষ্ঠিত লাভ পাওয়া যায়নি।
লিখিত সংস্করণ পড়ুন (ইংরেজি) ↗
এই ভিডিওতে যা আছে
- রিপোর্ট করা কুইন স্কোরের বৃদ্ধি পুনরাবৃত্তিমূলক যুক্তির একটি লক্ষ্যযুক্ত মেরামত থেকে এসেছে; সম্পাদিত উত্তরগুলির প্রায় এক-তৃতীয়াংশ প্রাথমিক প্রোটোকলে এখনও দৈর্ঘ্যের সীমা ছুঁয়েছিল।
- গ্রেডিয়েন্ট প্রশিক্ষণ নিষিদ্ধ ছিল, যখন পাইথন, অনুশীলনের উত্তর এবং ব্যাচ করা মডেল-চালিত প্রতিক্রিয়া অনেক মোড়ে অনুমোদিত ছিল। চূড়ান্ত মূল্যায়নের প্রশ্নগুলি উত্স-ঘোষিতভাবে বাদ দেওয়া হয়েছিল।
- ছোট কাঁচা-ওজন এবং নো-রোলআউট গেমের পরীক্ষাগুলি বিভিন্ন শর্ত ব্যবহার করেছে। তাদের দাবিগুলি তাদের নিজস্ব সরঞ্জাম, ইনপুট এবং বেসলাইন স্কোপ ধরে রাখা উচিত।
- ম্যাথিউ হোনিবাল টুল-সহায়ক ইঞ্জিনিয়ারিংয়ের প্রশংসা করেন এবং পরীক্ষাগুলিকে একত্রিত করে তৈরি হওয়া বিস্তৃত ধারণার বিরোধিতা করেন।
- ছোট জেম্মা ফলো-আপ তার নিজস্ব সেটআপ ব্যবহার করেছে এবং কোনো উন্নতি প্রতিষ্ঠা করতে ব্যর্থ হয়েছে। একটি ওজন সম্পাদনা অন্য মডেলের উপর প্রয়োগ করার আগে কোন ব্যর্থতা মেরামত করে তা পরীক্ষা করুন।
প্রশ্ন ও উত্তর
কুইনের রিপোর্ট করা গণিত স্কোর উন্নত করতে অ্যাস্ট্রা কী পরিবর্তন করেছে?
রিকিয়া তাকেহি এবং সহকর্মীদের গবেষণা অনুসারে, অ্যাস্ট্রা একটি লক্ষ্যযুক্ত ওজন সম্পাদনা করেছে যা কুইনকে আরও উত্তর শেষ করতে সহায়তা করেছে। এটি অভ্যন্তরীণ স্তরের নির্বাচিত কলামগুলি থেকে পুনরাবৃত্তি-সম্পর্কিত অবদান সরিয়ে দিয়েছে। রিপোর্ট করা গণিত-স্কোর বৃদ্ধি একটি নির্দিষ্ট মূল্যায়ন প্রোটোকল ব্যবহার করেছে। অনেক সম্পাদিত উত্তর এখনও দৈর্ঘ্যের সীমা ছুঁয়েছিল, তাই ফলাফলটি একটি উল্লেখযোগ্য অবশিষ্ট ব্যর্থতার হার বজায় রাখে।
কুইন ওজন সম্পাদনার সময় কোন সরঞ্জাম এবং প্রতিক্রিয়া অনুমোদিত ছিল?
পাইথন বিশ্লেষণ, উত্তর সহ অনুশীলনের সমস্যা এবং ব্যাচ করা মডেল-রান প্রতিক্রিয়া অনেক পালা জুড়ে অনুমোদিত ছিল। গবেষকদের আসল প্রাথমিক প্রম্পট গ্রেডিয়েন্ট প্রশিক্ষণ নিষিদ্ধ করেছিল এবং ডায়াগনস্টিক এবং কার্যকারণ পরীক্ষার পরামর্শ নির্দিষ্ট করেছিল, যার মধ্যে পুনরাবৃত্তিমূলক-চিন্তাভাবনা মেরামত একটি যোগ্য লক্ষ্য হিসাবে ছিল। এই সমর্থন অ্যাস্ট্রাকে বিদ্যমান ওজনগুলিতে একটি সরাসরি সম্পাদনা চয়ন করতে সহায়তা করেছে। একটি বাজেট ইউনিটে শত শত তৈরি করা উত্তর থাকতে পারে।
সম্পাদনা মডেলের জন্য চূড়ান্ত মূল্যায়নের সমস্যাগুলি কি উপলব্ধ ছিল?
গবেষকরা বলেছেন যে চূড়ান্ত মূল্যায়নের সেটগুলি অ্যাস্ট্রা দ্বারা দেখা যায়নি। অনুশীলনের প্রতিক্রিয়া প্রশিক্ষণ-বিভাজিত সমস্যাগুলি থেকে এসেছে এবং সম্পাদনা চয়ন করতে সহায়তা করেছে; পরে আলাদা করে রাখা সমস্যাগুলি জমা দেওয়া মডেলটি পরিমাপ করেছে। প্রাথমিক প্রম্পট বেঞ্চমার্কের নাম এবং মূল্যায়ন প্রোটোকল প্রকাশ করেছে। এই পার্থক্যটি কী গোপন রাখা হয়েছিল তা বর্ণনা করে, সম্পাদকটির কাছে কাজটি সম্পর্কে সমস্ত তথ্য ছিল না এমন দাবি না করে।
ছোট জেম্মা ওজন-সম্পাদনা ফলো-আপে কী হয়েছিল?
রিকিয়া তাকেহি এবং সহকর্মীদের মতে, ছোট জেম্মা ফলো-আপ কোনো লাভ প্রতিষ্ঠা করতে ব্যর্থ হয়েছে। মডেলটি খুব কমই লুপ করত, এবং এর ব্যর্থতাগুলির মধ্যে ভুল পাটিগণিত এবং অবৈধ বীজগণিত অন্তর্ভুক্ত ছিল। অনুশীলনের প্রতিক্রিয়া সহ লক্ষ্যযুক্ত সম্পাদনাগুলি রিপোর্ট করা গণিত স্কোরকে প্রায় এক পয়েন্টের বেশি পরিবর্তন করেনি। এটি একটি পৃথক সেটআপ ব্যবহার করেছে, তাই তুলনাটি একটি সমান-নিয়ন্ত্রিত অ্যাবলেশনের পরিবর্তে একটি সীমিত পাল্টা উদাহরণ সরবরাহ করে।
ওজন-সম্পাদনা দাবির উপর The Daily Diff-এর রায় কী ছিল?
The Daily Diff-এর রায় ছিল NEEDS REVIEW। নিকো লক্ষ্যযুক্ত লুপ মেরামতকে গুরুত্ব সহকারে নেবে এবং এটি পরীক্ষা করবে, যখন বৃহত্তর দাবিগুলি সেই ব্যর্থতার মোডের বাইরে সাফল্যের উপর আটকে রাখবে। গবেষকদের নিজস্ব ছোট-মডেলের পাল্টা উদাহরণ সেই রায়কে অবহিত করে। ডেভেলপারদের একটি সম্পাদনা কোন ব্যর্থতা মেরামত করে তা চিহ্নিত করা উচিত এবং রিপোর্ট করা গুণককে উদযাপন করার আগে তাদের নিজস্ব কাজগুলিতে সংরক্ষিত ওজনগুলি মূল্যায়ন করা উচিত।
অনুবাদিত প্রতিলিপি
মূল ইংরেজি বর্ণনা থেকে অনূদিত। উপলব্ধ অডিও এবং ক্যাপশন YouTube দ্বারা নিয়ন্ত্রিত।
গণিতের স্কোর কেন বাড়ল?
0:00 একটি এআই অন্য একটি এআইকে ছয় গুণ স্মার্ট করে তুলছে, যা অবিলম্বে প্রতিভার মতো শোনায়। অ্যাস্ট্রার বড় স্কোর বৃদ্ধি কুইনকে বারবার পুনরাবৃত্তি করা উত্তরগুলি শেষ করতে সাহায্য করার কারণে এসেছে। এই ভিডিওতে কী পরিবর্তন হয়েছে? অ্যাস্ট্রা কী সাহায্য পেয়েছিল? এবং এই সমাধানটি কতটা কার্যকর? কুইন প্রায় আট শতাংশ থেকে আটচল্লিশ শতাংশে উন্নীত হয়েছে। গবেষকরা প্রায় কোনো লুপ ছাড়াই একটি দ্বিতীয় মডেল চেষ্টা করেছেন। রায় দেওয়ার আগে আমরা দেখব সেটি কেমন হয়েছে।
0:22 আজ মঙ্গলবার, নভেম্বর মাসের তিন তারিখ, এবং এটি The Daily Diff। ওয়েট-স্পেস প্রোগ্রামিং হল গবেষকদের দেওয়া নাম একটি এআইকে একটি নিউরাল নেটওয়ার্কের ভিতরের সংখ্যাগুলি পরিদর্শন বা লিখতে বলার জন্য। সেই সংখ্যাগুলিই এর ওজন। এই এমআইটি-র সাথে যুক্ত দলটি OpenAI-এর GPT সিক্স অ্যাস্ট্রা ব্যবহার করেছে একটি ছোট কুইন ভাষার মডেল সম্পাদনা করতে, যেখানে সাধারণ প্রশিক্ষণ নিষিদ্ধ ছিল। রিকিয়া তাকেহি এবং তার সহ-লেখকরা সোমবার এই গবেষণাটি প্রকাশ করেছেন,
0:44 একটি বিদ্যমান এআই কি অন্য একটি নেটওয়ার্কের অভ্যন্তরীণ বিষয়গুলি নিয়ে যুক্তি দিতে পারে কিনা তা জিজ্ঞাসা করে। তাদের শিরোনামের ফলাফলটি খুব ক্লিকযোগ্য। গণিত পাঁচশতে, কুইন প্রায় আট শতাংশ থেকে আটচল্লিশ শতাংশে উন্নীত হয়েছে। প্রায় ছয় গুণ বেশি সঠিক উত্তর। কুইন উত্তর দেওয়ার স্থান শেষ না হওয়া পর্যন্ত ভাবতে থাকে।
কুইন কী ভুল করছিল?
1:00 চিন্তাভাবনার মোডে, এটি প্রায়শই তার যুক্তির পুনরাবৃত্তি করত। কল্পনা করুন একজন শিক্ষার্থী পরীক্ষার খাতা শেষ হওয়া পর্যন্ত কাজ দিয়ে ভর্তি করছে যতক্ষণ না ঘণ্টা বাজে। পরীক্ষককে এখনও একটি উত্তর দরকার। বেশিরভাগ আসল উত্তর দৈর্ঘ্যের সীমা ছুঁয়েছিল। অ্যাস্ট্রা দুটি অভ্যন্তরীণ স্তরে একটি পুনরাবৃত্তি দিক খুঁজে পেয়েছিল, তারপর নির্বাচিত ওজন কলাম থেকে এর অবদান সরিয়ে দিয়েছে। সেই সম্পাদনার পর, আরও উত্তর একটি সিদ্ধান্তে পৌঁছেছে। রিপোর্ট করা পরীক্ষায় প্রায় এক-তৃতীয়াংশ এখনও ক্যাপ ছুঁয়েছিল।
1:22 পরীক্ষার খাতা অবশেষে একটি শেষ লাইন পেয়েছে। আজ, ম্যাথিউ হোনিবাল, স্পেসি'র স্রষ্টা এবং এক্সপ্লোশনের সহ-প্রতিষ্ঠাতা,
আজকের সমালোচক কী নিয়ে বিতর্ক করছেন?
1:28 উপস্থাপনাটিকে চ্যালেঞ্জ করেছেন। তিনি বলেছেন যে পাঠকরা পরীক্ষাগুলির বিভিন্ন শর্তকে একত্রিত করে একটি অসাধারণ কৌশলের ধারণা পেতে পারেন। তার আপত্তি তাদের সম্মিলিত গল্প নিয়ে। আমরা নিজেরাই শর্তগুলি পরীক্ষা করতে পারি। কুইন পরীক্ষায় অ্যাস্ট্রাকে ওজন এবং অনুশীলনের সাথে একটি পাইথন নোটবুক দেওয়া হয়েছিল
অ্যাস্ট্রা আসলে কী সাহায্য পেয়েছিল?
1:44 উত্তর সহ সমস্যাগুলি। অনেক মোড়ে, এটি অভ্যন্তরীণ অ্যাক্টিভেশনগুলি পরীক্ষা করে এবং আসল এবং সম্পাদিত সংস্করণগুলির তুলনা করে। চূড়ান্ত বাজেট মডেল রানগুলির পঞ্চাশটি ব্যাচের অনুমতি দিয়েছে। প্রতিটি প্রজন্ম ব্যাচে শত শত উত্তর থাকতে পারে। অনুশীলনের ডেটা প্রশিক্ষণের বিভাজন থেকে এসেছে। গবেষকরা বলেছেন অ্যাস্ট্রা কখনও চূড়ান্ত মূল্যায়নের সেটগুলি দেখেনি। প্রতিক্রিয়া সম্পাদনা চয়ন করতে সহায়তা করেছে; পরে আলাদা করে রাখা সমস্যাগুলি এটি পরিমাপ করেছে। স্যাম্পলিং সেটিংস আসল এবং সম্পাদিত কুইনের মধ্যে স্থির ছিল,
2:09 এই প্রোটোকলের স্কোর তুলনাকে ব্যাখ্যাযোগ্য করে তোলে। প্রথম প্রম্পট এটিকে একজন সহায়ক ল্যাব সুপারভাইজার দিয়েছে। ব্যর্থতা নির্ণয় করুন, দায়ী উপাদানগুলি খুঁজুন, একই সমস্যাগুলির উপর তুলনা করুন, এবং বিভিন্ন শক্তি পরীক্ষা করুন। এটি স্পষ্টভাবে পুনরাবৃত্তিমূলক চিন্তাভাবনাকে একটি মেরামত হিসাবে উল্লেখ করেছে যা গণনা করা হয়। স্নাতক ছাত্রদের এই অনবোর্ডিং প্যাকেজের জন্য আলোচনা করা উচিত। এটি একটি চিত্তাকর্ষক মেরামত।
প্রকৃত মেরামত কতটা ছোট ছিল?
2:28 অ্যাস্ট্রার লক্ষ্যযুক্ত সম্পাদনা প্রায় এক লক্ষ একত্রিশ হাজার ওজনকে স্পর্শ করেছে। এটি মডেলের প্রায় ষোলো হাজার ভাগের এক শতাংশ। ওজন ফাইল সরাসরি পরিবর্তিত হয়েছে। গ্রেডিয়েন্ট প্রশিক্ষণ নিষিদ্ধ ছিল; অ্যাস্ট্রার সম্পাদনার সেশন শেষ হওয়ার পর বিদ্যমান মডেলটি উত্তর দিচ্ছিল। অ্যাস্ট্রার সম্পাদনার সেশন শেষ হওয়ার পর বিদ্যমান মডেলটি উত্তর দিচ্ছিল। এই লাভ নির্দেশাবলী অনুসরণেও পৌঁছেছে। আমি ব্যবহারিক প্রভাব পছন্দ করি। একটি মডেলের কাছে দরকারী কাজ থাকতে পারে যা এর ব্যর্থতার মোড লুকিয়ে রাখে।
2:48 সেই ব্যর্থতা ঠিক করলে ব্যবহারযোগ্য উত্তর পুনরুদ্ধার করা যেতে পারে। শেষ করা গুরুত্বপূর্ণ। হোনিবাল এই টুল-সহায়ক কাজকে একজন মানব মেশিন-লার্নিং ইঞ্জিনিয়ার যা করতে পারতেন এমন কাজ সম্পাদন করার জন্য ক্রেডিট দেন। হোনিবাল এই টুল-সহায়ক কাজকে একজন মানব মেশিন-লার্নিং ইঞ্জিনিয়ার যা করতে পারতেন এমন কাজ সম্পাদন করার জন্য ক্রেডিট দেন। এটি একজন এজেন্টের জন্য গুরুত্বপূর্ণ। তার অভিযোগ হল যে ছোট কাঁচা-সংখ্যা প্রদর্শনী এবং বৃহত্তর পাইথন-সহায়ক মেরামতগুলি একসাথে একত্রিত করলে একটি বৃহত্তর উপসংহারের দিকে পরিচালিত করে। ছোট গেম নেটওয়ার্কগুলি নিন।
কোন পরীক্ষাগুলিতে আসলে কোনো সরঞ্জাম ছিল না?
3:09 একটি পরীক্ষায়, অ্যাস্ট্রা তাদের কাঁচা সংখ্যাগুলি পড়েছিল এবং সঠিকভাবে চিহ্নিত করেছিল যে কোন গেম প্রতিটি নেটওয়ার্ক শিখেছে। সরঞ্জাম নিষিদ্ধ ছিল। অন্যটিতে, এটি নিয়ম এবং উৎস কোড ব্যবহার করে স্ক্র্যাচ থেকে নতুন গেম-প্লেয়িং ওয়েট লিখেছিল, কোনো অনুশীলনের রোলআউট ছাড়াই। এগুলি পৃথক প্রমাণ সহ পৃথক প্রদর্শনী। অ্যাস্ট্রার নেটওয়ার্কগুলি তিনটি গেমের সবকটিতে একশ মিলিয়ন ধাপের জন্য প্রশিক্ষিত বেসলাইনকে পরাজিত করেছে। দীর্ঘ-প্রশিক্ষিত বেসলাইনের বিপরীতে, এটি সিকেস্ট এবং অ্যাস্টারিক্সে হেরেছে,
3:32 অন্যদিকে ব্রেকআউটে জিতেছে। তুলনা কলাম পরিবর্তন করুন, এবং বিজয়ী বক্তৃতা সম্পাদনা করার প্রয়োজন হবে। সুবিধামত, সম্পাদনা হল আজকের বিষয়। একটি বৃহত্তর দাবির জন্য, আমরা বিভিন্ন ব্যর্থতা সহ মডেল জুড়ে উন্নতি চাইব।
একটি আরও সাধারণ দাবির জন্য কী প্রয়োজন হবে?
3:44 সম্পাদনা কী দেখেছিল এবং কী সফল বলে গণ্য হয়েছিল তা ট্র্যাক করুন। কুইনের মডেল কার্ড ইতিমধ্যেই চিন্তাভাবনার লুপ সম্পর্কে সতর্ক করে। এই পরিচিত বাধা অপসারণের একটি বিশেষ শুরু বিন্দু রয়েছে। তাদের কৃতিত্বের জন্য, লেখকরা অস্বস্তিকর ফলো-আপ নিজেই প্রকাশ করেন। তারা ব্যাখ্যা করেন যে লুপ বন্ধ করলে কুইন সেই উত্তরগুলি শেষ করতে পারে যা এটি ইতিমধ্যেই কাজ করতে পারছিল। তাদের লগগুলিতে প্রম্পট, প্রতিক্রিয়া এবং সম্পাদনাগুলি অন্তর্ভুক্ত রয়েছে। আমরা অর্জনটি পরীক্ষা করতে পারি এবং একটি কঠিন প্রশ্ন জিজ্ঞাসা করতে পারি।
যে মডেলটি খুব কমই লুপ করত তার কী হয়েছিল?
4:06 এখন দ্বিতীয় মডেল, একটি ছোট জেম্মা তার নিজস্ব ফলো-আপ সেটআপে। এটি খুব কমই লুপ করত, তাই এর ব্যর্থতাগুলি ছিল সাধারণ ভুল পাটিগণিত এবং অবৈধ বীজগণিত। অ্যাস্ট্রা আবারও অনুশীলনের প্রতিক্রিয়া সহ লক্ষ্যযুক্ত ওজন সম্পাদনা চেষ্টা করেছে। কোনোটিই তার গণিতের স্কোরকে প্রায় এক পয়েন্টের বেশি পরিবর্তন করেনি, এবং কোনো লাভ প্রতিষ্ঠিত হয়নি। সফল কুইন মেরামতের একটি বাধা দূর করার ছিল। জেম্মার পাটিগণিত ত্রুটিগুলি রয়ে গেছে। এটিই ডেভেলপারদের জন্য দরকারী প্রশ্ন।
4:28 সম্পাদনাটি কোন ব্যর্থতা মেরামত করেছে, এবং আপনার মডেলের কি আসলে সেটি আছে? গুণককে উদযাপন করার আগে আপনার নিজস্ব কাজগুলিতে সংরক্ষিত ওজনগুলি পরীক্ষা করুন। একটি মেরামত করা বাধা অত্যন্ত গুরুত্বপূর্ণ হতে পারে যখন পরবর্তী বাধা ঠিক যেখানে ছিল সেখানেই থাকে। আপনি যদি এটি আমার মুখে না শুনে পড়তে চান, তাহলে ডিএফটি প্রতিদিন সকালে আপনার ইনবক্সে আসে, dailydiff.dev এ বিনামূল্যে, লিঙ্ক নিচে দেওয়া আছে।
আমি কি ওজন-সম্পাদনার দাবিটি শিপ করব?
4:47 সুতরাং, আজকের রায় হল NEEDS REVIEW। আমি লুপ মেরামতকে গুরুত্ব সহকারে নেব এবং এটি পরীক্ষা করব। আমি সেই ব্যর্থতার মোডের বাইরে সাফল্যের উপর বৃহত্তর দাবিগুলিকে আটকে রাখব। লেখকদের নিজস্ব পাল্টা উদাহরণ হল ডিএফটির সবচেয়ে দরকারী লাইন। এবং এটিই আজকের ডিএফটি। আমি Axrisi থেকে নিকো। দায়িত্বের সাথে মার্জ করুন।
উৎস
- Weight-space programming studyRikiya Takehi and coauthors
- November 3 critique of bundled experiment conditionsMatthew Honnibal
- Pinned Qwen protocol and exact weight editsRikiya Takehi and coauthors
- Actual initial Qwen promptRikiya Takehi and coauthors
- Pinned smaller Gemma follow-upRikiya Takehi and coauthors
- Original model-card thinking-loop warningQwen
- Primary study discussionHacker News
- Critique discussionHacker News
- Cover portrait: Sam Altman, TechCrunch 2019 crop, CC BY 2.0; cropped, background removed, resized and flipped; no endorsementSteve Jennings/Getty Images for TechCrunch via Wikimedia Commons
- Released checkpoint and attributed external re-runRikiyaT on Hugging Face; re-run credited to akhaliq
- Portrait license: Creative Commons Attribution 2.0Creative Commons; Steve Jennings/Getty Images for TechCrunch portrait credit above
.jpg){kind=link}