জিপিটি-৬ এষ্ট্ৰাই আন এটা এআইৰ অন্তহীন চিন্তাধাৰা পেচ কৰিছিল

এই ভিডিঅ’টোত কি আছে

• প্ৰকাশিত কুইনৰ স্কোৰ বৃদ্ধি পুনৰাবৃত্তি যুক্তিৰ এক লক্ষ্যযুক্ত মেৰামতিৰ পৰা আহিছিল; সম্পাদিত উত্তৰৰ প্ৰায় এক তৃতীয়াংশই প্ৰাথমিক প্ৰটোকলত দৈৰ্ঘ্যৰ সীমা পাইছিল।
• গ্ৰেডিয়েন্ট প্ৰশিক্ষণ নিষিদ্ধ আছিল, আনহাতে পাইথন, অনুশীলনৰ উত্তৰ আৰু বহুবাৰৰ ম'ডেল-ৰাণৰ মতামতক অনুমতি দিয়া হৈছিল। চূড়ান্ত মূল্যায়নৰ প্ৰশ্নসমূহ উৎস-ঘোষিতভাৱে বাদ দিয়া হৈছিল।
• সৰু কেঁচা ওজন আৰু কোনো ৰোলআউট নথকা খেলৰ পৰীক্ষাবোৰত বেলেগ বেলেগ চৰ্ত ব্যৱহাৰ কৰা হৈছিল। সিহঁতৰ দাবীয়ে সিহঁতৰ ব্যক্তিগত আহিলা, ইনপুট আৰু মৌলিক পৰিসৰ বজাই ৰাখিব লাগে।
• মেথিউ হনিবালে আহিলা-সহায়তাত কৰা অভিযান্ত্ৰিকতাক স্বীকৃতি দিয়ে আৰু পৰীক্ষাবোৰ একেলগে বান্ধি দিয়াৰ ফলত সৃষ্টি হোৱা বহল ধাৰণাটোক লৈ বিতৰ্ক কৰে।
• সৰু জেম্মাৰ পৰৱৰ্তী অনুসন্ধানত ইয়াৰ নিজৰ ছেটআপ ব্যৱহাৰ কৰা হৈছিল আৰু কোনো উন্নতি প্ৰতিষ্ঠা কৰাত বিফল হৈছিল। আন এটা ম'ডেলত প্ৰয়োগ কৰাৰ আগতে ওজন সম্পাদনাই কি বিফলতা মেৰামতি কৰে সেয়া পৰীক্ষা কৰক।

অনূদিত ট্ৰান্সক্ৰিপ্ট

মূল ইংৰাজী বৰ্ণনাৰ পৰা অনুবাদ কৰা হৈছে। উপলব্ধ অডিঅ’ আৰু কেপচন ইউটিউবে নিয়ন্ত্ৰণ কৰে।

গণিতৰ নম্বৰ কিয় বৃদ্ধি পালে?

0:00 আন এটা এআইক ছয় গুণ বেছি স্মাৰ্ট কৰা এটা এআইয়ে তাৎক্ষণিক প্ৰতিভাৰ দৰে শুনা যায়। এষ্ট্ৰাৰ ডাঙৰ স্কোৰ বৃদ্ধি কুইনক উত্তৰ শেষ কৰাত সহায় কৰাৰ পৰা আহিছিল যিবোৰ ই বাৰে বাৰে পুনৰাবৃত্তি কৰি আছিল। এই ভিডিঅ'ত, কি সলনি হ'ল? এষ্ট্ৰাই কি সহায় পাইছিল? আৰু এই সমাধান কিমান দূৰলৈ যায়? কুইন প্ৰায় আঠ শতাংশৰ পৰা আঠচল্লিশ শতাংশলৈ বৃদ্ধি পালে। গৱেষকসকলে প্ৰায় কোনো লুপ নথকা দ্বিতীয় এটা মডেল চেষ্টা কৰিছিল। আমি ৰায় দিয়াৰ আগতে কি হ'ল সেয়া চাম।

0:22 আজি মঙলবাৰ, তিনি নৱেম্বৰ, আৰু এইটো হৈছে The Daily Diff। ওজন-স্থান প্ৰগ্ৰামিং হৈছে গৱেষকসকলে এটা এআইক পৰীক্ষা কৰিবলৈ বা এটা নিউৰেল নেটৱৰ্কৰ ভিতৰত সংখ্যা লিখিবলৈ কোৱাৰ নাম। সেই সংখ্যাবোৰ হৈছে ইয়াৰ ওজন। এই এমআইটি-সংযুক্ত দলে অপেনএআইৰ জিপিটি ছয় এষ্ট্ৰা ব্যৱহাৰ কৰি এটা সৰু কুইন ভাষা মডেল সম্পাদনা কৰিছিল, সাধাৰণ প্ৰশিক্ষণ নিষিদ্ধ আছিল। ৰিকিয়া তাকেহী আৰু তেওঁৰ সহ-লেখসকলে সোমবাৰে অধ্যয়নটো প্ৰকাশ কৰিছিল,

0:44 এটা বিদ্যমান এআইয়ে আন এটা নেটৱৰ্কৰ আভ্যন্তৰীণ বিষয়ে যুক্তি দিব পাৰেনে বুলি সুধি। তেওঁলোকৰ মূল ফলাফলটো অতি ক্লিক কৰিব পৰা। গণিত পাঁচশৰ ক্ষেত্ৰত, কুইন প্ৰায় আঠ শতাংশৰ পৰা আঠচল্লিশ শতাংশলৈ বৃদ্ধি পালে। প্ৰায় ছয় গুণ বেছি সঠিক উত্তৰ। কুইনে উত্তৰ দিবলৈ ঠাই নোহোৱালৈকে চিন্তা কৰি আছিল।

কুইনৰ কি ভুল হৈছিল?

1:00 চিন্তন মোডত, ই প্ৰায়ে ইয়াৰ যুক্তি পুনৰাবৃত্তি কৰিছিল। কল্পনা কৰক এজন ছাত্ৰই পৰীক্ষাৰ বহীটো ঘণ্টা নবজাকৈ ভৰাই আছে। মাৰ্কাৰক এতিয়াও এটা উত্তৰ লাগে। বেছিভাগ মূল উত্তৰ দৈৰ্ঘ্যৰ সীমা পাইছিল। এষ্ট্ৰাই দুটা আভ্যন্তৰীণ স্তৰত এটা পুনৰাবৃত্তিৰ দিশ বিচাৰি উলিয়ালে, তাৰপিছত নিৰ্বাচিত ওজন স্তম্ভৰ পৰা ইয়াৰ অৱদান আঁতৰাই দিলে। সেই সম্পাদনাৰ পিছত, অধিক উত্তৰে এটা সিদ্ধান্তত উপনীত হ'ল। প্ৰকাশিত পৰীক্ষাত প্ৰায় এক তৃতীয়াংশই এতিয়াও সীমা পাইছিল।

1:22 পৰীক্ষাৰ বহীটোৱে অৱশেষত এটা শেষ লাইন পালে। আজি, মেথিউ হনিবাল, স্পেচীৰ সৃষ্টিকৰ্তা আৰু এক্সপ্ল'চনৰ সহ-প্ৰতিষ্ঠাপক,

আজিৰ সমালোচকে কি লৈ বিতৰ্ক কৰিছে?

1:28 উপস্থাপনটোক প্ৰত্যাহ্বান জনালে। তেওঁ কয় যে পাঠকে পৰীক্ষাবোৰৰ বিভিন্ন চৰ্তবোৰক এটা অসাধাৰণ কৌশলৰ ধাৰণাত একত্ৰিত কৰিব পাৰে। তেওঁৰ আপত্তি তেওঁলোকৰ একত্ৰিত কাহিনীক লৈ। আমি নিজে চৰ্তবোৰ পৰীক্ষা কৰিব পাৰো। কুইন পৰীক্ষাত এষ্ট্ৰাক ওজন আৰু অনুশীলনৰ ওপৰত এটা পাইথন নোটবুক দিয়া হৈছিল

এষ্ট্ৰাই আচলতে কি সহায় পাইছিল?

1:44 উত্তৰৰ সৈতে সমস্যা। বহুবাৰ, ই আভ্যন্তৰীণ সক্ৰিয়তা পৰীক্ষা কৰিছিল আৰু মূল আৰু সম্পাদিত সংস্কৰণ তুলনা কৰিছিল। চূড়ান্ত বাজেটত ম'ডেল ৰানৰ পঞ্চাশটা বেচৰ অনুমতি আছিল। প্ৰতিটো প্ৰজন্মৰ বেচত শ শ উত্তৰ থাকিব পাৰে। অনুশীলনৰ তথ্য প্ৰশিক্ষণ বিভাজনৰ পৰা আহিছিল। গৱেষকসকলে কয় যে এষ্ট্ৰাই কেতিয়াও চূড়ান্ত মূল্যায়ন ছেটবোৰ দেখা নাছিল। মতামতে সম্পাদনা বাছনি কৰাত সহায় কৰিছিল; পিছত বাদ দিয়া সমস্যাবোৰে ইয়াক জুখিছিল। মূল আৰু সম্পাদিত কুইনৰ মাজত চেম্পলিং ছেটিংছ স্থিৰ আছিল,

2:09 এই প্ৰটোকলৰ স্কোৰ তুলনা ব্যাখ্যামূলক কৰি তুলিছিল। প্ৰথম প্ৰম্প্টে ইয়াক এজন সহায়ক লেব চুপাৰভাইজাৰ দিছিল। বিফলতা নিৰ্ণয় কৰক, দায়বদ্ধ উপাদানবোৰ বিচাৰি উলিয়াওক, একে সমস্যাবোৰত তুলনা কৰক, আৰু কেইবাটাও শক্তি পৰীক্ষা কৰক। ই স্পষ্টভাৱে পুনৰাবৃত্তি চিন্তাক এটা মেৰামতি হিচাপে উল্লেখ কৰিছিল যি গণনা কৰে। স্নাতক ছাত্ৰসকলে এই অনব'ৰ্ডিং পেকেজৰ বাবে আলোচনা কৰিব লাগে। এইটো এটা প্ৰভাৱশালী মেৰামতি।

আচল মেৰামতি কিমান সৰু আছিল?

2:28 এষ্ট্ৰাৰ লক্ষ্যযুক্ত সম্পাদনাই প্ৰায় এক লাখ একত্ৰিশ হাজাৰ ওজন স্পৰ্শ কৰিছিল। এইটো মডেলৰ ষোল হাজাৰ অংশৰ শতাংশৰ প্ৰায়। ওজন ফাইল পোনপটীয়াকৈ সলনি কৰা হৈছিল। গ্ৰেডিয়েন্ট প্ৰশিক্ষণ নিষিদ্ধ আছিল; বিদ্যমান মডেলটোৱে উত্তৰ দিছিল এষ্ট্ৰাৰ সম্পাদনা অধিৱেশন শেষ হোৱাৰ পিছত। লাভটো নিৰ্দেশনা অনুসৰণতো উপনীত হৈছিল। মই ব্যৱহাৰিক প্ৰভাৱ ভাল পাওঁ। এটা মডেলে নিজৰ বিফলতাৰ ধৰণটোৱে ঢাকি ৰখা উপযোগী কামৰ অধিকাৰী হ'ব পাৰে।

2:48 সেই বিফলতা সমাধান কৰিলে ব্যৱহাৰযোগ্য উত্তৰ পুনৰুদ্ধাৰ কৰিব পাৰি। শেষ কৰাটো গণনা কৰে। হনিবালে আহিলা-সহায়তাত কৰা কামক এজন মানৱ মেছিন-শিক্ষা অভিযন্তাই কৰিব পৰা কামবোৰ সম্পন্ন কৰাৰ বাবে স্বীকৃতি দিয়ে। এইটো এজন এজেণ্টৰ বাবে তাৎপৰ্যপূৰ্ণ। তেওঁৰ অভিযোগ হৈছে যে সৰু কেঁচা-সংখ্যাৰ প্ৰদৰ্শন আৰু ডাঙৰ পাইথন-সহায়তাত কৰা মেৰামতিবোৰ একেলগে বান্ধি দিলে এটা বহল সিদ্ধান্তৰ সৃষ্টি হয়। ক্ষুদ্ৰ খেলৰ নেটৱৰ্কবোৰ লওক।

কোনবোৰ পৰীক্ষাত আচলতে কোনো আহিলা নাছিল?

3:09 এটা পৰীক্ষাত, এষ্ট্ৰাই সিহঁতৰ কেঁচা সংখ্যা পঢ়িছিল আৰু শুদ্ধভাৱে চিনাক্ত কৰিছিল যে কোন খেলটো প্ৰতিটো নেটৱৰ্কে শিকিছিল। আহিলা নিষিদ্ধ আছিল। আন এটা পৰীক্ষাত, ই নিয়ম আৰু উৎস কোড ব্যৱহাৰ কৰি নতুন খেল-খেলোৱা ওজন সৃষ্টি কৰিছিল, কোনো অনুশীলনৰ ৰোলআউট নোহোৱাকৈ। সেইবোৰ পৃথক প্ৰদৰ্শন পৃথক প্ৰমাণৰ সৈতে। এষ্ট্ৰাৰ নেটৱৰ্কবোৰে তিনিওটা খেলত একশ নিযুত ষ্টেপৰ বাবে প্ৰশিক্ষণ দিয়া বেচলাইনক হৰুৱাইছিল। দীঘলীয়া প্ৰশিক্ষিত বেচলাইনৰ বিৰুদ্ধে, ই ছিকুৱেষ্ট আৰু

3:32 এষ্টেৰিক্সত হাৰিছিল, আনহাতে ব্ৰেকআউটত জিকিছিল। তুলনা স্তম্ভ সলনি কৰক, আৰু বিজয় ভাষণ সম্পাদনা কৰিব লাগিব। সুবিধাজনকভাৱে, সম্পাদনা হৈছে আজিৰ বিষয়। এটা বহল দাবীৰ বাবে, আমি বিভিন্ন বিফলতাৰ সৈতে ম'ডেলবোৰত উন্নতি বিচাৰিম।

এটা অধিক সাধাৰণ দাবীৰ বাবে কি লাগিব?

3:44 সম্পাদকে কি দেখিছিল আৰু কি সফল বুলি গণ্য কৰা হৈছিল সেয়া ট্ৰেক কৰক। কুইনৰ ম'ডেল কাৰ্ডে ইতিমধ্যে চিন্তন লুপৰ বিষয়ে সতৰ্ক কৰিছে। এই জ্ঞাত বাধাটো আঁতৰোৱাৰ এটা নিৰ্দিষ্ট আৰম্ভণি বিন্দু আছে। তেওঁলোকৰ কৃতিত্বৰ বাবে, লেখসকলে নিজে অস্বস্তিকৰ পৰৱৰ্তী অনুসন্ধান প্ৰকাশ কৰে। তেওঁলোকে ব্যাখ্যা কৰে যে লুপ বন্ধ কৰিলে কুইনক ইতিমধ্যেই সমাধান কৰিব পৰা উত্তৰ শেষ কৰিবলৈ দিয়ে। তেওঁলোকৰ লগত প্ৰম্পট, মতামত আৰু সম্পাদনা সন্নিৱিষ্ট আছে। আমি কৃতিত্ব পৰীক্ষা কৰিব পাৰো আৰু এটা কঠিন প্ৰশ্ন সুধিব পাৰো।

যি ম'ডেলটোৱে খুব কম লুপ কৰিছিল, তাৰ কি হ'ল?

4:06 এতিয়া দ্বিতীয় ম'ডেলটো, ইয়াৰ নিজা পৰৱৰ্তী ছেটআপত এটা সৰু জেম্মা। ই খুব কম লুপ কৰিছিল, গতিকে ইয়াৰ বিফলতাবোৰ সাধাৰণ ভুল аಂಕিক আৰু অবৈধ বীজগণিত আছিল। এষ্ট্ৰাই পুনৰ অনুশীলনৰ মতামতৰ সৈতে লক্ষ্যযুক্ত ওজন সম্পাদনা চেষ্টা কৰিছিল। কোনোৱেই ইয়াৰ গণিতৰ নম্বৰ এক পইণ্টৰ বেছি বৃদ্ধি কৰা নাছিল, আৰু কোনো লাভ প্ৰতিষ্ঠা কৰা নহ'ল। সফল কুইন মেৰামতিৰ আঁতৰাবলগীয়া এটা বাধা আছিল। জেম্মাৰ аಂಕিক ভুলবোৰ বৰ্তি থাকিল। এইটো ডেভেলপাৰসকলৰ বাবে উপযোগী প্ৰশ্ন।

4:28 সম্পাদনাটোৱে কোন বিফলতা মেৰামতি কৰিলে, আৰু আপোনাৰ ম'ডেলত আচলতে সেইটো আছে নে? গুণকটো উদযাপন কৰাৰ আগতে আপোনাৰ নিজা কামবোৰত সংৰক্ষিত ওজনবোৰ পৰীক্ষা কৰক। এটা মেৰামতি কৰা বটলনেকে অত্যন্ত গুৰুত্বপূৰ্ণ হ'ব পাৰে আনহাতে পৰৱৰ্তী বটলনেকটো ঠিক য'ত আছিল ত'তেই থাকে। যদি আপুনি মোৰ কোৱাৰ সলনি এইটো পঢ়িব বিচাৰে, তেন্তে প্ৰতিদিনে পুৱা আপোনাৰ ইনবক্সত free at the daily diff dot dev, link below ত diff টো আহি পৰে।

মই ওজন-সম্পাদনাৰ দাবীটো SHIP কৰিমনে?

4:47 গতিকে, আজিৰ ৰায় হৈছে NEEDS REVIEW। মই লুপ মেৰামতিটোক গুৰুত্ব সহকাৰে ল'ম আৰু পৰীক্ষা কৰিম। মই সেই বিফলতাৰ ধৰণৰ বাহিৰেও সফলতাত বহল দাবীসমূহ গেট কৰি ৰাখিম। লেখকসকলৰ নিজা প্ৰতি-উদাহৰণটো ডিফত আটাইতকৈ উপযোগী লাইন। আৰু এইটোৱেই আজিৰ ডিফ। মই Axrisi ৰ পৰা নিকো। দায়িত্বশীলভাৱে একত্ৰিত কৰক।

উৎসসমূহ

1. Weight-space programming studyRikiya Takehi and coauthors
2. November 3 critique of bundled experiment conditionsMatthew Honnibal
3. Pinned Qwen protocol and exact weight editsRikiya Takehi and coauthors
4. Actual initial Qwen promptRikiya Takehi and coauthors
5. Pinned smaller Gemma follow-upRikiya Takehi and coauthors
6. Original model-card thinking-loop warningQwen
7. Primary study discussionHacker News
8. Critique discussionHacker News
9. Cover portrait: Sam Altman, TechCrunch 2019 crop, CC BY 2.0; cropped, background removed, resized and flipped; no endorsementSteve Jennings/Getty Images for TechCrunch via Wikimedia Commons
10. Released checkpoint and attributed external re-runRikiyaT on Hugging Face; re-run credited to akhaliq
11. Portrait license: Creative Commons Attribution 2.0Creative Commons; Steve Jennings/Getty Images for TechCrunch portrait credit above