GPT-6 अ‍ॅस्ट्राने आणखी एका एआयच्या अंतहीन विचारांना पॅच केले

या व्हिडिओमध्ये काय समाविष्ट आहे

• नोंदवलेली क्वेन स्कोअर वाढ पुनरावृत्ती विचारांच्या लक्ष्यित दुरुस्तीमुळे झाली; संपादित केलेल्या उत्तरांपैकी सुमारे एक तृतीयांश उत्तरे प्राथमिक प्रोटोकॉलमध्ये लांबीच्या मर्यादेपर्यंत पोहोचली.
• ग्रेडियंट प्रशिक्षण वर्जित होते, तर पायथन, सराव उत्तरे आणि अनेक टप्प्यांवर मॉडेल-रन प्रतिसाद (बॅचमध्ये) दिले गेले. अंतिम मूल्यांकन प्रश्न स्त्रोताद्वारे राखून ठेवलेले घोषित करण्यात आले होते.
• लहान रॉ-वेट आणि नो-रोलआउट गेम प्रयोगांमध्ये भिन्न परिस्थिती वापरण्यात आली. त्यांचे दावे त्यांच्या वैयक्तिक साधन, इनपुट आणि बेसलाइन मर्यादेत असावेत.
• मॅथ्यू हॉनिबल टूल-सहाय्यित अभियांत्रिकीला श्रेय देतात आणि प्रयोगांना एकत्र केल्याने तयार झालेल्या व्यापक प्रभावाला आव्हान देतात.
• लहान गेम्मा फॉलो-अपने स्वतःची रचना वापरली आणि सुधारणा स्थापित करण्यात अपयशी ठरली. वजन संपादन लागू करण्यापूर्वी ते कोणत्या मॉडेलची दुरुस्ती करते हे तपासणे महत्त्वाचे आहे.

अनुवादित प्रतिलेख

मूळ इंग्रजी निवेदनातून अनुवादित. उपलब्ध ऑडिओ आणि मथळे YouTube द्वारे नियंत्रित आहेत.

गणित स्कोअरमध्ये वाढ का झाली?

0:00 एका एआयने दुसऱ्या एआयला सहापट अधिक स्मार्ट बनवणे म्हणजे झटपट प्रतिभा. अ‍ॅस्ट्राचा मोठा स्कोअर वाढ क्वेनला ती वारंवार करत असलेली उत्तरे पूर्ण करण्यास मदत केल्यामुळे झाली. या व्हिडिओमध्ये काय बदलले? अ‍ॅस्ट्राला काय मदत मिळाली? आणि दुरुस्ती किती दूर जाते? क्वेन सुमारे आठ टक्क्यांवरून अठ्ठेचाळीस टक्क्यांवर पोहोचले. संशोधकांनी जवळपास लूप नसलेल्या दुसऱ्या मॉडेलचा प्रयत्न केला. निकाल येण्यापूर्वी आपण ते कसे झाले ते पाहू.

0:22 आज मंगळवार, तीन नोव्हेंबर आहे, आणि हे आहे The Daily Diff. वजन-स्पेस प्रोग्रामिंग हे संशोधकांचे नाव आहे एआयला तपासणी करण्यास किंवा न्यूरल नेटवर्कमधील संख्या लिहिण्यास सांगण्यासाठी. त्या संख्या त्याचे वजन आहेत. या एमआयटी-संबंधित टीमने OpenAI च्या GPT सिक्स अ‍ॅस्ट्राचा वापर एका लहान क्वेन भाषिक मॉडेलचे संपादन करण्यासाठी केला, सामान्य प्रशिक्षण वर्जित होते. रिकिया ताकेही आणि त्यांच्या सहकाऱ्यांनी सोमवारी अभ्यास प्रकाशित केला,

0:44 एखादा विद्यमान एआय दुसऱ्या नेटवर्कच्या अंतर्गत भागांबद्दल तर्क करू शकतो का, असे विचारले. त्यांचा मुख्य परिणाम खूप क्लिक करण्यासारखा आहे. गणित पाचशेवर, क्वेन सुमारे आठ टक्क्यांवरून अठ्ठेचाळीस टक्क्यांपर्यंत वाढले. जवळपास सहापट अधिक अचूक उत्तरे. क्वेन उत्तर देण्यासाठी जागा संपेपर्यंत विचार करत राहिले.

क्वेन काय चुकीचे करत होते?

1:00 विचार करण्याच्या मोडमध्ये, ते अनेकदा आपले तर्क पुन्हा करत असे. कल्पना करा की एक विद्यार्थी घंटा वाजेपर्यंत उत्तरपुस्तिका काम करून भरत आहे. परीक्षकाला अजूनही उत्तराची गरज असते. बहुतेक मूळ उत्तरे लांबीच्या मर्यादेपर्यंत पोहोचली. अ‍ॅस्ट्राने दोन अंतर्गत स्तरांमध्ये पुनरावृत्तीची दिशा शोधली, नंतर निवडक वजन स्तंभांमधून त्याचे योगदान काढून टाकले. त्या संपादनानंतर, अधिक उत्तरे निष्कर्षापर्यंत पोहोचली. नोंदवलेल्या चाचणीमध्ये सुमारे एक तृतीयांश अजूनही मर्यादेपर्यंत पोहोचले.

1:22 परीक्षा पुस्तकाला शेवटी शेवटची ओळ मिळाली. आज, मॅथ्यू हॉनिबल, spaCy चे निर्माता आणि Explosion चे सहसंस्थापक,

आजचा समीक्षक कशावर वाद घालत आहे?

1:28 सादर करण्याला आव्हान दिले. ते म्हणतात की वाचक प्रयोगांच्या भिन्न परिस्थितींना एकत्र करून एका असामान्य तंत्राचा ठसा उमटवू शकतात. त्यांचा आक्षेप त्यांच्या एकत्रित कथेबद्दल आहे. आपण स्वतः परिस्थिती तपासू शकतो. क्वेन प्रयोगाने अ‍ॅस्ट्राला वजनांवर एक पायथन नोटबुक आणि सराव

अ‍ॅस्ट्राला प्रत्यक्षात काय मदत मिळाली?

1:44 उत्तरांसह समस्या दिल्या. अनेक टप्प्यांवर, त्याने अंतर्गत सक्रियता तपासली आणि मूळ व संपादित आवृत्त्यांची तुलना केली. अंतिम बजेटमध्ये पन्नास बॅच मॉडेल रनला परवानगी होती. प्रत्येक निर्मिती बॅचमध्ये शेकडो उत्तरे असू शकतात. सराव डेटा प्रशिक्षण विभागांमधून आला. संशोधक म्हणतात की अ‍ॅस्ट्राने कधीही अंतिम मूल्यांकन संच पाहिले नाहीत. प्रतिसादाने संपादन निवडण्यास मदत केली; नंतर राखून ठेवलेल्या समस्यांनी ते मोजले. मूळ आणि संपादित क्वेनमध्ये नमुना सेटिंग्ज निश्चित राहिल्या,

2:09 या प्रोटोकॉलची स्कोअर तुलना स्पष्ट करते. पहिल्या प्रॉम्प्टने त्याला एक उपयुक्त प्रयोगशाळा पर्यवेक्षक दिला. अपयश निदान करा, जबाबदार घटक शोधा, त्याच समस्यांवर तुलना करा आणि अनेक शक्तींची चाचणी करा. त्याने पुनरावृत्ती विचारांना दुरुस्ती म्हणून स्पष्टपणे नमूद केले जे महत्त्वाचे आहे. पदवीधर विद्यार्थ्यांनी या ऑनबोर्डिंग पॅकेजसाठी वाटाघाटी करावी. ती एक प्रभावी दुरुस्ती आहे.

प्रत्यक्ष दुरुस्ती किती लहान होती?

2:28 अ‍ॅस्ट्राच्या लक्ष्यित संपादनाने अंदाजे एक लाख एकतीस हजार वजनांना स्पर्श केला. हे मॉडेलच्या सुमारे सोळा हजारांश टक्के आहे. वजन फाइल थेट बदलली. ग्रेडियंट प्रशिक्षण वर्जित राहिले; अ‍ॅस्ट्राच्या संपादन सत्रानंतर विद्यमान मॉडेलने उत्तरे दिली. हा फायदा सूचनांचे पालन करण्यापर्यंतही पोहोचला. मला याचा व्यावहारिक परिणाम आवडतो. एखादे मॉडेल उपयुक्त कार्य करू शकते जे त्याच्या अपयशामुळे दडपले जाते.

2:48 ते अपयश दूर केल्याने वापरण्यायोग्य उत्तरे परत मिळवता येतात. पूर्ण करणे महत्त्वाचे आहे. हॉनिबल टूल-सहाय्यित कामाला श्रेय देतात की ते मानवी मशीन-लर्निंग अभियंता करू शकतील अशी कामे करते. हे एका एजंटसाठी परिणामकारक आहे. त्यांची तक्रार अशी आहे की लहान रॉ-नंबर प्रात्यक्षिके आणि मोठे पायथन-सहाय्यित दुरुस्त्या एकत्र केल्यावर एक व्यापक निष्कर्ष काढायला लावतात. लहान गेम नेटवर्क घ्या.

कोणत्या प्रयोगांमध्ये खरोखर साधने नव्हती?

3:09 एका प्रयोगात, अ‍ॅस्ट्राने त्यांचे रॉ नंबर वाचले आणि प्रत्येक नेटवर्कने कोणता खेळ शिकला हे अचूकपणे ओळखले. साधने वर्जित होती. दुसऱ्यामध्ये, त्याने नियमांनुसार आणि स्त्रोत कोड वापरून नवीन गेम-खेळणारी वजने नव्याने लिहिली, सराव रोलआउटशिवाय. ही स्वतंत्र पुराव्यासह स्वतंत्र प्रात्यक्षिके आहेत. अ‍ॅस्ट्राच्या नेटवर्कने तिन्ही गेममध्ये एकशे दशलक्ष पायऱ्यांसाठी प्रशिक्षित बेसलाइनला हरवले. अधिक प्रशिक्षित बेसलाइनविरुद्ध, ते सीक्वेस्ट आणि

3:32 ऍस्टरिक्समध्ये हरले, तर ब्रेकआउटमध्ये जिंकले. तुलना स्तंभ बदलल्यास, विजय भाषणात संपादनाची आवश्यकता असते. सोयीनुसार, संपादन हा आजचा विषय आहे. एका व्यापक दाव्यासाठी, आपल्याला वेगवेगळ्या अपयशांसह मॉडेल्समध्ये सुधारणा हव्या असतील.

अधिक सामान्य दाव्यासाठी काय आवश्यक असेल?

3:44 संपादकाने काय पाहिले आणि काय यश मानले गेले हे ट्रॅक करा. क्वेनच्या मॉडेल कार्डमध्ये आधीच विचार करण्याच्या लूपबद्दल चेतावणी दिली आहे. हा ज्ञात अडथळा दूर करण्यास एक विशिष्ट प्रारंभिक बिंदू आहे. त्यांचे श्रेय असे की, लेखकांनी स्वतः अस्वस्थ करणारा फॉलो-अप प्रकाशित केला. ते स्पष्ट करतात की लूप थांबवल्याने क्वेनला ती आधीच सोडवू शकणारी उत्तरे पूर्ण करता येतात. त्यांच्या लॉगमध्ये प्रॉम्प्ट, प्रतिसाद आणि संपादने समाविष्ट आहेत. आपण यश तपासू शकतो आणि एक कठीण प्रश्न विचारू शकतो.

क्वचितच लूप करणाऱ्या मॉडेलचे काय झाले?

4:06 आता दुसरे मॉडेल, एका लहान गेम्माला त्याच्या स्वतःच्या फॉलो-अप सेटमध्ये. ते क्वचितच लूप करत असे, त्यामुळे त्याचे अपयश सामान्य चुकीचे अंकगणित आणि अवैध बीजगणित होते. अ‍ॅस्ट्राने पुन्हा सराव प्रतिसादासह लक्ष्यित वजन संपादनाचा प्रयत्न केला. त्यापैकी एकानेही त्याचा गणित स्कोअर एका बिंदूपेक्षा जास्त हलवला नाही, आणि कोणताही फायदा स्थापित झाला नाही. यशस्वी क्वेन दुरुस्तीमध्ये एक अडथळा दूर करायचा होता. गेम्माच्या अंकगणिताच्या चुका टिकून राहिल्या. हा विकासकांसाठी उपयुक्त प्रश्न आहे.

4:28 संपादनाने कोणते अपयश दुरुस्त केले, आणि तुमच्या मॉडेलमध्ये ते प्रत्यक्षात आहे का? गुणक साजरा करण्यापूर्वी तुमच्या स्वतःच्या कार्यांवर जतन केलेल्या वजनांची चाचणी करा. दुरुस्त केलेला अडथळा अत्यंत महत्त्वाचा असू शकतो, तर पुढील अडथळा अगदी तिथेच राहतो. तुम्ही हे ऐकण्याऐवजी वाचू इच्छित असाल, तर द डिफ तुमच्या इनबॉक्समध्ये दररोज सकाळी, dailydiff.dev वर विनामूल्य येते, लिंक खाली आहे.

मी वजन-संपादन दावा पाठवेन का?

4:47 तर, आजचा निकाल आहे NEEDS REVIEW. मी लूप दुरुस्तीला गांभीर्याने घेईन आणि त्याची चाचणी करेन. मी त्या अपयश मोडच्या पलीकडे यश मिळाल्यावरच व्यापक दावे मान्य करेन. लेखकांचे स्वतःचे प्रतिउदाहरण हे डिफमधील सर्वात उपयुक्त ओळ आहे. आणि हे आजचे डिफ आहे. मी अ‍ॅक्स्रिसीकडून निको आहे. जबाबदारीने विलीन करा.

स्रोत

1. Weight-space programming studyRikiya Takehi and coauthors
2. November 3 critique of bundled experiment conditionsMatthew Honnibal
3. Pinned Qwen protocol and exact weight editsRikiya Takehi and coauthors
4. Actual initial Qwen promptRikiya Takehi and coauthors
5. Pinned smaller Gemma follow-upRikiya Takehi and coauthors
6. Original model-card thinking-loop warningQwen
7. Primary study discussionHacker News
8. Critique discussionHacker News
9. Cover portrait: Sam Altman, TechCrunch 2019 crop, CC BY 2.0; cropped, background removed, resized and flipped; no endorsementSteve Jennings/Getty Images for TechCrunch via Wikimedia Commons
10. Released checkpoint and attributed external re-runRikiyaT on Hugging Face; re-run credited to akhaliq
11. Portrait license: Creative Commons Attribution 2.0Creative Commons; Steve Jennings/Getty Images for TechCrunch portrait credit above