GPT-6 एस्ट्रा ने एक और एआई की अंतहीन सोच को पैच किया

इस वीडियो में क्या शामिल है

• रिपोर्ट की गई क्यूवेन स्कोर वृद्धि दोहराव वाले तर्क की लक्षित मरम्मत से हुई; प्राथमिक प्रोटोकॉल में संपादित उत्तरों का लगभग एक तिहाई अभी भी लंबाई की सीमा तक पहुंच गया।
• ग्रेडिएंट प्रशिक्षण वर्जित था, जबकि कई चरणों में पायथन, अभ्यास उत्तर और बैच किए गए मॉडल-रन प्रतिक्रिया की अनुमति थी। अंतिम मूल्यांकन प्रश्न स्रोत-घोषित थे।
• छोटे कच्चे-भार और नो-रोलआउट गेम प्रयोगों में अलग-अलग स्थितियाँ थीं। उनके दावों को उनके व्यक्तिगत उपकरण, इनपुट और बेसलाइन दायरे को बनाए रखना चाहिए।
• मैथ्यू हॉनिबल उपकरण-सहायता प्राप्त इंजीनियरिंग को श्रेय देते हैं और प्रयोगों को एक साथ बंडल करके उत्पन्न व्यापक प्रभाव का खंडन करते हैं।
• छोटे जेम्मा फॉलो-अप ने अपनी खुद की सेटअप का उपयोग किया और सुधार स्थापित करने में विफल रहा। एक वजन संपादन किस विफलता की मरम्मत करता है, इसे दूसरे मॉडल पर लागू करने से पहले उसका परीक्षण करें।

अनुवादित प्रतिलेख

मूल अंग्रेजी कथन से अनुवादित। उपलब्ध ऑडियो और कैप्शन YouTube द्वारा नियंत्रित होते हैं।

गणित का स्कोर क्यों बढ़ा?

0:00 एक AI दूसरे AI को छह गुना स्मार्ट बनाना तुरंत प्रतिभा जैसा लगता है। एस्ट्रा का बड़ा स्कोर जंप क्यूवेन को उन उत्तरों को पूरा करने में मदद करने से आया, जिन्हें वह बार-बार दोहरा रहा था। इस वीडियो में, क्या बदला? एस्ट्रा को क्या मदद मिली? और यह सुधार कितनी दूर तक जाता है? क्यूवेन लगभग आठ प्रतिशत से अड़तालीस प्रतिशत तक बढ़ गया। शोधकर्ताओं ने लगभग कोई लूप न होने वाले दूसरे मॉडल का परीक्षण किया। हम फैसले से पहले देखेंगे कि वह कैसा रहा।

0:22 यह मंगलवार, तीन नवंबर है, और यह The Daily Diff है। वजन-स्थान प्रोग्रामिंग शोधकर्ताओं का नाम है किसी AI से एक न्यूरल नेटवर्क के अंदर की संख्याओं का निरीक्षण करने या लिखने के लिए कहना। वे संख्याएँ उसके वजन होते हैं। इस MIT-संबद्ध टीम ने OpenAI के GPT छह एस्ट्रा का उपयोग एक छोटे क्यूवेन भाषा मॉडल को संपादित करने के लिए किया, जिसमें सामान्य प्रशिक्षण वर्जित था। रिकिया ताकेही और उनके सह-लेखकों ने सोमवार को यह अध्ययन प्रकाशित किया,

0:44 यह पूछते हुए कि क्या एक मौजूदा AI दूसरे नेटवर्क के आंतरिक भागों के बारे में तर्क दे सकता है। उनका मुख्य परिणाम बहुत क्लिक करने योग्य है। मैथ पांच सौ पर, क्यूवेन लगभग आठ प्रतिशत से अड़तालीस प्रतिशत तक बढ़ गया। लगभग छह गुना सही उत्तर। क्यूवेन तब तक सोचता रहा जब तक उसके पास जवाब देने के लिए जगह खत्म नहीं हो गई।

क्यूवेन क्या गलत कर रहा था?

1:00 सोचने के मोड में, वह अक्सर अपने तर्क को दोहराता था। कल्पना कीजिए कि एक छात्र घंटी बजने तक परीक्षा पुस्तिका को काम से भर रहा है। मार्कर को अभी भी एक उत्तर की आवश्यकता है। अधिकांश मूल उत्तर लंबाई सीमा तक पहुँच गए। एस्ट्रा ने दो आंतरिक परतों में एक दोहराव दिशा का पता लगाया, फिर चयनित वजन स्तंभों से इसके योगदान को हटा दिया। उस संपादन के बाद, अधिक उत्तर निष्कर्ष पर पहुँचे। रिपोर्ट किए गए परीक्षण में लगभग एक तिहाई अभी भी सीमा तक पहुँच गए।

1:22 परीक्षा पुस्तिका को आखिरकार एक अंतिम पंक्ति मिली। आज, मैथ्यू हॉनिबल, spaCy के निर्माता और Explosion के सह-संस्थापक,

आज का आलोचक क्या विवाद करता है?

1:28 ने प्रस्तुति को चुनौती दी। वह कहते हैं कि पाठक प्रयोगों की विभिन्न स्थितियों को एक साथ मिलाकर एक असाधारण तकनीक का प्रभाव बना सकते हैं। उनका आपत्ति उनकी संयुक्त कहानी से संबंधित है। हम खुद शर्तों की जांच कर सकते हैं। क्यूवेन प्रयोग ने एस्ट्रा को वजन और अभ्यास

एस्ट्रा को वास्तव में क्या मदद मिली?

1:44 समस्याओं के साथ पायथन नोटबुक दिया। कई चरणों में, उसने आंतरिक सक्रियणों का निरीक्षण किया और मूल और संपादित संस्करणों की तुलना की। अंतिम बजट ने मॉडल रन के पचास बैचों की अनुमति दी। प्रत्येक पीढ़ी बैच में सैकड़ों उत्तर हो सकते थे। अभ्यास डेटा प्रशिक्षण विभाजन से आया था। शोधकर्ताओं का कहना है कि एस्ट्रा ने कभी भी अंतिम मूल्यांकन सेट नहीं देखे। फीडबैक ने संपादन चुनने में मदद की; बाद में होल्ड-आउट समस्याओं ने इसे मापा। मूल और संपादित क्यूवेन के बीच सैंपलिंग सेटिंग्स स्थिर रहीं,

2:09 जिससे इस प्रोटोकॉल की स्कोर तुलना व्याख्या करने योग्य हो गई। पहले प्रॉम्प्ट ने उसे एक मददगार लैब पर्यवेक्षक दिया। विफलताओं का निदान करें, जिम्मेदार घटकों का पता लगाएं, समान समस्याओं पर तुलना करें, और कई शक्तियों का परीक्षण करें। इसमें स्पष्ट रूप से दोहराव वाली सोच को एक ऐसी मरम्मत के रूप में उल्लेख किया गया था जो मायने रखती है। स्नातक छात्रों को इस ऑनबोर्डिंग पैकेज के लिए बातचीत करनी चाहिए। यह एक प्रभावशाली मरम्मत है।

वास्तविक मरम्मत कितनी छोटी थी?

2:28 एस्ट्रा के लक्षित संपादन ने मोटे तौर पर एक सौ इकतीस हजार भारों को छुआ। यह मॉडल का लगभग सोलह हजारवां प्रतिशत है। वजन फ़ाइल सीधे बदल गई। ग्रेडिएंट प्रशिक्षण वर्जित रहा; एस्ट्रा के संपादन सत्र समाप्त होने के बाद मौजूदा मॉडल ने उत्तर दिया। एस्ट्रा के संपादन सत्र समाप्त होने के बाद। लाभ ने निर्देश पालन तक भी पहुंच बनाई। मुझे व्यावहारिक निहितार्थ पसंद हैं। एक मॉडल में उपयोगी काम हो सकता है जिसे उसका विफलता मोड दबाए रखता है।

2:48 उस विफलता को ठीक करने से प्रयोग करने योग्य उत्तर प्राप्त हो सकते हैं। समाप्त करना मायने रखता है। हॉनिबल उपकरण-सहायता प्राप्त काम को एक मानव मशीन-लर्निंग इंजीनियर जो कर सकता है, उसे करने का श्रेय देते हैं। यह एक एजेंट के लिए महत्वपूर्ण है। उनकी शिकायत यह है कि छोटे कच्चे-संख्या प्रदर्शन और बड़े पायथन-सहायता प्राप्त मरम्मत एक साथ बंडल किए जाने पर एक व्यापक निष्कर्ष को आमंत्रित करते हैं। छोटे गेम नेटवर्क लें।

वास्तव में किन प्रयोगों में कोई उपकरण नहीं थे?

3:09 एक प्रयोग में, एस्ट्रा ने उनके कच्चे नंबर पढ़े और सही ढंग से पहचान की कि किस गेम को प्रत्येक नेटवर्क ने सीखा था। उपकरण वर्जित थे। एक अन्य में, उसने नियमों और स्रोत कोड का उपयोग करके खरोंच से नए गेम-प्लेइंग वजन लिखे, जिसमें कोई अभ्यास रोलआउट नहीं था। ये अलग-अलग सबूतों के साथ अलग-अलग प्रदर्शन हैं। एस्ट्रा के नेटवर्क ने सभी तीन खेलों में सौ मिलियन चरणों के लिए प्रशिक्षित बेसलाइन को हराया। लंबे समय तक प्रशिक्षित बेसलाइन के खिलाफ, यह सीक्वेस्ट और एस्टेरिक्स में हार गया, जबकि ब्रेकआउट में जीत गया।

3:32 एस्टेरिक्स में हार गया, जबकि ब्रेकआउट में जीत गया। तुलना स्तंभ बदलें, और विजय भाषण को संपादन की आवश्यकता है। सुविधाजनक रूप से, संपादन आज का विषय है। एक व्यापक दावे के लिए, हम विभिन्न विफलताओं वाले मॉडलों में सुधार चाहेंगे।

एक अधिक सामान्य दावे को क्या चाहिए होगा?

3:44 ट्रैक करें कि संपादक ने क्या देखा और क्या सफलता के रूप में गिना गया। क्यूवेन के मॉडल कार्ड में पहले से ही सोच लूप के बारे में चेतावनी दी गई है। इस ज्ञात बाधा को हटाने का एक विशेष प्रारंभिक बिंदु है। उनके श्रेय के लिए, लेखक स्वयं असुविधाजनक फॉलो-अप प्रकाशित करते हैं। वे बताते हैं कि लूप को रोकने से क्यूवेन उन उत्तरों को पूरा कर सकता है जिन्हें वह पहले से ही हल कर सकता था। उनके लॉग में प्रॉम्प्ट, फीडबैक और संपादन शामिल हैं। हम उपलब्धि की जांच कर सकते हैं और एक कठिन प्रश्न पूछ सकते हैं।

उस मॉडल का क्या हुआ जो शायद ही कभी लूप करता था?

4:06 अब दूसरा मॉडल, एक छोटा जेम्मा अपने खुद के फॉलो-अप सेटअप में। यह शायद ही कभी लूप करता था, इसलिए इसकी विफलताएं साधारण गलत अंकगणित और अमान्य बीजगणित थीं। एस्ट्रा ने फिर से अभ्यास प्रतिक्रिया के साथ लक्षित वजन संपादन का प्रयास किया। किसी ने भी इसके गणित स्कोर को एक बिंदु से अधिक नहीं बढ़ाया, और कोई लाभ स्थापित नहीं हुआ। सफल क्यूवेन मरम्मत में हटाने के लिए एक बाधा थी। जेम्मा की अंकगणित त्रुटियां बनी रहीं। यह डेवलपर्स के लिए उपयोगी प्रश्न है।

4:28 संपादन ने किस विफलता की मरम्मत की, और क्या आपके मॉडल में वास्तव में वह है? गुणक का जश्न मनाने से पहले अपने स्वयं के कार्यों पर सहेजे गए भार का परीक्षण करें। एक मरम्मत किया गया बॉटलनेक बहुत मायने रख सकता है जबकि अगला बॉटलनेक बिल्कुल वहीं रहता है जहाँ वह था। यदि आप इसे सुनने के बजाय पढ़ना पसंद करते हैं, तो अंतर हर सुबह आपके इनबॉक्स में आता है, the daily diff dot dev पर मुफ्त में, लिंक नीचे है।

क्या मैं वजन-संपादन के दावे को SHIP IT करता?

4:47 तो, आज का फैसला NEEDS REVIEW है। मैं लूप मरम्मत को गंभीरता से लूंगा और उसका परीक्षण करूंगा। मैं उस विफलता मोड से परे सफलता पर व्यापक दावों को रोकूंगा। लेखकों का अपना प्रतिउदाहरण अंतर में सबसे उपयोगी पंक्ति है। और यह आज का अंतर है। मैं Axrisi से निको हूँ। जिम्मेदारी से विलय करें।

स्रोत

1. Weight-space programming studyRikiya Takehi and coauthors
2. November 3 critique of bundled experiment conditionsMatthew Honnibal
3. Pinned Qwen protocol and exact weight editsRikiya Takehi and coauthors
4. Actual initial Qwen promptRikiya Takehi and coauthors
5. Pinned smaller Gemma follow-upRikiya Takehi and coauthors
6. Original model-card thinking-loop warningQwen
7. Primary study discussionHacker News
8. Critique discussionHacker News
9. Cover portrait: Sam Altman, TechCrunch 2019 crop, CC BY 2.0; cropped, background removed, resized and flipped; no endorsementSteve Jennings/Getty Images for TechCrunch via Wikimedia Commons
10. Released checkpoint and attributed external re-runRikiyaT on Hugging Face; re-run credited to akhaliq
11. Portrait license: Creative Commons Attribution 2.0Creative Commons; Steve Jennings/Getty Images for TechCrunch portrait credit above