# GPT-6 Astra ले अर्को AI को अन्तहीन सोचलाई प्याच गर्यो

Published: 2026-11-04

एमआईटी-सम्बद्ध एक अध्ययनले सानो क्वेन मोडलको वजन सम्पादन गर्न र थप उत्तरहरू पूरा गर्न मद्दत गर्न GPT-6 Astra को प्रयोग गर्यो। यसको रिपोर्ट गरिएको गणित-अंकमा भएको वृद्धि लक्षित लूप मर्मत, पाइथन विश्लेषण र अभ्यास प्रतिक्रियामा निर्भर थियो। छुट्टै सानो गेम्मा फलो-अपमा कुनै स्थापित लाभ भेटिएन।

Canonical: https://thedailydiff.dev/ne/video/2026-11-03-astra-qwen-weights/

## यो भिडियोले के समेट्छ

- रिपोर्ट गरिएको क्वेन स्कोर वृद्धि दोहोरिने तर्कको लक्षित मर्मतबाट आएको हो; सम्पादन गरिएका उत्तरहरूको लगभग एक तिहाइ अझै प्राथमिक प्रोटोकलमा लम्बाइ सीमामा पुगे।
- ग्रेडियन्ट प्रशिक्षण निषेध गरिएको थियो, जबकि पाइथन, अभ्यास उत्तरहरू र ब्याच गरिएको मोडेल-रन प्रतिक्रिया धेरै पालोहरूमा अनुमति दिइएको थियो। अन्तिम मूल्याङ्कन प्रश्नहरू स्रोत-घोषित रूपमा राखिएको थियो।
- सानो कच्चा-वजन र नो-रोलआउट खेल प्रयोगहरूले विभिन्न अवस्थाहरू प्रयोग गरे। तिनीहरूका दावीहरूले तिनीहरूको व्यक्तिगत उपकरण, इनपुट र आधारभूत दायरा कायम राख्नुपर्छ।
- म्याथ्यू हनिबलले उपकरण-सहायता प्राप्त इन्जिनियरिङको श्रेय दिन्छन् र प्रयोगहरूलाई बन्डल गर्दा उत्पन्न हुने व्यापक छापमा विवाद गर्छन्।
- सानो गेम्मा फलो-अपले आफ्नै सेटअप प्रयोग गर्यो र सुधार स्थापित गर्न असफल भयो। अर्को मोडेलमा लागू गर्नु अघि कुन विफलतालाई वजन सम्पादनले मर्मत गर्छ भनेर परीक्षण गर्नुहोस्।

## प्रश्न र उत्तर

### एस्ट्राले क्वेनको रिपोर्ट गरिएको गणित स्कोर सुधार गर्न के परिवर्तन गर्यो?

रिकिया ताकेही र सहकर्मीहरूले गरेको अध्ययनअनुसार, एस्ट्राले लक्षित वजन सम्पादन गर्यो जसले क्वेनलाई थप उत्तरहरू पूरा गर्न मद्दत गर्यो। यसले आन्तरिक तहहरूमा चयन गरिएका स्तम्भहरूबाट दोहोर्यावनेसँग सम्बन्धित योगदान हटायो। रिपोर्ट गरिएको गणित-अंकमा भएको वृद्धिले एक निश्चित मूल्याङ्कन प्रोटोकल प्रयोग गर्यो। धेरै सम्पादन गरिएका उत्तरहरू अझै पनि लम्बाइ सीमामा पुगे, त्यसैले परिणाममा पर्याप्त अवशिष्ट विफलता दर कायम छ।

### क्वेनको वजन सम्पादनको क्रममा कुन उपकरण र प्रतिक्रियालाई अनुमति दिइएको थियो?

पाइथन विश्लेषण, उत्तरहरूसँग अभ्यास समस्याहरू र ब्याच गरिएको मोडेल-रन प्रतिक्रियालाई धेरै पालोहरूमा अनुमति दिइएको थियो। अनुसन्धानकर्ताहरूको वास्तविक प्रारम्भिक प्रम्प्टले ग्रेडियन्ट प्रशिक्षणलाई निषेध गर्यो र निदान र कारण परीक्षण सल्लाह निर्दिष्ट गर्यो, जसमा दोहोरिने-सोच मर्मत एक योग्य लक्ष्यको रूपमा समावेश थियो। यस समर्थनले एस्ट्रालाई अवस्थित वजनहरूमा प्रत्यक्ष सम्पादन छनौट गर्न मद्दत गर्यो। एक बजेट इकाईमा सयौं उत्पन्न उत्तरहरू हुन सक्थे।

### के अन्तिम मूल्याङ्कन समस्याहरू सम्पादन मोडेललाई उपलब्ध थिए?

अनुसन्धानकर्ताहरू भन्छन् कि अन्तिम मूल्याङ्कन सेटहरू एस्ट्राले देखेन। अभ्यास प्रतिक्रिया प्रशिक्षण-विभाजन समस्याहरूबाट आयो र सम्पादन छनौट गर्न मद्दत गर्यो; छुट्टै राखिएका समस्याहरूले त्यसपछि पेश गरिएको मोडेललाई मापन गर्यो। प्रारम्भिक प्रम्प्टले बेन्चमार्क नामहरू र मूल्याङ्कन प्रोटोकल खुलासा गर्यो। त्यो भिन्नताले सम्पादकसँग कार्यको बारेमा सबै जानकारी नभएको दावी नगरी के रोकिएको थियो भनेर वर्णन गर्दछ।

### सानो गेम्मा वजन-सम्पादन फलो-अपमा के भयो?

रिकिया ताकेही र सहकर्मीहरूका अनुसार, सानो गेम्मा फलो-अपले लाभ स्थापित गर्न असफल भयो। मोडेल विरलै घुम्थ्यो, र यसका विफलताहरूमा गलत अंकगणित र अमान्य बीजगणित समावेश थियो। अभ्यास प्रतिक्रियाको साथ लक्षित सम्पादनहरूले रिपोर्ट गरिएको गणित स्कोरलाई लगभग एक अंकले मात्र सार्यो। यसले छुट्टै सेटअप प्रयोग गर्यो, त्यसैले तुलनाले समान-नियन्त्रित एब्लेशनको सट्टा स्कोप गरिएको प्रतिउदाहरण प्रदान गर्दछ।

### The Daily Diff को वजन-सम्पादन दावीमा के फैसला थियो?

The Daily Diff को फैसला NEEDS REVIEW थियो। निकोले लक्षित लूप मर्मतलाई गम्भीरतापूर्वक लिनेछन् र यसलाई परीक्षण गर्नेछन्, जबकि त्यो विफलता मोडभन्दा बाहिरको सफलतामा फराकिलो दावीहरू राखिराख्नेछन्। अनुसन्धानकर्ताहरूको आफ्नै सानो-मोडेल प्रतिउदाहरणले त्यो निर्णयलाई जानकारी दिन्छ। विकासकर्ताहरूले सम्पादनले कुन विफलता मर्मत गर्छ भनेर पहिचान गर्नुपर्छ र रिपोर्ट गरिएको गुणाङ्क मनाउनु अघि आफ्ना आफ्नै कार्यहरूमा बचत गरिएका वजनहरू मूल्याङ्कन गर्नुपर्छ।

## अध्यायहरू

- 0:00 गणितको अंक किन बढ्यो?
- 0:58 क्वेनले के गल्ती गरिरहेको थियो?
- 1:25 आजका आलोचकले केमा विवाद गरिरहेका छन्?
- 1:41 एस्ट्राले वास्तवमा के मद्दत पायो?
- 2:27 वास्तविक मर्मत कति सानो थियो?
- 3:08 कुन प्रयोगहरूमा वास्तवमा कुनै उपकरण थिएन?
- 3:40 एक अधिक सामान्य दावीलाई के चाहिन्छ?
- 4:06 विरलै घुम्ने मोडेललाई के भयो?
- 4:47 के म वजन-सम्पादन दावी SHIP IT गर्छु?

## अनुवादित ट्रान्सक्रिप्ट

मूल अंग्रेजी कथाबाट अनुवादित। उपलब्ध अडियो र क्याप्सनहरू YouTube द्वारा नियन्त्रित हुन्छन्।

### गणितको अंक किन बढ्यो?

0:00 एउटा AI ले अर्को AI लाई छ गुणा स्मार्ट बनाउनु तत्काल प्रतिभा जस्तो लाग्छ। एस्ट्राको ठूलो स्कोर जम्प क्वेनलाई यसले बारम्बार दोहोर्याइरहेको उत्तरहरू पूरा गर्न मद्दत गर्दा आयो। यस भिडियोमा के परिवर्तन भयो? एस्ट्राले के मद्दत पायो? र समाधान कति टाढा जान्छ? क्वेन लगभग आठ प्रतिशतबाट अठ्चालीस प्रतिशतमा पुग्यो। अनुसन्धानकर्ताहरूले लगभग कुनै लूप नभएको दोस्रो मोडेल प्रयास गरे। हामी फैसला अघि त्यो कसरी गयो हेर्नेछौं।

0:22 आज मंगलबार, नोभेम्बर तेस्रो हो, र यो The Daily Diff हो। Weight-space programming अनुसन्धानकर्ताहरूको नाम हो एक AI लाई न्यूरल नेटवर्क भित्रका संख्याहरू जाँच गर्न वा लेख्न सोध्नु। ती संख्याहरू यसको वजन हुन्। यो MIT-सम्बद्ध टोलीले OpenAI को GPT-6 Astra लाई एक सानो क्वेन भाषा मोडेल सम्पादन गर्न प्रयोग गर्यो, जसमा साधारण प्रशिक्षण निषेध गरिएको थियो। रिकिया ताकेही र उनका सह-लेखकहरूले सोमबार अध्ययन प्रकाशित गरे,

0:44 के अवस्थित AI ले अर्को नेटवर्कको आन्तरिक बारे तर्क गर्न सक्छ भनेर सोध्दै। उनीहरूको हेडलाइन नतिजा धेरै क्लिक गर्न मिल्ने छ। गणित ५०० मा, क्वेन लगभग आठ प्रतिशतबाट अठ्चालीस प्रतिशतमा पुग्यो। लगभग छ गुणा बढी सही उत्तरहरू। क्वेनले जवाफ दिन ठाउँ सकिएसम्म सोचिरह्यो।

### क्वेनले के गल्ती गरिरहेको थियो?

1:00 सोच्ने मोडमा, यसले प्रायः आफ्नो तर्क दोहोर्याउथ्यो। कल्पना गर्नुहोस् कि एक विद्यार्थीले घण्टी नबजेसम्म परीक्षा पुस्तिका कामले भरिरहेको छ। परीक्षकलाई अझै पनि उत्तर चाहिन्छ। धेरैजसो मौलिक उत्तरहरू लम्बाइ सीमामा पुगे। एस्ट्राले दुई आन्तरिक तहहरूमा दोहोरिने दिशा पत्ता लगायो, त्यसपछि चयन गरिएका वजन स्तम्भहरूबाट यसको योगदान हटायो। त्यो सम्पादन पछि, थप उत्तरहरू निष्कर्षमा पुगे। रिपोर्ट गरिएको परीक्षणमा लगभग एक तिहाइ अझै पनि सीमामा पुगे।

1:22 परीक्षा पुस्तिकाले अन्ततः अन्तिम लाइन पायो। आज, स्प्यासीका निर्माता र एक्सप्लोजनका सह-संस्थापक म्याथ्यू हनिबलले

### आजका आलोचकले केमा विवाद गरिरहेका छन्?

1:28 प्रस्तुतिलाई चुनौती दिए। उनले भन्छन् कि पाठकहरूले प्रयोगका विभिन्न अवस्थाहरूलाई एक असाधारण प्रविधिको छापमा मिलाउन सक्छन्। उनको आपत्ति तिनीहरूको संयुक्त कथासँग सम्बन्धित छ। हामी आफैं अवस्थाहरू जाँच गर्न सक्छौं। क्वेन प्रयोगले एस्ट्रालाई वजन र अभ्यास समस्याहरूमा पाइथन नोटबुक दियो

### एस्ट्राले वास्तवमा के मद्दत पायो?

1:44 उत्तरहरूसँग। धेरै पालोहरूमा, यसले आन्तरिक सक्रियताहरू जाँच गर्यो र मौलिक र सम्पादन गरिएका संस्करणहरू तुलना गर्यो। अन्तिम बजेटले पचास ब्याच मोडेल रनहरूलाई अनुमति दियो। प्रत्येक उत्पादन ब्याचमा सयौं उत्तरहरू हुन सक्थे। अभ्यास डेटा प्रशिक्षण विभाजनबाट आएको थियो। अनुसन्धानकर्ताहरू भन्छन् कि एस्ट्राले कहिल्यै अन्तिम मूल्याङ्कन सेटहरू देखेन। प्रतिक्रियाले सम्पादन छनौट गर्न मद्दत गर्यो; राखिएका समस्याहरूले त्यसपछि यसलाई मापन गर्यो। नमूना सेटिङहरू मौलिक र सम्पादन गरिएको क्वेन बीच स्थिर रह्यो,

2:09 यस प्रोटोकलको स्कोर तुलनालाई व्याख्या योग्य बनाउँदै। पहिलो प्रम्प्टले यसलाई एक सहयोगी प्रयोगशाला पर्यवेक्षक दियो। विफलताहरू निदान गर्नुहोस्, जिम्मेवार घटकहरू फेला पार्नुहोस्, समान समस्याहरूमा तुलना गर्नुहोस्, र धेरै शक्तिहरू परीक्षण गर्नुहोस्। यसले स्पष्ट रूपमा दोहोरिने सोचलाई गणना हुने मर्मतको रूपमा उल्लेख गर्यो। स्नातक विद्यार्थीहरूले यो अनबोर्डिङ प्याकेजको लागि वार्तालाप गर्नुपर्छ। त्यो एक प्रभावशाली मर्मत हो।

### वास्तविक मर्मत कति सानो थियो?

2:28 एस्ट्राको लक्षित सम्पादनले लगभग एक लाख एकतीस हजार वजनलाई छोयो। त्यो मोडेलको लगभग सोह्र हजारौं प्रतिशत हो। वजन फाइल सिधै परिवर्तन भयो। ग्रेडियन्ट प्रशिक्षण निषेध गरिएको थियो; एस्ट्राको सम्पादन सत्र समाप्त भएपछि अवस्थित मोडेलले जवाफ दिइरहेको थियो। लाभले निर्देशन पालनासम्म पनि पुग्यो। मलाई व्यावहारिक निहितार्थ मन पर्छ। एउटा मोडेलमा उपयोगी काम हुन सक्छ जुन यसको विफलता मोडले गाडिरहन्छ।

2:48 त्यो विफलता ठीक गर्दा प्रयोग योग्य उत्तरहरू पुन: प्राप्त गर्न सकिन्छ। पूरा गर्नु महत्त्वपूर्ण छ। हनिबलले उपकरण-सहायता प्राप्त कामलाई मानव मेसिन-लर्निङ इन्जिनियरले गर्न सक्ने कार्यहरू गरेकोमा श्रेय दिन्छन्। त्यो एक एजेन्टको लागि महत्त्वपूर्ण छ। उनको गुनासो यो हो कि साना कच्चा-संख्या प्रदर्शनहरू र ठूला पाइथन-सहायता प्राप्त मर्मतहरूलाई सँगै बन्डल गर्दा व्यापक निष्कर्षमा पुर्याउँछ। साना खेल नेटवर्कहरू लिनुहोस्।

### कुन प्रयोगहरूमा वास्तवमा कुनै उपकरण थिएन?

3:09 एक प्रयोगमा, एस्ट्राले तिनीहरूको कच्चा संख्याहरू पढ्यो र प्रत्येक नेटवर्कले कुन खेल सिकेको थियो भनेर सही रूपमा पहिचान गर्यो। उपकरणहरू निषेध गरिएको थियो। अर्कोमा, यसले नियम र स्रोत कोड प्रयोग गरेर स्क्र्याचबाट नयाँ खेल-खेल्ने वजनहरू लेख्यो, कुनै अभ्यास रोलआउट बिना। ती छुट्टाछुट्टै प्रमाणहरूसहितका छुट्टाछुट्टै प्रदर्शनहरू हुन्। एस्ट्राका नेटवर्कहरूले सबै तीन खेलहरूमा सय मिलियन चरणका लागि प्रशिक्षित आधारभूतलाई हराए। लामो-प्रशिक्षित आधारभूत विरुद्ध, यसले सीक्वेस्ट र एस्टेरिक्समा हार्यो,

3:32 जबकि ब्रेकआउट जित्यो। तुलना स्तम्भ परिवर्तन गर्नुहोस्, र विजय भाषण सम्पादन गर्न आवश्यक छ। सुविधाजनक रूपमा, सम्पादन आजको विषय हो। एक फराकिलो दावीको लागि, हामी विभिन्न विफलता भएका मोडेलहरूमा सुधारहरू चाहन्छौं।

### एक अधिक सामान्य दावीलाई के चाहिन्छ?

3:44 सम्पादकले के देख्यो र केलाई सफलता मानियो भनेर ट्र्याक गर्नुहोस्। क्वेनको मोडेल कार्डले पहिले नै सोच्ने लूपहरूको बारेमा चेतावनी दिन्छ। यो ज्ञात बाधा हटाउनको लागि एक विशेष सुरुवात बिन्दु छ। उनीहरूको श्रेयको लागि, लेखकहरूले आफैं असहज फलो-अप प्रकाशित गर्छन्। उनीहरूले व्याख्या गर्छन् कि लूपहरू रोक्दा क्वेनले पहिले नै काम गर्न सक्ने उत्तरहरू पूरा गर्न दिन्छ। उनीहरूको लगमा प्रम्प्टहरू, प्रतिक्रिया र सम्पादनहरू समावेश छन्। हामी उपलब्धि जाँच गर्न सक्छौं र अझ कठिन प्रश्न सोध्न सक्छौं।

### विरलै घुम्ने मोडेललाई के भयो?

4:06 अब दोस्रो मोडेल, आफ्नै फलो-अप सेटअपमा एउटा सानो गेम्मा। यसले विरलै घुम्थ्यो, त्यसैले यसका विफलताहरू साधारण गलत अंकगणित र अमान्य बीजगणित थिए। एस्ट्राले फेरि अभ्यास प्रतिक्रियाको साथ लक्षित वजन सम्पादन प्रयास गर्यो। कुनै पनि यसको गणित स्कोरलाई एक अंक भन्दा बढीले सार्न सकेन, र कुनै लाभ स्थापित भएन। सफल क्वेन मर्मतमा हटाउनु पर्ने बाधा थियो। गेम्माको अंकगणित त्रुटिहरू जीवित रहे। विकासकर्ताहरूको लागि त्यो उपयोगी प्रश्न हो।

4:28 कुन विफलतालाई सम्पादनले मर्मत गर्यो, र के तपाईको मोडेलमा वास्तवमा त्यो छ? गुणाङ्क मनाउनु अघि तपाईका आफ्नै कार्यहरूमा बचत गरिएका वजनहरू परीक्षण गर्नुहोस्। मर्मत गरिएको बाधाले अत्यन्तै महत्त्वपूर्ण हुन सक्छ जबकि अर्को बाधा जहाँको त्यहीँ रहन्छ। यदि तपाईं यो सुन्नुको सट्टा पढ्न चाहनुहुन्छ भने, diff हरेक बिहान तपाईको इनबक्समा आउँछ, dailydiff.dev मा नि:शुल्क, लिङ्क तल छ।

### के म वजन-सम्पादन दावी SHIP IT गर्छु?

4:47 त्यसैले, आजको फैसला NEEDS REVIEW हो। म लूप मर्मतलाई गम्भीरतापूर्वक लिनेछु र यसलाई परीक्षण गर्नेछु। म त्यो विफलता मोडभन्दा बाहिरको सफलतामा फराकिलो दावीहरू राखिराख्नेछु। लेखकहरूको आफ्नै प्रतिउदाहरण diff मा सबैभन्दा उपयोगी लाइन हो। र आजको लागि diff यति नै हो। म Axrisi बाट Niko हुँ। जिम्मेवारीपूर्वक मर्ज गर्नुहोस्।

## स्रोतहरू

- [Weight-space programming study](https://rikiyat.github.io/blog/weight-space-programming/) — Rikiya Takehi and coauthors
- [November 3 critique of bundled experiment conditions](https://honnibal.dev/blog/astra-read-write-misleading) — Matthew Honnibal
- [Pinned Qwen protocol and exact weight edits](https://github.com/RikiyaT/lm_understand-logs/tree/4d09ba6d6a7e891dd8063974dfe81b3d78e3494f/exp8_math) — Rikiya Takehi and coauthors
- [Actual initial Qwen prompt](https://github.com/RikiyaT/lm_understand-logs/blob/4d09ba6d6a7e891dd8063974dfe81b3d78e3494f/exp8_math/runs/p50c/turns/t001/prompt.txt) — Rikiya Takehi and coauthors
- [Pinned smaller Gemma follow-up](https://github.com/RikiyaT/lm_understand-logs/tree/4d09ba6d6a7e891dd8063974dfe81b3d78e3494f/exp8_math/gemma_followup) — Rikiya Takehi and coauthors
- [Original model-card thinking-loop warning](https://huggingface.co/Qwen/Qwen3.5-0.8B/blob/main/README.md) — Qwen
- [Primary study discussion](https://news.ycombinator.com/item?id=50341174) — Hacker News
- [Critique discussion](https://news.ycombinator.com/item?id=50351111) — Hacker News
- [Cover portrait: Sam Altman, TechCrunch 2019 crop, CC BY 2.0; cropped, background removed, resized and flipped; no endorsement](https://commons.wikimedia.org/wiki/File:Sam_Altman_TechCrunch_SF_2019_Day_2_Oct_3_%28cropped%29.jpg) — Steve Jennings/Getty Images for TechCrunch via Wikimedia Commons
- [Released checkpoint and attributed external re-run](https://huggingface.co/RikiyaT/Qwen3.5-0.8B-weight-space-programming) — RikiyaT on Hugging Face; re-run credited to akhaliq
- [Portrait license: Creative Commons Attribution 2.0](https://creativecommons.org/licenses/by/2.0/) — Creative Commons; Steve Jennings/Getty Images for TechCrunch portrait credit above