# GPT-6 Astra-ն կարկատեց մեկ այլ AI-ի անվերջ մտածողությունը

Published: 2026-11-04

ՄԻՏ-ին կից հետազոտությունը օգտագործել է GPT-6 Astra-ն՝ խմբագրելու փոքր Qwen մոդելի կշիռները և օգնելու ավելի շատ պատասխաններ ավարտելուն: Դրա հաղորդված մաթեմատիկայի միավորների ցատկը կախված էր թիրախային հանգույցի վերանորոգումից, Python վերլուծությունից և պրակտիկայի հետադարձ կապից: Առանձին, ավելի փոքր Gemma-ի հետագա ուսումնասիրությունը չի հայտնաբերել հաստատված ձեռքբերում:

Canonical: https://thedailydiff.dev/hy/video/2026-11-03-astra-qwen-weights/

## Ինչ է ընդգրկում այս տեսանյութը

- Qwen-ի հաղորդված միավորի աճը պայմանավորված էր կրկնվող դատողությունների թիրախային վերանորոգումով. խմբագրված պատասխանների մոտ մեկ երրորդը դեռ հասնում էր երկարության սահմանին հիմնական արձանագրությունում:
- Գրադիենտային ուսուցումն արգելված էր, մինչդեռ Python-ը, պրակտիկ պատասխանները և խմբաքանակային մոդելի գործարկման հետադարձ կապը թույլատրված էին բազմաթիվ շրջադարձերում: Վերջնական գնահատման հարցերը աղբյուրի կողմից հայտարարվել էին, որ բացակայում էին:
- Փոքր հում կշիռը և առանց գործարկման խաղի փորձերը օգտագործել են տարբեր պայմաններ: Նրանց պնդումները պետք է պահպանեն իրենց անհատական գործիքը, մուտքը և բազային շրջանակը:
- Մեթյու Հոնիբալը վերագրում է գործիքակազմի աջակցությամբ ինժեներական աշխատանքին և վիճարկում է փորձերի փաթեթավորմամբ ստեղծված ավելի լայն տպավորությունը:
- Ավելի փոքր Gemma-ի հետագա ուսումնասիրությունը օգտագործել է իր սեփական կարգավորումը և չի կարողացել բարելավում հաստատել: Ստուգեք, թե որ ձախողումն է վերանորոգում կշռի խմբագրումը, նախքան այն մեկ այլ մոդելին կիրառելը:

## Հարցեր և պատասխաններ

### Ի՞նչ է փոխել Astra-ն՝ Qwen-ի հաղորդված մաթեմատիկայի միավորը բարելավելու համար:

Astra-ն կատարել է թիրախային կշռի խմբագրում, որն օգնել է Qwen-ին ավարտել ավելի շատ պատասխաններ, ըստ Ռիկիա Թաքեհիի և համահեղինակների ուսումնասիրության: Այն հեռացրել է կրկնության հետ կապված ներդրումը ներքին շերտերում ընտրված սյուններից: Հաղորդված մաթեմատիկայի միավորի աճը օգտագործել է ֆիքսված գնահատման արձանագրություն: Շատ խմբագրված պատասխաններ դեռ հասնում էին երկարության սահմանին, ուստի արդյունքը պահպանում է զգալի մնացորդային ձախողման մակարդակ:

### Ի՞նչ գործիքներ և հետադարձ կապ էին թույլատրվում Qwen-ի կշռի խմբագրման ընթացքում:

Python վերլուծություն, պրակտիկ խնդիրներ պատասխաններով և խմբաքանակային մոդելի գործարկման հետադարձ կապը թույլատրվում էին բազմաթիվ շրջադարձերում: Հետազոտողների իրական նախնական հուշումը արգելում էր գրադիենտային ուսուցումը և նշում էր ախտորոշիչ և պատճառական փորձարկման խորհուրդներ, ներառյալ կրկնվող մտածողության վերանորոգումը որպես իրավասու թիրախ: Այս աջակցությունն օգնեց Astra-ին ընտրել ուղղակի խմբագրում գոյություն ունեցող կշիռներին: Բյուջետային միավորը կարող էր պարունակել հարյուրավոր ստեղծված պատասխաններ:

### Արդյո՞ք վերջնական գնահատման խնդիրները հասանելի էին խմբագրող մոդելին։

Հետազոտողներն ասում են, որ վերջնական գնահատման հավաքածուները մնացել են անտեսանելի Astra-ի համար: Պրակտիկայի հետադարձ կապը ստացվել է ուսուցման-բաժանման խնդիրներից և օգնել է ընտրել խմբագրումը. առանձին պահված խնդիրները չափել են ներկայացված մոդելը հետագայում: Սկզբնական հուշումը բացահայտել է չափորոշիչների անունները և գնահատման արձանագրությունը: Այդ տարբերակումը նկարագրում է, թե ինչ է պահպանվել՝ առանց պնդելու, որ խմբագիրը տեղեկություն չուներ խնդրի մասին:

### Ի՞նչ տեղի ունեցավ ավելի փոքր Gemma-ի կշռի խմբագրման հետագա ուսումնասիրության ժամանակ:

Ավելի փոքր Gemma-ի հետագա ուսումնասիրությունը չի կարողացել ձեռքբերում հաստատել, ըստ Ռիկիա Թաքեհիի և համահեղինակների։ Մոդելը հազվադեպ էր կրկնվում, և դրա ձախողումները ներառում էին սխալ թվաբանություն և անվավեր հանրահաշիվ։ Թիրախային խմբագրումները պրակտիկայի հետադարձ կապով փոխել են հաղորդված մաթեմատիկայի միավորը առավելագույնը մեկ կետով։ Այն օգտագործել է առանձին կարգավորում, ուստի համեմատությունը տրամադրում է շրջանակային հակաօրինակ, այլ ոչ թե հավասարեցված վերացում։

### Ո՞րն էր The Daily Diff-ի վճիռը կշռի խմբագրման պնդման վերաբերյալ։

The Daily Diff-ի վճիռն էր NEEDS REVIEW: Նիկոն լրջորեն կվերաբերվեր թիրախային հանգույցի վերանորոգմանը և կփորձարկեր այն, մինչդեռ ավելի լայն պնդումները կպահեին այդ ձախողման ռեժիմից դուրս հաջողության հիման վրա: Հետազոտողների սեփական փոքր մոդելի հակաօրինակը հիմնավորում է այդ դատողությունը: Ծրագրավորողները պետք է բացահայտեն, թե որ ձախողումն է վերանորոգում խմբագրումը և գնահատեն պահպանված կշիռները իրենց սեփական խնդիրների վրա, նախքան հաղորդված բազմապատկիչը նշելը:

## Գլուխներ

- 0:00 Ինչո՞ւ բարձրացավ մաթեմատիկայի միավորը:
- 0:58 Ի՞նչ սխալ էր անում Qwen-ը։
- 1:25 Ի՞նչ է վիճարկում այսօրվա քննադատը։
- 1:41 Ի՞նչ օգնություն ստացավ Astra-ն։
- 2:27 Որքա՞ն փոքր էր իրական վերանորոգումը։
- 3:08 Ո՞ր փորձերն իսկապես գործիքներ չունեին։
- 3:40 Ի՞նչ կպահանջի ավելի ընդհանուր պնդումը։
- 4:06 Ի՞նչ եղավ մոդելին, որը հազվադեպ էր կրկնվում։
- 4:47 Կշիպի՞ արդյոք ես կշռի խմբագրման պնդումը:

## Թարգմանված արձանագրություն

Թարգմանվել է բնօրինակ անգլերեն պատմությունից։ Հասանելի աուդիո և ենթագրերը վերահսկվում են YouTube-ի կողմից։

### Ինչո՞ւ բարձրացավ մաթեմատիկայի միավորը:

0:00 Մեկ այլ AI-ին վեց անգամ ավելի խելացի դարձնող AI-ն անմիջապես հնչում է որպես հանճարեղություն։ Astra-ի մեծ միավորի ցատկը եկել է Qwen-ին օգնելուց՝ ավարտելու այն պատասխանները, որոնք այն անընդհատ կրկնում էր: Այս տեսանյութում ի՞նչ է փոխվել։ Ի՞նչ օգնություն ստացավ Astra-ն։ Եվ որքա՞ն հեռու է տարածվում ուղղումը։ Qwen-ը մոտ ութ տոկոսից հասավ քառասունութ տոկոսի։ Հետազոտողները փորձեցին երկրորդ մոդելը՝ գրեթե առանց կրկնությունների։ Մենք կտեսնենք, թե ինչպես է դա անցել մինչև վճիռը։

0:22 Երեքշաբթի է, նոյեմբերի երեքը, և սա The Daily Diff-ն է։ Կշռի տարածության ծրագրավորումը հետազոտողների անունն է AI-ին խնդրելու համար՝ ստուգել կամ գրել թվերը նեյրոնային ցանցի ներսում։ Այդ թվերը դրա կշիռներն են։ ՄԻՏ-ին կից այս թիմը օգտագործեց OpenAI-ի GPT six Astra-ն՝ խմբագրելու փոքր Qwen լեզվի մոդելը, սովորական ուսուցումն արգելված էր։ Ռիկիա Թաքեհին և նրա համահեղինակները հրապարակեցին ուսումնասիրությունը երկուշաբթի օրը՝

0:44 հարցնելով, թե արդյոք գոյություն ունեցող AI-ն կարող է դատողություններ անել մեկ այլ ցանցի ներքին կառուցվածքի մասին։ Նրանց գլխավոր արդյունքը շատ հարմար է սեղմելու համար։ Մաթեմատիկա հինգ հարյուրի վրա Qwen-ը մոտ ութ տոկոսից բարձրացավ քառասունութ տոկոսի։ Գրեթե վեց անգամ ավելի շատ ճիշտ պատասխաններ։ Qwen-ը շարունակում էր մտածել, մինչև պատասխանելու տեղ չմնաց։

### Ի՞նչ սխալ էր անում Qwen-ը։

1:00 Մտածելու ռեժիմում այն հաճախ կրկնում էր իր դատողությունները։ Պատկերացրեք մի ուսանողի, որը լցնում է քննական գրքույկը աշխատանքով, մինչև զանգը հնչի։ Նշողին դեռևս պատասխան է պետք։ Բնօրինակ պատասխանների մեծ մասը հասնում էր երկարության սահմանին։ Astra-ն հայտնաբերեց կրկնության ուղղություն երկու ներքին շերտերում, ապա հեռացրեց դրա ներդրումը ընտրված կշռի սյուններից։ Այդ խմբագրումից հետո ավելի շատ պատասխաններ հասան եզրակացության։ Հաղորդված թեստում մոտ մեկ երրորդը դեռ հասնում էր սահմանին։

1:22 Քննական գրքույկը վերջապես ստացավ վերջին տողը։ Այսօր Մեթյու Հոնիբալը՝ spaCy-ի ստեղծողը և Explosion-ի համահիմնադիրը,

### Ի՞նչ է վիճարկում այսօրվա քննադատը։

1:28 վիճարկեց ներկայացումը։ Նա ասում է, որ ընթերցողները կարող են միավորել փորձերի տարբեր պայմանները մեկ արտասովոր տեխնիկայի տպավորության մեջ։ Նրա առարկությունը վերաբերում է նրանց միասնական պատմությանը։ Մենք ինքներս կարող ենք ստուգել պայմանները։ Qwen-ի փորձը Astra-ին տվեց Python նոթբուք կշիռների և պրակտիկայի վերաբերյալ

### Ի՞նչ օգնություն ստացավ Astra-ն։

1:44 խնդիրներ՝ պատասխաններով։ Բազմաթիվ շրջադարձերում այն ստուգում էր ներքին ակտիվացումները և համեմատում էր բնօրինակ և խմբագրված տարբերակները: Վերջնական բյուջեն թույլ էր տալիս մոդելի գործարկումների հիսուն խմբաքանակ։ Յուրաքանչյուր սերնդի խմբաքանակ կարող էր պարունակել հարյուրավոր պատասխաններ։ Պրակտիկայի տվյալները եկել էին ուսուցման բաժիններից։ Հետազոտողներն ասում են, որ Astra-ն երբեք չի տեսել վերջնական գնահատման հավաքածուները։ Հետադարձ կապն օգնեց ընտրել խմբագրումը. պահված խնդիրները չափվեցին դրանից հետո։ Ընտրանքի կարգավորումները մնացին ֆիքսված բնօրինակ և խմբագրված Qwen-ի միջև՝

2:09 դարձնելով այս արձանագրության միավորների համեմատությունը մեկնաբանելի։ Առաջին հուշումը նրան տվեց օգտակար լաբորատորիայի ղեկավար։ Ախտորոշեք ձախողումները, գտեք պատասխանատու բաղադրիչները, համեմատեք նույն խնդիրների վրա և փորձարկեք մի քանի ուժեղ կողմեր։ Այն հստակորեն նշում էր կրկնվող մտածողությունը որպես վերանորոգում, որը հաշվի է առնվում։ Ասպիրանտները պետք է բանակցեն այս մուտքի փաթեթի համար։ Դա տպավորիչ վերանորոգում է։

### Որքա՞ն փոքր էր իրական վերանորոգումը։

2:28 Astra-ի թիրախային խմբագրումը շոշափել է մոտավորապես հարյուր երեսունմեկ հազար կշիռ։ Դա մոդելի տասնվեց հազարերորդ մասի մեկ տոկոսն է։ Կշռի ֆայլը փոխվել է անմիջապես։ Գրադիենտային ուսուցումը մնաց արգելված. գոյություն ունեցող մոդելը կատարում էր պատասխանելու գործընթացը այն բանից հետո, երբ Astra-ի խմբագրման նիստը ավարտվեց։ Ձեռքբերումը հասավ նաև հրահանգներին հետևելուն։ Ինձ դուր է գալիս գործնական հետևանքը։ Մոդելը կարող է ունենալ օգտակար աշխատանք, որը դրա ձախողման ռեժիմը անընդհատ թաքցնում է։

2:48 Այդ ձախողումը շտկելը կարող է վերականգնել օգտագործելի պատասխանները։ Ավարտելը հաշվի է առնվում։ Հոնիբալը գործիքակազմի աջակցությամբ աշխատանքին վերագրում է այն խնդիրների կատարումը, որոնք մարդկային մեքենայական ուսուցման ինժեները կարող էր անել։ Դա հետևանքներ ունի գործակալի համար։ Նրա բողոքն այն է, որ փոքր հում թվերի ցուցադրությունները և ավելի մեծ Python-ի աջակցությամբ վերանորոգումները, երբ դրանք միասին են փաթեթավորվում, հրահրում են ավելի լայն եզրակացություն։ Վերցնենք փոքրիկ խաղային ցանցերը։

### Ո՞ր փորձերն իսկապես գործիքներ չունեին։

3:09 Մի փորձում Astra-ն կարդաց նրանց հում թվերը և ճիշտ բացահայտեց, թե որ խաղն էր սովորել յուրաքանչյուր ցանց։ Գործիքներն արգելված էին։ Մեկ այլ փորձում այն զրոյից նոր խաղացող կշիռներ գրեց՝ օգտագործելով կանոնները և աղբյուրի կոդը, առանց պրակտիկայի գործարկումների։ Դրանք առանձին ցուցադրություններ են՝ առանձին ապացույցներով։ Astra-ի ցանցերը գերազանցեցին հարյուր միլիոն քայլով մարզված բազային մոդելը բոլոր երեք խաղերում: Ավելի երկար մարզված բազային մոդելի դեմ այն պարտվեց Seaquest-ում և

3:32 Asterix-ում, մինչդեռ հաղթեց Breakout-ում։ Փոխեք համեմատության սյունը, և հաղթանակի ելույթը խմբագրման կարիք կունենա։ Հարմարավետորեն, խմբագրումն այսօրվա թեման է։ Ավելի լայն պնդման համար մենք կցանկանայինք բարելավումներ տարբեր ձախողումներ ունեցող մոդելների միջև։

### Ի՞նչ կպահանջի ավելի ընդհանուր պնդումը։

3:44 Հետևեք, թե ինչ է տեսել խմբագիրը և ինչն է համարվել հաջողություն։ Qwen-ի մոդելային քարտը արդեն նախազգուշացնում է մտածողության ցիկլերի մասին։ Այս հայտնի խոչընդոտի վերացումը ունի որոշակի մեկնարկային կետ։ Իրենց պատվին, հեղինակները հրապարակում են անհարմար հետագա ուսումնասիրությունը իրենք։ Նրանք բացատրում են, որ հանգույցները դադարեցնելը թույլ է տալիս Qwen-ին ավարտել այն պատասխանները, որոնք այն արդեն կարող էր մշակել։ Նրանց մատյանները ներառում են հուշումներ, հետադարձ կապ և խմբագրումներ։ Մենք կարող ենք ուսումնասիրել ձեռքբերումը և ավելի դժվար հարց տալ։

### Ի՞նչ եղավ մոդելին, որը հազվադեպ էր կրկնվում։

4:06 Հիմա երկրորդ մոդելը՝ ավելի փոքր Gemma-ն իր սեփական հետագա կարգավորումով։ Այն հազվադեպ էր կրկնվում, ուստի դրա ձախողումները սովորական սխալ թվաբանությունն էին և անվավեր հանրահաշիվը։ Astra-ն նորից փորձեց թիրախային կշռի խմբագրումներ՝ պրակտիկայի հետադարձ կապով։ Ոչ մեկը չի փոխել դրա մաթեմատիկայի միավորը մեկ կետից ավելի, և ձեռքբերում չի հաստատվել։ Հաջող Qwen վերանորոգումը ուներ հեռացնելու խոչընդոտ։ Gemma-ի թվաբանական սխալները պահպանվեցին։ Դա օգտակար հարց է ծրագրավորողների համար։

4:28 Ո՞ր ձախողումն է վերանորոգել խմբագրումը, և արդյո՞ք ձեր մոդելն իսկապես ունի այն։ Փորձարկեք պահպանված կշիռները ձեր սեփական խնդիրների վրա, նախքան բազմապատկիչը նշելը։ Վերանորոգված խցանումը կարող է աներևակայելի կարևոր լինել, մինչդեռ հաջորդ խցանումը մնում է ճիշտ այնտեղ, որտեղ էր։ Եթե նախընտրում եք սա կարդալ, քան լսել իմ ասելը, ապա diff-ը հայտնվում է ձեր մուտքի արկղում ամեն առավոտ, անվճար the daily diff dot dev կայքում, հղումը ստորև։

### Կշիպի՞ արդյոք ես կշռի խմբագրման պնդումը:

4:47 Այսպիսով, այսօրվա վճիռը NEEDS REVIEW է։ Ես լրջորեն կվերաբերվեի հանգույցի վերանորոգմանը և կփորձարկեի այն։ Ես ավելի լայն պնդումները կպահեի այդ ձախողման ռեժիմից դուրս հաջողության հիման վրա։ Հեղինակների սեփական հակաօրինակը diff-ի ամենաօգտակար տողն է։ Եվ դա է այսօրվա diff-ը։ Ես Նիկոն եմ Axrisi-ից։ Միավորեք պատասխանատվությամբ։

## Աղբյուրներ

- [Weight-space programming study](https://rikiyat.github.io/blog/weight-space-programming/) — Rikiya Takehi and coauthors
- [November 3 critique of bundled experiment conditions](https://honnibal.dev/blog/astra-read-write-misleading) — Matthew Honnibal
- [Pinned Qwen protocol and exact weight edits](https://github.com/RikiyaT/lm_understand-logs/tree/4d09ba6d6a7e891dd8063974dfe81b3d78e3494f/exp8_math) — Rikiya Takehi and coauthors
- [Actual initial Qwen prompt](https://github.com/RikiyaT/lm_understand-logs/blob/4d09ba6d6a7e891dd8063974dfe81b3d78e3494f/exp8_math/runs/p50c/turns/t001/prompt.txt) — Rikiya Takehi and coauthors
- [Pinned smaller Gemma follow-up](https://github.com/RikiyaT/lm_understand-logs/tree/4d09ba6d6a7e891dd8063974dfe81b3d78e3494f/exp8_math/gemma_followup) — Rikiya Takehi and coauthors
- [Original model-card thinking-loop warning](https://huggingface.co/Qwen/Qwen3.5-0.8B/blob/main/README.md) — Qwen
- [Primary study discussion](https://news.ycombinator.com/item?id=50341174) — Hacker News
- [Critique discussion](https://news.ycombinator.com/item?id=50351111) — Hacker News
- [Cover portrait: Sam Altman, TechCrunch 2019 crop, CC BY 2.0; cropped, background removed, resized and flipped; no endorsement](https://commons.wikimedia.org/wiki/File:Sam_Altman_TechCrunch_SF_2019_Day_2_Oct_3_%28cropped%29.jpg) — Steve Jennings/Getty Images for TechCrunch via Wikimedia Commons
- [Released checkpoint and attributed external re-run](https://huggingface.co/RikiyaT/Qwen3.5-0.8B-weight-space-programming) — RikiyaT on Hugging Face; re-run credited to akhaliq
- [Portrait license: Creative Commons Attribution 2.0](https://creativecommons.org/licenses/by/2.0/) — Creative Commons; Steve Jennings/Getty Images for TechCrunch portrait credit above