GPT-6 Astra-ն կարկատեց մեկ այլ AI-ի անվերջ մտածողությունը

Ինչ է ընդգրկում այս տեսանյութը

• Qwen-ի հաղորդված միավորի աճը պայմանավորված էր կրկնվող դատողությունների թիրախային վերանորոգումով. խմբագրված պատասխանների մոտ մեկ երրորդը դեռ հասնում էր երկարության սահմանին հիմնական արձանագրությունում:
• Գրադիենտային ուսուցումն արգելված էր, մինչդեռ Python-ը, պրակտիկ պատասխանները և խմբաքանակային մոդելի գործարկման հետադարձ կապը թույլատրված էին բազմաթիվ շրջադարձերում: Վերջնական գնահատման հարցերը աղբյուրի կողմից հայտարարվել էին, որ բացակայում էին:
• Փոքր հում կշիռը և առանց գործարկման խաղի փորձերը օգտագործել են տարբեր պայմաններ: Նրանց պնդումները պետք է պահպանեն իրենց անհատական գործիքը, մուտքը և բազային շրջանակը:
• Մեթյու Հոնիբալը վերագրում է գործիքակազմի աջակցությամբ ինժեներական աշխատանքին և վիճարկում է փորձերի փաթեթավորմամբ ստեղծված ավելի լայն տպավորությունը:
• Ավելի փոքր Gemma-ի հետագա ուսումնասիրությունը օգտագործել է իր սեփական կարգավորումը և չի կարողացել բարելավում հաստատել: Ստուգեք, թե որ ձախողումն է վերանորոգում կշռի խմբագրումը, նախքան այն մեկ այլ մոդելին կիրառելը:

Թարգմանված արձանագրություն

Թարգմանվել է բնօրինակ անգլերեն պատմությունից։ Հասանելի աուդիո և ենթագրերը վերահսկվում են YouTube-ի կողմից։

Ինչո՞ւ բարձրացավ մաթեմատիկայի միավորը:

0:00 Մեկ այլ AI-ին վեց անգամ ավելի խելացի դարձնող AI-ն անմիջապես հնչում է որպես հանճարեղություն։ Astra-ի մեծ միավորի ցատկը եկել է Qwen-ին օգնելուց՝ ավարտելու այն պատասխանները, որոնք այն անընդհատ կրկնում էր: Այս տեսանյութում ի՞նչ է փոխվել։ Ի՞նչ օգնություն ստացավ Astra-ն։ Եվ որքա՞ն հեռու է տարածվում ուղղումը։ Qwen-ը մոտ ութ տոկոսից հասավ քառասունութ տոկոսի։ Հետազոտողները փորձեցին երկրորդ մոդելը՝ գրեթե առանց կրկնությունների։ Մենք կտեսնենք, թե ինչպես է դա անցել մինչև վճիռը։

0:22 Երեքշաբթի է, նոյեմբերի երեքը, և սա The Daily Diff-ն է։ Կշռի տարածության ծրագրավորումը հետազոտողների անունն է AI-ին խնդրելու համար՝ ստուգել կամ գրել թվերը նեյրոնային ցանցի ներսում։ Այդ թվերը դրա կշիռներն են։ ՄԻՏ-ին կից այս թիմը օգտագործեց OpenAI-ի GPT six Astra-ն՝ խմբագրելու փոքր Qwen լեզվի մոդելը, սովորական ուսուցումն արգելված էր։ Ռիկիա Թաքեհին և նրա համահեղինակները հրապարակեցին ուսումնասիրությունը երկուշաբթի օրը՝

0:44 հարցնելով, թե արդյոք գոյություն ունեցող AI-ն կարող է դատողություններ անել մեկ այլ ցանցի ներքին կառուցվածքի մասին։ Նրանց գլխավոր արդյունքը շատ հարմար է սեղմելու համար։ Մաթեմատիկա հինգ հարյուրի վրա Qwen-ը մոտ ութ տոկոսից բարձրացավ քառասունութ տոկոսի։ Գրեթե վեց անգամ ավելի շատ ճիշտ պատասխաններ։ Qwen-ը շարունակում էր մտածել, մինչև պատասխանելու տեղ չմնաց։

Ի՞նչ սխալ էր անում Qwen-ը։

1:00 Մտածելու ռեժիմում այն հաճախ կրկնում էր իր դատողությունները։ Պատկերացրեք մի ուսանողի, որը լցնում է քննական գրքույկը աշխատանքով, մինչև զանգը հնչի։ Նշողին դեռևս պատասխան է պետք։ Բնօրինակ պատասխանների մեծ մասը հասնում էր երկարության սահմանին։ Astra-ն հայտնաբերեց կրկնության ուղղություն երկու ներքին շերտերում, ապա հեռացրեց դրա ներդրումը ընտրված կշռի սյուններից։ Այդ խմբագրումից հետո ավելի շատ պատասխաններ հասան եզրակացության։ Հաղորդված թեստում մոտ մեկ երրորդը դեռ հասնում էր սահմանին։

1:22 Քննական գրքույկը վերջապես ստացավ վերջին տողը։ Այսօր Մեթյու Հոնիբալը՝ spaCy-ի ստեղծողը և Explosion-ի համահիմնադիրը,

Ի՞նչ է վիճարկում այսօրվա քննադատը։

1:28 վիճարկեց ներկայացումը։ Նա ասում է, որ ընթերցողները կարող են միավորել փորձերի տարբեր պայմանները մեկ արտասովոր տեխնիկայի տպավորության մեջ։ Նրա առարկությունը վերաբերում է նրանց միասնական պատմությանը։ Մենք ինքներս կարող ենք ստուգել պայմանները։ Qwen-ի փորձը Astra-ին տվեց Python նոթբուք կշիռների և պրակտիկայի վերաբերյալ

Ի՞նչ օգնություն ստացավ Astra-ն։

1:44 խնդիրներ՝ պատասխաններով։ Բազմաթիվ շրջադարձերում այն ստուգում էր ներքին ակտիվացումները և համեմատում էր բնօրինակ և խմբագրված տարբերակները: Վերջնական բյուջեն թույլ էր տալիս մոդելի գործարկումների հիսուն խմբաքանակ։ Յուրաքանչյուր սերնդի խմբաքանակ կարող էր պարունակել հարյուրավոր պատասխաններ։ Պրակտիկայի տվյալները եկել էին ուսուցման բաժիններից։ Հետազոտողներն ասում են, որ Astra-ն երբեք չի տեսել վերջնական գնահատման հավաքածուները։ Հետադարձ կապն օգնեց ընտրել խմբագրումը. պահված խնդիրները չափվեցին դրանից հետո։ Ընտրանքի կարգավորումները մնացին ֆիքսված բնօրինակ և խմբագրված Qwen-ի միջև՝

2:09 դարձնելով այս արձանագրության միավորների համեմատությունը մեկնաբանելի։ Առաջին հուշումը նրան տվեց օգտակար լաբորատորիայի ղեկավար։ Ախտորոշեք ձախողումները, գտեք պատասխանատու բաղադրիչները, համեմատեք նույն խնդիրների վրա և փորձարկեք մի քանի ուժեղ կողմեր։ Այն հստակորեն նշում էր կրկնվող մտածողությունը որպես վերանորոգում, որը հաշվի է առնվում։ Ասպիրանտները պետք է բանակցեն այս մուտքի փաթեթի համար։ Դա տպավորիչ վերանորոգում է։

Որքա՞ն փոքր էր իրական վերանորոգումը։

2:28 Astra-ի թիրախային խմբագրումը շոշափել է մոտավորապես հարյուր երեսունմեկ հազար կշիռ։ Դա մոդելի տասնվեց հազարերորդ մասի մեկ տոկոսն է։ Կշռի ֆայլը փոխվել է անմիջապես։ Գրադիենտային ուսուցումը մնաց արգելված. գոյություն ունեցող մոդելը կատարում էր պատասխանելու գործընթացը այն բանից հետո, երբ Astra-ի խմբագրման նիստը ավարտվեց։ Ձեռքբերումը հասավ նաև հրահանգներին հետևելուն։ Ինձ դուր է գալիս գործնական հետևանքը։ Մոդելը կարող է ունենալ օգտակար աշխատանք, որը դրա ձախողման ռեժիմը անընդհատ թաքցնում է։

2:48 Այդ ձախողումը շտկելը կարող է վերականգնել օգտագործելի պատասխանները։ Ավարտելը հաշվի է առնվում։ Հոնիբալը գործիքակազմի աջակցությամբ աշխատանքին վերագրում է այն խնդիրների կատարումը, որոնք մարդկային մեքենայական ուսուցման ինժեները կարող էր անել։ Դա հետևանքներ ունի գործակալի համար։ Նրա բողոքն այն է, որ փոքր հում թվերի ցուցադրությունները և ավելի մեծ Python-ի աջակցությամբ վերանորոգումները, երբ դրանք միասին են փաթեթավորվում, հրահրում են ավելի լայն եզրակացություն։ Վերցնենք փոքրիկ խաղային ցանցերը։

Ո՞ր փորձերն իսկապես գործիքներ չունեին։

3:09 Մի փորձում Astra-ն կարդաց նրանց հում թվերը և ճիշտ բացահայտեց, թե որ խաղն էր սովորել յուրաքանչյուր ցանց։ Գործիքներն արգելված էին։ Մեկ այլ փորձում այն զրոյից նոր խաղացող կշիռներ գրեց՝ օգտագործելով կանոնները և աղբյուրի կոդը, առանց պրակտիկայի գործարկումների։ Դրանք առանձին ցուցադրություններ են՝ առանձին ապացույցներով։ Astra-ի ցանցերը գերազանցեցին հարյուր միլիոն քայլով մարզված բազային մոդելը բոլոր երեք խաղերում: Ավելի երկար մարզված բազային մոդելի դեմ այն պարտվեց Seaquest-ում և

3:32 Asterix-ում, մինչդեռ հաղթեց Breakout-ում։ Փոխեք համեմատության սյունը, և հաղթանակի ելույթը խմբագրման կարիք կունենա։ Հարմարավետորեն, խմբագրումն այսօրվա թեման է։ Ավելի լայն պնդման համար մենք կցանկանայինք բարելավումներ տարբեր ձախողումներ ունեցող մոդելների միջև։

Ի՞նչ կպահանջի ավելի ընդհանուր պնդումը։

3:44 Հետևեք, թե ինչ է տեսել խմբագիրը և ինչն է համարվել հաջողություն։ Qwen-ի մոդելային քարտը արդեն նախազգուշացնում է մտածողության ցիկլերի մասին։ Այս հայտնի խոչընդոտի վերացումը ունի որոշակի մեկնարկային կետ։ Իրենց պատվին, հեղինակները հրապարակում են անհարմար հետագա ուսումնասիրությունը իրենք։ Նրանք բացատրում են, որ հանգույցները դադարեցնելը թույլ է տալիս Qwen-ին ավարտել այն պատասխանները, որոնք այն արդեն կարող էր մշակել։ Նրանց մատյանները ներառում են հուշումներ, հետադարձ կապ և խմբագրումներ։ Մենք կարող ենք ուսումնասիրել ձեռքբերումը և ավելի դժվար հարց տալ։

Ի՞նչ եղավ մոդելին, որը հազվադեպ էր կրկնվում։

4:06 Հիմա երկրորդ մոդելը՝ ավելի փոքր Gemma-ն իր սեփական հետագա կարգավորումով։ Այն հազվադեպ էր կրկնվում, ուստի դրա ձախողումները սովորական սխալ թվաբանությունն էին և անվավեր հանրահաշիվը։ Astra-ն նորից փորձեց թիրախային կշռի խմբագրումներ՝ պրակտիկայի հետադարձ կապով։ Ոչ մեկը չի փոխել դրա մաթեմատիկայի միավորը մեկ կետից ավելի, և ձեռքբերում չի հաստատվել։ Հաջող Qwen վերանորոգումը ուներ հեռացնելու խոչընդոտ։ Gemma-ի թվաբանական սխալները պահպանվեցին։ Դա օգտակար հարց է ծրագրավորողների համար։

4:28 Ո՞ր ձախողումն է վերանորոգել խմբագրումը, և արդյո՞ք ձեր մոդելն իսկապես ունի այն։ Փորձարկեք պահպանված կշիռները ձեր սեփական խնդիրների վրա, նախքան բազմապատկիչը նշելը։ Վերանորոգված խցանումը կարող է աներևակայելի կարևոր լինել, մինչդեռ հաջորդ խցանումը մնում է ճիշտ այնտեղ, որտեղ էր։ Եթե նախընտրում եք սա կարդալ, քան լսել իմ ասելը, ապա diff-ը հայտնվում է ձեր մուտքի արկղում ամեն առավոտ, անվճար the daily diff dot dev կայքում, հղումը ստորև։

Կշիպի՞ արդյոք ես կշռի խմբագրման պնդումը:

4:47 Այսպիսով, այսօրվա վճիռը NEEDS REVIEW է։ Ես լրջորեն կվերաբերվեի հանգույցի վերանորոգմանը և կփորձարկեի այն։ Ես ավելի լայն պնդումները կպահեի այդ ձախողման ռեժիմից դուրս հաջողության հիման վրա։ Հեղինակների սեփական հակաօրինակը diff-ի ամենաօգտակար տողն է։ Եվ դա է այսօրվա diff-ը։ Ես Նիկոն եմ Axrisi-ից։ Միավորեք պատասխանատվությամբ։

Աղբյուրներ

1. Weight-space programming studyRikiya Takehi and coauthors
2. November 3 critique of bundled experiment conditionsMatthew Honnibal
3. Pinned Qwen protocol and exact weight editsRikiya Takehi and coauthors
4. Actual initial Qwen promptRikiya Takehi and coauthors
5. Pinned smaller Gemma follow-upRikiya Takehi and coauthors
6. Original model-card thinking-loop warningQwen
7. Primary study discussionHacker News
8. Critique discussionHacker News
9. Cover portrait: Sam Altman, TechCrunch 2019 crop, CC BY 2.0; cropped, background removed, resized and flipped; no endorsementSteve Jennings/Getty Images for TechCrunch via Wikimedia Commons
10. Released checkpoint and attributed external re-runRikiyaT on Hugging Face; re-run credited to akhaliq
11. Portrait license: Creative Commons Attribution 2.0Creative Commons; Steve Jennings/Getty Images for TechCrunch portrait credit above