GPT-6 Astra тағы бір ЖИ-дың шексіз ойлауын түзетті

Бұл бейне не туралы

• Qwen балының есептелген өсуі қайталанатын пайымдауды мақсатты түрде жөндеуден туындады; өңделген жауаптардың шамамен үштен бірі бастапқы хаттамада ұзындық шегіне жетті.
• Градиенттік оқытуға тыйым салынды, ал Python, тәжірибелік жауаптар және пакеттік модельді іске қосу кері байланысы көптеген айналымдарда рұқсат етілді. Соңғы бағалау сұрақтары бастапқыда алынып тасталған деп жарияланды.
• Шағын бастапқы салмақты және ешқандай іске қосусыз ойын тәжірибелері әртүрлі шарттарды қолданды. Олардың талаптары жеке құралдарын, кіріс және базалық қамтуды сақтауы керек.
• Мэттью Хоннибал құралдың көмегімен жасалған инженерияға алғыс айтады және тәжірибелерді топтастыру арқылы туындаған кеңірек әсерді даулайды.
• Кішірек Gemma-ның кейінгі бақылауы өзінің орнатуын қолданды және жақсартуды орната алмады. Салмақты өңдеуді басқа модельге қолданар алдында қай ақауды жөндегенін тексеріңіз.

Аударылған транскрипция

Бастапқы ағылшын тіліндегі баяндамадан аударылған. Қолжетімді аудио және субтитрлерді YouTube басқарады.

Математикалық балл неге секірді?

0:00 Бір ЖИ-дың басқа ЖИ-ды алты есе ақылды етуі бірден данышпандық сияқты естіледі. Astra-ның үлкен балл секірісі Qwen-ге қайта-қайта қайталанған жауаптарды аяқтауға көмектесуден туындады. Бұл бейнеде не өзгерді? Astra қандай көмек алды? Және түзету қаншалықты кең таралған? Qwen шамамен сегіз пайыздан қырық сегіз пайызға дейін өсті. Зерттеушілер ешқандай циклдері жоқ екінші модельді қолданып көрді. Біз үкім шығармас бұрын оның қалай болғанын көреміз.

0:22 Бүгін сейсенбі, қарашаның үшінші жұлдызы, және бұл The Daily Diff. Салмақ кеңістігіндегі бағдарламалау зерттеушілердің ЖИ-дан нейрондық желі ішіндегі сандарды тексеруді немесе жазуды сұрау үшін берген атауы. Бұл сандар оның салмақтары. Бұл Массачусетс технологиялық институтына қарасты топ OpenAI-дың GPT алты Astra-сын шағын Qwen тіл моделін өңдеу үшін пайдаланды, әдеттегі оқытуға тыйым салынды. Рикия Такехи және оның авторлары зерттеуді дүйсенбіде жариялады,

0:44 қолданыстағы ЖИ басқа желінің ішкі бөліктері туралы ойлана ала ма деген сұрақ қойып. Олардың басты нәтижесі өте тартымды. Математика бес жүзде Qwen шамамен сегіз пайыздан қырық сегіз пайызға дейін өсті. Дұрыс жауаптар саны алты есеге жуық. Qwen жауап беруге орын қалмағанша ойлана берді.

Qwen нені дұрыс істемеді?

1:00 Ойлау режимінде ол өз пайымдауын жиі қайталады. Емтихан кітапшасын қоңырау соғып біткенше толтыратын студентті елестетіңіз. Белгілеушіге әлі де жауап қажет. Бастапқы жауаптардың көпшілігі ұзындық шегіне жетті. Astra екі ішкі қабатта қайталау бағытын тапты, содан кейін оның таңдалған салмақ бағандарына қосқан үлесін жойды. Осы өңдеуден кейін көбірек жауаптар қорытындыға жетті. Есептелген сынақта шамамен үштен бірі әлі де шегіне жетті.

1:22 Емтихан кітапшасы ақыры соңғы жолын алды. Бүгін, Мэттью Хоннибал, spaCy жасаушысы және Explosion-ның негізін қалаушысы,

Бүгінгі сыншы нені даулайды?

1:28 ұсынысты сынады. Ол оқырмандар тәжірибелердің әртүрлі шарттарын бір ерекше техника туралы әсерге біріктіре алады дейді. Оның қарсылығы олардың біріктірілген тарихына қатысты. Біз шарттарды өзіміз тексере аламыз. Qwen тәжірибесі Astra-ға салмақтар мен тәжірибелік

Astra-ға қандай көмек көрсетілді?

1:44 есептерді жауаптармен бірге Python блокнотын берді. Көптеген айналымдарда ол ішкі активтендірулерді тексерді және бастапқы және өңделген нұсқаларды салыстырды. Соңғы бюджет модельді іске қосудың елу партиясына рұқсат берді. Әрбір генерациялық партия жүздеген жауаптарды қамтуы мүмкін. Тәжірибе деректері оқыту бөліктерінен алынды. Зерттеушілер Astra соңғы бағалау жиынтықтарын ешқашан көрмегенін айтады. Кері байланыс өңдеуді таңдауға көмектесті; кейіннен бөлек қалдырылған есептер оны өлшеді. Үлгілеу параметрлері бастапқы және өңделген Qwen арасында өзгеріссіз қалды,

2:09 бұл хаттаманың балл салыстыруын түсіндіруге мүмкіндік береді. Бірінші сұрау оған пайдалы зертхана жетекшісін берді. Ақауларды диагностикалаңыз, жауапты компоненттерді табыңыз, бірдей мәселелер бойынша салыстырыңыз және бірнеше күшті жақтарын тексеріңіз. Ол қайталанатын ойлауды есепке алынатын жөндеу ретінде анық атап өтті. Магистратура студенттері бұл onboarding пакеті үшін келіссөздер жүргізуі керек. Бұл керемет жөндеу.

Нақты жөндеу қаншалықты шағын болды?

2:28 Astra-ның мақсатты өңдеуі шамамен жүз отыз бір мың салмақты қозғады. Бұл модельдің он алты мыңнан бір пайызына жуық. Салмақ файлы тікелей өзгерді. Градиенттік оқытуға тыйым салынды; Astra-ның өңдеу сеансы аяқталғаннан кейін қолданыстағы модель жауап берді. Жетістік нұсқауларды орындауға да жетті. Маған практикалық маңызы ұнайды. Модель өзінің ақаулық режимі көміп тастайтын пайдалы жұмысқа ие болуы мүмкін.

2:48 Бұл ақауды түзету пайдалануға болатын жауаптарды қалпына келтіре алады. Аяқтау маңызды. Хоннибал құралдың көмегімен жасалған жұмысқа адамның машиналық оқыту инженері жасай алатын тапсырмаларды орындағаны үшін алғыс білдіреді. Бұл агент үшін маңызды. Оның шағымы - шағын бастапқы сандарды көрсетулер мен үлкенірек Python-ның көмегімен жасалған жөндеулерді біріктірген кезде кеңірек қорытындыға шақырады. Шағын ойын желілерін алайық.

Қай тәжірибелерде құралдар болмады?

3:09 Бір тәжірибеде Astra олардың бастапқы сандарын оқып, әр желінің қай ойынды үйренгенін дұрыс анықтады. Құралдарға тыйым салынды. Басқасында, ол ережелер мен бастапқы кодты пайдаланып, нөлден жаңа ойын ойнау салмақтарын жазды, ешқандай тәжірибелік іске қосусыз. Бұл бөлек дәлелдері бар бөлек демонстрациялар. Astra желілері жүз миллион қадамға үйретілген базалық желіні барлық үш ойында жеңді. Ұзағырақ үйретілген базалық желіге қарсы, ол Seaquest және

3:32 Asterix-те жеңіліп, Breakout-та жеңді. Салыстыру бағанын өзгертіңіз, және жеңіс сөзін өңдеу қажет болады. Ыңғайлы, өңдеу бүгінгі тақырып. Кеңірек талап үшін біз әртүрлі ақаулары бар модельдер арасында жақсартуларды қалаймыз.

Кеңірек талапқа не қажет болар еді?

3:44 Редактор нені көргенін және ненің сәттілік болғанын қадағалаңыз. Qwen моделінің картасы циклді ойлау туралы ескертеді. Бұл белгілі кедергіні жоюдың ерекше бастапқы нүктесі бар. Олардың еңбегіне сай, авторлар ыңғайсыз кейінгі бақылауды өздері жариялайды. Олар циклдерді тоқтату Qwen-ге бұрыннан істей алатын жауаптарды аяқтауға мүмкіндік береді деп түсіндіреді. Олардың журналдарына сұраулар, кері байланыс және өңдеулер кіреді. Біз жетістікті тексеріп, қиынырақ сұрақ қоя аламыз.

Сирек циклге түскен модельге не болды?

4:06 Енді екінші модель, өз кейінгі бақылау қондырғысындағы кішірек Gemma. Ол сирек циклге түсті, сондықтан оның ақаулары қате арифметика және жарамсыз алгебра болды. Astra қайтадан тәжірибелік кері байланыспен мақсатты салмақ өңдеулерін қолданып көрді. Ешқайсысы оның математикалық балын шамамен бір баллдан артық жылжытпады, және жетістік орнатылмады. Сәтті Qwen жөндеуінің жоюға болатын кедергісі болды. Gemma-ның арифметикалық қателері сақталды. Бұл әзірлеушілер үшін пайдалы сұрақ.

4:28 Өңдеу қай ақауды жөндеді, және сіздің моделіңізде ол шын мәнінде бар ма? Көбейткішті тойламас бұрын сақталған салмақтарды өз тапсырмаларыңызда тексеріңіз. Жөнделген бөгеуіш өте маңызды болуы мүмкін, ал келесі бөгеуіш дәл сол жерде қалады. Егер мұны менің айтқанымды естігеннен гөрі оқығыңыз келсе, diff әр таң сайын сіздің пошта жәшігіңізге тегін келеді, the daily diff dot dev-те, сілтеме төменде.

Салмақты өңдеу туралы талапты іске қосар ма едім?

4:47 Сонымен, бүгінгі үкім NEEDS REVIEW. Мен циклді жөндеуді байыпты қабылдап, оны тексеремін. Мен кеңірек талаптарды сол ақаулық режимінен тыс сәттілікке байланысты ұстаймын. Авторлардың өз қарсы мысалы diff-тегі ең пайдалы жол. Және бүгінгі diff осы. Мен Axrisi-ден Нико. Жауапкершілікпен біріктіріңіз.

Дереккөздер

1. Weight-space programming studyRikiya Takehi and coauthors
2. November 3 critique of bundled experiment conditionsMatthew Honnibal
3. Pinned Qwen protocol and exact weight editsRikiya Takehi and coauthors
4. Actual initial Qwen promptRikiya Takehi and coauthors
5. Pinned smaller Gemma follow-upRikiya Takehi and coauthors
6. Original model-card thinking-loop warningQwen
7. Primary study discussionHacker News
8. Critique discussionHacker News
9. Cover portrait: Sam Altman, TechCrunch 2019 crop, CC BY 2.0; cropped, background removed, resized and flipped; no endorsementSteve Jennings/Getty Images for TechCrunch via Wikimedia Commons
10. Released checkpoint and attributed external re-runRikiyaT on Hugging Face; re-run credited to akhaliq
11. Portrait license: Creative Commons Attribution 2.0Creative Commons; Steve Jennings/Getty Images for TechCrunch portrait credit above