GPT-6 Astra башка ЖИнин чексиз ой жүгүртүүсүн оңдоду

Бул видео эмнелерди камтыйт

• Qwenдин айтылган баасынын жогорулашы кайталануучу ой жүгүртүүнү максаттуу оңдоодон улам болгон; оңдолгон жооптордун болжол менен үчтөн бири баштапкы протоколдо дагы эле узундук чегине жеткен.
• Градиенттик окутууга тыюу салынган, ал эми Python, практикалык жооптор жана топтомдук моделди иштетүү боюнча пикирлер көптөгөн бурулуштарда уруксат берилген. Акыркы баалоо суроолору булак тарабынан сакталган деп жарыяланган.
• Кичинекей чийки салмак жана эч кандай жайылтуу оюнунун эксперименттери ар кандай шарттарды колдонгон. Алардын дооматтары өзүнүн жеке куралын, киргизүүсүн жана негизги чегин сакташы керек.
• Мэттью Хонибал куралдардын жардамы менен инженерияга кредит берет жана эксперименттерди бириктирүү аркылуу пайда болгон кеңири таасирге каршы чыгат.
• Кичинекей Gemma изилдөөсү өзүнүн орнотуусун колдонгон жана жакшырууну аныктай алган эмес. Салмактын оңдоосу кайсы катаны оңдогонун текшерип, андан кийин башка моделге колдонуңуз.

Котормо стенограмма

Англис тилиндеги баштапкы баяндамадан которулган. Жеткиликтүү аудио жана коштомо жазуулар YouTube тарабынан көзөмөлдөнөт.

Математикалык баа эмне үчүн көтөрүлдү?

0:00 Бир ЖИ башка ЖИни алты эсе акылдуураак кылып жатканы дароо эле гениалдуу угулат. Астранын чоң баасынын жогорулашы Qwenге кайталап жаткан жоопторду бүтүрүүгө жардам берүүдөн келген. Бул видеодо эмне өзгөрдү? Астра кандай жардам алды? Жана оңдоо канчалык алыска кетет? Qwen болжол менен сегиз пайыздан кырк сегиз пайызга чейин жогорулады. Изилдөөчүлөр экинчи моделди дээрлик циклсиз сынап көрүштү. Өкүм чыгаардан мурун, ал кантип өткөнүн көрөбүз.

0:22 Бул шейшемби, 3-ноябрь, жана бул The Daily Diff. Салмак-мейкиндикти программалоо - бул изилдөөчүлөрдүн аты бир ЖИден нейрон тармагынын ичиндеги сандарды текшерүүнү же жазууну суроо. Ал сандар анын салмактары. Бул МИТке байланыштуу команда OpenAIнын GPT алты Астрасын колдонуп, кичинекей Qwen тил моделин оңдогон, кадимки окутууга тыюу салынган. Рикия Такехи жана анын авторлоштору изилдөөнү дүйшөмбү күнү жарыялап,

0:44 учурдагы ЖИ башка тармактын ички бөлүктөрү жөнүндө ой жүгүртө алабы деп сурашкан. Алардын башкы жыйынтыгы абдан басууга ылайыктуу. Математика 500дө, Qwen болжол менен сегиз пайыздан кырк сегиз пайызга чейин жогорулады. Дээрлик алты эсе көп туура жооптор. Qwen жооп берүүгө жетиштүү орун болбой калганга чейин ойлоно берген.

Qwen эмнени туура эмес кылып жаткан?

1:00 Ой жүгүртүү режиминде, ал көп учурда өзүнүн ой жүгүртүүсүн кайталаган. Коңгуроо кагылганга чейин экзамен китепчесин толтурган студентти элестетиңиз. Текшерүүчү дагы эле жоопко муктаж. Көпчүлүк баштапкы жооптор узундук чегине жеткен. Астра эки ички катмарда кайталоо багытын тапты, андан кийин тандалган салмак тилкелеринен анын салымын алып салды. Ошол түзөтүүдөн кийин, көбүрөөк жооптор жыйынтыкка жетти. Айтылган сыноодо болжол менен үчтөн бири дагы эле чекке жеткен.

1:22 Экзамен китепчеси акыры акыркы сабын алды. Бүгүн, Мэттью Хонибал, spaCyдин жаратуучусу жана Explosionдун негиздөөчүлөрүнүн бири,

Бүгүнкү сынчы эмнеге каршы чыгат?

1:28 презентацияга каршы чыкты. Ал окурмандар эксперименттердин ар кандай шарттарын бириктирип, бир өзгөчө техника жөнүндө таасир алышы мүмкүн дейт. Анын каршылыгы алардын бириккен окуясына тиешелүү. Биз шарттарды өзүбүз текшере алабыз. Qwen эксперименти Астрага салмактар жана практикалык

Астрага кандай жардам берилген?

1:44 жооптор менен маселелер боюнча Python дептерин берген. Көптөгөн бурулуштарда ал ички активдешүүлөрдү текшерип, баштапкы жана түзөтүлгөн версияларды салыштырган. Акыркы бюджет моделди иштетүүнүн элүү топтомуна уруксат берген. Ар бир муун топтому жүздөгөн жоопторду камтышы мүмкүн. Практикалык маалыматтар окутуу бөлүктөрүнөн алынган. Изилдөөчүлөр Астра эч качан акыркы баалоо топтомдорун көргөн эмес деп айтышат. Пикир түзөтүүнү тандоого жардам берди; кийинчерээк сакталган маселелер аны өлчөдү. Үлгүлөрдү алуу жөндөөлөрү баштапкы жана түзөтүлгөн Qwen ортосунда туруктуу бойдон калган,

2:09 бул протоколдун баасын салыштырууну түшүнүктүү кылат. Биринчи суроо ага пайдалуу лаборатория жетекчисин берди. Каталарды аныктоо, жооптуу компоненттерди табуу, ошол эле маселелер боюнча салыштыруу жана бир нече күчтүү жактарын сынап көрүү. Ал кайталануучу ой жүгүртүүнү оңдоо катары ачык айткан. Магистранттар бул онбординг пакетин сүйлөшүп алышы керек. Бул таасирдүү оңдоо.

Чыныгы оңдоо канчалык кичинекей болгон?

2:28 Астранын максаттуу түзөтүүсү болжол менен жүз отуз бир миң салмакка таасир эткен. Бул моделдин он алты миңден бир пайызына барабар. Салмак файлы түздөн-түз өзгөртүлгөн. Градиенттик окутууга тыюу салынган бойдон калган; Астранын түзөтүү сессиясы аяктагандан кийин учурдагы модель жооп берген. Пайда нускамаларды аткарууга да жеткен. Мага практикалык мааниси жагат. Модель өзүнүн ката режими көмүп жаткан пайдалуу ишке ээ болушу мүмкүн.

2:48 Ошол катаны оңдоо пайдалуу жоопторду калыбына келтире алат. Бүтүрүү маанилүү. Хонибал куралдардын жардамы менен жасалган ишти адамдын машиналык окутуу инженери жасай ала турган милдеттерди аткаргандыгы үчүн баалайт. Бул агент үчүн маанилүү. Анын даттануусу, кичинекей чийки сандарды көрсөтүү жана чоңураак Pythonдун жардамы менен оңдоолор бириктирилгенде кеңири корутундуга алып келет. Кичинекей оюн тармактарын алалы. Бир экспериментте, Астра алардын чийки сандарын окуп, ар бир тармак кайсы

Кайсы эксперименттерде куралдар болгон эмес?

3:09 оюнду үйрөнгөнүн туура аныктады. Куралдарга тыюу салынган. Башкасында, ал эрежелерди жана баштапкы кодду колдонуп, эч кандай практикалык жайылтуусуз, нөлдөн баштап жаңы оюн ойноо салмактарын жазган. Булар өзүнчө далилдери бар өзүнчө демонстрациялар. Астранын тармактары бардык үч оюнда жүз миллион кадамга машыккан негизги деңгээлди жеңип чыккан. Узак машыккан негизги деңгээлге каршы, ал Seaquest жана Asterixте жеңилип, Breakoutта жеңишке жеткен.

3:32 Салыштыруу тилкесин өзгөртсөңүз, жеңиш сөзүн оңдоо керек. Ыңгайлуусу, түзөтүү бүгүнкү тема. Кеңири доомат үчүн, биз ар кандай каталары бар моделдер боюнча жакшыртууларды каалайбыз. Түзөтүүчү эмнени көргөнүн жана эмне ийгилик катары эсептелгенин көзөмөлдөңүз.

Кененирээк дооматка эмне керек болмок?

3:44 Qwenдин модель картасы ой жүгүртүү циклдери жөнүндө эскертет. Бул белгилүү тоскоолдукту алып салуунун өзгөчө баштапкы чекити бар. Өздөрүнүн алкышына татыктуу, авторлор ыңгайсыз кийинки изилдөөнү өздөрү жарыялашкан. Алар циклдерди токтотуу Qwenге буга чейин иштей ала турган жоопторду бүтүрүүгө мүмкүндүк берет деп түшүндүрүшөт. Алардын журналдары суроолорду, пикирлерди жана түзөтүүлөрдү камтыйт. Биз жетишкендикти карап чыгып, татаалыраак суроо бере алабыз. Эми экинчи модель, өзүнүн кийинки орнотуусундагы кичинекей Gemma.

Циклди сейрек колдонгон моделге эмне болду?

4:06 Ал сейрек циклде болгон, ошондуктан анын каталары кадимки туура эмес арифметика жана жараксыз алгебра болгон. Астра практикалык пикир менен максаттуу салмак түзөтүүлөрүн дагы бир жолу сынап көрдү. Эч бири анын математикалык баасын болжол менен бир упайдан ашык өзгөрткөн жок, жана пайда аныкталган жок. Ийгиликтүү Qwen оңдоосунда алып салуу керек болгон тоскоолдук болгон. Gemmaнын арифметикалык каталары сакталып калды. Бул иштеп чыгуучулар үчүн пайдалуу суроо. Түзөтүү кайсы катаны оңдогон, жана сиздин моделиңизде ал чынында барбы?

4:28 Көбөйткүчтү майрамдаардан мурун, сакталган салмактарды өз милдеттериңизде сынап көрүңүз. Оңдолгон тоскоолдук өтө маанилүү болушу мүмкүн, ал эми кийинки тоскоолдук так ошол жерде калат. Эгер сиз муну угуудан көрө окуганды артык көрсөңүз, diff сиздин электрондук почтаңызга күн сайын эртең менен бекер келет: the dailydiff.dev, шилтеме ылдыйда. Ошентип, бүгүнкү өкүм NEEDS REVIEW.

Салмакты түзөтүү дооматын кабыл алмак белем?

4:47 Мен циклди оңдоону олуттуу кабыл алып, аны сынап көрдүм. Мен кеңири дооматтарды ошол ката режиминен тышкары ийгиликке негиздеп турдум. Авторлордун өзүнүн карама-каршы мисалы diffтеги эң пайдалуу сап. Жана бүгүнкү diff ушул. Мен Axrisiден Нико. Жоопкерчиликтүү түрдө бириктириңиз. Жоопкерчиликтүү түрдө бириктириңиз.

Булактар

1. Weight-space programming studyRikiya Takehi and coauthors
2. November 3 critique of bundled experiment conditionsMatthew Honnibal
3. Pinned Qwen protocol and exact weight editsRikiya Takehi and coauthors
4. Actual initial Qwen promptRikiya Takehi and coauthors
5. Pinned smaller Gemma follow-upRikiya Takehi and coauthors
6. Original model-card thinking-loop warningQwen
7. Primary study discussionHacker News
8. Critique discussionHacker News
9. Cover portrait: Sam Altman, TechCrunch 2019 crop, CC BY 2.0; cropped, background removed, resized and flipped; no endorsementSteve Jennings/Getty Images for TechCrunch via Wikimedia Commons
10. Released checkpoint and attributed external re-runRikiyaT on Hugging Face; re-run credited to akhaliq
11. Portrait license: Creative Commons Attribution 2.0Creative Commons; Steve Jennings/Getty Images for TechCrunch portrait credit above