GPT-6 Astra өөр нэг хиймэл оюун ухааны төгсгөлгүй сэтгэхүйг нөхсөн нь

Энэ видео юуг хамардаг

• Qwen-ийн онооны өсөлт нь давтагдсан сэтгэхүйг зорилтот байдлаар зассан; засварласан хариултуудын гуравны нэг орчим нь анхны протоколд урт хязгаарт хүрсэн хэвээр байсан.
• Градиент сургалтыг хориглосон бөгөөд олон удаагийн ээлжинд Python, дадлагын хариултууд, багцалсан загварын гүйлтийн санал хүсэлтийг зөвшөөрсөн. Эцсийн үнэлгээний асуултуудыг эх сурвалжаас тусгайлан үлдээсэн гэж мэдэгдсэн.
• Жижиг түүхий жингийн болон туршилтгүй тоглоомын туршилтууд нь өөр өөр нөхцөлтэй байсан. Тэдний нэхэмжлэлийг тус тусын хэрэгсэл, оролт, суурь хэмжээгээр нь хадгалах ёстой.
• Мэттью Хоннибал хэрэгсэлд суурилсан инженерийн ажлыг үнэлж, туршилтуудыг нэгтгэснээс үүссэн өргөн хүрээний сэтгэгдлийг үгүйсгэж байна.
• Жижиг Gemma-ийн дараагийн судалгаа нь өөрийн тохиргоог ашигласан бөгөөд сайжруулалт тогтоогдоогүй. Жингийн засвар өөр загварт хэрэглэхээс өмнө аль алдааг засаж байгааг шалгах хэрэгтэй.

Орчуулсан бичлэг

Англи хэл дээрх эх хувилбараас орчуулсан. Боломжтой дуу болон хадмал орчуулгыг YouTube хянадаг.

Математикийн оноо яагаад өсөв?

0:00 Нэг хиймэл оюун ухаан нөгөө хиймэл оюун ухааныг зургаа дахин ухаантай болгоно гэдэг нь шууд супер ухаантай мэт сонсогдоно. Астрагийн онооны том үсрэлт нь Qwen-д давтан хийж байсан хариултуудыг дуусгахад тусалснаас үүдэлтэй. Энэ видео бичлэгт юу өөрчлөгдсөн бэ? Астра ямар тусламж авсан бэ? Мөн энэ засвар хэр хол нөлөөлөх вэ? Qwen найман хувиас дөчин найман хувь болж өссөн. Судлаачид хоёр дахь загварыг бараг давталтгүйгээр туршиж үзсэн. Бид шийдвэр гаргахаас өмнө энэ нь хэрхэн болсныг харах болно.

0:22 Өнөөдөр арван нэгдүгээр сарын гуравны Мягмар гараг бөгөөд энэ бол The Daily Diff. Жингийн орон зайн програмчлал нь судлаачдын нэрлэсэн хийсэн ажил бөгөөд энэ нь хиймэл оюун ухаанаас мэдрэлийн сүлжээний доторх тоонуудыг шалгах эсвэл бичихийг хүсэх явдал юм. Эдгээр тоонууд нь түүний жин юм. МIT-тай холбоотой энэ баг OpenAI-ийн GPT-6 Astra-г ашиглан жижиг Qwen хэлний загварыг засварласан бөгөөд ердийн сургалтыг хориглосон байсан. Рикия Такехи болон түүний хамтран зохиогчид судалгаагаа даваа гарагт нийтэлж,

0:44 одоо байгаа хиймэл оюун ухаан өөр сүлжээний дотоод бүтэц дээр үндэслэл гаргаж чадах эсэхийг асуусан. Тэдний гол үр дүн нь маш олон хүн үзэхүйц байна. Математикийн 500 онооноос Qwen найман хувиас дөчин найман хувь хүртэл өссөн. Бараг зургаа дахин их зөв хариулт өгсөн. Qwen хариулах зайгүй болтлоо бодсоор байсан.

Qwen юуг буруу хийж байсан бэ?

1:00 Сэтгэх горимд байхдаа ихэвчлэн өөрийн үндэслэлийг давтдаг байсан. Шалгалтын дэвтрийг хонх дуугартал дүүргэж буй оюутныг төсөөлөөд үз дээ. Маркерт хариулт хэрэгтэй хэвээр байна. Ихэнх анхны хариултууд уртын хязгаарт хүрсэн. Астра хоёр дотоод давхаргад давталтын чиглэлийг олж тогтоосон, дараа нь сонгогдсон жингийн багануудаас түүний хувь нэмрийг хассан. Энэ засварын дараа илүү олон хариулт дүгнэлтэд хүрсэн. Өгөгдсөн туршилтад гуравны нэг орчим нь хязгаарт хүрсэн хэвээр байсан.

1:22 Шалгалтын дэвтэр эцэст нь сүүлчийн мөрийг авсан. Өнөөдөр, spaCy-ийн үүсгэн байгуулагч, Explosion-ийн хамтран үүсгэн байгуулагч Мэттью Хоннибал

Өнөөдрийн шүүмжлэгч юуг эсэргүүцэж байна вэ?

1:28 танилцуулгыг эсэргүүцсэн. Тэрээр уншигчид туршилтуудын өөр өөр нөхцөлийг нэгтгэн, нэг ер бусын техник гэсэн сэтгэгдэл төрүүлж болно гэж хэлсэн. Түүний эсэргүүцэл нь тэдний нэгдсэн түүхэнд хамаарна. Бид нөхцөлийг өөрсдөө шалгаж болно. Qwen-ийн туршилтад Астрад жин болон дадлагын

Астра ямар тусламж авсан бэ?

1:44 хариултуудтай Python дэвтэр өгсөн. Олон удаагийн ээлжинд энэ нь дотоод идэвхжүүлэлтийг шалгаж, анхны болон засварласан хувилбаруудыг харьцуулсан. Эцсийн төсөв нь тавин багц загварын гүйлтэнд зөвшөөрсөн. Үе бүрийн багц нь хэдэн зуун хариулт агуулж болох байсан. Дадлагын өгөгдөл нь сургалтын хуваагдалаас ирсэн. Судлаачид Астра эцсийн үнэлгээний багцуудыг хэзээ ч хараагүй гэж мэдэгдсэн. Санал хүсэлт засварыг сонгоход тусалсан; тусгайлан үлдээсэн асуудлууд дараа нь үнэлсэн. Түүврийн тохиргоо нь анхны болон засварласан Qwen-ийн хооронд хэвээр байсан,

2:09 энэ протоколын онооны харьцуулалтыг ойлгомжтой болгосон. Эхний уриалга нь тустай лабораторийн хянагчийг өгсөн. Алдааг оношлох, хариуцлагатай бүрэлдэхүүн хэсгүүдийг олох, ижил асуудлууд дээр харьцуулах, хэд хэдэн хүчийг турших. Энэ нь давтагдсан сэтгэхүйг тооцогдох засвар гэж тодорхой дурдсан. Магистрын оюутнууд энэ нэвтрэх багцыг хэлэлцэх ёстой. Энэ бол гайхалтай засвар.

Бодит засвар хэр жижиг байсан бэ?

2:28 Астрагийн зорилтот засвар ойролцоогоор нэг зуун гучин нэгэн мянган жинд хүрчээ. Энэ нь загварын арван зургаан мянганы хувьтай тэнцэнэ. Жингийн файл шууд өөрчлөгдсөн. Градиент сургалтыг хориглосон хэвээр байсан; Астрагийн засварлах хуралдаан дууссаны дараа одоо байгаа загвар хариултыг өгсөн. Ахиц нь заавар дагах чадварт ч хүрсэн. Би практик үр нөлөөнд дуртай. Загвар нь алдааны горим нь дандаа далдлах хэрэгтэй ажлыг эзэмшиж болно.

2:48 Энэ алдааг засах нь ашиглагдах хариултуудыг сэргээж болно. Дуусгах нь чухал. Хоннибал хэрэгсэлд суурилсан ажлыг хүний машин сургалтын инженер хийж болох даалгавруудыг гүйцэтгэсэн гэж үнэлсэн. Энэ нь агентд чухал ач холбогдолтой. Түүний гомдол нь жижиг түүхий тоон үзүүлэлтүүд болон илүү том Python-ээр тусласан засварууд нь хамтдаа нэгтгэгдэх үед илүү өргөн хүрээний дүгнэлтэд хүргэж байгаа явдал юм. Жижиг тоглоомын сүлжээнүүдийг авч үзье.

Аль туршилтууд үнэхээр хэрэгсэлгүй байсан бэ?

3:09 Нэг туршилтад Астра тэдний түүхий тоонуудыг уншиж, аль тоглоомыг сүлжээ сурсан болохыг зөв тодорхойлсон. Хэрэгслүүдийг хориглосон байсан. Өөр нэг туршилтад энэ нь дүрэм болон эх кодыг ашиглан шинэ тоглоом тоглох жинг эхнээс нь бичсэн бөгөөд дадлагын туршилт хийгээгүй. Эдгээр нь тусдаа нотолгоотой тусдаа үзүүлэлтүүд юм. Астрагийн сүлжээнүүд бүх гурван тоглоомд зуун сая алхам сургасан суурь загварыг ялсан. Илүү урт хугацаагаар сургасан суурь загвартай харьцуулахад Seaquest болон

3:32 Asterix-т ялагдаж, Breakout-т ялсан. Харьцуулах баганыг өөрчилбөл ялалтын үгийг засах шаардлагатай болно. Аз болж, засварлах нь өнөөдрийн сэдэв юм. Илүү өргөн хүрээний нэхэмжлэлд бид өөр өөр алдаатай загваруудын сайжруулалтыг хүсэх байсан.

Илүү ерөнхий нэхэмжлэлд юу хэрэгтэй вэ?

3:44 Засварлагч юу харсан, юуг амжилт гэж үзсэнийг хянах. Qwen-ийн загварын картан дээр давталтын сэтгэхүйн талаар аль хэдийн анхааруулсан байдаг. Энэ мэдэгдэж буй саадыг арилгах нь тодорхой эхлэлийн цэгтэй. Тэднийг үнэлэхэд, зохиогчид эвгүй үргэлжлэлийг өөрсдөө нийтэлсэн. Тэд давталтыг зогсоох нь Qwen-д аль хэдийн хийж чаддаг байсан хариултуудыг дуусгах боломж олгодог гэж тайлбарласан. Тэдний бүртгэлд уриалга, санал хүсэлт, засварууд багтсан. Бид амжилтыг шалгаж, илүү хэцүү асуулт асууж болно.

Бага давтагддаг загварт юу тохиолдов?

4:06 Одоо хоёр дахь загвар, өөрийн үргэлжлэлийн тохиргоотой жижиг Gemma. Энэ нь ховор давтагддаг байсан тул түүний алдаанууд нь ердийн буруу арифметик болон хүчингүй алгебр байсан. Астра дахин дадлагын санал хүсэлттэй зорилтот жингийн засваруудыг туршиж үзсэн. Аль нь ч математикийн оноог нэгээс илүү оноогоор өөрчлөөгүй, мөн ахиц тогтоогдоогүй. Амжилттай Qwen засварт арилгах саад байсан. Gemma-ийн арифметикийн алдаанууд хэвээр байсан. Энэ бол хөгжүүлэгчдэд зориулсан хэрэгтэй асуулт юм.

4:28 Засвар аль алдааг зассан бэ, таны загварт үнэхээр байгаа юу? Үржүүлэгчийг тэмдэглэхээс өмнө хадгалсан жинг өөрийн даалгавруудад туршиж үзээрэй. Засагдсан хоолой маш их чухал байж болох ч дараагийн хоолой яг байрандаа үлддэг. Хэрэв та үүнийг сонсохоос илүү уншихыг хүсвэл, diff нь таны шуудангийн хайрцагт өглөө бүр үнэгүй the dailydiff.dev хаягаар ирнэ, холбоос доор байна.

Би жин засварлах нэхэмжлэлийг SHIP IT гэх үү?

4:47 Тиймээс, өнөөдрийн шийдвэр бол NEEDS REVIEW. Би давталтын засварыг нухацтай авч үзэж, турших болно. Би өргөн хүрээний нэхэмжлэлийг энэ алдааны горимоос давсан амжилтаар хязгаарлах болно. Зохиогчдын өөрсдийн жишээ нь diff-ийн хамгийн хэрэгтэй мөр юм. Энэ бол өнөөдрийн diff. Би Axrisi-ийн Нико байна. Хариуцлагатайгаар нэгтгэнэ үү.

Эх сурвалжууд

1. Weight-space programming studyRikiya Takehi and coauthors
2. November 3 critique of bundled experiment conditionsMatthew Honnibal
3. Pinned Qwen protocol and exact weight editsRikiya Takehi and coauthors
4. Actual initial Qwen promptRikiya Takehi and coauthors
5. Pinned smaller Gemma follow-upRikiya Takehi and coauthors
6. Original model-card thinking-loop warningQwen
7. Primary study discussionHacker News
8. Critique discussionHacker News
9. Cover portrait: Sam Altman, TechCrunch 2019 crop, CC BY 2.0; cropped, background removed, resized and flipped; no endorsementSteve Jennings/Getty Images for TechCrunch via Wikimedia Commons
10. Released checkpoint and attributed external re-runRikiyaT on Hugging Face; re-run credited to akhaliq
11. Portrait license: Creative Commons Attribution 2.0Creative Commons; Steve Jennings/Getty Images for TechCrunch portrait credit above