GPT-6 Astra ໄດ້ແກ້ໄຂການຄິດທີ່ບໍ່ສິ້ນສຸດຂອງ AI ອື່ນ

ສິ່ງທີ່ວິດີໂອນີ້ກວມເອົາ

• ການເພີ່ມຂຶ້ນຂອງຄະແນນ Qwen ທີ່ລາຍງານແມ່ນມາຈາກການສ້ອມແປງເປົ້າໝາຍຕໍ່ກັບການໃຊ້ເຫດຜົນຊ້ຳໆ; ປະມານໜຶ່ງສ່ວນສາມຂອງຄຳຕອບທີ່ແກ້ໄຂແລ້ວຍັງຄົງເຖິງຂີດຈຳກັດຄວາມຍາວໃນໂປຣໂຕຄໍຫຼັກ.
• ການຝຶກອົບຮົມແບບ Gradient ຖືກຫ້າມ, ໃນຂະນະທີ່ Python, ຄຳຕອບການປະຕິບັດ ແລະ ຄຳຄິດເຫັນຈາກການເດີນເຄື່ອງແບບຈຳລອງແບບເປັນຊຸດແມ່ນໄດ້ຮັບອະນຸຍາດໃນຫຼາຍຄັ້ງ. ຄຳຖາມການປະເມີນສຸດທ້າຍຖືກປະກາດວ່າຖືກຈັດໄວ້ແຍກຕ່າງຫາກ.
• ການທົດລອງເກມແບບນ້ຳໜັກດິບຂະໜາດນ້ອຍ ແລະ ບໍ່ມີການເປີດຕົວໄດ້ໃຊ້ເງື່ອນໄຂທີ່ແຕກຕ່າງກັນ. ການຮຽກຮ້ອງຂອງພວກເຂົາຄວນຮັກສາຂອບເຂດເຄື່ອງມື, ຂໍ້ມູນປ້ອນເຂົ້າ ແລະ ພື້ນຖານຂອງແຕ່ລະອັນ.
• Matthew Honnibal ຍົກຍ້ອງວິສະວະກຳທີ່ໃຊ້ເຄື່ອງມືຊ່ວຍ ແລະ ໂຕ້ແຍ້ງຄວາມປະທັບໃຈທີ່ກວ້າງຂວາງທີ່ເກີດຈາກການລວມເອົາການທົດລອງ.
• ການຕິດຕາມ Gemma ຂະໜາດນ້ອຍກວ່າໄດ້ໃຊ້ການຕັ້ງຄ່າຂອງຕົນເອງ ແລະ ບໍ່ສາມາດສ້າງການປັບປຸງໄດ້. ທົດສອບວ່າການແກ້ໄຂນ້ຳໜັກໃດແກ້ໄຂຄວາມລົ້ມເຫຼວກ່ອນທີ່ຈະນຳໃຊ້ມັນກັບແບບຈຳລອງອື່ນ.

ບົດບັນທຶກທີ່ແປແລ້ວ

ແປຈາກຄຳບັນຍາຍຕົ້ນສະບັບພາສາອັງກິດ. ສຽງ ແລະ ຄຳບັນຍາຍທີ່ມີໃຫ້ແມ່ນຄວບຄຸມໂດຍ YouTube.

ເປັນຫຍັງຄະແນນຄະນິດສາດຈຶ່ງເພີ່ມຂຶ້ນ?

0:00 AI ທີ່ເຮັດໃຫ້ AI ອື່ນສະຫຼາດຂຶ້ນຫົກເທົ່າຟັງຄື ອັດສະລິຍະທັນທີ. ການເພີ່ມຂຶ້ນຂອງຄະແນນອັນໃຫຍ່ຫຼວງຂອງ Astra ແມ່ນມາຈາກການຊ່ວຍ Qwen ສຳເລັດຄຳຕອບທີ່ມັນສືບຕໍ່ ຊ້ຳໆ. ໃນວິດີໂອນີ້, ມີຫຍັງປ່ຽນແປງ? Astra ໄດ້ຮັບການຊ່ວຍເຫຼືອຫຍັງແດ່? ແລະການແກ້ໄຂສາມາດໄປໄດ້ໄກເທົ່າໃດ? Qwen ເພີ່ມຂຶ້ນຈາກປະມານແປດເປີເຊັນຫາສີ່ສິບແປດເປີເຊັນ. ນັກຄົ້ນຄວ້າໄດ້ລອງໃຊ້ແບບຈຳລອງທີສອງທີ່ເກືອບບໍ່ມີວົງຈອນ. ພວກເຮົາຈະເບິ່ງວ່າມັນເປັນແນວໃດກ່ອນການຕັດສິນ.

0:22 ນີ້ແມ່ນວັນອັງຄານທີສາມເດືອນພະຈິກ, ແລະນີ້ແມ່ນ The Daily Diff. ການຂຽນໂປຣແກຣມພື້ນທີ່ນ້ຳໜັກແມ່ນຊື່ທີ່ນັກຄົ້ນຄວ້າໃຊ້ ເພື່ອຂໍໃຫ້ AI ກວດສອບ ຫຼື ຂຽນຕົວເລກພາຍໃນເຄືອຂ່າຍ neural. ຕົວເລກເຫຼົ່ານັ້ນຄືນ້ຳໜັກຂອງມັນ. ທີມງານທີ່ກ່ຽວຂ້ອງກັບ MIT ນີ້ໄດ້ໃຊ້ GPT-6 Astra ຂອງ OpenAI ເພື່ອແກ້ໄຂແບບຈຳລອງພາສາ Qwen ຂະໜາດນ້ອຍ, ໂດຍຫ້າມການຝຶກອົບຮົມແບບທຳມະດາ. Rikiya Takehi ແລະ ຜູ້ຮ່ວມຂຽນຂອງລາວໄດ້ເຜີຍແຜ່ການສຶກສາໃນວັນຈັນ,

0:44 ໂດຍຖາມວ່າ AI ທີ່ມີຢູ່ແລ້ວສາມາດໃຊ້ເຫດຜົນກ່ຽວກັບພາຍໃນຂອງເຄືອຂ່າຍອື່ນໄດ້ຫຼືບໍ່. ຜົນສຳຄັນຂອງພວກເຂົາແມ່ນໜ້າສົນໃຈຫຼາຍ. ໃນຄະນິດສາດຫ້າຮ້ອຍ, Qwen ເພີ່ມຂຶ້ນຈາກປະມານແປດເປີເຊັນຫາສີ່ສິບແປດເປີເຊັນ. ເກືອບຫົກເທົ່າຂອງຄຳຕອບທີ່ຖືກຕ້ອງ. Qwen ໄດ້ຄິດຈົນກວ່າຈະໝົດພື້ນທີ່ໃນການຕອບ.

Qwen ເຮັດຫຍັງຜິດ?

1:00 ໃນໂໝດການຄິດ, ມັນມັກຈະຊ້ຳການໃຊ້ເຫດຜົນຂອງມັນ. ນຶກພາບນັກຮຽນຕື່ມໃສ່ປຶ້ມສອບເສັງດ້ວຍວຽກງານຈົນກ່ວາກະດິ່ງດັງຂຶ້ນ. ຜູ້ກວດສອບຍັງຕ້ອງການຄຳຕອບ. ຄຳຕອບຕົ້ນສະບັບສ່ວນໃຫຍ່ເຖິງຂີດຈຳກັດຄວາມຍາວ. Astra ໄດ້ຄົ້ນພົບທິດທາງການຊ້ຳກັນໃນສອງຊັ້ນພາຍໃນ, ຈາກນັ້ນໄດ້ລຶບການປະກອບສ່ວນຂອງມັນອອກຈາກຄໍລຳນ້ຳໜັກທີ່ເລືອກໄວ້. ຫຼັງຈາກການແກ້ໄຂນັ້ນ, ຄຳຕອບຫຼາຍຂຶ້ນໄດ້ເຖິງບົດສະຫຼຸບ. ປະມານໜຶ່ງສ່ວນສາມຍັງຄົງເຖິງຂີດຈຳກັດໃນການທົດສອບທີ່ລາຍງານ.

1:22 ປຶ້ມສອບເສັງໃນທີ່ສຸດກໍມີແຖວສຸດທ້າຍ. ມື້ນີ້, Matthew Honnibal, ຜູ້ສ້າງ spaCy ແລະ ຜູ້ຮ່ວມກໍ່ຕັ້ງ Explosion,

ນັກວິຈານມື້ນີ້ໂຕ້ແຍ້ງຫຍັງ?

1:28 ໄດ້ທ້າທາຍການນຳສະເໜີ. ລາວເວົ້າວ່າຜູ້ອ່ານສາມາດລວມເງື່ອນໄຂທີ່ແຕກຕ່າງກັນຂອງການທົດລອງເຂົ້າກັນເປັນ ຄວາມປະທັບໃຈຂອງເຕັກນິກພິເສດອັນໜຶ່ງ. ການຄັດຄ້ານຂອງລາວແມ່ນກ່ຽວກັບເລື່ອງລວມຂອງພວກເຂົາ. ພວກເຮົາສາມາດກວດສອບເງື່ອນໄຂເອງໄດ້. ການທົດລອງ Qwen ໄດ້ໃຫ້ Astra ປຶ້ມບັນທຶກ Python ຜ່ານນ້ຳໜັກ ແລະ ບັນຫາການປະຕິບັດ

Astra ໄດ້ຮັບການຊ່ວຍເຫຼືອຫຍັງແທ້?

1:44 ພ້ອມຄຳຕອບ. ໃນຫຼາຍຄັ້ງ, ມັນໄດ້ກວດກາການກະຕຸ້ນພາຍໃນ ແລະ ປຽບທຽບສະບັບຕົ້ນສະບັບ ແລະ ສະບັບທີ່ແກ້ໄຂແລ້ວ. ງົບປະມານສຸດທ້າຍອະນຸຍາດໃຫ້ 50 ຊຸດຂອງການເດີນເຄື່ອງແບບຈຳລອງ. ແຕ່ລະຊຸດການສ້າງສາມາດບັນຈຸຄຳຕອບຫຼາຍຮ້ອຍຄຳຕອບ. ຂໍ້ມູນການປະຕິບັດແມ່ນມາຈາກການແຍກການຝຶກອົບຮົມ. ນັກຄົ້ນຄວ້າກ່າວວ່າ Astra ບໍ່ເຄີຍເຫັນຊຸດການປະເມີນສຸດທ້າຍ. ຄຳຄິດເຫັນໄດ້ຊ່ວຍເລືອກການແກ້ໄຂ; ບັນຫາທີ່ຖືກຈັດໄວ້ແຍກຕ່າງຫາກໄດ້ວັດແທກມັນຫຼັງຈາກນັ້ນ. ການຕັ້ງຄ່າການເກັບຕົວຢ່າງຍັງຄົງຄົງທີ່ລະຫວ່າງ Qwen ຕົ້ນສະບັບ ແລະ ທີ່ຖືກແກ້ໄຂ,

2:09 ເຮັດໃຫ້ການປຽບທຽບຄະແນນຂອງໂປຣໂຕຄໍນີ້ສາມາດຕີຄວາມໝາຍໄດ້. ການກະຕຸ້ນທຳອິດໄດ້ໃຫ້ຜູ້ຄຸມງານຫ້ອງທົດລອງທີ່ມີປະໂຫຍດ. ກວດຫາຄວາມລົ້ມເຫຼວ, ຊອກຫາສ່ວນປະກອບທີ່ຮັບຜິດຊອບ, ປຽບທຽບບັນຫາທີ່ຄືກັນ, ແລະ ທົດສອບຫຼາຍຄວາມເຂັ້ມແຂງ. ມັນໄດ້ກ່າວເຖິງການຄິດຊ້ຳໆຢ່າງຊັດເຈນວ່າເປັນການສ້ອມແປງທີ່ນັບວ່າໄດ້ຜົນ. ນັກສຶກສາຈົບໃໝ່ຄວນເຈລະຈາຂໍຊຸດການຝຶກອົບຮົມນີ້. ນັ້ນຄືການສ້ອມແປງທີ່ໜ້າປະທັບໃຈ.

ການສ້ອມແປງຕົວຈິງນ້ອຍພຽງໃດ?

2:28 ການແກ້ໄຂເປົ້າໝາຍຂອງ Astra ໄດ້ແຕະປະມານໜຶ່ງຮ້ອຍສາມສິບເອັດພັນນ້ຳໜັກ. ນັ້ນແມ່ນປະມານສິບຫົກພັນສ່ວນຮ້ອຍຂອງແບບຈຳລອງ. ໄຟລ໌ນ້ຳໜັກໄດ້ປ່ຽນແປງໂດຍກົງ. ການຝຶກອົບຮົມແບບ Gradient ຍັງຄົງຖືກຫ້າມ; ແບບຈຳລອງທີ່ມີຢູ່ແລ້ວໄດ້ຕອບຫຼັງຈາກ ການແກ້ໄຂຂອງ Astra ສິ້ນສຸດລົງ. ຜົນໄດ້ຮັບຍັງໄປເຖິງການປະຕິບັດຕາມຄຳສັ່ງ. ຂ້ອຍມັກຜົນກະທົບພາກປະຕິບັດ. ແບບຈຳລອງສາມາດມີວຽກງານທີ່ເປັນປະໂຫຍດທີ່ຮູບແບບຄວາມລົ້ມເຫຼວຂອງມັນສືບຕໍ່ຝັງໄວ້.

2:48 ການແກ້ໄຂຄວາມລົ້ມເຫຼວນັ້ນສາມາດກູ້ຄືນຄຳຕອບທີ່ໃຊ້ການໄດ້. ການສຳເລັດນັບວ່າສຳຄັນ. Honnibal ຍົກຍ້ອງວຽກງານທີ່ໃຊ້ເຄື່ອງມືຊ່ວຍວ່າເປັນການປະຕິບັດ ໜ້າທີ່ທີ່ວິສະວະກອນການຮຽນຮູ້ເຄື່ອງຈັກຂອງມະນຸດສາມາດເຮັດໄດ້. ນັ້ນຄືຜົນສຳຄັນສຳລັບຕົວແທນ. ຄຳຮ້ອງທຸກຂອງລາວຄືວ່າການສາທິດຈຳນວນດິບຂະໜາດນ້ອຍ ແລະ ການສ້ອມແປງທີ່ໃຊ້ Python ຊ່ວຍເຫຼືອຂະໜາດໃຫຍ່ກວ່າ ເຊື້ອເຊີນໃຫ້ສະຫຼຸບທີ່ກວ້າງຂວາງຂຶ້ນເມື່ອລວມເຂົ້າກັນ. ເອົາເຄືອຂ່າຍເກມນ້ອຍໆ.

ການທົດລອງໃດທີ່ບໍ່ມີເຄື່ອງມືແທ້ໆ?

3:09 ໃນການທົດລອງໜຶ່ງ, Astra ໄດ້ອ່ານຕົວເລກດິບຂອງພວກມັນ ແລະ ລະບຸຢ່າງຖືກຕ້ອງວ່າ ແຕ່ລະເຄືອຂ່າຍໄດ້ຮຽນຮູ້ເກມໃດ. ເຄື່ອງມືຖືກຫ້າມ. ໃນອີກອັນໜຶ່ງ, ມັນໄດ້ຂຽນນ້ຳໜັກການຫຼິ້ນເກມໃໝ່ຕັ້ງແຕ່ຕົ້ນໂດຍໃຊ້ກົດລະບຽບ ແລະ ລະຫັດແຫຼ່ງ, ໂດຍບໍ່ມີການເປີດຕົວການປະຕິບັດ. ເຫຼົ່ານັ້ນຄືການສາທິດທີ່ແຍກຕ່າງຫາກທີ່ມີຫຼັກຖານທີ່ແຍກຕ່າງຫາກ. ເຄືອຂ່າຍຂອງ Astra ໄດ້ເອົາຊະນະແບບຈຳລອງພື້ນຖານທີ່ຝຶກອົບຮົມມາໜຶ່ງຮ້ອຍລ້ານຂັ້ນຕອນໃນທັງໝົດ ສາມເກມ. ຕໍ່ກັບແບບຈຳລອງພື້ນຖານທີ່ຝຶກອົບຮົມດົນກວ່າ, ມັນແພ້ໃນ Seaquest ແລະ

3:32 Asterix, ໃນຂະນະທີ່ຊະນະ Breakout. ປ່ຽນຄໍລຳປຽບທຽບ, ແລະ ຄຳປາໄສໄຊຊະນະຈຳເປັນຕ້ອງມີການແກ້ໄຂ. ສະດວກ, ການແກ້ໄຂແມ່ນຫົວຂໍ້ຂອງມື້ນີ້. ສຳລັບການຮຽກຮ້ອງທີ່ກວ້າງຂວາງກວ່າ, ພວກເຮົາຈະຕ້ອງການການປັບປຸງໃນທົ່ວແບບຈຳລອງທີ່ມີຄວາມລົ້ມເຫຼວທີ່ແຕກຕ່າງກັນ.

ການຮຽກຮ້ອງທີ່ທົ່ວໄປກວ່າຈະຕ້ອງມີຫຍັງແດ່?

3:44 ຕິດຕາມສິ່ງທີ່ບັນນາທິການໄດ້ເຫັນ ແລະ ສິ່ງທີ່ນັບວ່າເປັນຜົນສຳເລັດ. ບັດແບບຈຳລອງຂອງ Qwen ໄດ້ເຕືອນກ່ຽວກັບວົງຈອນການຄິດແລ້ວ. ການເອົາຊະນະອຸປະສັກທີ່ຮູ້ຈັກນີ້ມີຈຸດເລີ່ມຕົ້ນສະເພາະ. ສິ່ງທີ່ໜ້າຊົມເຊີຍ, ຜູ້ຂຽນເຜີຍແຜ່ການຕິດຕາມທີ່ບໍ່ສະບາຍເອງ. ພວກເຂົາອະທິບາຍວ່າການຢຸດວົງຈອນເຮັດໃຫ້ Qwen ສາມາດສຳເລັດຄຳຕອບທີ່ມັນສາມາດແກ້ໄຂໄດ້ແລ້ວ. ບັນທຶກຂອງພວກເຂົາປະກອບມີການກະຕຸ້ນ, ຄຳຄິດເຫັນ ແລະ ການແກ້ໄຂ. ພວກເຮົາສາມາດກວດກາຜົນສຳເລັດ ແລະ ຖາມຄຳຖາມທີ່ຍາກກວ່າ.

ເກີດຫຍັງຂຶ້ນກັບແບບຈຳລອງທີ່ບໍ່ຄ່ອຍມີວົງຈອນ?

4:06 ບັດນີ້ແບບຈຳລອງທີສອງ, Gemma ຂະໜາດນ້ອຍກວ່າໃນການຕັ້ງຄ່າຕິດຕາມຂອງຕົນເອງ. ມັນບໍ່ຄ່ອຍມີວົງຈອນ, ດັ່ງນັ້ນຄວາມລົ້ມເຫຼວຂອງມັນແມ່ນການຄຳນວນຜິດປົກກະຕິ ແລະ ພຶດຊະຄະນິດທີ່ບໍ່ຖືກຕ້ອງ. Astra ໄດ້ລອງແກ້ໄຂນ້ຳໜັກເປົ້າໝາຍດ້ວຍຄຳຄິດເຫັນຈາກການປະຕິບັດອີກຄັ້ງ. ບໍ່ມີອັນໃດທີ່ເຮັດໃຫ້ຄະແນນຄະນິດສາດຂອງມັນປ່ຽນແປງຫຼາຍກວ່າປະມານໜຶ່ງຈຸດ, ແລະບໍ່ມີການຢືນຢັນການເພີ່ມຂຶ້ນ. ການສ້ອມແປງ Qwen ທີ່ສຳເລັດໄດ້ມີອຸປະສັກທີ່ຈະຕ້ອງເອົາອອກ. ຄວາມຜິດພາດທາງຄະນິດສາດຂອງ Gemma ຍັງຄົງຢູ່. ນັ້ນຄືຄຳຖາມທີ່ເປັນປະໂຫຍດສຳລັບນັກພັດທະນາ.

4:28 ການແກ້ໄຂໄດ້ແກ້ໄຂຄວາມລົ້ມເຫຼວໃດ, ແລະ ແບບຈຳລອງຂອງທ່ານມີມັນແທ້ໆບໍ? ທົດສອບນ້ຳໜັກທີ່ບັນທຶກໄວ້ໃນວຽກງານຂອງທ່ານເອງກ່ອນທີ່ຈະສະເຫຼີມສະຫຼອງຕົວຄູນ. ຄໍຂວດທີ່ຖືກສ້ອມແປງສາມາດສຳຄັນຢ່າງມະຫາສານໃນຂະນະທີ່ຄໍຂວດຕໍ່ໄປຍັງຄົງຢູ່ ຢູ່ບ່ອນເກົ່າ. ຖ້າທ່ານຕ້ອງການອ່ານສິ່ງນີ້ຫຼາຍກວ່າຟັງຂ້ອຍເວົ້າ, The Daily Diff ຈະສົ່ງເຂົ້າກ່ອງຈົດໝາຍຂອງທ່ານ ທຸກໆເຊົ້າ, ຟຣີທີ່ thedailydiff.dev, ລິ້ງຂ້າງລຸ່ມ.

ຂ້ອຍຈະເປີດເຜີຍການຮຽກຮ້ອງການແກ້ໄຂນ້ຳໜັກບໍ?

4:47 ດັ່ງນັ້ນ, ຄຳຕັດສິນຂອງມື້ນີ້ແມ່ນ NEEDS REVIEW. ຂ້ອຍຈະພິຈາລະນາການສ້ອມແປງວົງຈອນຢ່າງຈິງຈັງ ແລະ ທົດສອບມັນ. ຂ້ອຍຈະຮັກສາການຮຽກຮ້ອງທີ່ກວ້າງຂວາງກວ່າໄວ້ກັບຜົນສຳເລັດນອກເໜືອຈາກຮູບແບບຄວາມລົ້ມເຫຼວນັ້ນ. ຕົວຢ່າງໂຕ້ແຍ້ງຂອງຜູ້ຂຽນເອງແມ່ນສິ່ງທີ່ມີປະໂຫຍດທີ່ສຸດໃນ The Daily Diff. ແລະນັ້ນຄື The Daily Diff ສຳລັບມື້ນີ້. ຂ້ອຍຄື Niko ຈາກ Axrisi. ລວມເຂົ້າກັນຢ່າງຮັບຜິດຊອບ.

ແຫຼ່ງຂໍ້ມູນ

1. Weight-space programming studyRikiya Takehi and coauthors
2. November 3 critique of bundled experiment conditionsMatthew Honnibal
3. Pinned Qwen protocol and exact weight editsRikiya Takehi and coauthors
4. Actual initial Qwen promptRikiya Takehi and coauthors
5. Pinned smaller Gemma follow-upRikiya Takehi and coauthors
6. Original model-card thinking-loop warningQwen
7. Primary study discussionHacker News
8. Critique discussionHacker News
9. Cover portrait: Sam Altman, TechCrunch 2019 crop, CC BY 2.0; cropped, background removed, resized and flipped; no endorsementSteve Jennings/Getty Images for TechCrunch via Wikimedia Commons
10. Released checkpoint and attributed external re-runRikiyaT on Hugging Face; re-run credited to akhaliq
11. Portrait license: Creative Commons Attribution 2.0Creative Commons; Steve Jennings/Getty Images for TechCrunch portrait credit above