# GPT-6 Astra ໄດ້ແກ້ໄຂການຄິດທີ່ບໍ່ສິ້ນສຸດຂອງ AI ອື່ນ

Published: 2026-11-04

ການສຶກສາທີ່ກ່ຽວຂ້ອງກັບ MIT ໄດ້ໃຊ້ GPT-6 Astra ເພື່ອແກ້ໄຂນ້ຳໜັກຂອງແບບຈຳລອງ Qwen ຂະໜາດນ້ອຍ ແລະ ຊ່ວຍໃຫ້ຄຳຕອບສຳເລັດຫຼາຍຂຶ້ນ. ການເພີ່ມຂຶ້ນຂອງຄະແນນຄະນິດສາດທີ່ລາຍງານແມ່ນຂຶ້ນກັບການສ້ອມແປງວົງຈອນເປົ້າໝາຍ, ການວິເຄາະ Python ແລະ ຄຳຄິດເຫັນຈາກການປະຕິບັດ. ການຕິດຕາມ Gemma ຂະໜາດນ້ອຍກວ່າຕ່າງຫາກບໍ່ພົບຜົນໄດ້ຮັບທີ່ແນ່ນອນ.

Canonical: https://thedailydiff.dev/lo/video/2026-11-03-astra-qwen-weights/

## ສິ່ງທີ່ວິດີໂອນີ້ກວມເອົາ

- ການເພີ່ມຂຶ້ນຂອງຄະແນນ Qwen ທີ່ລາຍງານແມ່ນມາຈາກການສ້ອມແປງເປົ້າໝາຍຕໍ່ກັບການໃຊ້ເຫດຜົນຊ້ຳໆ; ປະມານໜຶ່ງສ່ວນສາມຂອງຄຳຕອບທີ່ແກ້ໄຂແລ້ວຍັງຄົງເຖິງຂີດຈຳກັດຄວາມຍາວໃນໂປຣໂຕຄໍຫຼັກ.
- ການຝຶກອົບຮົມແບບ Gradient ຖືກຫ້າມ, ໃນຂະນະທີ່ Python, ຄຳຕອບການປະຕິບັດ ແລະ ຄຳຄິດເຫັນຈາກການເດີນເຄື່ອງແບບຈຳລອງແບບເປັນຊຸດແມ່ນໄດ້ຮັບອະນຸຍາດໃນຫຼາຍຄັ້ງ. ຄຳຖາມການປະເມີນສຸດທ້າຍຖືກປະກາດວ່າຖືກຈັດໄວ້ແຍກຕ່າງຫາກ.
- ການທົດລອງເກມແບບນ້ຳໜັກດິບຂະໜາດນ້ອຍ ແລະ ບໍ່ມີການເປີດຕົວໄດ້ໃຊ້ເງື່ອນໄຂທີ່ແຕກຕ່າງກັນ. ການຮຽກຮ້ອງຂອງພວກເຂົາຄວນຮັກສາຂອບເຂດເຄື່ອງມື, ຂໍ້ມູນປ້ອນເຂົ້າ ແລະ ພື້ນຖານຂອງແຕ່ລະອັນ.
- Matthew Honnibal ຍົກຍ້ອງວິສະວະກຳທີ່ໃຊ້ເຄື່ອງມືຊ່ວຍ ແລະ ໂຕ້ແຍ້ງຄວາມປະທັບໃຈທີ່ກວ້າງຂວາງທີ່ເກີດຈາກການລວມເອົາການທົດລອງ.
- ການຕິດຕາມ Gemma ຂະໜາດນ້ອຍກວ່າໄດ້ໃຊ້ການຕັ້ງຄ່າຂອງຕົນເອງ ແລະ ບໍ່ສາມາດສ້າງການປັບປຸງໄດ້. ທົດສອບວ່າການແກ້ໄຂນ້ຳໜັກໃດແກ້ໄຂຄວາມລົ້ມເຫຼວກ່ອນທີ່ຈະນຳໃຊ້ມັນກັບແບບຈຳລອງອື່ນ.

## ຄຳຖາມແລະຄຳຕອບ

### Astra ໄດ້ປ່ຽນແປງຫຍັງເພື່ອປັບປຸງຄະແນນຄະນິດສາດທີ່ລາຍງານຂອງ Qwen?

Astra ໄດ້ແກ້ໄຂນ້ຳໜັກເປົ້າໝາຍທີ່ຊ່ວຍໃຫ້ Qwen ສຳເລັດຄຳຕອບຫຼາຍຂຶ້ນ, ອີງຕາມການສຶກສາໂດຍ Rikiya Takehi ແລະ ຜູ້ຮ່ວມຂຽນ. ມັນໄດ້ເອົາການປະກອບສ່ວນທີ່ກ່ຽວຂ້ອງກັບການຊ້ຳອອກຈາກຄໍລຳທີ່ເລືອກໃນຊັ້ນພາຍໃນ. ການເພີ່ມຂຶ້ນຂອງຄະແນນຄະນິດສາດທີ່ລາຍງານໄດ້ໃຊ້ໂປຣໂຕຄໍການປະເມີນທີ່ຄົງທີ່. ຄຳຕອບທີ່ຖືກແກ້ໄຂຫຼາຍອັນຍັງຄົງເຖິງຂີດຈຳກັດຄວາມຍາວ, ດັ່ງນັ້ນຜົນໄດ້ຮັບຍັງຄົງມີອັດຕາຄວາມລົ້ມເຫຼວທີ່ຍັງເຫຼືອຫຼາຍ.

### ເຄື່ອງມືແລະຄຳຄິດເຫັນອັນໃດທີ່ໄດ້ຮັບອະນຸຍາດໃນລະຫວ່າງການແກ້ໄຂນ້ຳໜັກຂອງ Qwen?

ການວິເຄາະ Python, ບັນຫາການປະຕິບັດພ້ອມຄຳຕອບ ແລະ ຄຳຄິດເຫັນຈາກການເດີນເຄື່ອງແບບຈຳລອງແບບເປັນຊຸດແມ່ນໄດ້ຮັບອະນຸຍາດໃນຫຼາຍຄັ້ງ. ການກະຕຸ້ນເບື້ອງຕົ້ນຕົວຈິງຂອງນັກຄົ້ນຄວ້າໄດ້ຫ້າມການຝຶກອົບຮົມແບບ gradient ແລະ ລະບຸຄຳແນະນຳການວິນິດໄສ ແລະ ການທົດສອບສາເຫດ, ລວມທັງການສ້ອມແປງການຄິດຊ້ຳໆວ່າເປັນເປົ້າໝາຍທີ່ເໝາະສົມ. ການສະໜັບສະໜູນນີ້ໄດ້ຊ່ວຍ Astra ເລືອກການແກ້ໄຂໂດຍກົງຕໍ່ນ້ຳໜັກທີ່ມີຢູ່ແລ້ວ. ໜ່ວຍງົບປະມານສາມາດບັນຈຸຄຳຕອບທີ່ສ້າງຂຶ້ນຫຼາຍຮ້ອຍຄຳຕອບ.

### ບັນຫາການປະເມີນສຸດທ້າຍມີໃຫ້ແບບຈຳລອງການແກ້ໄຂບໍ?

ນັກຄົ້ນຄວ້າກ່າວວ່າຊຸດການປະເມີນສຸດທ້າຍຍັງຄົງບໍ່ຖືກເຫັນໂດຍ Astra. ຄຳຄິດເຫັນຈາກການປະຕິບັດແມ່ນມາຈາກບັນຫາການແຍກການຝຶກອົບຮົມ ແລະ ຊ່ວຍເລືອກການແກ້ໄຂ; ບັນຫາທີ່ຖືກຈັດໄວ້ແຍກຕ່າງຫາກໄດ້ວັດແທກແບບຈຳລອງທີ່ສົ່ງມາຫຼັງຈາກນັ້ນ. ການກະຕຸ້ນເບື້ອງຕົ້ນໄດ້ເປີດເຜີຍຊື່ການວັດແທກ ແລະ ໂປຣໂຕຄໍການປະເມີນ. ຄວາມແຕກຕ່າງນັ້ນອະທິບາຍສິ່ງທີ່ຖືກປິດບັງໂດຍບໍ່ໄດ້ຮຽກຮ້ອງວ່າບັນນາທິການຂາດຂໍ້ມູນທັງໝົດກ່ຽວກັບວຽກງານ.

### ເກີດຫຍັງຂຶ້ນໃນການຕິດຕາມການແກ້ໄຂນ້ຳໜັກ Gemma ຂະໜາດນ້ອຍກວ່າ?

ການຕິດຕາມ Gemma ຂະໜາດນ້ອຍກວ່າບໍ່ສາມາດສ້າງການເພີ່ມຂຶ້ນໄດ້, ອີງຕາມ Rikiya Takehi ແລະ ຜູ້ຮ່ວມຂຽນ. ແບບຈຳລອງບໍ່ຄ່ອຍມີວົງຈອນ, ແລະ ຄວາມລົ້ມເຫຼວຂອງມັນລວມມີການຄຳນວນຜິດ ແລະ ພຶດຊະຄະນິດທີ່ບໍ່ຖືກຕ້ອງ. ການແກ້ໄຂເປົ້າໝາຍດ້ວຍຄຳຄິດເຫັນຈາກການປະຕິບັດໄດ້ປ່ຽນຄະແນນຄະນິດສາດທີ່ລາຍງານໄປສູງສຸດປະມານໜຶ່ງຈຸດ. ມັນໄດ້ໃຊ້ການຕັ້ງຄ່າທີ່ແຍກຕ່າງຫາກ, ດັ່ງນັ້ນການປຽບທຽບໃຫ້ຕົວຢ່າງໂຕ້ແຍ້ງທີ່ມີຂອບເຂດແທນທີ່ຈະເປັນການຫັກອອກທີ່ຄວບຄຸມເທົ່າທຽມກັນ.

### ຄຳຕັດສິນຂອງ The Daily Diff ກ່ຽວກັບການຮຽກຮ້ອງການແກ້ໄຂນ້ຳໜັກແມ່ນຫຍັງ?

ຄຳຕັດສິນຂອງ The Daily Diff ແມ່ນ NEEDS REVIEW. Niko ຈະພິຈາລະນາການສ້ອມແປງວົງຈອນເປົ້າໝາຍຢ່າງຈິງຈັງ ແລະ ທົດສອບມັນ, ໃນຂະນະທີ່ຮັກສາການຮຽກຮ້ອງທີ່ກວ້າງຂວາງກວ່າໄວ້ກັບຜົນສຳເລັດນອກເໜືອຈາກຮູບແບບຄວາມລົ້ມເຫຼວນັ້ນ. ຕົວຢ່າງໂຕ້ແຍ້ງຂອງແບບຈຳລອງຂະໜາດນ້ອຍຂອງນັກຄົ້ນຄວ້າເອງແມ່ນຂໍ້ມູນສຳລັບການຕັດສິນນັ້ນ. ນັກພັດທະນາຄວນລະບຸຄວາມລົ້ມເຫຼວທີ່ການແກ້ໄຂໄດ້ສ້ອມແປງ ແລະ ປະເມີນນ້ຳໜັກທີ່ບັນທຶກໄວ້ໃນວຽກງານຂອງພວກເຂົາເອງກ່ອນທີ່ຈະສະເຫຼີມສະຫຼອງຕົວຄູນທີ່ລາຍງານ.

## ບົດ

- 0:00 ເປັນຫຍັງຄະແນນຄະນິດສາດຈຶ່ງເພີ່ມຂຶ້ນ?
- 0:58 Qwen ເຮັດຫຍັງຜິດ?
- 1:25 ນັກວິຈານມື້ນີ້ໂຕ້ແຍ້ງຫຍັງ?
- 1:41 Astra ໄດ້ຮັບການຊ່ວຍເຫຼືອຫຍັງແທ້?
- 2:27 ການສ້ອມແປງຕົວຈິງນ້ອຍພຽງໃດ?
- 3:08 ການທົດລອງໃດທີ່ບໍ່ມີເຄື່ອງມືແທ້ໆ?
- 3:40 ການຮຽກຮ້ອງທີ່ທົ່ວໄປກວ່າຈະຕ້ອງມີຫຍັງແດ່?
- 4:06 ເກີດຫຍັງຂຶ້ນກັບແບບຈຳລອງທີ່ບໍ່ຄ່ອຍມີວົງຈອນ?
- 4:47 ຂ້ອຍຈະເປີດເຜີຍການຮຽກຮ້ອງການແກ້ໄຂນ້ຳໜັກບໍ?

## ບົດບັນທຶກທີ່ແປແລ້ວ

ແປຈາກຄຳບັນຍາຍຕົ້ນສະບັບພາສາອັງກິດ. ສຽງ ແລະ ຄຳບັນຍາຍທີ່ມີໃຫ້ແມ່ນຄວບຄຸມໂດຍ YouTube.

### ເປັນຫຍັງຄະແນນຄະນິດສາດຈຶ່ງເພີ່ມຂຶ້ນ?

0:00 AI ທີ່ເຮັດໃຫ້ AI ອື່ນສະຫຼາດຂຶ້ນຫົກເທົ່າຟັງຄື ອັດສະລິຍະທັນທີ. ການເພີ່ມຂຶ້ນຂອງຄະແນນອັນໃຫຍ່ຫຼວງຂອງ Astra ແມ່ນມາຈາກການຊ່ວຍ Qwen ສຳເລັດຄຳຕອບທີ່ມັນສືບຕໍ່ ຊ້ຳໆ. ໃນວິດີໂອນີ້, ມີຫຍັງປ່ຽນແປງ? Astra ໄດ້ຮັບການຊ່ວຍເຫຼືອຫຍັງແດ່? ແລະການແກ້ໄຂສາມາດໄປໄດ້ໄກເທົ່າໃດ? Qwen ເພີ່ມຂຶ້ນຈາກປະມານແປດເປີເຊັນຫາສີ່ສິບແປດເປີເຊັນ. ນັກຄົ້ນຄວ້າໄດ້ລອງໃຊ້ແບບຈຳລອງທີສອງທີ່ເກືອບບໍ່ມີວົງຈອນ. ພວກເຮົາຈະເບິ່ງວ່າມັນເປັນແນວໃດກ່ອນການຕັດສິນ.

0:22 ນີ້ແມ່ນວັນອັງຄານທີສາມເດືອນພະຈິກ, ແລະນີ້ແມ່ນ The Daily Diff. ການຂຽນໂປຣແກຣມພື້ນທີ່ນ້ຳໜັກແມ່ນຊື່ທີ່ນັກຄົ້ນຄວ້າໃຊ້ ເພື່ອຂໍໃຫ້ AI ກວດສອບ ຫຼື ຂຽນຕົວເລກພາຍໃນເຄືອຂ່າຍ neural. ຕົວເລກເຫຼົ່ານັ້ນຄືນ້ຳໜັກຂອງມັນ. ທີມງານທີ່ກ່ຽວຂ້ອງກັບ MIT ນີ້ໄດ້ໃຊ້ GPT-6 Astra ຂອງ OpenAI ເພື່ອແກ້ໄຂແບບຈຳລອງພາສາ Qwen ຂະໜາດນ້ອຍ, ໂດຍຫ້າມການຝຶກອົບຮົມແບບທຳມະດາ. Rikiya Takehi ແລະ ຜູ້ຮ່ວມຂຽນຂອງລາວໄດ້ເຜີຍແຜ່ການສຶກສາໃນວັນຈັນ,

0:44 ໂດຍຖາມວ່າ AI ທີ່ມີຢູ່ແລ້ວສາມາດໃຊ້ເຫດຜົນກ່ຽວກັບພາຍໃນຂອງເຄືອຂ່າຍອື່ນໄດ້ຫຼືບໍ່. ຜົນສຳຄັນຂອງພວກເຂົາແມ່ນໜ້າສົນໃຈຫຼາຍ. ໃນຄະນິດສາດຫ້າຮ້ອຍ, Qwen ເພີ່ມຂຶ້ນຈາກປະມານແປດເປີເຊັນຫາສີ່ສິບແປດເປີເຊັນ. ເກືອບຫົກເທົ່າຂອງຄຳຕອບທີ່ຖືກຕ້ອງ. Qwen ໄດ້ຄິດຈົນກວ່າຈະໝົດພື້ນທີ່ໃນການຕອບ.

### Qwen ເຮັດຫຍັງຜິດ?

1:00 ໃນໂໝດການຄິດ, ມັນມັກຈະຊ້ຳການໃຊ້ເຫດຜົນຂອງມັນ. ນຶກພາບນັກຮຽນຕື່ມໃສ່ປຶ້ມສອບເສັງດ້ວຍວຽກງານຈົນກ່ວາກະດິ່ງດັງຂຶ້ນ. ຜູ້ກວດສອບຍັງຕ້ອງການຄຳຕອບ. ຄຳຕອບຕົ້ນສະບັບສ່ວນໃຫຍ່ເຖິງຂີດຈຳກັດຄວາມຍາວ. Astra ໄດ້ຄົ້ນພົບທິດທາງການຊ້ຳກັນໃນສອງຊັ້ນພາຍໃນ, ຈາກນັ້ນໄດ້ລຶບການປະກອບສ່ວນຂອງມັນອອກຈາກຄໍລຳນ້ຳໜັກທີ່ເລືອກໄວ້. ຫຼັງຈາກການແກ້ໄຂນັ້ນ, ຄຳຕອບຫຼາຍຂຶ້ນໄດ້ເຖິງບົດສະຫຼຸບ. ປະມານໜຶ່ງສ່ວນສາມຍັງຄົງເຖິງຂີດຈຳກັດໃນການທົດສອບທີ່ລາຍງານ.

1:22 ປຶ້ມສອບເສັງໃນທີ່ສຸດກໍມີແຖວສຸດທ້າຍ. ມື້ນີ້, Matthew Honnibal, ຜູ້ສ້າງ spaCy ແລະ ຜູ້ຮ່ວມກໍ່ຕັ້ງ Explosion,

### ນັກວິຈານມື້ນີ້ໂຕ້ແຍ້ງຫຍັງ?

1:28 ໄດ້ທ້າທາຍການນຳສະເໜີ. ລາວເວົ້າວ່າຜູ້ອ່ານສາມາດລວມເງື່ອນໄຂທີ່ແຕກຕ່າງກັນຂອງການທົດລອງເຂົ້າກັນເປັນ ຄວາມປະທັບໃຈຂອງເຕັກນິກພິເສດອັນໜຶ່ງ. ການຄັດຄ້ານຂອງລາວແມ່ນກ່ຽວກັບເລື່ອງລວມຂອງພວກເຂົາ. ພວກເຮົາສາມາດກວດສອບເງື່ອນໄຂເອງໄດ້. ການທົດລອງ Qwen ໄດ້ໃຫ້ Astra ປຶ້ມບັນທຶກ Python ຜ່ານນ້ຳໜັກ ແລະ ບັນຫາການປະຕິບັດ

### Astra ໄດ້ຮັບການຊ່ວຍເຫຼືອຫຍັງແທ້?

1:44 ພ້ອມຄຳຕອບ. ໃນຫຼາຍຄັ້ງ, ມັນໄດ້ກວດກາການກະຕຸ້ນພາຍໃນ ແລະ ປຽບທຽບສະບັບຕົ້ນສະບັບ ແລະ ສະບັບທີ່ແກ້ໄຂແລ້ວ. ງົບປະມານສຸດທ້າຍອະນຸຍາດໃຫ້ 50 ຊຸດຂອງການເດີນເຄື່ອງແບບຈຳລອງ. ແຕ່ລະຊຸດການສ້າງສາມາດບັນຈຸຄຳຕອບຫຼາຍຮ້ອຍຄຳຕອບ. ຂໍ້ມູນການປະຕິບັດແມ່ນມາຈາກການແຍກການຝຶກອົບຮົມ. ນັກຄົ້ນຄວ້າກ່າວວ່າ Astra ບໍ່ເຄີຍເຫັນຊຸດການປະເມີນສຸດທ້າຍ. ຄຳຄິດເຫັນໄດ້ຊ່ວຍເລືອກການແກ້ໄຂ; ບັນຫາທີ່ຖືກຈັດໄວ້ແຍກຕ່າງຫາກໄດ້ວັດແທກມັນຫຼັງຈາກນັ້ນ. ການຕັ້ງຄ່າການເກັບຕົວຢ່າງຍັງຄົງຄົງທີ່ລະຫວ່າງ Qwen ຕົ້ນສະບັບ ແລະ ທີ່ຖືກແກ້ໄຂ,

2:09 ເຮັດໃຫ້ການປຽບທຽບຄະແນນຂອງໂປຣໂຕຄໍນີ້ສາມາດຕີຄວາມໝາຍໄດ້. ການກະຕຸ້ນທຳອິດໄດ້ໃຫ້ຜູ້ຄຸມງານຫ້ອງທົດລອງທີ່ມີປະໂຫຍດ. ກວດຫາຄວາມລົ້ມເຫຼວ, ຊອກຫາສ່ວນປະກອບທີ່ຮັບຜິດຊອບ, ປຽບທຽບບັນຫາທີ່ຄືກັນ, ແລະ ທົດສອບຫຼາຍຄວາມເຂັ້ມແຂງ. ມັນໄດ້ກ່າວເຖິງການຄິດຊ້ຳໆຢ່າງຊັດເຈນວ່າເປັນການສ້ອມແປງທີ່ນັບວ່າໄດ້ຜົນ. ນັກສຶກສາຈົບໃໝ່ຄວນເຈລະຈາຂໍຊຸດການຝຶກອົບຮົມນີ້. ນັ້ນຄືການສ້ອມແປງທີ່ໜ້າປະທັບໃຈ.

### ການສ້ອມແປງຕົວຈິງນ້ອຍພຽງໃດ?

2:28 ການແກ້ໄຂເປົ້າໝາຍຂອງ Astra ໄດ້ແຕະປະມານໜຶ່ງຮ້ອຍສາມສິບເອັດພັນນ້ຳໜັກ. ນັ້ນແມ່ນປະມານສິບຫົກພັນສ່ວນຮ້ອຍຂອງແບບຈຳລອງ. ໄຟລ໌ນ້ຳໜັກໄດ້ປ່ຽນແປງໂດຍກົງ. ການຝຶກອົບຮົມແບບ Gradient ຍັງຄົງຖືກຫ້າມ; ແບບຈຳລອງທີ່ມີຢູ່ແລ້ວໄດ້ຕອບຫຼັງຈາກ ການແກ້ໄຂຂອງ Astra ສິ້ນສຸດລົງ. ຜົນໄດ້ຮັບຍັງໄປເຖິງການປະຕິບັດຕາມຄຳສັ່ງ. ຂ້ອຍມັກຜົນກະທົບພາກປະຕິບັດ. ແບບຈຳລອງສາມາດມີວຽກງານທີ່ເປັນປະໂຫຍດທີ່ຮູບແບບຄວາມລົ້ມເຫຼວຂອງມັນສືບຕໍ່ຝັງໄວ້.

2:48 ການແກ້ໄຂຄວາມລົ້ມເຫຼວນັ້ນສາມາດກູ້ຄືນຄຳຕອບທີ່ໃຊ້ການໄດ້. ການສຳເລັດນັບວ່າສຳຄັນ. Honnibal ຍົກຍ້ອງວຽກງານທີ່ໃຊ້ເຄື່ອງມືຊ່ວຍວ່າເປັນການປະຕິບັດ ໜ້າທີ່ທີ່ວິສະວະກອນການຮຽນຮູ້ເຄື່ອງຈັກຂອງມະນຸດສາມາດເຮັດໄດ້. ນັ້ນຄືຜົນສຳຄັນສຳລັບຕົວແທນ. ຄຳຮ້ອງທຸກຂອງລາວຄືວ່າການສາທິດຈຳນວນດິບຂະໜາດນ້ອຍ ແລະ ການສ້ອມແປງທີ່ໃຊ້ Python ຊ່ວຍເຫຼືອຂະໜາດໃຫຍ່ກວ່າ ເຊື້ອເຊີນໃຫ້ສະຫຼຸບທີ່ກວ້າງຂວາງຂຶ້ນເມື່ອລວມເຂົ້າກັນ. ເອົາເຄືອຂ່າຍເກມນ້ອຍໆ.

### ການທົດລອງໃດທີ່ບໍ່ມີເຄື່ອງມືແທ້ໆ?

3:09 ໃນການທົດລອງໜຶ່ງ, Astra ໄດ້ອ່ານຕົວເລກດິບຂອງພວກມັນ ແລະ ລະບຸຢ່າງຖືກຕ້ອງວ່າ ແຕ່ລະເຄືອຂ່າຍໄດ້ຮຽນຮູ້ເກມໃດ. ເຄື່ອງມືຖືກຫ້າມ. ໃນອີກອັນໜຶ່ງ, ມັນໄດ້ຂຽນນ້ຳໜັກການຫຼິ້ນເກມໃໝ່ຕັ້ງແຕ່ຕົ້ນໂດຍໃຊ້ກົດລະບຽບ ແລະ ລະຫັດແຫຼ່ງ, ໂດຍບໍ່ມີການເປີດຕົວການປະຕິບັດ. ເຫຼົ່ານັ້ນຄືການສາທິດທີ່ແຍກຕ່າງຫາກທີ່ມີຫຼັກຖານທີ່ແຍກຕ່າງຫາກ. ເຄືອຂ່າຍຂອງ Astra ໄດ້ເອົາຊະນະແບບຈຳລອງພື້ນຖານທີ່ຝຶກອົບຮົມມາໜຶ່ງຮ້ອຍລ້ານຂັ້ນຕອນໃນທັງໝົດ ສາມເກມ. ຕໍ່ກັບແບບຈຳລອງພື້ນຖານທີ່ຝຶກອົບຮົມດົນກວ່າ, ມັນແພ້ໃນ Seaquest ແລະ

3:32 Asterix, ໃນຂະນະທີ່ຊະນະ Breakout. ປ່ຽນຄໍລຳປຽບທຽບ, ແລະ ຄຳປາໄສໄຊຊະນະຈຳເປັນຕ້ອງມີການແກ້ໄຂ. ສະດວກ, ການແກ້ໄຂແມ່ນຫົວຂໍ້ຂອງມື້ນີ້. ສຳລັບການຮຽກຮ້ອງທີ່ກວ້າງຂວາງກວ່າ, ພວກເຮົາຈະຕ້ອງການການປັບປຸງໃນທົ່ວແບບຈຳລອງທີ່ມີຄວາມລົ້ມເຫຼວທີ່ແຕກຕ່າງກັນ.

### ການຮຽກຮ້ອງທີ່ທົ່ວໄປກວ່າຈະຕ້ອງມີຫຍັງແດ່?

3:44 ຕິດຕາມສິ່ງທີ່ບັນນາທິການໄດ້ເຫັນ ແລະ ສິ່ງທີ່ນັບວ່າເປັນຜົນສຳເລັດ. ບັດແບບຈຳລອງຂອງ Qwen ໄດ້ເຕືອນກ່ຽວກັບວົງຈອນການຄິດແລ້ວ. ການເອົາຊະນະອຸປະສັກທີ່ຮູ້ຈັກນີ້ມີຈຸດເລີ່ມຕົ້ນສະເພາະ. ສິ່ງທີ່ໜ້າຊົມເຊີຍ, ຜູ້ຂຽນເຜີຍແຜ່ການຕິດຕາມທີ່ບໍ່ສະບາຍເອງ. ພວກເຂົາອະທິບາຍວ່າການຢຸດວົງຈອນເຮັດໃຫ້ Qwen ສາມາດສຳເລັດຄຳຕອບທີ່ມັນສາມາດແກ້ໄຂໄດ້ແລ້ວ. ບັນທຶກຂອງພວກເຂົາປະກອບມີການກະຕຸ້ນ, ຄຳຄິດເຫັນ ແລະ ການແກ້ໄຂ. ພວກເຮົາສາມາດກວດກາຜົນສຳເລັດ ແລະ ຖາມຄຳຖາມທີ່ຍາກກວ່າ.

### ເກີດຫຍັງຂຶ້ນກັບແບບຈຳລອງທີ່ບໍ່ຄ່ອຍມີວົງຈອນ?

4:06 ບັດນີ້ແບບຈຳລອງທີສອງ, Gemma ຂະໜາດນ້ອຍກວ່າໃນການຕັ້ງຄ່າຕິດຕາມຂອງຕົນເອງ. ມັນບໍ່ຄ່ອຍມີວົງຈອນ, ດັ່ງນັ້ນຄວາມລົ້ມເຫຼວຂອງມັນແມ່ນການຄຳນວນຜິດປົກກະຕິ ແລະ ພຶດຊະຄະນິດທີ່ບໍ່ຖືກຕ້ອງ. Astra ໄດ້ລອງແກ້ໄຂນ້ຳໜັກເປົ້າໝາຍດ້ວຍຄຳຄິດເຫັນຈາກການປະຕິບັດອີກຄັ້ງ. ບໍ່ມີອັນໃດທີ່ເຮັດໃຫ້ຄະແນນຄະນິດສາດຂອງມັນປ່ຽນແປງຫຼາຍກວ່າປະມານໜຶ່ງຈຸດ, ແລະບໍ່ມີການຢືນຢັນການເພີ່ມຂຶ້ນ. ການສ້ອມແປງ Qwen ທີ່ສຳເລັດໄດ້ມີອຸປະສັກທີ່ຈະຕ້ອງເອົາອອກ. ຄວາມຜິດພາດທາງຄະນິດສາດຂອງ Gemma ຍັງຄົງຢູ່. ນັ້ນຄືຄຳຖາມທີ່ເປັນປະໂຫຍດສຳລັບນັກພັດທະນາ.

4:28 ການແກ້ໄຂໄດ້ແກ້ໄຂຄວາມລົ້ມເຫຼວໃດ, ແລະ ແບບຈຳລອງຂອງທ່ານມີມັນແທ້ໆບໍ? ທົດສອບນ້ຳໜັກທີ່ບັນທຶກໄວ້ໃນວຽກງານຂອງທ່ານເອງກ່ອນທີ່ຈະສະເຫຼີມສະຫຼອງຕົວຄູນ. ຄໍຂວດທີ່ຖືກສ້ອມແປງສາມາດສຳຄັນຢ່າງມະຫາສານໃນຂະນະທີ່ຄໍຂວດຕໍ່ໄປຍັງຄົງຢູ່ ຢູ່ບ່ອນເກົ່າ. ຖ້າທ່ານຕ້ອງການອ່ານສິ່ງນີ້ຫຼາຍກວ່າຟັງຂ້ອຍເວົ້າ, The Daily Diff ຈະສົ່ງເຂົ້າກ່ອງຈົດໝາຍຂອງທ່ານ ທຸກໆເຊົ້າ, ຟຣີທີ່ thedailydiff.dev, ລິ້ງຂ້າງລຸ່ມ.

### ຂ້ອຍຈະເປີດເຜີຍການຮຽກຮ້ອງການແກ້ໄຂນ້ຳໜັກບໍ?

4:47 ດັ່ງນັ້ນ, ຄຳຕັດສິນຂອງມື້ນີ້ແມ່ນ NEEDS REVIEW. ຂ້ອຍຈະພິຈາລະນາການສ້ອມແປງວົງຈອນຢ່າງຈິງຈັງ ແລະ ທົດສອບມັນ. ຂ້ອຍຈະຮັກສາການຮຽກຮ້ອງທີ່ກວ້າງຂວາງກວ່າໄວ້ກັບຜົນສຳເລັດນອກເໜືອຈາກຮູບແບບຄວາມລົ້ມເຫຼວນັ້ນ. ຕົວຢ່າງໂຕ້ແຍ້ງຂອງຜູ້ຂຽນເອງແມ່ນສິ່ງທີ່ມີປະໂຫຍດທີ່ສຸດໃນ The Daily Diff. ແລະນັ້ນຄື The Daily Diff ສຳລັບມື້ນີ້. ຂ້ອຍຄື Niko ຈາກ Axrisi. ລວມເຂົ້າກັນຢ່າງຮັບຜິດຊອບ.

## ແຫຼ່ງຂໍ້ມູນ

- [Weight-space programming study](https://rikiyat.github.io/blog/weight-space-programming/) — Rikiya Takehi and coauthors
- [November 3 critique of bundled experiment conditions](https://honnibal.dev/blog/astra-read-write-misleading) — Matthew Honnibal
- [Pinned Qwen protocol and exact weight edits](https://github.com/RikiyaT/lm_understand-logs/tree/4d09ba6d6a7e891dd8063974dfe81b3d78e3494f/exp8_math) — Rikiya Takehi and coauthors
- [Actual initial Qwen prompt](https://github.com/RikiyaT/lm_understand-logs/blob/4d09ba6d6a7e891dd8063974dfe81b3d78e3494f/exp8_math/runs/p50c/turns/t001/prompt.txt) — Rikiya Takehi and coauthors
- [Pinned smaller Gemma follow-up](https://github.com/RikiyaT/lm_understand-logs/tree/4d09ba6d6a7e891dd8063974dfe81b3d78e3494f/exp8_math/gemma_followup) — Rikiya Takehi and coauthors
- [Original model-card thinking-loop warning](https://huggingface.co/Qwen/Qwen3.5-0.8B/blob/main/README.md) — Qwen
- [Primary study discussion](https://news.ycombinator.com/item?id=50341174) — Hacker News
- [Critique discussion](https://news.ycombinator.com/item?id=50351111) — Hacker News
- [Cover portrait: Sam Altman, TechCrunch 2019 crop, CC BY 2.0; cropped, background removed, resized and flipped; no endorsement](https://commons.wikimedia.org/wiki/File:Sam_Altman_TechCrunch_SF_2019_Day_2_Oct_3_%28cropped%29.jpg) — Steve Jennings/Getty Images for TechCrunch via Wikimedia Commons
- [Released checkpoint and attributed external re-run](https://huggingface.co/RikiyaT/Qwen3.5-0.8B-weight-space-programming) — RikiyaT on Hugging Face; re-run credited to akhaliq
- [Portrait license: Creative Commons Attribution 2.0](https://creativecommons.org/licenses/by/2.0/) — Creative Commons; Steve Jennings/Getty Images for TechCrunch portrait credit above