# GPT-6 Astra သည် အခြား AI ၏ အဆုံးမဲ့တွေးခေါ်မှုကို ပြုပြင်ပြောင်းလဲခဲ့သည်။

Published: 2026-11-04

MIT နှင့် ဆက်နွယ်နေသော လေ့လာမှုတစ်ခုတွင် GPT-6 Astra ကို အသုံးပြု၍ Qwen မော်ဒယ်ငယ်တစ်ခု၏ အလေးချိန်များကို ပြင်ဆင်ပြီး အဖြေများ ပိုမိုပြီးမြောက်အောင် ကူညီပေးခဲ့သည်။ ၎င်း၏ သတင်းပို့ထားသော သင်္ချာရမှတ်တိုးတက်မှုသည် ပစ်မှတ်ထားသော loop ပြုပြင်မှု၊ Python ခွဲခြမ်းစိတ်ဖြာမှုနှင့် လေ့ကျင့်မှု တုံ့ပြန်ချက်တို့အပေါ် မူတည်ပါသည်။ သီးခြားသေးငယ်သော Gemma နောက်ဆက်တွဲ လေ့လာမှုတွင် မည်သည့်တိုးတက်မှုမျှ မတွေ့ရှိခဲ့ပါ။

Canonical: https://thedailydiff.dev/my/video/2026-11-03-astra-qwen-weights/

## ဤဗီဒီယိုတွင် ဖော်ပြထားသောအရာများ

- Qwen ၏ ရမှတ်တိုးတက်မှုသည် ထပ်တလဲလဲတွေးခေါ်မှုအတွက် ပစ်မှတ်ထားသော ပြုပြင်မှုမှ ဆင်းသက်လာခြင်းဖြစ်သည်။ ပြင်ဆင်ထားသော အဖြေများ၏ သုံးပုံတစ်ပုံခန့်သည် အဓိက ပရိုတိုကောတွင် အရှည်ကန့်သတ်ချက်ကို ရောက်ရှိနေဆဲဖြစ်သည်။
- Gradient training ကို တားမြစ်ထားသော်လည်း Python၊ လေ့ကျင့်ခန်းအဖြေများနှင့် batched model-run feedback များကို အလှည့်များစွာတွင် ခွင့်ပြုခဲ့သည်။ နောက်ဆုံး အကဲဖြတ် မေးခွန်းများကို အရင်းအမြစ်မှ ထုတ်ယူထားကြောင်း ကြေညာခဲ့သည်။
- သေးငယ်သော raw-weight နှင့် no-rollout game စမ်းသပ်မှုများသည် မတူညီသော အခြေအနေများကို အသုံးပြုခဲ့သည်။ ၎င်းတို့၏ တောင်းဆိုချက်များသည် ၎င်းတို့၏ တစ်ဦးချင်းစီ ကိရိယာ၊ အဝင်အထွက်နှင့် အခြေခံ အတိုင်းအတာကို ထိန်းသိမ်းထားသင့်သည်။
- Matthew Honnibal သည် tool-assisted engineering ကို ချီးကျူးပြီး စမ်းသပ်မှုများကို ပေါင်းစည်းခြင်းဖြင့် ဖြစ်ပေါ်လာသော ပိုမိုကျယ်ပြန့်သော အထင်အမြင်ကို ငြင်းခုံသည်။
- သေးငယ်သော Gemma နောက်ဆက်တွဲ လေ့လာမှုသည် ၎င်း၏ကိုယ်ပိုင် စနစ်တည်ဆောက်မှုကို အသုံးပြုခဲ့ပြီး တိုးတက်မှုကို မဖော်ထုတ်နိုင်ခဲ့ပါ။ အလေးချိန်ပြင်ဆင်မှုတစ်ခုသည် မည်သည့်ပျက်စီးမှုကို ပြင်ဆင်သည်ကို စမ်းသပ်ပြီးမှသာ အခြားမော်ဒယ်တစ်ခုသို့ အသုံးချပါ။

## အမေးအဖြေများ

### Qwen ၏ သတင်းပို့ထားသော သင်္ချာရမှတ်ကို တိုးတက်စေရန် Astra က ဘာတွေ ပြောင်းလဲခဲ့သလဲ။

Rikiya Takehi နှင့် ၎င်း၏ ပူးတွဲရေးသားသူများ၏ လေ့လာမှုအရ Astra သည် Qwen ၏ အဖြေများ ပိုမိုပြီးမြောက်အောင် ကူညီပေးသည့် ပစ်မှတ်ထားသော weight edit တစ်ခုကို ပြုလုပ်ခဲ့သည်။ ၎င်းသည် အတွင်းပိုင်းအလွှာများရှိ ရွေးချယ်ထားသော ကော်လံများမှ ထပ်ခါတလဲလဲဖြစ်ခြင်းနှင့် ဆက်စပ်သော ပါဝင်မှုကို ဖယ်ရှားခဲ့သည်။ သတင်းပို့ထားသော သင်္ချာရမှတ်တိုးတက်မှုသည် သတ်မှတ်ထားသော အကဲဖြတ် ပရိုတိုကောကို အသုံးပြုခဲ့သည်။ ပြင်ဆင်ထားသော အဖြေများစွာသည် အရှည်ကန့်သတ်ချက်ကို ဆက်လက်ထိန်းထားနိုင်ဆဲဖြစ်သောကြောင့် ရလဒ်သည် သိသာထင်ရှားသော ကျန်ရှိနေသော ပျက်စီးမှုနှုန်းကို ထိန်းသိမ်းထားသည်။

### Qwen weight edit ပြုလုပ်စဉ်တွင် မည်သည့် ကိရိယာများနှင့် တုံ့ပြန်ချက်များကို ခွင့်ပြုခဲ့သလဲ။

Python ခွဲခြမ်းစိတ်ဖြာမှု၊ အဖြေများပါဝင်သော လေ့ကျင့်ခန်းပြဿနာများနှင့် batched model-run feedback များကို အလှည့်များစွာတွင် ခွင့်ပြုခဲ့သည်။ သုတေသီများ၏ တကယ့် ကနဦး prompt သည် gradient training ကို တားမြစ်ထားပြီး ထပ်ခါတလဲလဲ တွေးခေါ်မှု ပြုပြင်ခြင်းကို ရွေးချယ်နိုင်သော ပစ်မှတ်အဖြစ် အပါအဝင် ရောဂါရှာဖွေခြင်းနှင့် အကြောင်းရင်းဆိုင်ရာ စမ်းသပ်ခြင်းဆိုင်ရာ အကြံဉာဏ်များကို သတ်မှတ်ထားသည်။ ဤအကူအညီက Astra ကို ရှိပြီးသား weights များသို့ တိုက်ရိုက် ပြင်ဆင်မှုတစ်ခုကို ရွေးချယ်ရာတွင် ကူညီပေးခဲ့သည်။ ဘတ်ဂျက်ယူနစ်တစ်ခုတွင် ထုတ်လုပ်ထားသော အဖြေရာပေါင်းများစွာ ပါဝင်နိုင်သည်။

### နောက်ဆုံး အကဲဖြတ် ပြဿနာများကို တည်းဖြတ်သော မော်ဒယ်သို့ ရနိုင်ခဲ့ပါသလား။

သုတေသီများက နောက်ဆုံးအကဲဖြတ်အစုံများကို Astra မှ မမြင်တွေ့ရသေးဟု ဆိုသည်။ လေ့ကျင့်မှု တုံ့ပြန်ချက်သည် training-split ပြဿနာများမှ ဆင်းသက်လာပြီး ပြင်ဆင်မှုကို ရွေးချယ်ရာတွင် ကူညီပေးခဲ့သည်။ နောက်ပိုင်းတွင် သီးခြားထိန်းသိမ်းထားသော ပြဿနာများက တင်သွင်းထားသော မော်ဒယ်ကို တိုင်းတာခဲ့သည်။ ကနဦး prompt သည် benchmark အမည်များနှင့် အကဲဖြတ် protocol ကို ထုတ်ဖော်ခဲ့သည်။ ထိုခြားနားချက်က တည်းဖြတ်သူသည် လုပ်ငန်းတာဝန်နှင့် ပတ်သက်သည့် အချက်အလက်အားလုံးကို မရရှိခဲ့ဟု မဆိုဘဲ ဖယ်ထုတ်ထားသည်များကို ဖော်ပြသည်။

### သေးငယ်သော Gemma weight-editing နောက်ဆက်တွဲတွင် ဘာဖြစ်ခဲ့သလဲ။

Rikiya Takehi နှင့် ၎င်း၏ ပူးတွဲရေးသားသူများ၏ အဆိုအရ သေးငယ်သော Gemma နောက်ဆက်တွဲသည် တိုးတက်မှုကို မဖော်ထုတ်နိုင်ခဲ့ပါ။ မော်ဒယ်သည် loop လုပ်ခဲပြီး ၎င်း၏ ချို့ယွင်းချက်များတွင် မှားယွင်းသော သင်္ချာနှင့် မမှန်ကန်သော algebra များ ပါဝင်သည်။ လေ့ကျင့်မှု တုံ့ပြန်ချက်ဖြင့် ပစ်မှတ်ထားသော ပြင်ဆင်မှုများသည် သတင်းပို့ထားသော သင်္ချာရမှတ်ကို အများဆုံး တစ်မှတ်ခန့်အထိသာ ပြောင်းလဲခဲ့သည်။ ၎င်းသည် သီးခြားစနစ်တည်ဆောက်မှုကို အသုံးပြုခဲ့သောကြောင့် နှိုင်းယှဉ်မှုသည် တန်းတူထိန်းချုပ်ထားသော ablation အစား ကန့်သတ်ထားသော ဆန့်ကျင်ဘက်ဥပမာတစ်ခုကို ပံ့ပိုးပေးသည်။

### The Daily Diff ၏ weight-editing တောင်းဆိုချက်အပေါ် ဆုံးဖြတ်ချက်က ဘာလဲ။

The Daily Diff ၏ ဆုံးဖြတ်ချက်မှာ NEEDS REVIEW ဖြစ်သည်။ Niko သည် ပစ်မှတ်ထားသော loop ပြင်ဆင်မှုကို အလေးအနက်ထားပြီး စမ်းသပ်မည်ဖြစ်ပြီး၊ ထိုချို့ယွင်းချက်အပြင် တိုးတက်မှုအောင်မြင်မှသာ ပိုမိုကျယ်ပြန့်သော တောင်းဆိုချက်များကို လက်ခံမည်ဖြစ်သည်။ သုတေသီများ၏ ကိုယ်ပိုင်သေးငယ်သော မော်ဒယ်ဆန့်ကျင်ဘက်ဥပမာသည် ထိုဆုံးဖြတ်ချက်ကို အထောက်အကူပြုသည်။ developer များသည် ပြင်ဆင်မှုတစ်ခုက မည်သည့်ချို့ယွင်းချက်ကို ပြင်ဆင်သည်ကို ဖော်ထုတ်ပြီး သတင်းပို့ထားသော မြှောက်ကိန်းကို ဂုဏ်မပြုမီ ၎င်းတို့၏ကိုယ်ပိုင်အလုပ်များပေါ်တွင် သိမ်းဆည်းထားသော weights များကို အကဲဖြတ်သင့်သည်။

## အခန်းများ

- 0:00 သင်္ချာရမှတ် ဘာကြောင့် တက်လာတာလဲ။
- 0:58 Qwen ဘာတွေ မှားနေတာလဲ။
- 1:25 ဒီနေ့ ဝေဖန်သူက ဘာကို ငြင်းခုံတာလဲ။
- 1:41 Astra က ဘယ်လို အကူအညီတွေ ရခဲ့လဲ။
- 2:27 တကယ့်ပြင်ဆင်မှုက ဘယ်လောက်သေးငယ်တာလဲ။
- 3:08 ဘယ်စမ်းသပ်မှုတွေမှာ တကယ်ပဲ ကိရိယာတွေ မပါခဲ့တာလဲ။
- 3:40 ပိုမိုကျယ်ပြန့်သော တောင်းဆိုချက်တစ်ခုက ဘာလိုအပ်မလဲ။
- 4:06 loop နည်းပါးသော မော်ဒယ်ကို ဘာဖြစ်သွားလဲ။
- 4:47 အလေးချိန်ပြင်ဆင်မှု တောင်းဆိုချက်ကို ကျွန်တော် SHIP IT လုပ်မလား။

## ဘာသာပြန်ထားသော စာသားမှတ်တမ်း

မူရင်း အင်္ဂလိပ်စကားပြောမှ ဘာသာပြန်ထားသည်။ ရရှိနိုင်သော အသံနှင့် စာတန်းထိုးများကို YouTube မှ ထိန်းချုပ်ထားသည်။

### သင်္ချာရမှတ် ဘာကြောင့် တက်လာတာလဲ။

0:00 AI တစ်ခုက အခြား AI တစ်ခုကို ခြောက်ဆ ပိုစမတ်ကျအောင် ဖန်တီးတယ်ဆိုတာ ချက်ချင်းဆိုသလိုပဲ ပါရမီရှင်တစ်ယောက်လိုပါပဲ။ Astra ရဲ့ ရမှတ်အများကြီး တက်လာတာက Qwen ကို ထပ်ခါတလဲလဲ ပြန်ဖြေနေတဲ့ အဖြေတွေကို ပြီးမြောက်အောင် ကူညီပေးခဲ့လို့ပါ။ ဒီဗီဒီယိုမှာ ဘာတွေ ပြောင်းလဲသွားလဲ။ Astra က ဘယ်လိုအကူအညီတွေ ရခဲ့လဲ။ ပြီးတော့ ပြင်ဆင်မှုက ဘယ်လောက်အထိ အသုံးဝင်ခဲ့လဲ။ Qwen က ရှစ်ရာခိုင်နှုန်းလောက်ကနေ လေးဆယ့်ရှစ်ရာခိုင်နှုန်းအထိ တက်လာခဲ့ပါတယ်။ သုတေသီတွေက loop နည်းပါးတဲ့ ဒုတိယမော်ဒယ်ကို စမ်းသပ်ခဲ့ပါတယ်။ ဆုံးဖြတ်ချက်မချခင် အဲဒါ ဘယ်လိုဖြစ်သွားလဲဆိုတာ ကြည့်ရအောင်။

0:22 နိုဝင်ဘာ ၃ ရက် အင်္ဂါနေ့ဖြစ်ပြီး ဒါက The Daily Diff ဖြစ်ပါတယ်။ Weight-space programming ဆိုတာ သုတေသီတွေက AI ကို နျူရွန်ကွန်ရက်ထဲက နံပါတ်တွေကို စစ်ဆေးဖို့ ဒါမှမဟုတ် ရေးဖို့ တောင်းဆိုတာကို ခေါ်တဲ့ အမည်ပါ။ အဲဒီနံပါတ်တွေက ၎င်းရဲ့ weights တွေပါ။ ဒီ MIT နဲ့ ဆက်နွယ်တဲ့ အဖွဲ့ဟာ OpenAI ရဲ့ GPT-6 Astra ကို အသုံးပြုပြီး Qwen ဘာသာစကားမော်ဒယ်ငယ်လေးကို ပြင်ဆင်ခဲ့ပါတယ်။ သာမန်လေ့ကျင့်မှုကို တားမြစ်ထားပါတယ်။ Rikiya Takehi နှင့် ၎င်း၏ ပူးတွဲရေးသားသူများသည် တနင်္လာနေ့တွင် လေ့လာမှုကို ထုတ်ဝေခဲ့ပြီး ရှိပြီးသား AI တစ်ခုသည် အခြားကွန်ရက်တစ်ခု၏ အတွင်းပိုင်းများကို ဆင်ခြင်သုံးသပ်နိုင်သလားဟု မေးခွန်းထုတ်ခဲ့သည်။

0:44 သူတို့ရဲ့ ခေါင်းစီးရလဒ်ကတော့ အရမ်းဆွဲဆောင်မှုရှိပါတယ်။ Math 500 မှာ Qwen က ရှစ်ရာခိုင်နှုန်းကနေ လေးဆယ့်ရှစ်ရာခိုင်နှုန်းအထိ တက်လာခဲ့ပါတယ်။ အဖြေမှန်များ၏ ခြောက်ဆနီးပါး။ Qwen သည် အဖြေပေးရန် နေရာမရှိတော့သည်အထိ ဆက်လက်တွေးတောနေခဲ့သည်။ စဉ်းစားနေချိန်တွင် ၎င်းသည် ၎င်း၏ဆင်ခြင်တုံတရားကို မကြာခဏ ထပ်ခါတလဲလဲ လုပ်ဆောင်ခဲ့သည်။

### Qwen ဘာတွေ မှားနေတာလဲ။

1:00 ကျောင်းသားတစ်ဦးသည် စာမေးပွဲစာအုပ်ကို အချိန်ကုန်သည်အထိ အလုပ်များဖြင့် ဖြည့်နေသည်ကို စဉ်းစားကြည့်ပါ။ စာစစ်သူသည် အဖြေတစ်ခုကို လိုအပ်နေဆဲဖြစ်သည်။ မူရင်းအဖြေအများစုသည် အရှည်ကန့်သတ်ချက်ကို ကျော်လွန်ခဲ့သည်။ Astra သည် အတွင်းပိုင်းအလွှာနှစ်ခုတွင် ထပ်ခါတလဲလဲဖြစ်နေသော ဦးတည်ချက်ကို တွေ့ရှိခဲ့ပြီး၊ ထို့နောက် ရွေးချယ်ထားသော weight ကော်လံများမှ ၎င်း၏ ပါဝင်မှုကို ဖယ်ရှားခဲ့သည်။ ထိုပြုပြင်ပြီးနောက် အဖြေများ ပိုများလာပြီး နိဂုံးချုပ်သို့ ရောက်ရှိခဲ့သည်။ အစီရင်ခံထားသော စမ်းသပ်မှုတွင် သုံးပုံတစ်ပုံခန့်သည် ကန့်သတ်ချက်ကို ဆက်လက်ထိန်းထားနိုင်ဆဲဖြစ်သည်။ စာမေးပွဲစာအုပ်သည် နောက်ဆုံးတွင် နောက်ဆုံးစာကြောင်းကို ရရှိခဲ့သည်။

1:22 ယနေ့တွင် Matthew Honnibal (spaCy ၏ ဖန်တီးသူနှင့် Explosion ၏ ပူးတွဲတည်ထောင်သူ) သည် တင်ပြပုံကို စိန်ခေါ်ခဲ့သည်။

### ဒီနေ့ ဝေဖန်သူက ဘာကို ငြင်းခုံတာလဲ။

1:28 သူက စာဖတ်သူတွေဟာ စမ်းသပ်မှုတွေရဲ့ မတူညီတဲ့ အခြေအနေတွေကို ပေါင်းစပ်ပြီး ထူးခြားတဲ့ နည်းစနစ်တစ်ခုရဲ့ အထင်အမြင်ကို ဖန်တီးနိုင်တယ်လို့ ပြောပါတယ်။ သူ့ရဲ့ ကန့်ကွက်ချက်က သူတို့ရဲ့ ပေါင်းစည်းထားတဲ့ ဇာတ်လမ်းနဲ့ ပတ်သက်ပါတယ်။ ကျွန်ုပ်တို့ ကိုယ်တိုင် အခြေအနေများကို စစ်ဆေးနိုင်ပါတယ်။ Qwen စမ်းသပ်မှုတွင် Astra ကို Python notebook တစ်ခုကို weights နှင့် လေ့ကျင့်မှု အဖြေများပါဝင်သော ပြဿနာများကို ပေးခဲ့သည်။

### Astra က ဘယ်လို အကူအညီတွေ ရခဲ့လဲ။

1:44 အလှည့်များစွာတွင် ၎င်းသည် အတွင်းပိုင်းလှုပ်ရှားမှုများကို စစ်ဆေးခဲ့ပြီး မူရင်းနှင့် ပြင်ဆင်ထားသော ဗားရှင်းများကို နှိုင်းယှဉ်ခဲ့သည်။ နောက်ဆုံးဘတ်ဂျက်သည် မော်ဒယ် run ၅၀ အထိ ခွင့်ပြုခဲ့သည်။ တစ်ကြိမ်ထုတ်လုပ်မှုအစုအဝေးတွင် အဖြေရာပေါင်းများစွာ ပါဝင်နိုင်သည်။ လေ့ကျင့်ရေးဒေတာများကို training splits မှ ရရှိခဲ့သည်။ သုတေသီများက Astra သည် နောက်ဆုံးအကဲဖြတ်အစုံများကို တစ်ခါမျှ မတွေ့ဖူးဟု ဆိုသည်။ တုံ့ပြန်ချက်က ပြင်ဆင်မှုကို ရွေးချယ်ရာတွင် ကူညီပေးခဲ့သည်။ နောက်ပိုင်းတွင် ထိန်းသိမ်းထားသော ပြဿနာများက ၎င်းကို တိုင်းတာခဲ့သည်။ နမူနာရယူခြင်း ဆက်တင်များသည် မူရင်းနှင့် ပြင်ဆင်ထားသော Qwen အကြားတွင် မပြောင်းလဲဘဲ ရှိနေခဲ့ပြီး၊ ဤ protocol ၏ ရမှတ်နှိုင်းယှဉ်မှုကို နားလည်နိုင်စေခဲ့သည်။

2:09 ပထမဆုံး prompt က ၎င်းကို ကူညီတတ်တဲ့ ဓာတ်ခွဲခန်းကြီးကြပ်သူတစ်ဦး ပေးခဲ့ပါတယ်။ ချို့ယွင်းချက်များကို ရှာဖွေပါ၊ တာဝန်ရှိသော အစိတ်အပိုင်းများကို ရှာဖွေပါ၊ တူညီသော ပြဿနာများပေါ်တွင် နှိုင်းယှဉ်ပါ၊ နှင့် စွမ်းအားအမျိုးမျိုးကို စမ်းသပ်ပါ။ ၎င်းသည် ထပ်ခါတလဲလဲ တွေးခေါ်မှုကို ပြုပြင်မှုအဖြစ် အတိအလင်း ဖော်ပြခဲ့သည်။ ဘွဲ့လွန်ကျောင်းသားများသည် ဤ onboarding package ကို ညှိနှိုင်းရယူသင့်သည်။ အဲဒါက စွဲမက်ဖွယ်ကောင်းတဲ့ ပြင်ဆင်မှုတစ်ခုပါ။ Astra ၏ ပစ်မှတ်ထားသော ပြင်ဆင်မှုသည် အလေးချိန် တစ်သိန်းသုံးသောင်းတစ်ထောင်ခန့်ကို ထိခဲ့သည်။

### တကယ့်ပြင်ဆင်မှုက ဘယ်လောက်သေးငယ်တာလဲ။

2:28 ဒါက မော်ဒယ်ရဲ့ ရာခိုင်နှုန်း တစ်သောင်းခြောက်ထောင်ပုံတစ်ပုံလောက်ရှိပါတယ်။ အလေးချိန်ဖိုင်ကို တိုက်ရိုက် ပြောင်းလဲခဲ့ပါတယ်။ Gradient training ကို ဆက်လက်တားမြစ်ထားပြီး Astra ၏ ပြင်ဆင်မှု ပြီးဆုံးပြီးနောက်တွင် ရှိပြီးသား မော်ဒယ်က အဖြေပေးခဲ့ပါတယ်။ အကျိုးအမြတ်သည် ညွှန်ကြားချက်လိုက်နာမှုအထိ ရောက်ရှိခဲ့သည်။ လက်တွေ့ကျသော သက်ရောက်မှုကို ကျွန်တော် ကြိုက်ပါသည်။ မော်ဒယ်တစ်ခုသည် ၎င်း၏ ချို့ယွင်းချက်ကြောင့် မြှုပ်နှံခံထားရသော အသုံးဝင်သော အလုပ်များကို ပိုင်ဆိုင်နိုင်သည်။ ထိုချို့ယွင်းချက်ကို ပြင်ဆင်ခြင်းဖြင့် အသုံးဝင်သော အဖြေများကို ပြန်လည်ရယူနိုင်ပါသည်။

2:48 ပြီးစီးမှုက အရေးကြီးပါတယ်။ Honnibal က ကိရိယာအကူအညီနဲ့ လုပ်ဆောင်ခဲ့တဲ့ အလုပ်ကို လူ့စက်သင်ယူမှုအင်ဂျင်နီယာတစ်ဦး လုပ်နိုင်တဲ့ အလုပ်တွေကို လုပ်ဆောင်ခဲ့တယ်လို့ မှတ်ယူပါတယ်။ အဲဒါက အေးဂျင့်တစ်ဦးအတွက် အကျိုးဆက်ကြီးပါတယ်။ သူ့ရဲ့ တိုင်ကြားချက်ကတော့ သေးငယ်တဲ့ raw-number သရုပ်ပြမှုတွေနဲ့ ပိုကြီးတဲ့ Python-assisted ပြုပြင်မှုတွေကို ပေါင်းစည်းလိုက်တဲ့အခါ ပိုမိုကျယ်ပြန့်တဲ့ ကောက်ချက်တစ်ခုကို ရောက်ရှိစေနိုင်တယ်ဆိုတာပါပဲ။ သေးငယ်သော game ကွန်ရက်များကို ကြည့်ပါ။ စမ်းသပ်မှုတစ်ခုတွင် Astra သည် ၎င်းတို့၏ raw နံပါတ်များကို ဖတ်ပြီး ကွန်ရက်တစ်ခုစီသည် မည်သည့်

### ဘယ်စမ်းသပ်မှုတွေမှာ တကယ်ပဲ ကိရိယာတွေ မပါခဲ့တာလဲ။

3:09 ဂိမ်းကို သင်ယူထားသည်ကို မှန်ကန်စွာ ဖော်ထုတ်ခဲ့သည်။ ကိရိယာများကို တားမြစ်ထားသည်။ နောက်ထပ်တစ်ခုတွင် ၎င်းသည် စည်းမျဉ်းများနှင့် source code ကို အသုံးပြု၍ အသစ်စက်စက် ဂိမ်းကစားခြင်း weights များကို ရေးသားခဲ့ပြီး လေ့ကျင့်မှု rollouts မပါဝင်ခဲ့ပါ။ ၎င်းတို့သည် သီးခြားအထောက်အထားများဖြင့် သီးခြားသရုပ်ပြမှုများဖြစ်သည်။ Astra ၏ ကွန်ရက်များသည် ဂိမ်းသုံးခုစလုံးတွင် အဆင့် တစ်ရာသန်းအတွက် လေ့ကျင့်ထားသော အခြေခံကို ကျော်လွန်ခဲ့သည်။ ပိုမိုကြာရှည်စွာ လေ့ကျင့်ထားသော အခြေခံနှင့် ယှဉ်လျှင် ၎င်းသည် Seaquest နှင့် Asterix တွင် ရှုံးနိမ့်ခဲ့ပြီး Breakout တွင် အနိုင်ရခဲ့သည်။ နှိုင်းယှဉ်မှု ကော်လံကို ပြောင်းလဲလိုက်ပါက အောင်ပွဲခံ မိန့်ခွန်းကို ပြင်ဆင်ရန် လိုအပ်ပါသည်။ အဆင်ပြေစွာဖြင့်၊ ပြင်ဆင်ခြင်းသည် ယနေ့ခေါင်းစဉ်ဖြစ်သည်။

3:32 ပိုမိုကျယ်ပြန့်သော တောင်းဆိုချက်အတွက် မတူညီသော ချို့ယွင်းချက်များရှိသည့် မော်ဒယ်များတွင် တိုးတက်မှုများကို လိုအပ်ပါသည်။ တည်းဖြတ်သူ ဘာတွေ မြင်ခဲ့သလဲ၊ ဘာကို အောင်မြင်မှုလို့ မှတ်ယူသလဲ ဆိုတာကို မှတ်တမ်းတင်ပါ။ Qwen ၏ မော်ဒယ်ကတ်သည် တွေးခေါ်မှု loop များအကြောင်း သတိပေးထားပြီးသားဖြစ်သည်။ ဤသိရှိထားသော အတားအဆီးကို ဖယ်ရှားခြင်းသည် သီးခြားစတင်သည့် အမှတ်တစ်ခု ရှိသည်။

### ပိုမိုကျယ်ပြန့်သော တောင်းဆိုချက်တစ်ခုက ဘာလိုအပ်မလဲ။

3:44 သူတို့၏ ဂုဏ်ကျေးဇူးကို ချီးကျူးရမည်မှာ စာရေးဆရာများသည် မသက်မသာဖြစ်စေသော နောက်ဆက်တွဲကို သူတို့ကိုယ်တိုင် ထုတ်ဝေခဲ့ခြင်း ဖြစ်သည်။ သူတို့က loop တွေကို ရပ်တန့်လိုက်ခြင်းက Qwen ကို အဖြေတွေ ပြီးအောင် လုပ်နိုင်စေတယ်လို့ ရှင်းပြပါတယ်။ သူတို့ရဲ့ log တွေမှာ prompt တွေ၊ feedback တွေနဲ့ edit တွေ ပါဝင်ပါတယ်။ ကျွန်ုပ်တို့သည် အောင်မြင်မှုကို စစ်ဆေးနိုင်ပြီး ပိုခက်ခဲသော မေးခွန်းတစ်ခု မေးမြန်းနိုင်ပါသည်။ အခုတော့ ဒုတိယမော်ဒယ်ဖြစ်တဲ့ Gemma အငယ်စားကို ၎င်းရဲ့ ကိုယ်ပိုင်နောက်ဆက်တွဲ စနစ်မှာ ကြည့်ရအောင်။ ၎င်းသည် loop လုပ်ခဲပြီး ၎င်း၏ ချို့ယွင်းချက်များသည် သာမန်မှားယွင်းသော သင်္ချာနှင့် မမှန်ကန်သော algebra များ ပါဝင်သည်။ Astra သည် လေ့ကျင့်ခန်း တုံ့ပြန်ချက်ဖြင့် ပစ်မှတ်ထားသော weight edit များကို ထပ်မံကြိုးစားခဲ့သည်။ မည်သည့်အရာမျှ ၎င်း၏ သင်္ချာရမှတ်ကို တစ်မှတ်ထက် ပိုမိုပြောင်းလဲစေခဲ့ခြင်း မရှိဘဲ၊

### loop နည်းပါးသော မော်ဒယ်ကို ဘာဖြစ်သွားလဲ။

4:06 တိုးတက်မှုကိုလည်း မဖော်ထုတ်နိုင်ခဲ့ပါ။ Qwen ၏ အောင်မြင်သော ပြင်ဆင်မှုသည် ဖယ်ရှားရန် အတားအဆီးတစ်ခု ရှိခဲ့သည်။ Gemma ၏ သင်္ချာအမှားများသည် ဆက်လက်တည်ရှိနေခဲ့သည်။ အဲဒါက developer တွေအတွက် အသုံးဝင်တဲ့ မေးခွန်းပါ။ ပြုပြင်မှုက ဘယ်ချို့ယွင်းချက်ကို ပြင်ဆင်ခဲ့သလဲ၊ မင်းရဲ့မော်ဒယ်မှာ တကယ်ပဲ အဲဒါရှိသလား။ မြှောက်ကိန်းကို ဂုဏ်မပြုမီ သင်၏ကိုယ်ပိုင်အလုပ်များပေါ်တွင် သိမ်းဆည်းထားသော weights များကို စမ်းသပ်ပါ။ ပြင်ဆင်ထားသော bottleneck သည် အလွန်အရေးပါနိုင်သော်လည်း နောက်ထပ် bottleneck သည် ၎င်းရှိနေခဲ့သည့်အတိုင်း အတိအကျ ရှိနေဆဲဖြစ်သည်။

4:28 ကျွန်တော်ပြောတာကို နားထောင်မယ့်အစား ဖတ်ချင်တယ်ဆိုရင်တော့ အဲဒီ diff က မနက်တိုင်း သင့် inbox ထဲကို ရောက်လာမှာပါ၊ the daily diff dot dev မှာ အခမဲ့ရနိုင်ပါတယ်။ ဒါကြောင့် ဒီနေ့ရဲ့ ဆုံးဖြတ်ချက်ကတော့ NEEDS REVIEW ပါ။ ကျွန်တော် loop repair ကို အလေးအနက်ထားပြီး စမ်းသပ်ပါမယ်။ အဲဒီ ချို့ယွင်းချက်အပြင် တိုးတက်မှုအောင်မြင်မှပဲ ပိုမိုကျယ်ပြန့်တဲ့ တောင်းဆိုချက်တွေကို လက်ခံပါမယ်။ စာရေးသူတွေရဲ့ ကိုယ်ပိုင်ဆန့်ကျင်ဘက်ဥပမာကတော့ diff မှာ အသုံးဝင်ဆုံးစာကြောင်းပါပဲ။

### အလေးချိန်ပြင်ဆင်မှု တောင်းဆိုချက်ကို ကျွန်တော် SHIP IT လုပ်မလား။

4:47 ဒါကတော့ ဒီနေ့အတွက် diff ပါ။ ကျွန်တော် Axrisi က Niko ပါ။ တာဝန်ယူမှုဖြင့် ပေါင်းစည်းပါ။ အခြား AI တစ်ခု၏ အဆုံးမဲ့တွေးခေါ်မှုကို GPT-6 Astra မှ ပြင်ဆင်ခဲ့သည်။ MIT နှင့် ဆက်နွယ်နေသော လေ့လာမှုတစ်ခုတွင် GPT-6 Astra ကို အသုံးပြု၍ Qwen မော်ဒယ်ငယ်တစ်ခု၏ အလေးချိန်များကို ပြင်ဆင်ပြီး အဖြေများ ပိုမိုပြီးမြောက်အောင် ကူညီပေးခဲ့သည်။ ၎င်း၏ သတင်းပို့ထားသော သင်္ချာရမှတ်တိုးတက်မှုသည် ပစ်မှတ်ထားသော loop ပြုပြင်မှု၊ Python ခွဲခြမ်းစိတ်ဖြာမှုနှင့် လေ့ကျင့်မှု တုံ့ပြန်ချက်တို့အပေါ် မူတည်ပါသည်။ သီးခြားသေးငယ်သော Gemma နောက်ဆက်တွဲ လေ့လာမှုတွင် မည်သည့်တိုးတက်မှုမျှ မတွေ့ရှိခဲ့ပါ။ MIT နှင့် ဆက်နွယ်နေသော လေ့လာမှုတစ်ခုတွင် GPT-6 Astra ကို အသုံးပြု၍ Qwen မော်ဒယ်ငယ်တစ်ခု၏ အလေးချိန်များကို ပြင်ဆင်ပြီး အဖြေများ ပိုမိုပြီးမြောက်အောင် ကူညီပေးခဲ့သည်။ ၎င်း၏ သတင်းပို့ထားသော သင်္ချာရမှတ်တိုးတက်မှုသည် ပစ်မှတ်ထားသော loop ပြုပြင်မှု၊ Python ခွဲခြမ်းစိတ်ဖြာမှုနှင့် လေ့ကျင့်မှု တုံ့ပြန်ချက်တို့အပေါ် မူတည်ပါသည်။ သီးခြားသေးငယ်သော Gemma နောက်ဆက်တွဲ လေ့လာမှုတွင် မည်သည့်တိုးတက်မှုမျှ မတွေ့ရှိခဲ့ပါ။ Qwen ၏ ရမှတ်တိုးတက်မှုသည် ထပ်တလဲလဲတွေးခေါ်မှုအတွက် ပစ်မှတ်ထားသော ပြုပြင်မှုမှ ဆင်းသက်လာခြင်းဖြစ်သည်။ ပြင်ဆင်ထားသော အဖြေများ၏ သုံးပုံတစ်ပုံခန့်သည် အဓိက ပရိုတိုကောတွင် အရှည်ကန့်သတ်ချက်ကို ရောက်ရှိနေဆဲဖြစ်သည်။

## ရင်းမြစ်များ

- [Weight-space programming study](https://rikiyat.github.io/blog/weight-space-programming/) — Rikiya Takehi and coauthors
- [November 3 critique of bundled experiment conditions](https://honnibal.dev/blog/astra-read-write-misleading) — Matthew Honnibal
- [Pinned Qwen protocol and exact weight edits](https://github.com/RikiyaT/lm_understand-logs/tree/4d09ba6d6a7e891dd8063974dfe81b3d78e3494f/exp8_math) — Rikiya Takehi and coauthors
- [Actual initial Qwen prompt](https://github.com/RikiyaT/lm_understand-logs/blob/4d09ba6d6a7e891dd8063974dfe81b3d78e3494f/exp8_math/runs/p50c/turns/t001/prompt.txt) — Rikiya Takehi and coauthors
- [Pinned smaller Gemma follow-up](https://github.com/RikiyaT/lm_understand-logs/tree/4d09ba6d6a7e891dd8063974dfe81b3d78e3494f/exp8_math/gemma_followup) — Rikiya Takehi and coauthors
- [Original model-card thinking-loop warning](https://huggingface.co/Qwen/Qwen3.5-0.8B/blob/main/README.md) — Qwen
- [Primary study discussion](https://news.ycombinator.com/item?id=50341174) — Hacker News
- [Critique discussion](https://news.ycombinator.com/item?id=50351111) — Hacker News
- [Cover portrait: Sam Altman, TechCrunch 2019 crop, CC BY 2.0; cropped, background removed, resized and flipped; no endorsement](https://commons.wikimedia.org/wiki/File:Sam_Altman_TechCrunch_SF_2019_Day_2_Oct_3_%28cropped%29.jpg) — Steve Jennings/Getty Images for TechCrunch via Wikimedia Commons
- [Released checkpoint and attributed external re-run](https://huggingface.co/RikiyaT/Qwen3.5-0.8B-weight-space-programming) — RikiyaT on Hugging Face; re-run credited to akhaliq
- [Portrait license: Creative Commons Attribution 2.0](https://creativecommons.org/licenses/by/2.0/) — Creative Commons; Steve Jennings/Getty Images for TechCrunch portrait credit above