# Na-patch ng GPT-6 Astra ang walang katapusang pag-iisip ng isa pang AI

Published: 2026-11-04

Gumamit ang isang pag-aaral na kaakibat ng MIT ng GPT-6 Astra upang i-edit ang mga timbang ng isang maliit na modelo ng Qwen at tulungan ang mas maraming sagot na matapos. Ang naiulat nitong pagtalon sa marka ng matematika ay nakasalalay sa isang naka-target na pag-aayos ng loop, pagsusuri ng Python at feedback sa pagsasanay. Walang naitatag na pakinabang ang natagpuan sa isang hiwalay na mas maliit na follow-up ng Gemma.

Canonical: https://thedailydiff.dev/fil/video/2026-11-03-astra-qwen-weights/

## Ang sakop ng video na ito

- Ang naiulat na pagtaas ng marka ng Qwen ay nagmula sa isang naka-target na pag-aayos sa paulit-ulit na pangangatwiran; humigit-kumulang isang-katlo ng mga na-edit na sagot ay umabot pa rin sa limitasyon ng haba sa pangunahing protocol.
- Ipinagbabawal ang pagsasanay sa gradient, habang pinahihintulutan ang Python, mga sagot sa pagsasanay at naka-batch na feedback sa pagpapatakbo ng modelo sa maraming pagkakataon. Ang mga huling tanong sa pagsusuri ay idineklara ng pinagmulan na hindi kasama.
- Gumamit ang maliliit na raw-weight at no-rollout game experiment ng iba't ibang kondisyon. Dapat mapanatili ng kanilang mga claim ang kanilang indibidwal na saklaw ng tool, input at baseline.
- Pinupuri ni Matthew Honnibal ang tool-assisted engineering at pinagtatalunan ang mas malawak na impresyon na nalikha sa pamamagitan ng pagbubuklod ng mga eksperimento.
- Ginamit ng mas maliit na follow-up ng Gemma ang sarili nitong setup at nabigo na magtatag ng pagpapabuti. Subukan kung aling pagkabigo ang inaayos ng isang pag-edit ng timbang bago ito ilapat sa isa pang modelo.

## Mga tanong at sagot

### Ano ang binago ni Astra upang mapabuti ang naiulat na marka ng matematika ng Qwen?

Nagsagawa si Astra ng naka-target na pag-edit ng timbang na tumulong sa Qwen na tapusin ang mas maraming sagot, ayon sa pag-aaral nina Rikiya Takehi at ng mga kapwa may-akda. Inalis nito ang isang kontribusyon na nauugnay sa pag-uulit mula sa mga napiling column sa mga panloob na layer. Ang naiulat na pagtaas ng marka ng matematika ay gumamit ng isang nakatakdang protocol ng pagsusuri. Maraming na-edit na sagot ang umabot pa rin sa limitasyon ng haba, kaya nananatili ang isang malaking natitirang rate ng pagkabigo sa resulta.

### Anong mga tool at feedback ang pinahintulutan sa panahon ng pag-edit ng timbang ng Qwen?

Pinahintulutan ang pagsusuri ng Python, mga problema sa pagsasanay na may mga sagot at naka-batch na feedback sa pagpapatakbo ng modelo sa maraming pagkakataon. Ipinagbawal ng aktwal na paunang prompt ng mga mananaliksik ang pagsasanay sa gradient at tinukoy ang payo sa diagnostic at causal testing, kabilang ang pag-aayos ng paulit-ulit na pag-iisip bilang isang karapat-dapat na target. Ang suportang ito ay tumulong kay Astra na pumili ng direktang pag-edit sa mga umiiral na timbang. Ang isang yunit ng badyet ay maaaring maglaman ng daan-daang nabuong sagot.

### Magagamit ba ng modelo ng pag-edit ang mga huling problema sa pagsusuri?

Sinasabi ng mga mananaliksik na hindi nakita ni Astra ang mga huling evaluation set. Ang feedback sa pagsasanay ay nagmula sa mga problemang pinaghiwalay para sa pagsasanay at tumulong na pumili ng pag-edit; sinukat ang naisumite na modelo pagkatapos gamit ang hiwalay na mga problemang hindi kasama. Inihayag ng paunang prompt ang mga pangalan ng benchmark at ang protocol ng pagsusuri. Inilalarawan ng pagkakaibang iyon kung ano ang hindi isinama nang hindi sinasabing walang lahat ng impormasyon ang editor tungkol sa gawain.

### Ano ang nangyari sa mas maliit na follow-up ng Gemma sa pag-edit ng timbang?

Nabigo ang mas maliit na follow-up ng Gemma na magtatag ng pakinabang, ayon kina Rikiya Takehi at ng mga kapwa may-akda. Bihira lang umikot ang modelo, at ang mga pagkabigo nito ay kasama ang maling aritmetika at hindi wastong algebra. Ang mga naka-target na pag-edit na may feedback sa pagsasanay ay nagpabago sa naiulat na marka ng matematika ng halos isang puntos lamang. Gumamit ito ng hiwalay na setup, kaya nagbibigay ang paghahambing ng isang nasasakop na counterexample sa halip na isang pantay na kinokontrol na ablation.

### Ano ang naging hatol ng The Daily Diff sa claim sa pag-edit ng timbang?

Ang hatol ng The Daily Diff ay NEEDS REVIEW. Seryosohin ni Niko ang naka-target na pag-aayos ng loop at susubukan ito, habang pinapanatili ang mas malawak na claim na nakabatay sa tagumpay lampas sa mode ng pagkabigo na iyon. Ang sariling counterexample ng mga mananaliksik sa mas maliit na modelo ang nagbibigay-impormasyon sa hatol na iyon. Dapat tukuyin ng mga developer ang pagkabigo na inaayos ng isang pag-edit at suriin ang mga na-save na timbang sa kanilang sariling mga gawain bago ipagdiwang ang isang naiulat na multiplier.

## Mga Kabanata

- 0:00 Bakit tumalon ang marka sa matematika?
- 0:58 Ano ang mali sa ginagawa ng Qwen?
- 1:25 Ano ang pinagtatalunan ng kritiko ngayon?
- 1:41 Anong tulong ang talagang nakuha ni Astra?
- 2:27 Gaano kaliit ang aktwal na pag-aayos?
- 3:08 Aling mga eksperimento ang walang mga tool?
- 3:40 Ano ang kailangan ng mas pangkalahatang claim?
- 4:06 Ano ang nangyari sa modelong bihira lang umikot?
- 4:47 Ipapadala ko ba ang claim sa pag-edit ng timbang?

## Isinaling transcript

Isinalin mula sa orihinal na salaysay sa English. Ang available na audio at mga caption ay kinokontrol ng YouTube.

### Bakit tumalon ang marka sa matematika?

0:00 Ang isang AI na gumagawa ng isa pang AI na anim na beses na mas matalino ay parang agarang henyo. Ang malaking pagtalon ng marka ni Astra ay nagmula sa pagtulong sa Qwen na tapusin ang mga sagot na patuloy nitong inuulit. Sa video na ito, ano ang nagbago? Anong tulong ang nakuha ni Astra? At gaano kalayo ang abot ng pag-aayos? Ang Qwen ay tumalon mula sa humigit-kumulang walong porsyento patungo sa apatnapu't walong porsyento. Sinubukan ng mga mananaliksik ang pangalawang modelo na halos walang mga loop. Titingnan natin kung paano iyon nangyari bago ang desisyon.

0:22 Martes, Nobyembre tatlo, at ito ang The Daily Diff. Ang weight-space programming ang pangalan ng mga mananaliksik para sa pagtatanong sa isang AI na suriin o isulat ang mga numero sa loob ng isang neural network. Ang mga numerong iyon ay ang mga timbang nito. Ang koponan na kaakibat ng MIT na ito ay gumamit ng GPT-6 Astra ng OpenAI upang i-edit ang isang maliit na modelo ng wika ng Qwen, na ipinagbabawal ang ordinaryong pagsasanay. Inilathala ni Rikiya Takehi at ng kanyang mga kapwa may-akda ang pag-aaral noong Lunes,

0:44 nagtatanong kung ang isang umiiral na AI ay maaaring mangatwiran tungkol sa mga panloob na bahagi ng isa pang network. Napakabenta ng kanilang pangunahing resulta. Sa math five hundred, ang Qwen ay tumaas mula sa humigit-kumulang walong porsyento patungo sa apatnapu't walong porsyento. Halos anim na beses ang tamang sagot. Patuloy na nag-iisip si Qwen hanggang sa maubusan siya ng espasyo para sumagot.

### Ano ang mali sa ginagawa ng Qwen?

1:00 Sa mode ng pag-iisip, madalas niyang inuulit ang kanyang pangangatwiran. Isipin ang isang estudyante na pinupuno ang booklet ng pagsusulit ng trabaho hanggang tumunog ang kampana. Kailangan pa rin ng marker ng sagot. Karamihan sa mga orihinal na sagot ay umabot sa limitasyon ng haba. Matatagpuan ni Astra ang isang direksyon ng pag-uulit sa dalawang panloob na layer, pagkatapos ay inalis ang kontribusyon nito mula sa mga napiling column ng timbang. Pagkatapos ng pag-edit na iyon, mas maraming sagot ang nakarating sa isang konklusyon. Humigit-kumulang isang-katlo ay umabot pa rin sa cap sa naiulat na pagsusulit.

1:22 Sa wakas ay nagkaroon ng huling linya ang booklet ng pagsusulit. Ngayon, hinamon ni Matthew Honnibal, ang lumikha ng spaCy at cofounder ng Explosion,

### Ano ang pinagtatalunan ng kritiko ngayon?

1:28 ang presentasyon. Sinasabi niya na maaaring pagsamahin ng mga mambabasa ang iba't ibang kondisyon ng mga eksperimento sa isang impresyon ng isang pambihirang pamamaraan. Ang kanyang pagtutol ay tungkol sa kanilang pinagsamang kwento. Maaari nating suriin ang mga kondisyon mismo. Ang eksperimento ng Qwen ay nagbigay kay Astra ng isang Python notebook sa mga timbang at pagsasanay

### Anong tulong ang talagang nakuha ni Astra?

1:44 mga problema na may mga sagot. Sa maraming pagkakataon, sinuri nito ang mga panloob na activation at inihambing ang mga orihinal at na-edit na bersyon. Pinahintulutan ng huling badyet ang limampung batch ng pagpapatakbo ng modelo. Bawat batch ng henerasyon ay maaaring maglaman ng daan-daang sagot. Ang data ng pagsasanay ay nagmula sa mga training split. Sinasabi ng mga mananaliksik na hindi kailanman nakita ni Astra ang mga huling evaluation set. Tumulong ang feedback na piliin ang pag-edit; sinukat ito ng mga problemang hindi kasama pagkatapos. Ang mga setting ng sampling ay nanatiling nakatakda sa pagitan ng orihinal at na-edit na Qwen,

2:09 na ginagawang interpretable ang paghahambing ng marka ng protocol na ito. Ang unang prompt ay nagbigay dito ng isang kapaki-pakinabang na lab supervisor. Suriin ang mga pagkabigo, hanapin ang mga responsableng bahagi, ihambing sa parehong mga problema, at subukan ang ilang mga lakas. Malinaw nitong binanggit ang paulit-ulit na pag-iisip bilang isang pag-aayos na mahalaga. Dapat makipag-negosasyon ang mga graduate student para sa onboarding package na ito. Iyan ay isang kahanga-hangang pag-aayos.

### Gaano kaliit ang aktwal na pag-aayos?

2:28 Ang naka-target na pag-edit ni Astra ay humipo sa humigit-kumulang isang daan tatlumpu't isang libong timbang. Iyan ay humigit-kumulang labing-anim na libo ng isang porsyento ng modelo. Direktang nagbago ang file ng timbang. Ipinagbabawal ang pagsasanay sa gradient; ginawa ng umiiral na modelo ang pagsagot pagkatapos matapos ang sesyon ng pag-edit ni Astra. Naabot din ng pakinabang ang pagsunod sa instruksyon. Gusto ko ang praktikal na implikasyon. Maaaring magtaglay ang isang modelo ng kapaki-pakinabang na gawain na patuloy na ibinabaon ng mode ng pagkabigo nito.

2:48 Ang pag-aayos ng pagkabigo na iyon ay makakabawi ng mga magagamit na sagot. Mahalaga ang pagtatapos. Pinupuri ni Honnibal ang tool-assisted na trabaho bilang pagganap ng mga gawain na kayang gawin ng isang human machine-learning engineer. Iyan ay may kahulugan para sa isang ahente. Ang kanyang reklamo ay ang maliliit na raw-number na demonstrasyon at mas malaking Python-assisted na pag-aayos ay nag-iimbita ng mas malawak na konklusyon kapag pinagsama. Kunin ang maliliit na network ng laro.

### Aling mga eksperimento ang walang mga tool?

3:09 Sa isang eksperimento, binasa ni Astra ang kanilang mga raw na numero at tama na natukoy kung alin na laro ang natutunan ng bawat network. Ipinagbabawal ang mga tool. Sa isa pa, sumulat ito ng mga bagong timbang sa paglalaro mula sa simula gamit ang mga patakaran at source code, na walang practice rollout. Iyon ay mga hiwalay na demonstrasyon na may hiwalay na ebidensya. Natalo ng mga network ni Astra ang baseline na sinanay sa loob ng isang daang milyong hakbang sa lahat ng tatlong laro. Laban sa mas matagal na sinanay na baseline, natalo ito sa Seaquest at

3:32 Asterix, habang nanalo sa Breakout. Baguhin ang column ng paghahambing, at kailangan ng pag-edit ang talumpati ng tagumpay. Kung sabagay, ang pag-edit ang paksa ngayon. Para sa mas malawak na claim, gusto natin ng mga pagpapabuti sa mga modelo na may iba't ibang pagkabigo.

### Ano ang kailangan ng mas pangkalahatang claim?

3:44 Subaybayan kung ano ang nakita ng editor at kung ano ang binilang na tagumpay. Ang model card ng Qwen ay nagbabala na tungkol sa mga thinking loop. Ang pagtanggal ng kilalang hadlang na ito ay may partikular na panimulang punto. Sa kanilang kredito, ang mga may-akda mismo ang naglathala ng hindi komportable na follow-up. Ipinaliwanag nila na ang paghinto ng mga loop ay nagpapahintulot sa Qwen na tapusin ang mga sagot na kaya na nitong gawin. Kasama sa kanilang mga log ang mga prompt, feedback at mga pag-edit. Maaari nating suriin ang tagumpay at magtanong ng mas mahirap na tanong.

### Ano ang nangyari sa modelong bihira lang umikot?

4:06 Ngayon ang pangalawang modelo, isang mas maliit na Gemma sa sarili nitong follow-up na setup. Bihira itong umikot, kaya ang mga pagkabigo nito ay ordinaryong maling aritmetika at hindi wasto algebra. Muling sinubukan ni Astra ang mga naka-target na pag-edit ng timbang na may feedback sa pagsasanay. Wala sa mga ito ang nagpabago sa marka ng matematika nito ng higit sa halos isang puntos, at hindi naitatag ang isang pakinabang. Ang matagumpay na pag-aayos ng Qwen ay may hadlang na dapat tanggalin. Nakayanan ng Gemma ang mga error sa aritmetika. Iyan ang kapaki-pakinabang na tanong para sa mga developer.

4:28 Aling pagkabigo ang inayos ng pag-edit, at mayroon ba talaga ito ang iyong modelo? Subukan ang mga na-save na timbang sa iyong sariling mga gawain bago ipagdiwang ang multiplier. Maaaring maging napakahalaga ang isang naayos na bottleneck habang ang susunod na bottleneck ay nananatili eksaktong kung nasaan ito. Kung mas gusto mong basahin ito kaysa pakinggan akong sabihin ito, ang diff ay dumarating sa iyong inbox tuwing umaga, libre sa the daily diff dot dev, link sa ibaba.

### Ipapadala ko ba ang claim sa pag-edit ng timbang?

4:47 Kaya, ang hatol ngayon ay NEEDS REVIEW. Seryosohin ko ang pag-aayos ng loop at susubukan ko ito. Pananatilihin kong nakabatay sa tagumpay ang mas malawak na claim na lampas sa mode ng pagkabigo na iyon. Ang sariling counterexample ng mga may-akda ang pinakakapaki-pakinabang na linya sa diff. At iyan ang diff para sa ngayon. Ako si Niko mula sa Axrisi. Mag-merge nang may pananagutan.

## Mga Pinagmulan

- [Weight-space programming study](https://rikiyat.github.io/blog/weight-space-programming/) — Rikiya Takehi and coauthors
- [November 3 critique of bundled experiment conditions](https://honnibal.dev/blog/astra-read-write-misleading) — Matthew Honnibal
- [Pinned Qwen protocol and exact weight edits](https://github.com/RikiyaT/lm_understand-logs/tree/4d09ba6d6a7e891dd8063974dfe81b3d78e3494f/exp8_math) — Rikiya Takehi and coauthors
- [Actual initial Qwen prompt](https://github.com/RikiyaT/lm_understand-logs/blob/4d09ba6d6a7e891dd8063974dfe81b3d78e3494f/exp8_math/runs/p50c/turns/t001/prompt.txt) — Rikiya Takehi and coauthors
- [Pinned smaller Gemma follow-up](https://github.com/RikiyaT/lm_understand-logs/tree/4d09ba6d6a7e891dd8063974dfe81b3d78e3494f/exp8_math/gemma_followup) — Rikiya Takehi and coauthors
- [Original model-card thinking-loop warning](https://huggingface.co/Qwen/Qwen3.5-0.8B/blob/main/README.md) — Qwen
- [Primary study discussion](https://news.ycombinator.com/item?id=50341174) — Hacker News
- [Critique discussion](https://news.ycombinator.com/item?id=50351111) — Hacker News
- [Cover portrait: Sam Altman, TechCrunch 2019 crop, CC BY 2.0; cropped, background removed, resized and flipped; no endorsement](https://commons.wikimedia.org/wiki/File:Sam_Altman_TechCrunch_SF_2019_Day_2_Oct_3_%28cropped%29.jpg) — Steve Jennings/Getty Images for TechCrunch via Wikimedia Commons
- [Released checkpoint and attributed external re-run](https://huggingface.co/RikiyaT/Qwen3.5-0.8B-weight-space-programming) — RikiyaT on Hugging Face; re-run credited to akhaliq
- [Portrait license: Creative Commons Attribution 2.0](https://creativecommons.org/licenses/by/2.0/) — Creative Commons; Steve Jennings/Getty Images for TechCrunch portrait credit above