# GPT-6 Astra выправіла бясконцае мысленне іншага ШІ

Published: 2026-11-04

Даследаванне, звязанае з MIT, выкарыстоўвала GPT-6 Astra для рэдагавання вагаў невялікай мадэлі Qwen і дапамагло большай колькасці адказаў быць завершанымі. Заяўлены скачок у матэматычных балах залежаў ад мэтанакіраванага выпраўлення цыклу, аналізу Python і практычнай зваротнай сувязі. Асобнае наступнае даследаванне меншай Gemma не выявіла ўсталяванага прыросту.

Canonical: https://thedailydiff.dev/be/video/2026-11-03-astra-qwen-weights/

## Што ахоплівае гэта відэа

- Заяўленае павелічэнне бала Qwen адбылося з мэтанакіраванага выпраўлення паўтаральных разваг; прыблізна траціна адрэдагаваных адказаў усё яшчэ дасягнула абмежавання па даўжыні ў асноўным пратаколе.
- Градыентнае навучанне было забаронена, у той час як Python, практычныя адказы і пакетная зваротная сувязь па выкананых мадэлях былі дазволены на працягу многіх цыклаў. Канчатковыя ацэначныя пытанні былі абвешчаны крыніцай утрыманымі.
- Невялікія эксперыменты з "сырымі" вагамі і без разгортвання ў гульнях выкарыстоўвалі розныя ўмовы. Іх сцвярджэнні павінны захоўваць свой індывідуальны інструмент, увод і базавы аб'ём.
- Мэцью Хонібал адзначае інжынерныя рашэнні з дапамогай інструментаў і аспрэчвае больш шырокае ўражанне, якое ствараецца аб'яднаннем эксперыментаў.
- Паслядуючае даследаванне меншай Gemma выкарыстоўвала ўласную наладу і не змагло ўсталяваць паляпшэнне. Праверце, якую няспраўнасць выпраўляе рэдагаванне вагаў, перш чым прымяняць яго да іншай мадэлі.

## Пытанні і адказы

### Што змяніла Astra, каб палепшыць заяўлены матэматычны бал Qwen?

Astra зрабіла мэтанакіраванае рэдагаванне вагаў, якое дапамагло Qwen завяршыць больш адказаў, згодна з даследаваннем Рыкіі Такэхі і суаўтараў. Яно выдаліла ўклад, звязаны з паўтарэннем, з выбраных слупкоў ва ўнутраных слаях. Заяўленае павелічэнне матэматычнага бала выкарыстоўвала фіксаваны пратакол ацэнкі. Многія адрэдагаваныя адказы ўсё яшчэ дасягалі ліміту даўжыні, таму вынік захоўвае значны рэшткавы ўзровень няспраўнасцяў.

### Якія інструменты і зваротная сувязь былі дазволены падчас рэдагавання вагаў Qwen?

Аналіз Python, практычныя задачы з адказамі і пакетная зваротная сувязь па выкананых мадэлях былі дазволены на працягу многіх цыклаў. Фактычны першапачатковы запыт даследчыкаў забараняў градыентнае навучанне і ўказваў дыягнастычныя і прычынна-выніковыя парады па тэставанні, уключаючы выпраўленне паўтаральнага мыслення як прыдатную мэту. Гэтая падтрымка дапамагла Astra выбраць прамое рэдагаванне існуючых вагаў. Адзінка бюджэту магла ўтрымліваць сотні згенераваных адказаў.

### Ці былі канчатковыя ацэначныя задачы даступныя для мадэлі рэдагавання?

Даследчыкі кажуць, што канчатковыя ацэначныя наборы заставаліся нябачнымі для Astra. Практычная зваротная сувязь паступала з задач па раздзяленні для навучання і дапамагла выбраць рэдагаванне; асобныя "ўтрыманыя" задачы ацэньвалі прадстаўленую мадэль пазней. Першапачатковы запыт раскрываў назвы эталонных паказчыкаў і пратакол ацэнкі. Гэта адрозненне апісвае, што было "ўтрымана", не сцвярджаючы, што рэдактар не меў усёй інфармацыі аб задачы.

### Што адбылося ў наступным даследаванні рэдагавання вагаў меншай Gemma?

Наступнае даследаванне меншай Gemma не змагло ўсталяваць прырост, згодна з Рыкіем Такэхі і суаўтарамі. Мадэль рэдка цыклілася, і яе няспраўнасці ўключалі няправільную арыфметыку і несапраўдную алгебру. Мэтанакіраваныя рэдагаванні з практычнай зваротнай сувяззю змянілі заяўлены матэматычны бал не больш чым прыкладна на пункт. Яно выкарыстоўвала асобную наладу, таму параўнанне дае абмежаваны контрпрыклад, а не эквівалентнае кантраляванае абясшкоджванне.

### Які быў вердыкт The Daily Diff адносна сцвярджэння аб рэдагаванні вагаў?

Вердыкт The Daily Diff быў ТРЭБА ПРАВЕРЫЦЬ. Ніка сур'ёзна паставіўся б да мэтанакіраванага выпраўлення цыклу і праверыў бы яго, у той час як трымаў бы больш шырокія сцвярджэнні абмежаванымі поспехам за межамі гэтага рэжыму няспраўнасці. Уласны контрпрыклад даследчыкаў з меншай мадэллю пацвярджае гэтае меркаванне. Распрацоўшчыкі павінны ідэнтыфікаваць няспраўнасць, якую выпраўляе рэдагаванне, і ацаніць захаваныя вагі на сваіх уласных задачах, перш чым святкаваць заяўлены множнік.

## Раздзелы

- 0:00 Чаму матэматычны бал "падскочыў"?
- 0:58 Што Qwen рабіў няправільна?
- 1:25 Што аспрэчвае сённяшні крытык?
- 1:41 Якую дапамогу сапраўды атрымала Astra?
- 2:27 Наколькі малым было фактычнае выпраўленне?
- 3:08 Якія эксперыменты сапраўды не мелі інструментаў?
- 3:40 Што спатрэбілася б для больш агульнага сцвярджэння?
- 4:06 Што здарылася з мадэллю, якая рэдка цыклілася?
- 4:47 Ці адпраўляў бы я сцвярджэнне аб рэдагаванні вагаў?

## Перакладзеная стэнаграма

Перакладзена з арыгінальнай англійскай агучкі. Даступнае аўдыя і субтытры кантралююцца YouTube.

### Чаму матэматычны бал "падскочыў"?

0:00 ШІ, які робіць іншы ШІ ў шэсць разоў разумнейшым, гучыць як імгненны геній. Вялікі скачок балаў Astra адбыўся ад таго, што яна дапамагла Qwen завяршыць адказы, якія ён пастаянна паўтараў. У гэтым відэа, што змянілася? Якую дапамогу атрымала Astra? І наколькі далёка распаўсюджваецца выпраўленне? Qwen падняўся прыкладна з васьмі працэнтаў да сарака васьмі працэнтаў. Даследчыкі паспрабавалі другую мадэль амаль без цыклаў. Мы паглядзім, як гэта пайшло, перш чым вынесці вердыкт.

0:22 Сёння аўторак, трэцяга лістапада, і гэта The Daily Diff. Праграмаванне ў вагавым прасторы - гэта назва, якую даследчыкі даюць запыту ШІ інспектаваць або запісваць лічбы ўнутры нейроннай сеткі. Гэтыя лічбы - гэта яе вагі. Гэтая каманда, звязаная з MIT, выкарыстала GPT six Astra ад OpenAI для рэдагавання невялікай моўнай мадэлі Qwen, пры гэтым звычайнае навучанне было забаронена. Рыкія Такэхі і яго суаўтары апублікавалі даследаванне ў панядзелак,

0:44 запытваючы, ці можа існуючы ШІ разважаць аб унутранай структуры іншай сеткі. Іх галоўны вынік вельмі клікабельны. На матэматыцы пяцьсот, Qwen падняўся прыкладна з васьмі працэнтаў да сарака васьмі працэнтаў. Амаль у шэсць разоў больш правільных адказаў. Qwen працягваў думаць, пакуль у яго не скончылася месца для адказу.

### Што Qwen рабіў няправільна?

1:00 У рэжыме мыслення ён часта паўтараў свае развагі. Уявіце студэнта, які запаўняе экзаменацыйны сшытак працай да званка. Выкладчыку ўсё яшчэ патрэбен адказ. Большасць арыгінальных адказаў дасягалі ліміту даўжыні. Astra выявіла кірунак паўтарэння ў двух унутраных слаях, затым выдаліла яго ўклад з выбраных слупкоў вагаў. Пасля гэтага рэдагавання больш адказаў дасягнулі высновы. Каля траціны ўсё яшчэ дасягалі ліміту ў заяўленым тэсце.

1:22 Экзаменацыйны сшытак нарэшце атрымаў апошні радок. Сёння Мэцью Хонібал, стваральнік spaCy і сузаснавальнік Explosion,

### Што аспрэчвае сённяшні крытык?

1:28 аспрэчыў прэзентацыю. Ён кажа, што чытачы могуць аб'яднаць розныя ўмовы эксперыментаў у уражанне ад адной надзвычайнай тэхнікі. Яго пярэчанне тычыцца іх аб'яднанай гісторыі. Мы можам праверыць умовы самі. Эксперымент з Qwen даў Astra нататнік Python над вагамі і практычныя

### Якую дапамогу сапраўды атрымала Astra?

1:44 задачы з адказамі. На працягу многіх цыклаў ён інспектаваў унутраныя актывацыі і параўноўваў арыгінальныя і адрэдагаваныя версіі. Канчатковы бюджэт дазволіў пяцьдзесят пакетаў запускаў мадэлі. Кожны пакет генерацыі мог утрымліваць сотні адказаў. Практычныя дадзеныя паходзілі з раздзяленняў для навучання. Даследчыкі кажуць, што Astra ніколі не бачыла канчатковых ацэначных набораў. Зваротная сувязь дапамагла выбраць рэдагаванне; "ўтрыманыя" задачы вымяралі яго пазней. Налады выбаркі заставаліся фіксаванымі паміж арыгінальным і адрэдагаваным Qwen,

2:09 што робіць параўнанне балаў па гэтым пратаколе інтэрпрэтаваным. Першы запыт даў яму карыснага кіраўніка лабараторыі. Дыягнастуйце няспраўнасці, знайдзіце адказныя кампаненты, параўнайце на адных і тых жа задачах і праверце некалькі моцных бакоў. Ён выразна згадваў паўтаральнае мысленне як выпраўленне, якое залічваецца. Аспіранты павінны дамаўляцца аб такім пакеце ўвядзення ў працу. Гэта ўражлівае выпраўленне.

### Наколькі малым было фактычнае выпраўленне?

2:28 Мэтанакіраванае рэдагаванне Astra закранула прыблізна сто трыццаць адну тысячу вагаў. Гэта прыблізна шаснаццаць тысячных працэнта мадэлі. Файл вагаў змяніўся непасрэдна. Градыентнае навучанне заставалася забароненым; існуючая мадэль давала адказы пасля заканчэння сесіі рэдагавання Astra. Прырост таксама дасягнуў выканання інструкцый. Мне падабаецца практычнае значэнне. Мадэль можа валодаць карыснай працай, якую хавае яе рэжым няспраўнасці.

2:48 Выпраўленне гэтай няспраўнасці можа аднавіць прыдатныя адказы. Завяршэнне мае значэнне. Хонібал аддае належнае працы з дапамогай інструментаў, лічачы яе выкананнем задач, якія мог бы выканаць чалавек-інжынер машыннага навучання. Гэта важна для агента. Яго скарга ў тым, што невялікія дэманстрацыі з "сырымі" лічбамі і буйнейшыя выпраўленні з дапамогай Python, аб'яднаныя разам, прыводзяць да больш шырокай высновы. Возьмем малюсенькія гульнявыя сеткі.

### Якія эксперыменты сапраўды не мелі інструментаў?

3:09 У адным эксперыменце Astra прачытала іх "сырыя" лічбы і правільна вызначыла, якую гульню вывучыла кожная сетка. Інструменты былі забаронены. У іншым, яна напісала новыя вагі для гульняў з нуля, выкарыстоўваючы правілы і зыходны код, без практычных разгортванняў. Гэта асобныя дэманстрацыі з асобнымі доказамі. Сеткі Astra перасягнулі базавы ўзровень, навучаны на сто мільёнаў крокаў, ва ўсіх трох гульнях. У параўнанні з доўга навучаным базавым узроўнем, яна прайграла ў Seaquest і

3:32 Asterix, выйграўшы Breakout. Зменіце слупок параўнання, і пераможная прамова запатрабуе рэдагавання. Зручна, што рэдагаванне - гэта сённяшняя тэма. Для больш шырокага сцвярджэння нам спатрэбіліся б паляпшэнні ў мадэлях з рознымі няспраўнасцямі.

### Што спатрэбілася б для больш агульнага сцвярджэння?

3:44 Адсочвайце, што бачыў рэдактар і што лічылася поспехам. Карта мадэлі Qwen ужо папярэджвае аб цыклах мыслення. Выдаленне гэтай вядомай перашкоды мае асаблівую адпраўную кропку. Да іх гонару, аўтары самі публікуюць нязручнае наступнае даследаванне. Яны тлумачаць, што спыненне цыклаў дазваляе Qwen завяршыць адказы, якія ён ужо мог выпрацаваць. Іх журналы ўключаюць запыты, зваротную сувязь і рэдагаванні. Мы можам вывучыць дасягненне і задаць больш складанае пытанне.

### Што здарылася з мадэллю, якая рэдка цыклілася?

4:06 Цяпер другая мадэль, меншая Gemma ў сваёй уласнай наступнай наладзе. Яна рэдка цыклілася, таму яе няспраўнасці былі звычайнай няправільнай арыфметыкай і несапраўднай алгебрай. Astra зноў паспрабавала мэтанакіраванае рэдагаванне вагаў з практычнай зваротнай сувяззю. Ні адзін з іх не змяніў яе матэматычны бал больш чым прыкладна на пункт, і прырост не быў усталяваны. Паспяховае выпраўленне Qwen мела перашкоду для выдалення. Арыфметычныя памылкі Gemma захаваліся. Гэта карыснае пытанне для распрацоўшчыкаў.

4:28 Якую няспраўнасць выправіла рэдагаванне, і ці ёсць яна на самай справе ў вашай мадэлі? Праверце захаваныя вагі на сваіх уласных задачах, перш чым святкаваць множнік. Выпраўленае вузкае месца можа мець велізарнае значэнне, у той час як наступнае вузкае месца застаецца сапраўды там, дзе яно было. Калі вы аддаеце перавагу чытаць гэта, а не чуць, як я кажу, дыф прыходзіць у вашу паштовую скрыню кожную раніцу, бясплатна на the daily diff dot dev, спасылка ніжэй.

### Ці адпраўляў бы я сцвярджэнне аб рэдагаванні вагаў?

4:47 Такім чынам, сённяшні вердыкт: ТРЭБА ПРАВЕРЫЦЬ. Я б сур'ёзна паставіўся да выпраўлення цыклу і праверыў бы яго. Я б трымаў больш шырокія сцвярджэнні абмежаванымі поспехам за межамі гэтага рэжыму няспраўнасці. Уласны контрпрыклад аўтараў - самая карысная радок у дыфе. І гэта ўвесь дыф на сёння. Я Ніка з Axrisi. Злівайцеся адказна.

## Крыніцы

- [Weight-space programming study](https://rikiyat.github.io/blog/weight-space-programming/) — Rikiya Takehi and coauthors
- [November 3 critique of bundled experiment conditions](https://honnibal.dev/blog/astra-read-write-misleading) — Matthew Honnibal
- [Pinned Qwen protocol and exact weight edits](https://github.com/RikiyaT/lm_understand-logs/tree/4d09ba6d6a7e891dd8063974dfe81b3d78e3494f/exp8_math) — Rikiya Takehi and coauthors
- [Actual initial Qwen prompt](https://github.com/RikiyaT/lm_understand-logs/blob/4d09ba6d6a7e891dd8063974dfe81b3d78e3494f/exp8_math/runs/p50c/turns/t001/prompt.txt) — Rikiya Takehi and coauthors
- [Pinned smaller Gemma follow-up](https://github.com/RikiyaT/lm_understand-logs/tree/4d09ba6d6a7e891dd8063974dfe81b3d78e3494f/exp8_math/gemma_followup) — Rikiya Takehi and coauthors
- [Original model-card thinking-loop warning](https://huggingface.co/Qwen/Qwen3.5-0.8B/blob/main/README.md) — Qwen
- [Primary study discussion](https://news.ycombinator.com/item?id=50341174) — Hacker News
- [Critique discussion](https://news.ycombinator.com/item?id=50351111) — Hacker News
- [Cover portrait: Sam Altman, TechCrunch 2019 crop, CC BY 2.0; cropped, background removed, resized and flipped; no endorsement](https://commons.wikimedia.org/wiki/File:Sam_Altman_TechCrunch_SF_2019_Day_2_Oct_3_%28cropped%29.jpg) — Steve Jennings/Getty Images for TechCrunch via Wikimedia Commons
- [Released checkpoint and attributed external re-run](https://huggingface.co/RikiyaT/Qwen3.5-0.8B-weight-space-programming) — RikiyaT on Hugging Face; re-run credited to akhaliq
- [Portrait license: Creative Commons Attribution 2.0](https://creativecommons.org/licenses/by/2.0/) — Creative Commons; Steve Jennings/Getty Images for TechCrunch portrait credit above