# GPT-6 Astra закърпи безкрайното мислене на друг изкуствен интелект

Published: 2026-11-04

Проучване, свързано с MIT, използва GPT-6 Astra за редактиране на теглата на малък модел Qwen и помогна за завършването на повече отговори. Отчетеното увеличение на резултата по математика зависи от целенасочен ремонт на цикли, анализ на Python и обратна връзка от практиката. Отделно, последващо проучване на по-малък Gemma не установи доказана полза.

Canonical: https://thedailydiff.dev/bg/video/2026-11-03-astra-qwen-weights/

## Какво обхваща този видеоклип

- Отчетеното увеличение на резултата на Qwen дойде от целенасочен ремонт на повтарящи се разсъждения; около една трета от редактираните отговори все още достигаха ограничението за дължина в основния протокол.
- Градиентното обучение беше забранено, докато Python, практически отговори и обратна връзка от пакетни изпълнения на модела бяха разрешени в много цикли. Окончателните въпроси за оценка бяха декларирани като изключени от източника.
- Експериментите с малки сурови тегла и без разгръщане на игра използваха различни условия. Техните твърдения трябва да запазят индивидуалния си обхват на инструменти, входове и базови линии.
- Матю Хонибал признава заслугите на инженерството, подпомогнато от инструменти, и оспорва по-широкото впечатление, създадено от групирането на експериментите.
- Последващото проучване на по-малкия Gemma използва собствена настройка и не успя да установи подобрение. Тествайте коя грешка поправя редактирането на теглото, преди да го приложите към друг модел.

## Въпроси и отговори

### Какво промени Astra, за да подобри отчетения резултат по математика на Qwen?

Astra направи целенасочена редакция на теглата, която помогна на Qwen да завърши повече отговори, според проучването на Рикия Такехи и съавтори. Тя премахна принос, свързан с повторение, от избрани колони във вътрешни слоеве. Отчетеното увеличение на резултата по математика използва фиксиран протокол за оценка. Много редактирани отговори все още достигаха ограничението за дължина, така че резултатът запазва значителна остатъчна степен на отказ.

### Какви инструменти и обратна връзка бяха разрешени по време на редакцията на теглата на Qwen?

Анализ на Python, практически задачи с отговори и пакетна обратна връзка от изпълнения на модела бяха разрешени в много цикли. Действителната първоначална подкана на изследователите забраняваше градиентното обучение и специфицираше съвети за диагностично и причинно-следствено тестване, включително ремонт на повтарящо се мислене като допустима цел. Тази поддръжка помогна на Astra да избере директна редакция на съществуващи тегла. Една бюджетна единица можеше да съдържа стотици генерирани отговори.

### Бяха ли достъпни окончателните задачи за оценка за модела за редактиране?

Изследователите казват, че окончателните набори за оценка са останали невидими за Astra. Практическата обратна връзка идва от задачи за тренировъчно разделяне и е помогнала за избора на редакцията; отделни, задържани задачи са измервали предоставения модел впоследствие. Първоначалната подкана е разкрила имената на бенчмарковете и протокола за оценка. Това разграничение описва какво е било скрито, без да твърди, че редакторът е нямал никаква информация за задачата.

### Какво се случи в последващото проучване за редактиране на тегла на по-малкия Gemma?

По-малкото последващо проучване на Gemma не успя да установи печалба, според Рикия Такехи и съавтори. Моделът рядко циклираше, а неговите грешки включваха неправилна аритметика и невалидна алгебра. Целенасочените редакции с обратна връзка от практиката промениха отчетения резултат по математика най-много с около една точка. Той използваше отделна настройка, така че сравнението предоставя обхватен контрапример, а не равностойна контролирана аблиация.

### Каква беше присъдата на The Daily Diff относно твърдението за редактиране на тегла?

Присъдата на The Daily Diff беше НУЖДАЕ СЕ ОТ ПРЕГЛЕД. Нико би приел сериозно целенасочения ремонт на цикъла и би го тествал, като същевременно би държал по-широките твърдения ограничени до успех извън този режим на отказ. Собственият контрапример на авторите с по-малък модел подкрепя тази преценка. Разработчиците трябва да идентифицират грешката, която редакцията поправя, и да оценят запазените тегла върху собствените си задачи, преди да празнуват отчетения множител.

## Глави

- 0:00 Защо резултатът по математика скочи?
- 0:58 Какво грешеше Qwen?
- 1:25 Какво оспорва днешният критик?
- 1:41 Каква помощ всъщност получи Astra?
- 2:27 Колко малък беше действителният ремонт?
- 3:08 Кои експерименти наистина нямаха инструменти?
- 3:40 Какво би трябвало едно по-общо твърдение?
- 4:06 Какво се случи с модела, който рядко цикли?
- 4:47 Би ли подкрепил твърдението за редактиране на тегла?

## Преведен препис

Преведено от оригиналния английски разказ. Наличните аудио и субтитри се контролират от YouTube.

### Защо резултатът по математика скочи?

0:00 Изкуствен интелект, който прави друг изкуствен интелект шест пъти по-умен, звучи като моментален гений. Големият скок в резултата на Astra дойде от помощта на Qwen да завърши отговори, които той продължаваше да повтаря. В това видео, какво се промени? Каква помощ получи Astra? И докъде стига корекцията? Qwen скочи от около осем процента до четиридесет и осем процента. Изследователите тестваха втори модел с почти никакви цикли. Ще видим как мина това преди присъдата.

0:22 Вторник е, трети ноември, и това е The Daily Diff. Програмирането в пространството на теглата е името на изследователите за това да поискаш от изкуствен интелект да инспектира или напише числата вътре в невронна мрежа. Тези числа са неговите тегла. Този екип, свързан с MIT, използва GPT-6 Astra на OpenAI за редактиране на малък езиков модел Qwen, като обичайното обучение беше забранено. Рикия Такехи и неговите съавтори публикуваха проучването в понеделник,

0:44 питайки дали съществуващ изкуствен интелект може да разсъждава върху вътрешностите на друга мрежа. Техният водещ резултат е много кликаем. На Math 500, Qwen се повиши от около осем процента до четиридесет и осем процента. Почти шест пъти повече верни отговори. Qwen продължаваше да мисли, докато не му свърши мястото да отговаря.

### Какво грешеше Qwen?

1:00 В режим на мислене, той често повтаряше разсъжденията си. Представете си студент, който попълва изпитната книжка с работа, докато не звънне звънецът. Оценяващият все още се нуждае от отговор. Повечето оригинални отговори достигнаха ограничението за дължина. Astra локализира посока на повторение в два вътрешни слоя, след което премахна приноса ѝ от избрани колони на теглата. След тази редакция, повече отговори достигнаха до заключение. Около една трета все още достигаха тавана в отчетения тест.

1:22 Изпитната книжка най-накрая получи последен ред. Днес, Матю Хонибал, създателят на spaCy и съосновател на Explosion,

### Какво оспорва днешният критик?

1:28 оспори представянето. Той казва, че читателите могат да комбинират различните условия на експериментите в впечатление за една изключителна техника. Неговото възражение се отнася до тяхната комбинирана история. Можем сами да проверим условията. Експериментът с Qwen даде на Astra тетрадка на Python върху теглата и практически

### Каква помощ всъщност получи Astra?

1:44 задачи с отговори. През много цикли, той инспектира вътрешни активации и сравняваше оригинални и редактирани версии. Окончателният бюджет позволи петдесет партиди изпълнения на модела. Всяка партида за генериране можеше да съдържа стотици отговори. Данните за практиката дойдоха от тренировъчни разделяния. Изследователите казват, че Astra никога не е виждала окончателните набори за оценка. Обратната връзка помогна за избора на редакцията; изключени проблеми я измерваха впоследствие. Настройките за извадка останаха фиксирани между оригиналния и редактирания Qwen,

2:09 което прави сравнението на резултатите по този протокол интерпретируемо. Първоначалната подкана му даде полезен лабораторен ръководител. Диагностицирайте грешки, намерете отговорните компоненти, сравнете по същите проблеми и тествайте няколко силни страни. Изрично спомена повтарящото се мислене като ремонт, който се брои. Докторантите трябва да договарят този пакет за въвеждане в работа. Това е впечатляващ ремонт.

### Колко малък беше действителният ремонт?

2:28 Целенасочената редакция на Astra засегна приблизително сто тридесет и едно хиляди тегла. Това е около шестнадесет хилядни от процента от модела. Файлът с теглата се промени директно. Градиентното обучение остана забранено; съществуващият модел даваше отговори след приключване на сесията за редактиране на Astra. Подобрението достигна и до спазването на инструкции. Харесвам практическото приложение. Моделът може да притежава полезна работа, която неговият режим на отказ продължава да заравя.

2:48 Коригирането на този отказ може да възстанови използваеми отговори. Завършването има значение. Хонибал признава заслугите на работата, подпомогната от инструменти, като изпълняваща задачи, които човек-машинен инженер би могъл да свърши. Това е значимо за един агент. Неговото оплакване е, че малките демонстрации на сурови числа и по-големите ремонти, подпомогнати от Python, подтикват към по-широко заключение, когато са събрани заедно. Вземете малките мрежи за игри.

### Кои експерименти наистина нямаха инструменти?

3:09 В един експеримент Astra прочете техните сурови числа и правилно идентифицира коя игра е научила всяка мрежа. Инструменти бяха забранени. В друг, тя написа нови тегла за игра от нулата, използвайки правилата и изходния код, без практически разгръщания. Това са отделни демонстрации с отделни доказателства. Мрежите на Astra победиха базовите, обучени за сто милиона стъпки във всички трите игри. Срещу по-дълго обучената базова линия, тя загуби в Seaquest и

3:32 Asterix, докато спечели Breakout. Променете колоната за сравнение и речта за победа се нуждае от редактиране. Удобно, редактирането е днешната тема. За по-широко твърдение бихме искали подобрения при модели с различни грешки.

### Какво би трябвало едно по-общо твърдение?

3:44 Проследете какво е видял редакторът и какво е счетено за успех. Картата на модела на Qwen вече предупреждава за цикли на мислене. Премахването на това известно препятствие има конкретна начална точка. За тяхна чест, авторите сами публикуват неудобния последващ преглед. Те обясняват, че спирането на циклите позволява на Qwen да завърши отговори, които вече е можел да изработи. Техните дневници включват подкани, обратна връзка и редакции. Можем да разгледаме постижението и да зададем по-труден въпрос.

### Какво се случи с модела, който рядко цикли?

4:06 Сега вторият модел, по-малък Gemma в собствена последваща настройка. Той рядко циклираше, така че неговите грешки бяха обикновени неправилни аритметични и невалидни алгебрични операции. Astra отново опита целенасочени редакции на теглата с обратна връзка от практиката. Нито една не промени резултата му по математика с повече от около точка, и печалба не беше установена. Успешният ремонт на Qwen имаше препятствие за отстраняване. Аритметичните грешки на Gemma оцеляха. Това е полезният въпрос за разработчиците.

4:28 Коя грешка поправи редакцията и дали вашият модел наистина я има? Тествайте запазените тегла върху собствените си задачи, преди да празнувате множителя. Поправянето на тясно място може да е изключително важно, докато следващото тясно място остава точно там, където е било. Ако предпочитате да прочетете това, вместо да ме чуете да го казвам, промените пристигат във входящата ви кутия всяка сутрин, безплатно на thedailydiff.dev, линк по-долу.

### Би ли подкрепил твърдението за редактиране на тегла?

4:47 И така, днешната присъда е НУЖДАЕ СЕ ОТ ПРЕГЛЕД. Бих приел сериозно ремонта на цикъла и бих го тествал. Бих държал по-широките твърдения ограничени до успех извън този режим на отказ. Собственият контрапример на авторите е най-полезният ред в "diff". И това е "diff" за днес. Аз съм Нико от Axrisi. Обединявайте отговорно.

## Източници

- [Weight-space programming study](https://rikiyat.github.io/blog/weight-space-programming/) — Rikiya Takehi and coauthors
- [November 3 critique of bundled experiment conditions](https://honnibal.dev/blog/astra-read-write-misleading) — Matthew Honnibal
- [Pinned Qwen protocol and exact weight edits](https://github.com/RikiyaT/lm_understand-logs/tree/4d09ba6d6a7e891dd8063974dfe81b3d78e3494f/exp8_math) — Rikiya Takehi and coauthors
- [Actual initial Qwen prompt](https://github.com/RikiyaT/lm_understand-logs/blob/4d09ba6d6a7e891dd8063974dfe81b3d78e3494f/exp8_math/runs/p50c/turns/t001/prompt.txt) — Rikiya Takehi and coauthors
- [Pinned smaller Gemma follow-up](https://github.com/RikiyaT/lm_understand-logs/tree/4d09ba6d6a7e891dd8063974dfe81b3d78e3494f/exp8_math/gemma_followup) — Rikiya Takehi and coauthors
- [Original model-card thinking-loop warning](https://huggingface.co/Qwen/Qwen3.5-0.8B/blob/main/README.md) — Qwen
- [Primary study discussion](https://news.ycombinator.com/item?id=50341174) — Hacker News
- [Critique discussion](https://news.ycombinator.com/item?id=50351111) — Hacker News
- [Cover portrait: Sam Altman, TechCrunch 2019 crop, CC BY 2.0; cropped, background removed, resized and flipped; no endorsement](https://commons.wikimedia.org/wiki/File:Sam_Altman_TechCrunch_SF_2019_Day_2_Oct_3_%28cropped%29.jpg) — Steve Jennings/Getty Images for TechCrunch via Wikimedia Commons
- [Released checkpoint and attributed external re-run](https://huggingface.co/RikiyaT/Qwen3.5-0.8B-weight-space-programming) — RikiyaT on Hugging Face; re-run credited to akhaliq
- [Portrait license: Creative Commons Attribution 2.0](https://creativecommons.org/licenses/by/2.0/) — Creative Commons; Steve Jennings/Getty Images for TechCrunch portrait credit above