# GPT-6 Astra opravila nekonečné přemýšlení další umělé inteligence

Published: 2026-11-04

Studie spojená s MIT použila GPT-6 Astra k úpravě vah malého modelu Qwen a pomohla dokončit více odpovědí. Její hlášený skok v matematických výsledcích závisel na cílené opravě smyčky, analýze Pythonu a zpětné vazbě z praxe. Samostatné menší následné sledování Gemmy nezjistilo žádný prokázaný zisk.

Canonical: https://thedailydiff.dev/cs/video/2026-11-03-astra-qwen-weights/

## Co toto video pokrývá

- Hlášené zvýšení skóre Qwen vyplynulo z cílené opravy repetitivního uvažování; asi třetina upravených odpovědí stále dosáhla limitu délky v primárním protokolu.
- Trénink gradientů byl zakázán, zatímco Python, cvičné odpovědi a dávková zpětná vazba z běhů modelů byly povoleny v mnoha kolech. Otázky pro závěrečné hodnocení byly deklarovány jako vyřazené ze zdroje.
- Malé experimenty s nezpracovanými váhami a bez zavádění do hry používaly odlišné podmínky. Jejich tvrzení by si měla zachovat svůj individuální nástroj, vstup a rozsah základní linie.
- Matthew Honnibal připisuje zásluhy inženýrství podporovanému nástroji a zpochybňuje širší dojem, který vzniká spojením experimentů.
- Menší následné sledování Gemmy použilo vlastní nastavení a nedokázalo prokázat zlepšení. Před aplikací na jiný model otestujte, jakou chybu úprava vah opravuje.

## Otázky a odpovědi

### Co Astra změnila, aby zlepšila hlášené matematické skóre Qwen?

Astra provedla cílenou úpravu vah, která pomohla Qwen dokončit více odpovědí, podle studie Rikiya Takehiho a spoluautorů. Odstranila příspěvek spojený s opakováním z vybraných sloupců ve vnitřních vrstvách. Hlášené zvýšení matematického skóre použilo pevný protokol hodnocení. Mnoho upravených odpovědí stále dosáhlo limitu délky, takže výsledek si zachovává podstatnou míru zbytkových selhání.

### Jaké nástroje a zpětná vazba byly povoleny během úpravy vah Qwen?

Analýza Pythonu, cvičné úlohy s odpověďmi a dávková zpětná vazba z běhů modelů byly povoleny v mnoha kolech. Skutečný počáteční pokyn výzkumníků zakazoval trénink gradientů a specifikoval diagnostické a kauzální testovací rady, včetně opravy opakovaného myšlení jako způsobilého cíle. Tato podpora pomohla Astře vybrat přímou úpravu stávajících vah. Jednotka rozpočtu mohla obsahovat stovky generovaných odpovědí.

### Byly konečné otázky pro hodnocení dostupné pro editační model?

Výzkumníci uvádějí, že konečné sady pro hodnocení zůstaly Astře skryté. Praktická zpětná vazba pocházela z problémů z tréninkového rozdělení a pomohla vybrat úpravu; samostatné vyřazené problémy následně změřily odeslaný model. Počáteční pokyn odhalil názvy benchmarků a protokol hodnocení. Toto rozlišení popisuje, co bylo zadrženo, aniž by se tvrdilo, že editoru chyběly veškeré informace o úkolu.

### Co se stalo v následné úpravě vah menší Gemmy?

Menší následná úprava Gemmy nedokázala prokázat zisk, podle Rikiya Takehiho a spoluautorů. Model se zřídka zacyklil a jeho selhání zahrnovala špatnou aritmetiku a neplatnou algebru. Cílené úpravy se zpětnou vazbou z praxe pohnuly hlášeným matematickým skóre o nanejvýš jeden bod. Použila samostatné nastavení, takže srovnání poskytuje omezený protipříklad spíše než rovnoměrně kontrolovanou ablaci.

### Jaký byl verdikt The Daily Diff ohledně tvrzení o úpravě vah?

Verdikt The Daily Diff byl VYŽADUJE PŘEZKUM. Niko by vzal cílenou opravu smyčky vážně a otestoval ji, zatímco širší tvrzení by podmínil úspěchem nad rámec tohoto režimu selhání. Vlastní protipříklad výzkumníků s menším modelem toto posouzení ovlivňuje. Vývojáři by měli identifikovat selhání, které úprava opravuje, a vyhodnotit uložené váhy na vlastních úkolech, než oslaví hlášený násobitel.

## Kapitoly

- 0:00 Proč skóre z matematiky vzrostlo?
- 0:58 Co dělal Qwen špatně?
- 1:25 Co dnešní kritik zpochybňuje?
- 1:41 Jakou pomoc Astra skutečně dostala?
- 2:27 Jak malá byla skutečná oprava?
- 3:08 Které experimenty skutečně neměly žádné nástroje?
- 3:40 Co by širší tvrzení potřebovalo?
- 4:06 Co se stalo s modelem, který se zřídka zacyklil?
- 4:47 Schválil bych tvrzení o úpravě vah?

## Přeložený přepis

Přeloženo z původního anglického vyprávění. Dostupné audio a titulky jsou řízeny YouTube.

### Proč skóre z matematiky vzrostlo?

0:00 Umělá inteligence, která dělá jinou umělou inteligenci šestkrát chytřejší, zní jako okamžitý genialita. Velký skok v hodnocení Astry přišel díky tomu, že pomohla Qwen dokončit odpovědi, které stále opakovala. V tomto videu, co se změnilo? Jakou pomoc Astra dostala? A jak daleko se oprava posune? Qwen se dostal z přibližně osmi procent na čtyřicet osm procent. Výzkumníci zkusili druhý model s téměř žádnými smyčkami. Uvidíme, jak to dopadlo, než vyneseme verdikt.

0:22 Je úterý, třetího listopadu, a tohle je The Daily Diff. Programování v prostoru vah je název, který výzkumníci používají pro žádost umělé inteligence, aby zkontrolovala nebo zapsala čísla uvnitř neuronové sítě. Tato čísla jsou její váhy. Tento tým spojený s MIT použil GPT šest Astra od OpenAI k úpravě malého jazykového modelu Qwen, přičemž běžný trénink byl zakázán. Rikiya Takehi a jeho spoluautoři zveřejnili studii v pondělí,

0:44 ptali se, zda by stávající umělá inteligence mohla uvažovat o vnitřních částech jiné sítě. Jejich hlavní výsledek je velmi klikatelný. V matematice pět set se Qwen zvýšil z přibližně osmi procent na čtyřicet osm procent. Téměř šestkrát více správných odpovědí. Qwen stále přemýšlel, dokud mu nedošel prostor pro odpověď.

### Co dělal Qwen špatně?

1:00 V režimu přemýšlení často opakoval své úvahy. Představte si studenta, který zaplňuje sešit s testem prací, dokud nezazvoní zvonek. Zkoušející stále potřebuje odpověď. Většina původních odpovědí dosáhla limitu délky. Astra nalezla směr opakování ve dvou vnitřních vrstvách, poté odstranila jeho příspěvek z vybraných sloupců vah. Po této úpravě dospělo více odpovědí k závěru. Přibližně třetina stále dosáhla limitu v hlášeném testu.

1:22 Testový sešit konečně dostal poslední řádek. Dnes Matthew Honnibal, tvůrce spaCy a spoluzakladatel Explosion,

### Co dnešní kritik zpochybňuje?

1:28 zpochybnil prezentaci. Říká, že čtenáři mohou kombinovat různé podmínky experimentů do jednoho dojmu jedné mimořádné techniky. Jeho námitka se týká jejich kombinovaného příběhu. Podmínky si můžeme zkontrolovat sami. Experiment s Qwen dal Astře Pythonový notebook k vahám a cvičné

### Jakou pomoc Astra skutečně dostala?

1:44 úlohy s odpověďmi. V mnoha kolech zkoumala vnitřní aktivace a porovnávala původní a upravené verze. Konečný rozpočet umožnil padesát dávek běhů modelů. Každá dávka generace mohla obsahovat stovky odpovědí. Praktická data pocházela z tréninkových rozdělení. Výzkumníci říkají, že Astra nikdy neviděla sady pro závěrečné hodnocení. Zpětná vazba pomohla vybrat úpravu; poté ji změřily vyřazené problémy. Nastavení vzorkování zůstalo pevné mezi původním a upraveným Qwen,

2:09 díky čemuž je porovnání skóre tohoto protokolu interpretovatelné. První pokyn jí dal užitečného laboratorního supervizora. Diagnostikujte selhání, najděte zodpovědné komponenty, porovnejte na stejných problémech a otestujte několik silných stránek. Výslovně zmínil opakované myšlení jako opravu, která se počítá. Studenti magisterského studia by měli vyjednat tento balíček pro nástup. To je působivá oprava.

### Jak malá byla skutečná oprava?

2:28 Cílená úprava Astry se dotkla zhruba sto třiceti jedna tisíc vah. To je asi šestnáct tisícin procenta modelu. Soubor vah se změnil přímo. Trénink gradientů zůstal zakázán; stávající model odpovídal poté, co skončila editační relace Astry. Zisk se také projevil v dodržování instrukcí. Líbí se mi praktický dopad. Model může vlastnit užitečnou práci, kterou jeho režim selhání stále pohřbívá.

2:48 Oprava tohoto selhání může obnovit použitelné odpovědi. Dokončení se počítá. Honnibal přičítá zásluhy nástrojově podporované práci, protože plní úkoly, které by mohl vykonat lidský inženýr strojového učení. To je pro agenta důležité. Jeho stížnost spočívá v tom, že malé demonstrace surových čísel a větší opravy s pomocí Pythonu zvou k širšímu závěru, když jsou spojeny dohromady. Vezměte si malé herní sítě.

### Které experimenty skutečně neměly žádné nástroje?

3:09 V jednom experimentu Astra přečetla jejich surová čísla a správně identifikovala, kterou hru se každá síť naučila. Nástroje byly zakázány. V dalším experimentu napsala nové váhy pro hraní her od začátku pomocí pravidel a zdrojového kódu, bez praktických zavádění. To jsou samostatné demonstrace s oddělenými důkazy. Sítě Astry porazily základní linii trénovanou po sto milionů kroků ve všech třech hrách. Proti déle trénované základní linii prohrály v Seaquestu a

3:32 Asterixovi, zatímco vyhrály Breakout. Změňte srovnávací sloupec a vítězná řeč potřebuje úpravu. Příhodně, úpravy jsou dnešním tématem. Pro širší tvrzení bychom chtěli zlepšení napříč modely s různými selháními.

### Co by širší tvrzení potřebovalo?

3:44 Sledovat, co editor viděl a co se počítalo jako úspěch. Karta modelu Qwen již varuje před myšlenkovými smyčkami. Odstranění této známé překážky má konkrétní výchozí bod. K jejich cti, autoři sami publikují nepříjemný následný výzkum. Vysvětlují, že zastavení smyček umožňuje Qwen dokončit odpovědi, které už mohl vyřešit. Jejich protokoly obsahují výzvy, zpětnou vazbu a úpravy. Můžeme zkoumat úspěch a položit těžší otázku.

### Co se stalo s modelem, který se zřídka zacyklil?

4:06 Nyní druhý model, menší Gemma ve svém vlastním následném nastavení. Zřídka se zacyklil, takže jeho selhání byla běžná špatná aritmetika a neplatná algebra. Astra znovu zkusila cílené úpravy vah se zpětnou vazbou z praxe. Žádné z nich nepohnulo s jeho matematickým skóre o více než asi jeden bod, a zisk nebyl prokázán. Úspěšná oprava Qwen měla překážku k odstranění. Aritmetické chyby Gemmy přetrvaly. To je pro vývojáře užitečná otázka.

4:28 Které selhání oprava odstranila a má váš model skutečně toto selhání? Otestujte uložené váhy na vlastních úkolech, než oslavíte násobitel. Opravené úzké hrdlo může mít obrovský význam, zatímco další úzké hrdlo zůstává přesně tam, kde bylo. Pokud si to raději přečtete, než abyste mě to slyšeli říkat, diff vám přistane v doručené poště každé ráno, zdarma na the daily diff dot dev, odkaz níže.

### Schválil bych tvrzení o úpravě vah?

4:47 Takže dnešní verdikt je VYŽADUJE PŘEZKUM. Vzal bych opravu smyčky vážně a otestoval ji. Širší tvrzení bych podmínil úspěchem nad rámec tohoto režimu selhání. Vlastní protipříklad autorů je nejužitečnější řádkou v diffu. A to je dnešní diff. Jsem Niko z Axrisi. Sloučte zodpovědně.

## Zdroje

- [Weight-space programming study](https://rikiyat.github.io/blog/weight-space-programming/) — Rikiya Takehi and coauthors
- [November 3 critique of bundled experiment conditions](https://honnibal.dev/blog/astra-read-write-misleading) — Matthew Honnibal
- [Pinned Qwen protocol and exact weight edits](https://github.com/RikiyaT/lm_understand-logs/tree/4d09ba6d6a7e891dd8063974dfe81b3d78e3494f/exp8_math) — Rikiya Takehi and coauthors
- [Actual initial Qwen prompt](https://github.com/RikiyaT/lm_understand-logs/blob/4d09ba6d6a7e891dd8063974dfe81b3d78e3494f/exp8_math/runs/p50c/turns/t001/prompt.txt) — Rikiya Takehi and coauthors
- [Pinned smaller Gemma follow-up](https://github.com/RikiyaT/lm_understand-logs/tree/4d09ba6d6a7e891dd8063974dfe81b3d78e3494f/exp8_math/gemma_followup) — Rikiya Takehi and coauthors
- [Original model-card thinking-loop warning](https://huggingface.co/Qwen/Qwen3.5-0.8B/blob/main/README.md) — Qwen
- [Primary study discussion](https://news.ycombinator.com/item?id=50341174) — Hacker News
- [Critique discussion](https://news.ycombinator.com/item?id=50351111) — Hacker News
- [Cover portrait: Sam Altman, TechCrunch 2019 crop, CC BY 2.0; cropped, background removed, resized and flipped; no endorsement](https://commons.wikimedia.org/wiki/File:Sam_Altman_TechCrunch_SF_2019_Day_2_Oct_3_%28cropped%29.jpg) — Steve Jennings/Getty Images for TechCrunch via Wikimedia Commons
- [Released checkpoint and attributed external re-run](https://huggingface.co/RikiyaT/Qwen3.5-0.8B-weight-space-programming) — RikiyaT on Hugging Face; re-run credited to akhaliq
- [Portrait license: Creative Commons Attribution 2.0](https://creativecommons.org/licenses/by/2.0/) — Creative Commons; Steve Jennings/Getty Images for TechCrunch portrait credit above