# GPT-6 Astra je zakrpila beskonačno razmišljanje drugog AI-a

Published: 2026-11-04

Studija povezana sa MIT-om koristila je GPT-6 Astra za uređivanje težina malog Qwen modela i pomogla da se završi više odgovora. Njen prijavljeni skok u matematičkom rezultatu zavisio je od ciljane popravke petlje, Python analize i povratnih informacija iz prakse. Odvojeni manji Gemma nastavak nije pronašao nikakav utvrđeni dobitak.

Canonical: https://thedailydiff.dev/bs/video/2026-11-03-astra-qwen-weights/

## Šta ovaj video pokriva

- Prijavljeno povećanje rezultata Qwen modela proizašlo je iz ciljane popravke ponavljajućeg zaključivanja; otprilike jedna trećina uređenih odgovora i dalje je dostigla ograničenje dužine u primarnom protokolu.
- Treniranje gradijentom je bilo zabranjeno, dok su Python, praktični odgovori i serijske povratne informacije o pokretanju modela bili dozvoljeni tokom mnogih faza. Konačna pitanja za evaluaciju su proglašena da su zadržana.
- Mali eksperimenti sa sirovim težinama i bez rollout igara koristili su različite uslove. Njihove tvrdnje treba da zadrže svoj individualni alat, ulaz i opseg osnovne linije.
- Matthew Honnibal pripisuje zasluge inženjeringu potpomognutom alatima i osporava širi utisak koji je proizveden objedinjavanjem eksperimenata.
- Manji Gemma nastavak koristio je vlastitu postavku i nije uspio utvrditi poboljšanje. Testirajte koji kvar popravlja uređivanje težine prije nego što ga primijenite na drugi model.

## Pitanja i odgovori

### Šta je Astra promijenila da bi poboljšala prijavljeni matematički rezultat Qwen modela?

Astra je napravila ciljano uređivanje težine koje je pomoglo Qwenu da završi više odgovora, prema studiji Rikije Takehija i koautora. Uklonila je doprinos povezan sa ponavljanjem iz odabranih kolona u internim slojevima. Prijavljeno povećanje matematičkog rezultata koristilo je fiksni protokol evaluacije. Mnogi uređeni odgovori i dalje su dostizali ograničenje dužine, tako da rezultat zadržava značajnu preostalu stopu neuspjeha.

### Koji su alati i povratne informacije bili dozvoljeni tokom uređivanja težine Qwen modela?

Python analiza, praktični problemi s odgovorima i serijske povratne informacije o pokretanju modela bili su dozvoljeni tokom mnogih faza. Stvarni početni prompt istraživača zabranio je treniranje gradijentom i precizirao savjete za dijagnostičko i uzročno testiranje, uključujući popravku ponavljajućeg razmišljanja kao prihvatljiv cilj. Ova podrška je pomogla Astri da odabere direktno uređivanje postojećih težina. Jedinica budžeta mogla je sadržavati stotine generiranih odgovora.

### Jesu li konačni problemi za evaluaciju bili dostupni modelu za uređivanje?

Istraživači kažu da konačni setovi za evaluaciju nisu viđeni od strane Astre. Povratne informacije iz prakse došle su iz problema podjela za obuku i pomogle su u odabiru uređivanja; odvojeni zadržani problemi su mjerili podneseni model nakon toga. Početni prompt je otkrio nazive benchmarka i protokol evaluacije. Ta razlika opisuje šta je bilo zadržano bez tvrdnje da uredniku nedostaju sve informacije o zadatku.

### Šta se dogodilo u manjem Gemma nastavku za uređivanje težine?

Manji Gemma nastavak nije uspio utvrditi dobitak, prema Rikiji Takehiju i koautorima. Model je rijetko kružio, a njegovi kvarovi su uključivali pogrešnu aritmetiku i nevažeću algebru. Ciljana uređivanja uz povratne informacije iz prakse pomjerila su prijavljeni matematički rezultat za najviše oko jednog boda. Korištena je zasebna postavka, tako da poređenje pruža ograničeni kontraprimjer, a ne jednako kontroliranu ablaciju.

### Kakva je bila presuda The Daily Diff-a o tvrdnji o uređivanju težine?

Presuda The Daily Diff-a je bila NEEDS REVIEW. Niko bi ozbiljno shvatio ciljanu popravku petlje i testirao je, dok bi šire tvrdnje zadržao ovisno o uspjehu izvan tog načina kvara. Vlastiti kontraprimjer autora s manjim modelom utječe na tu procjenu. Programeri bi trebali identificirati kvar koji popravlja uređivanje i evaluirati sačuvane težine na vlastitim zadacima prije nego što proslave prijavljeni množitelj.

## Poglavlja

- 0:00 Zašto je matematički rezultat skočio?
- 0:58 Šta je Qwen radio pogrešno?
- 1:25 Šta današnji kritičar osporava?
- 1:41 Kakvu je pomoć Astra zapravo dobila?
- 2:27 Koliko je bila mala stvarna popravka?
- 3:08 Koji eksperimenti zaista nisu imali alate?
- 3:40 Šta bi šira tvrdnja zahtijevala?
- 4:06 Šta se dogodilo s modelom koji je rijetko kružio?
- 4:47 Da li bih ja objavio tvrdnju o uređivanju težine?

## Prevedeni transkript

Prevedeno iz originalne engleske naracije. Dostupan zvuk i titlovi kontroliše YouTube.

### Zašto je matematički rezultat skočio?

0:00 AI koji drugog AI-a čini šest puta pametnijim zvuči kao trenutni genij. Astriin veliki skok u rezultatu proizašao je iz pomaganja Qwenu da završi odgovore koje je stalno ponavljao. U ovom videu, šta se promijenilo? Kakvu je pomoć Astra dobila? I koliko daleko se popravka prostire? Qwen je porastao sa oko osam posto na četrdeset osam posto. Istraživači su pokušali s drugim modelom sa gotovo bez petlji. Vidjet ćemo kako je to prošlo prije presude.

0:22 Utorak je, treći novembar, i ovo je The Daily Diff. Programiranje prostora težine je ime koje su istraživači dali za traženje od AI-a da pregleda ili upiše brojeve unutar neuronske mreže. Ti brojevi su njene težine. Ovaj tim povezan sa MIT-om koristio je OpenAI-jev GPT šest Astra za uređivanje malog Qwen jezičkog modela, pri čemu je uobičajeno treniranje bilo zabranjeno. Rikiya Takehi i njegovi koautori objavili su studiju u ponedjeljak,

0:44 pitajući se može li postojeća AI razmišljati o unutrašnjosti druge mreže. Njihov naslovni rezultat je vrlo klikabilan. Na math five hundred, Qwen je porastao sa oko osam posto na četrdeset osam posto. Gotovo šest puta više tačnih odgovora. Qwen je nastavio razmišljati sve dok nije ostao bez prostora za odgovor.

### Šta je Qwen radio pogrešno?

1:00 U načinu razmišljanja, često je ponavljao svoje zaključivanje. Zamislite studenta koji popunjava ispitnu knjižicu s radom dok ne zazvoni zvono. Markeru i dalje treba odgovor. Većina originalnih odgovora dosegnula je ograničenje dužine. Astra je locirala smjer ponavljanja u dva interna sloja, zatim uklonila njegov doprinos iz odabranih kolona težine. Nakon tog uređivanja, više odgovora je došlo do zaključka. Oko jedne trećine i dalje je dosegnulo ograničenje u prijavljenom testu.

1:22 Ispitna knjižica je konačno dobila posljednji red. Danas, Matthew Honnibal, kreator spaCy-a i suosnivač Explosion-a,

### Šta današnji kritičar osporava?

1:28 osporio je prezentaciju. On kaže da čitaoci mogu kombinovati različite uslove eksperimenata u utisak jedne izvanredne tehnike. Njegov prigovor se odnosi na njihovu kombinovanu priču. Možemo sami provjeriti uslove. Eksperiment Qwen dao je Astri Python bilježnicu preko težina i praktičnih

### Kakvu je pomoć Astra zapravo dobila?

1:44 problema s odgovorima. Tokom mnogih faza, pregledavala je interne aktivacije i upoređivala originalne i uređene verzije. Konačni budžet je dozvoljavao pedeset serija pokretanja modela. Svaka generacijska serija mogla je sadržavati stotine odgovora. Podaci iz prakse dolazili su iz podjela za obuku. Istraživači kažu da Astra nikada nije vidjela konačne evaluacijske skupove. Povratne informacije su pomogle u odabiru uređivanja; zadržani problemi su ga mjerili nakon toga. Postavke uzorkovanja ostale su fiksne između originalnog i uređenog Qwen modela,

2:09 čineći poređenje rezultata ovog protokola interpretativnim. Prvi prompt dao joj je korisnog nadzornika laboratorije. Dijagnosticirajte kvarove, pronađite odgovorne komponente, uporedite na istim problemima i testirajte nekoliko jačina. Izričito je spomenuto ponavljajuće razmišljanje kao popravka koja se računa. Studenti postdiplomci bi trebali pregovarati za ovaj paket za uvođenje. To je impresivna popravka.

### Koliko je bila mala stvarna popravka?

2:28 Astraino ciljano uređivanje dotaklo je otprilike sto trideset jednu hiljadu težina. To je oko šesnaest hiljaditih dijelova procenta modela. Datoteka težine je direktno promijenjena. Gradijentno treniranje je ostalo zabranjeno; postojeći model je davao odgovore nakon što je Astraina sesija uređivanja završila. Dobitak je također dosegao slijed uputa. Sviđa mi se praktična implikacija. Model može posjedovati koristan rad koji njegov način kvara stalno zakopava.

2:48 Popravka tog kvara može povratiti upotrebljive odgovore. Završetak se računa. Honnibal daje zasluge radu potpomognutom alatima kao obavljanju zadataka koje bi mogao obavljati ljudski inženjer mašinskog učenja. To je značajno za agenta. Njegova primjedba je da male demonstracije sirovih brojeva i veće popravke potpomognute Pythonom pozivaju na širi zaključak kada se spoje. Uzmimo male mreže za igru.

### Koji eksperimenti zaista nisu imali alate?

3:09 U jednom eksperimentu, Astra je pročitala njihove sirove brojeve i ispravno identificirala koju igru je svaka mreža naučila. Alati su bili zabranjeni. U drugom, napisala je nove težine za igranje igara od nule koristeći pravila i izvorni kod, bez praktičnih testiranja. To su odvojene demonstracije s odvojenim dokazima. Astrine mreže su pobijedile osnovnu liniju treniranu stotinu miliona koraka u svim tri igre. Protiv duže trenirane osnovne linije, izgubila je u Seaquestu i

3:32 Asterixu, dok je pobijedila u Breakoutu. Promijenite kolonu za poređenje, i pobjednički govor treba uređivanje. Zgodno, uređivanje je današnja tema. Za širu tvrdnju, željeli bismo poboljšanja preko modela s različitim kvarovima.

### Šta bi šira tvrdnja zahtijevala?

3:44 Pratite šta je urednik vidio i šta se smatralo uspjehom. Qwenova kartica modela već upozorava na petlje razmišljanja. Uklanjanje ove poznate prepreke ima posebnu polaznu tačku. Na njihovu zaslugu, autori sami objavljuju neugodan nastavak. Objašnjavaju da zaustavljanje petlji omogućava Qwenu da završi odgovore koje je već mogao razraditi. Njihovi logovi uključuju upite, povratne informacije i uređivanja. Možemo ispitati postignuće i postaviti teže pitanje.

### Šta se dogodilo s modelom koji je rijetko kružio?

4:06 Sada drugi model, manji Gemma u vlastitoj postavci nastavka. Rijetko je kružio, tako da su njegovi kvarovi bili obična pogrešna aritmetika i nevažeća algebra. Astra je ponovo pokušala ciljano uređivanje težina uz povratne informacije iz prakse. Nijedno nije pomjerilo njegov matematički rezultat za više od otprilike jednog boda, a dobitak nije utvrđen. Uspješna Qwenova popravka imala je prepreku za uklanjanje. Gemmine aritmetičke greške su preživjele. To je korisno pitanje za programere.

4:28 Koji je kvar popravljen uređivanjem i da li ga vaš model zaista ima? Testirajte sačuvane težine na vlastitim zadacima prije nego što proslavite množitelj. Popravljeni usko grlo može biti izuzetno važno dok sljedeće usko grlo ostaje tačno tamo gdje je bilo. Ako biste radije pročitali ovo nego da me čujete kako govorim, diff stiže u vaš inbox svako jutro, besplatno na the daily diff dot dev, link ispod.

### Da li bih ja objavio tvrdnju o uređivanju težine?

4:47 Dakle, današnja presuda je NEEDS REVIEW. Ozbiljno bih shvatio popravku petlje i testirao je. Šire tvrdnje bih zadržao ovisno o uspjehu izvan tog načina kvara. Vlastiti kontraprimjer autora je najkorisniji red u diff-u. I to je diff za danas. Ja sam Niko iz Axrisija. Spojite odgovorno.

## Izvori

- [Weight-space programming study](https://rikiyat.github.io/blog/weight-space-programming/) — Rikiya Takehi and coauthors
- [November 3 critique of bundled experiment conditions](https://honnibal.dev/blog/astra-read-write-misleading) — Matthew Honnibal
- [Pinned Qwen protocol and exact weight edits](https://github.com/RikiyaT/lm_understand-logs/tree/4d09ba6d6a7e891dd8063974dfe81b3d78e3494f/exp8_math) — Rikiya Takehi and coauthors
- [Actual initial Qwen prompt](https://github.com/RikiyaT/lm_understand-logs/blob/4d09ba6d6a7e891dd8063974dfe81b3d78e3494f/exp8_math/runs/p50c/turns/t001/prompt.txt) — Rikiya Takehi and coauthors
- [Pinned smaller Gemma follow-up](https://github.com/RikiyaT/lm_understand-logs/tree/4d09ba6d6a7e891dd8063974dfe81b3d78e3494f/exp8_math/gemma_followup) — Rikiya Takehi and coauthors
- [Original model-card thinking-loop warning](https://huggingface.co/Qwen/Qwen3.5-0.8B/blob/main/README.md) — Qwen
- [Primary study discussion](https://news.ycombinator.com/item?id=50341174) — Hacker News
- [Critique discussion](https://news.ycombinator.com/item?id=50351111) — Hacker News
- [Cover portrait: Sam Altman, TechCrunch 2019 crop, CC BY 2.0; cropped, background removed, resized and flipped; no endorsement](https://commons.wikimedia.org/wiki/File:Sam_Altman_TechCrunch_SF_2019_Day_2_Oct_3_%28cropped%29.jpg) — Steve Jennings/Getty Images for TechCrunch via Wikimedia Commons
- [Released checkpoint and attributed external re-run](https://huggingface.co/RikiyaT/Qwen3.5-0.8B-weight-space-programming) — RikiyaT on Hugging Face; re-run credited to akhaliq
- [Portrait license: Creative Commons Attribution 2.0](https://creativecommons.org/licenses/by/2.0/) — Creative Commons; Steve Jennings/Getty Images for TechCrunch portrait credit above