# GPT-6 Astra zakrpila beskrajno razmišljanje drugog AI-ja

Published: 2026-11-04

Studija povezana sa MIT-om koristila je GPT-6 Astra za uređivanje težina malog Qwen modela i pomogla da se završi više odgovora. Njen prijavljeni skok u matematičkom rezultatu zavisio je od ciljane popravke petlje, Python analize i povratnih informacija iz prakse. Odvojeni manji Gemma nastavak nije pronašao utvrđenu dobit.

Canonical: https://thedailydiff.dev/sr-Latn/video/2026-11-03-astra-qwen-weights/

## Šta ovaj video pokriva

- Prijavljeno povećanje Qwen rezultata proisteklo je iz ciljane popravke ponavljajućeg rezonovanja; oko trećine uređenih odgovora i dalje je dostiglo gornju granicu dužine u primarnom protokolu.
- Trening gradijentom bio je zabranjen, dok su Python, praktični odgovori i serijske povratne informacije o pokretanju modela bili dozvoljeni tokom mnogih krugova. Konačna pitanja za evaluaciju su proglašena da su izostavljena iz izvora.
- Eksperimenti sa malim sirovim težinama i bez postepenog uvođenja koristili su različite uslove. Njihove tvrdnje treba da zadrže svoj individualni alat, ulaz i osnovni opseg.
- Matthew Honnibal pripisuje zasluge inženjeringu potpomognutom alatima i osporava širi utisak koji je proizveden objedinjavanjem eksperimenata.
- Manji Gemma nastavak koristio je sopstveno podešavanje i nije uspeo da uspostavi poboljšanje. Testirajte koji kvar popravlja uređivanje težina pre nego što ga primenite na drugi model.

## Pitanja i odgovori

### Šta je Astra promenila da bi poboljšala Qwen-ov prijavljeni matematički rezultat?

Astra je napravila ciljano uređivanje težina koje je pomoglo Qwenu da završi više odgovora, prema studiji Rikiya Takehi-ja i koautora. Uklonila je doprinos povezan sa ponavljanjem iz odabranih kolona u unutrašnjim slojevima. Prijavljeno povećanje matematičkog rezultata koristilo je fiksni protokol evaluacije. Mnogi uređeni odgovori i dalje su dostigli ograničenje dužine, tako da rezultat zadržava značajnu preostalu stopu neuspeha.

### Koji alati i povratne informacije su bili dozvoljeni tokom uređivanja Qwen težina?

Python analiza, problemi za vežbanje sa odgovorima i serijske povratne informacije o pokretanju modela bili su dozvoljeni tokom mnogih krugova. Stvarni početni prompt istraživača zabranio je gradijentno treniranje i odredio savete za dijagnostičko i uzročno testiranje, uključujući popravku ponavljajućeg razmišljanja kao podobnu metu. Ova podrška pomogla je Astri da odabere direktno uređivanje postojećih težina. Jedinica budžeta mogla je da sadrži stotine generisanih odgovora.

### Da li su konačni problemi za evaluaciju bili dostupni modelu za uređivanje?

Istraživači kažu da Astra nije videla konačne setove za evaluaciju. Povratne informacije iz prakse dolazile su iz problema podeljenih za trening i pomogle su u odabiru uređivanja; odvojeni problemi koji su bili izostavljeni su naknadno merili poslati model. Početni prompt je otkrio nazive benčmarkova i protokol evaluacije. Ova razlika opisuje šta je bilo uskraćeno, ne tvrdeći da urednik nije imao sve informacije o zadatku.

### Šta se dogodilo u manjem Gemma follow-up eksperimentu uređivanja težina?

Manji Gemma follow-up eksperiment nije uspeo da uspostavi dobitak, prema Rikiya Takehi-ju i koautorima. Model se retko ponavljao, a njegovi neuspesi uključivali su pogrešnu aritmetiku i nevažeću algebru. Ciljana uređivanja sa povratnim informacijama iz prakse pomerila su prijavljeni matematički rezultat za najviše oko jedan poen. Korišćeno je odvojeno podešavanje, tako da poređenje pruža ograničen kontraprimer, a ne ablacionu studiju sa jednakom kontrolom.

### Kakva je bila presuda The Daily Diff-a o tvrdnji o uređivanju težina?

Presuda The Daily Diff-a bila je NEEDS REVIEW. Niko bi ozbiljno shvatio ciljanu popravku petlje i testirao je, dok bi šire tvrdnje zadržao na uspehu izvan tog režima kvara. Sopstveni kontraprimer manjeg modela istraživača informiše tu procenu. Programeri bi trebalo da identifikuju kvar koji popravka rešava i da procene sačuvane težine na sopstvenim zadacima pre nego što proslave prijavljeni multiplikator.

## Poglavlja

- 0:00 Zašto je matematički rezultat skočio?
- 0:58 Šta je Qwen radio pogrešno?
- 1:25 Šta osporava današnji kritičar?
- 1:41 Kakvu je pomoć Astra zaista dobila?
- 2:27 Koliko je bila mala stvarna popravka?
- 3:08 Koji eksperimenti zaista nisu imali alate?
- 3:40 Šta bi generalnija tvrdnja zahtevala?
- 4:06 Šta se dogodilo modelu koji se retko ponavljao?
- 4:47 Da li bih ja objavio tvrdnju o uređivanju težina?

## Preveden transkript

Prevedeno sa originalne engleske naracije. Dostupan audio i titlovi kontrolisani su od strane YouTube-a.

### Zašto je matematički rezultat skočio?

0:00 AI koji drugu AI čini šest puta pametnijom zvuči kao trenutni genije. Astrin veliki skok rezultata proistekao je iz pomaganja Qwenu da završi odgovore koje je stalno ponavljao. U ovom videu, šta se promenilo? Kakvu je pomoć Astra dobila? I koliko daleko se popravka prostire? Qwen je porastao sa oko osam posto na četrdeset osam posto. Istraživači su pokušali sa drugim modelom sa skoro nikakvim petljama. Videćemo kako je to prošlo pre presude.

0:22 Utorak je, treći novembar, i ovo je The Daily Diff. Programiranje u prostoru težina je naziv istraživača za traženje od AI-a da pregleda ili napiše brojeve unutar neuronske mreže. Ti brojevi su njene težine. Ovaj tim povezan sa MIT-om koristio je OpenAI-jev GPT šest Astra za uređivanje malog Qwen jezičkog modela, pri čemu je obična obuka bila zabranjena. Rikiya Takehi i njegovi koautori objavili su studiju u ponedeljak,

0:44 pitajući se da li bi postojeća AI mogla da razmišlja o unutrašnjosti druge mreže. Njihov glavni rezultat je vrlo klikabilan. Na matematici petsto, Qwen je porastao sa oko osam posto na četrdeset osam posto. Skoro šest puta više tačnih odgovora. Qwen je nastavio da razmišlja dok mu nije ponestalo mesta za odgovor.

### Šta je Qwen radio pogrešno?

1:00 U režimu razmišljanja, često je ponavljao svoje rezonovanje. Zamislite studenta koji popunjava ispitnu knjižicu radom dok zvono ne zazvoni. Ocenjivaču je i dalje potreban odgovor. Većina originalnih odgovora dostigla je ograničenje dužine. Astra je locirala smer ponavljanja u dva unutrašnja sloja, zatim je uklonila njegov doprinos iz odabranih kolona težina. Nakon tog uređivanja, više odgovora je došlo do zaključka. Oko trećine je i dalje dostiglo gornju granicu u prijavljenom testu.

1:22 Ispitna knjižica je konačno dobila poslednji red. Danas, Matthew Honnibal, kreator spaCy-ja i suosnivač Explosion-a,

### Šta osporava današnji kritičar?

1:28 osporio je prezentaciju. Kaže da čitaoci mogu da kombinuju različite uslove eksperimenata u utisak jedne izvanredne tehnike. Njegov prigovor se odnosi na njihovu zajedničku priču. Možemo sami proveriti uslove. Eksperiment Qwen dao je Astri Python svesku preko težina i problema za vežbanje

### Kakvu je pomoć Astra zaista dobila?

1:44 sa odgovorima. Tokom mnogih krugova, pregledao je unutrašnje aktivacije i uporedio originalne i uređene verzije. Konačni budžet dozvoljavao je pedeset serija pokretanja modela. Svaka serija generisanja mogla je da sadrži stotine odgovora. Podaci za vežbanje dolazili su iz delova za obuku. Istraživači kažu da Astra nikada nije videla konačne setove za evaluaciju. Povratne informacije su pomogle u odabiru uređivanja; problemi koji su bili izostavljeni su ga kasnije merili. Podešavanja uzorkovanja ostala su fiksna između originalnog i uređenog Qwen-a,

2:09 čineći poređenje rezultata ovog protokola interpretativnim. Prvi prompt dao joj je korisnog nadzornika laboratorije. Dijagnostikujte kvarove, pronađite odgovorne komponente, uporedite na istim problemima i testirajte nekoliko jačina. Izričito je spomenuo ponavljajuće razmišljanje kao popravku koja se računa. Diplomci bi trebalo da pregovaraju za ovaj paket uvođenja u posao. To je impresivna popravka.

### Koliko je bila mala stvarna popravka?

2:28 Astrino ciljano uređivanje dotaklo je otprilike sto trideset jednu hiljadu težina. To je oko šesnaest hiljaditih delova procenta modela. Datoteka težina je direktno promenjena. Gradijentno treniranje je ostalo zabranjeno; postojeći model je odgovarao nakon što je Astrina sesija uređivanja završena. Dobit je takođe dosegla praćenje instrukcija. Sviđa mi se praktična primena. Model može posedovati koristan rad koji njegov režim kvara neprestano zakopava.

2:48 Popravka tog kvara može povratiti upotrebljive odgovore. Završavanje se računa. Honnibal daje zasluge radu potpomognutom alatima kao da obavlja zadatke koje bi mogao da uradi ljudski inženjer mašinskog učenja. To je značajno za agenta. Njegova žalba je da male demonstracije sirovih brojeva i veće popravke potpomognute Python-om pozivaju na širi zaključak kada se spoje. Uzmimo sićušne igračke mreže.

### Koji eksperimenti zaista nisu imali alate?

3:09 U jednom eksperimentu, Astra je pročitala njihove sirove brojeve i tačno identifikovala koju igru je svaka mreža naučila. Alati su bili zabranjeni. U drugom, napisala je nove težine za igranje igara od nule koristeći pravila i izvorni kod, bez praktičnih probnih pokretanja. To su odvojene demonstracije sa odvojenim dokazima. Astrine mreže su pobedile osnovnu vrednost treniranu tokom sto miliona koraka u sve tri igre. Protiv duže trenirane osnovne vrednosti, izgubila je u Seaquestu i

3:32 Asterixu, dok je pobedila u Breakoutu. Promenite kolonu poređenja i pobednički govor treba urediti. Zgodno, uređivanje je današnja tema. Za širu tvrdnju, želeli bismo poboljšanja kod modela sa različitim kvarovima.

### Šta bi generalnija tvrdnja zahtevala?

3:44 Pratite šta je urednik video i šta se smatralo uspehom. Qwen-ova kartica modela već upozorava na petlje razmišljanja. Uklanjanje ove poznate prepreke ima posebnu polaznu tačku. Na njihovu čast, autori sami objavljuju neprijatan nastavak. Objašnjavaju da zaustavljanje petlji omogućava Qwenu da završi odgovore koje je već mogao da razradi. Njihovi logovi uključuju promptove, povratne informacije i uređivanja. Možemo ispitati postignuće i postaviti teže pitanje.

### Šta se dogodilo modelu koji se retko ponavljao?

4:06 Sada drugi model, manja Gemma u sopstvenom nastavku. Retko se ponavljao, tako da su njegovi kvarovi bili obična pogrešna aritmetika i nevažeća algebra. Astra je ponovo pokušala sa ciljanim uređivanjem težina sa povratnim informacijama iz prakse. Nijedno nije pomerilo njen matematički rezultat za više od otprilike jednog poena, i dobitak nije uspostavljen. Uspešna Qwen popravka je imala prepreku za uklanjanje. Gemmine aritmetičke greške su opstale. To je korisno pitanje za programere.

4:28 Koji je kvar popravljen izmenom i da li ga vaš model zaista ima? Testirajte sačuvane težine na sopstvenim zadacima pre nego što proslavite multiplikator. Popravljeno usko grlo može biti izuzetno važno dok sledeće usko grlo ostaje tačno gde je bilo. Ako biste ovo radije pročitali nego čuli kako ja to kažem, diff stiže u vaše sanduče svakog jutra, besplatno na the daily diff dot dev, link ispod.

### Da li bih ja objavio tvrdnju o uređivanju težina?

4:47 Dakle, današnja presuda je NEEDS REVIEW. Ozbiljno bih shvatio popravku petlje i testirao je. Šire tvrdnje bih zadržao na uspehu izvan tog režima kvara. Sopstveni kontraprimer autora je najkorisnija linija u diff-u. I to je diff za danas. Ja sam Niko iz Axrisi-ja. Spojite odgovorno.

## Izvori

- [Weight-space programming study](https://rikiyat.github.io/blog/weight-space-programming/) — Rikiya Takehi and coauthors
- [November 3 critique of bundled experiment conditions](https://honnibal.dev/blog/astra-read-write-misleading) — Matthew Honnibal
- [Pinned Qwen protocol and exact weight edits](https://github.com/RikiyaT/lm_understand-logs/tree/4d09ba6d6a7e891dd8063974dfe81b3d78e3494f/exp8_math) — Rikiya Takehi and coauthors
- [Actual initial Qwen prompt](https://github.com/RikiyaT/lm_understand-logs/blob/4d09ba6d6a7e891dd8063974dfe81b3d78e3494f/exp8_math/runs/p50c/turns/t001/prompt.txt) — Rikiya Takehi and coauthors
- [Pinned smaller Gemma follow-up](https://github.com/RikiyaT/lm_understand-logs/tree/4d09ba6d6a7e891dd8063974dfe81b3d78e3494f/exp8_math/gemma_followup) — Rikiya Takehi and coauthors
- [Original model-card thinking-loop warning](https://huggingface.co/Qwen/Qwen3.5-0.8B/blob/main/README.md) — Qwen
- [Primary study discussion](https://news.ycombinator.com/item?id=50341174) — Hacker News
- [Critique discussion](https://news.ycombinator.com/item?id=50351111) — Hacker News
- [Cover portrait: Sam Altman, TechCrunch 2019 crop, CC BY 2.0; cropped, background removed, resized and flipped; no endorsement](https://commons.wikimedia.org/wiki/File:Sam_Altman_TechCrunch_SF_2019_Day_2_Oct_3_%28cropped%29.jpg) — Steve Jennings/Getty Images for TechCrunch via Wikimedia Commons
- [Released checkpoint and attributed external re-run](https://huggingface.co/RikiyaT/Qwen3.5-0.8B-weight-space-programming) — RikiyaT on Hugging Face; re-run credited to akhaliq
- [Portrait license: Creative Commons Attribution 2.0](https://creativecommons.org/licenses/by/2.0/) — Creative Commons; Steve Jennings/Getty Images for TechCrunch portrait credit above