GPT-6 Astra lappet et annet AIs endeløse tankearbeid
En MIT-tilknyttet studie brukte GPT-6 Astra til å redigere vektene til en liten Qwen-modell og hjelpe flere svar med å fullføre.
En MIT-tilknyttet studie brukte GPT-6 Astra til å redigere vektene til en liten Qwen-modell og hjelpe flere svar med å fullføre. Det rapporterte hoppet i mattescore var avhengig av en målrettet sløyfereparasjon, Python-analyse og praksistilbakemelding. En separat mindre Gemma-oppfølging fant ingen etablert gevinst.
Les den skriftlige utgaven (engelsk) ↗
Hva denne videoen dekker
- Den rapporterte Qwen-scoreøkningen kom fra en målrettet reparasjon av repeterende resonnement; omtrent en tredjedel av de redigerte svarene nådde fortsatt lengdegrensen i den primære protokollen.
- Gradienttrening var forbudt, mens Python, praksissvar og gruppevis modellkjørings-tilbakemelding var tillatt over mange runder. Endelige evalueringsspørsmål ble erklært tilbakeholdt.
- De små råvekt- og ingen-utrulling-spilleeksperimentene brukte forskjellige forhold. Deres påstander bør beholde sitt individuelle verktøy, inndata og baseline-omfang.
- Matthew Honnibal krediterer den verktøyassisterte ingeniørkunsten og bestrider det bredere inntrykket som er produsert ved å samle eksperimentene.
- Den mindre Gemma-oppfølgingen brukte sitt eget oppsett og klarte ikke å etablere en forbedring. Test hvilken feil en vektredigering reparerer før du bruker den på en annen modell.
Spørsmål og svar
Hva endret Astra for å forbedre Qwens rapporterte mattescore?
Astra gjorde en målrettet vektredigering som hjalp Qwen med å fullføre flere svar, ifølge studien av Rikiya Takehi og medforfattere. Den fjernet et repetisjonsassosiert bidrag fra utvalgte kolonner i interne lag. Den rapporterte økningen i mattescore brukte en fast evalueringsprotokoll. Mange redigerte svar nådde fortsatt lengdegrensen, så resultatet beholder en betydelig restfeilrate.
Hvilke verktøy og tilbakemeldinger var tillatt under Qwen-vektredigeringen?
Python-analyse, øvingsoppgaver med svar og gruppevis modellkjørings-tilbakemelding var tillatt over mange runder. Forskernes faktiske innledende melding forbød gradienttrening og spesifiserte diagnostisk og kausal testråd, inkludert reparasjon av repeterende tenkning som et kvalifisert mål. Denne støtten hjalp Astra med å velge en direkte redigering av eksisterende vekter. En budsjettenhet kunne inneholde hundrevis av genererte svar.
Var de endelige evalueringsproblemene tilgjengelige for redigeringsmodellen?
Forskerne sier at de endelige evalueringssettene forble usett av Astra. Øvingstilbakemeldingen kom fra trenings-split-problemer og hjalp til med å velge redigeringen; separate tilbakeholdte problemer målte den innsendte modellen etterpå. Den innledende meldingen avslørte benchmark-navn og evalueringsprotokollen. Denne distinksjonen beskriver hva som ble tilbakeholdt uten å hevde at redaktøren manglet all informasjon om oppgaven.
Hva skjedde i den mindre Gemma-vektredigerings-oppfølgingen?
Den mindre Gemma-oppfølgingen klarte ikke å etablere en gevinst, ifølge Rikiya Takehi og medforfattere. Modellen gikk sjelden i løkke, og dens feil inkluderte feilaktig aritmetikk og ugyldig algebra. Målrettede redigeringer med øvingstilbakemelding flyttet den rapporterte mattescoren med maksimalt omtrent et poeng. Den brukte et separat oppsett, så sammenligningen gir et avgrenset moteksempel snarere enn en like-kontrollert ablasjon.
Hva var The Daily Diffs dom over vektredigeringspåstanden?
The Daily Diffs dom var NEEDS REVIEW. Niko ville ta den målrettede løkkereparasjonen alvorlig og teste den, samtidig som bredere påstander holdes betinget av suksess utover den feilmodusen. Forskernes eget moteksempel med en mindre modell informerer den vurderingen. Utviklere bør identifisere feilen en redigering reparerer og evaluere lagrede vekter på sine egne oppgaver før de feirer en rapportert multiplikator.
Oversatt transkripsjon
Oversatt fra den originale engelske fortellingen. Tilgjengelig lyd og undertekster kontrolleres av YouTube.
Hvorfor hoppet mattescoren?
0:00 En AI som gjør en annen AI seks ganger smartere høres ut som øyeblikkelig geni. Astras store scorehopp kom fra å hjelpe Qwen med å fullføre svar den fortsatte å gjenta. I denne videoen, hva endret seg? Hvilken hjelp fikk Astra? Og hvor langt rekker fiksen? Qwen gikk fra omtrent åtte prosent til førtiåtte prosent. Forskerne prøvde en annen modell med nesten ingen løkker. Vi får se hvordan det gikk før dommen.
0:22 Det er tirsdag 3. november, og dette er The Daily Diff. Vektrom-programmering er forskernes navn for å be en AI om å inspisere eller skrive tallene inne i et nevralt nettverk. Disse tallene er dens vekter. Dette MIT-tilknyttede teamet brukte OpenAIs GPT-6 Astra til å redigere en liten Qwen språkmodell, med vanlig trening forbudt. Rikiya Takehi og hans medforfattere publiserte studien på mandag,
0:44 og spurte om en eksisterende AI kunne resonnere om et annet nettverks interne deler. Deres overskriftsresultat er veldig klikkbart. På matte fem hundre, steg Qwen fra omtrent åtte prosent til førtiåtte prosent. Nesten seks ganger så mange riktige svar. Qwen fortsatte å tenke til den gikk tom for plass til å svare.
Hva gjorde Qwen feil?
1:00 I tenkemodus gjentok den ofte sitt resonnement. Tenk deg en student som fyller eksamensheftet med arbeid til klokken ringer. Sensor trenger fortsatt et svar. De fleste originale svar nådde lengdegrensen. Astra lokaliserte en gjentakelsesretning i to interne lag, og fjernet deretter dens bidrag fra utvalgte vektkolonner. Etter den redigeringen nådde flere svar en konklusjon. Omtrent en tredjedel nådde fortsatt grensen i den rapporterte testen.
1:22 Eksamensheftet fikk endelig en siste linje. I dag utfordret Matthew Honnibal, spaCy's skaper og medgründer av Explosion,
Hva bestrider dagens kritiker?
1:28 presentasjonen. Han sier at lesere kan kombinere eksperimentenes forskjellige forhold til et inntrykk av en ekstraordinær teknikk. Hans innvending gjelder deres samlede historie. Vi kan selv sjekke forholdene. Qwen-eksperimentet ga Astra en Python-notatbok over vektene og øvings
Hvilken hjelp fikk Astra egentlig?
1:44 problemer med svar. Over mange runder inspiserte den interne aktiveringer og sammenlignet originale og redigerte versjoner. Det endelige budsjettet tillot femti grupper med modellkjøringer. Hver generasjonsgruppe kunne inneholde hundrevis av svar. Øvingsdataene kom fra treningssplits. Forskerne sier at Astra aldri så de endelige evalueringssettene. Tilbakemelding hjalp til med å velge redigeringen; tilbakeholdte problemer målte det etterpå. Prøvetakingsinnstillingene forble faste mellom original og redigert Qwen,
2:09 noe som gjorde protokollens score-sammenligning tolkbar. Den første meldingen ga den en hjelpsom lab-veileder. Diagnostiser feil, finn de ansvarlige komponentene, sammenlign på de samme problemene, og test flere styrker. Den nevnte eksplisitt repeterende tenkning som en reparasjon som teller. Mastergradsstudenter bør forhandle om denne introduksjonspakken. Det er en imponerende reparasjon.
Hvor liten var den faktiske reparasjonen?
2:28 Astras målrettede redigering berørte omtrent hundre og trettien tusen vekter. Det er omtrent seksten tusendeler av en prosent av modellen. Vektfilen ble endret direkte. Gradienttrening forble forbudt; den eksisterende modellen gjorde besvarelsen etter at Astras redigeringssesjon var avsluttet. Gevinsten nådde også instruksjonsoppfølging. Jeg liker den praktiske implikasjonen. En modell kan inneha nyttig arbeid som dens feilmodus fortsetter å begrave.
2:48 Å fikse den feilen kan gjenopprette brukbare svar. Å fullføre teller. Honnibal gir den verktøyassisterte arbeidet kreditt for å utføre oppgaver en menneskelig maskinlærings-ingeniør kunne gjøre. Det er viktig for en agent. Hans klage er at de små rå-tall-demonstrasjonene og større Python-assisterte reparasjonene inviterer til en bredere konklusjon når de samles. Ta de små spillnettverkene.
Hvilke eksperimenter hadde egentlig ingen verktøy?
3:09 I ett eksperiment leste Astra deres rå tall og identifiserte korrekt hvilket spill hvert nettverk hadde lært. Verktøy var forbudt. I et annet skrev den nye spillveker fra bunnen av ved hjelp av reglene og kildekoden, uten øvingsutrullinger. Dette er separate demonstrasjoner med separate bevis. Astras nettverk slo baseline trent i hundre millioner trinn i alle tre spill. Mot den lengre trente baseline tapte den i Seaquest og
3:32 Asterix, mens den vant Breakout. Endre sammenligningskolonnen, og seierstalen trenger redigering. Heldigvis er redigering dagens tema. For en bredere påstand ville vi ønske forbedringer på tvers av modeller med forskjellige feil.
Hva ville en mer generell påstand kreve?
3:44 Spor hva redaktøren så og hva som telte som suksess. Qwens modellkort advarer allerede om tankeløkker. Å fjerne denne kjente hindringen har et spesielt utgangspunkt. Til deres ære publiserer forfatterne selv den ubehagelige oppfølgingen. De forklarer at å stoppe løkker lar Qwen fullføre svar den allerede kunne finne ut av. Deres logger inkluderer meldinger, tilbakemeldinger og redigeringer. Vi kan undersøke prestasjonen og stille et vanskeligere spørsmål.
Hva skjedde med modellen som sjelden gikk i løkke?
4:06 Nå den andre modellen, en mindre Gemma i sitt eget oppsett for oppfølging. Den gikk sjelden i løkke, så dens feil var vanlig feilaktig aritmetikk og ugyldig algebra. Astra prøvde målrettede vektredigeringer med praksistilbakemelding igjen. Ingen flyttet dens mattescore med mer enn omtrent et poeng, og en gevinst ble ikke etablert. Den vellykkede Qwen-reparasjonen hadde en hindring å fjerne. Gemmas aritmetiske feil overlevde. Det er det nyttige spørsmålet for utviklere.
4:28 Hvilken feil reparerte redigeringen, og har modellen din den faktisk? Test de lagrede vektene på dine egne oppgaver før du feirer multiplikatoren. En reparert flaskehals kan ha enorm betydning mens neste flaskehals forblir nøyaktig der den var. Hvis du heller vil lese dette enn å høre meg si det, lander diffen i innboksen din hver morgen, gratis på the daily diff dot dev, lenke nedenfor.
Ville jeg SHIP IT vektredigeringspåstanden?
4:47 Så dagens dom er NEEDS REVIEW. Jeg ville tatt løkkereparasjonen alvorlig og testet den. Jeg ville holdt bredere påstander betinget av suksess utover den feilmodusen. Forfatternes eget moteksempel er den mest nyttige linjen i diffen. Og det er diffen for i dag. Jeg er Niko fra Axrisi. Slå sammen ansvarlig.
Kilder
- Weight-space programming studyRikiya Takehi and coauthors
- November 3 critique of bundled experiment conditionsMatthew Honnibal
- Pinned Qwen protocol and exact weight editsRikiya Takehi and coauthors
- Actual initial Qwen promptRikiya Takehi and coauthors
- Pinned smaller Gemma follow-upRikiya Takehi and coauthors
- Original model-card thinking-loop warningQwen
- Primary study discussionHacker News
- Critique discussionHacker News
- Cover portrait: Sam Altman, TechCrunch 2019 crop, CC BY 2.0; cropped, background removed, resized and flipped; no endorsementSteve Jennings/Getty Images for TechCrunch via Wikimedia Commons
- Released checkpoint and attributed external re-runRikiyaT on Hugging Face; re-run credited to akhaliq
- Portrait license: Creative Commons Attribution 2.0Creative Commons; Steve Jennings/Getty Images for TechCrunch portrait credit above
.jpg){kind=link}