GPT-6 Astra patchade en annan AI:s oändliga tänkande
En MIT-ansluten studie använde GPT-6 Astra för att redigera en liten Qwen-modells vikter och hjälpa fler svar att slutföras.
En MIT-ansluten studie använde GPT-6 Astra för att redigera en liten Qwen-modells vikter och hjälpa fler svar att slutföras. Dess rapporterade hopp i matematikpoäng berodde på en riktad "loop repair", Python-analys och övningsfeedback. En separat uppföljning med en mindre Gemma-modell fann ingen etablerad vinst.
Läs den skrivna upplagan (engelska) ↗
Vad den här videon täcker
- Den rapporterade Qwen-poängökningen kom från en riktad reparation av repetitivt resonemang; ungefär en tredjedel av de redigerade svaren nådde fortfarande längdbegränsningen i det primära protokollet.
- Gradientträning var förbjuden, medan Python, övningssvar och återkoppling från batchade modellkörningar var tillåtet under många omgångar. Slutliga utvärderingsfrågor förklarades som undanhållna från källan.
- De små råvikts- och inga-utrullningsspel-experimenten använde olika förhållanden. Deras påståenden bör behålla sin individuella verktygs-, input- och baslinjeomfattning.
- Matthew Honnibal tillskriver det verktygsstödda ingenjörsarbetet och bestrider det bredare intrycket som producerats genom att bunta ihop experimenten.
- Den mindre Gemma-uppföljningen använde sin egen uppsättning och lyckades inte etablera en förbättring. Testa vilken typ av fel en viktreparation åtgärdar innan du applicerar den på en annan modell.
Frågor och svar
Vad förändrade Astra för att förbättra Qwens rapporterade matematikpoäng?
Astra gjorde en riktad viktreparation som hjälpte Qwen att slutföra fler svar, enligt studien av Rikiya Takehi och medförfattare. Den tog bort ett upprepningsrelaterat bidrag från utvalda kolumner i interna lager. Den rapporterade ökningen av matematikpoäng använde ett fast utvärderingsprotokoll. Många redigerade svar nådde fortfarande längdbegränsningen, så resultatet bibehåller en betydande kvarvarande felfrekvens.
Vilka verktyg och vilken feedback var tillåten under Qwen-viktreparationen?
Python-analys, övningsproblem med svar och batchad feedback från modellkörningar var tillåtet under många omgångar. Forskarnas faktiska inledande prompt förbjöd gradientträning och specificerade diagnostiska och kausala testråd, inklusive reparation av repetitivt tänkande som ett godtagbart mål. Detta stöd hjälpte Astra att välja en direkt redigering av befintliga vikter. En budgetenhet kunde innehålla hundratals genererade svar.
Var de slutliga utvärderingsproblemen tillgängliga för redigeringsmodellen?
Forskarna säger att de slutliga utvärderingsuppsättningarna förblev osedda av Astra. Övningsfeedback kom från träningsdelningsproblem och hjälpte till att välja redigeringen; separata undanhållna problem mätte den inlämnade modellen efteråt. Den inledande prompten avslöjade benchmark-namn och utvärderingsprotokollet. Denna distinktion beskriver vad som undanhölls utan att påstå att redigeraren saknade all information om uppgiften.
Vad hände i den mindre Gemma-viktreparationsuppföljningen?
Den mindre Gemma-uppföljningen lyckades inte etablera en vinst, enligt Rikiya Takehi och medförfattare. Modellen loopade sällan, och dess fel inkluderade felaktig aritmetik och ogiltig algebra. Riktade redigeringar med övningsfeedback flyttade den rapporterade matematikpoängen med högst ungefär en poäng. Den använde en separat inställning, så jämförelsen tillhandahåller ett avgränsat motexempel snarare än en lika-kontrollerad ablation.
Vad var The Daily Diffs dom över viktreparationspåståendet?
The Daily Diffs dom var NEEDS REVIEW. Niko skulle ta den riktade loopreparationen på allvar och testa den, samtidigt som han skulle hålla bredare påståenden begränsade till framgång utöver det felläget. Forskarnas eget motexempel med mindre modell ligger till grund för den bedömningen. Utvecklare bör identifiera vilket fel en redigering reparerar och utvärdera sparade vikter på sina egna uppgifter innan de firar en rapporterad multiplikator.
Översatt transkription
Översatt från den ursprungliga engelska berättelsen. Tillgängligt ljud och undertexter styrs av YouTube.
Varför hoppade matematikpoängen?
0:00 En AI som gör en annan AI sex gånger smartare låter som omedelbart genialt. Astras stora poängökning kom från att hjälpa Qwen att avsluta svar som den hela tiden upprepade. I den här videon, vad förändrades? Vilken hjälp fick Astra? Och hur långt når fixen? Qwen gick från cirka åtta procent till fyrtioåtta procent. Forskarna provade en andra modell med nästan inga loopar. Vi får se hur det gick innan domen.
0:22 Det är tisdag den tredje november, och detta är The Daily Diff. Viktutrymmesprogrammering är forskarnas namn för att be en AI att inspektera eller skriva siffrorna inuti ett neuralt nätverk. Dessa siffror är dess vikter. Detta MIT-anslutna team använde OpenAI:s GPT-6 Astra för att redigera en liten Qwen-språkmodell, där vanlig träning var förbjuden. Rikiya Takehi och hans medförfattare publicerade studien på måndagen,
0:44 och frågade om en befintlig AI kunde resonera om ett annat nätverks interna delar. Deras rubrikresultat är mycket klickbart. På matematik 500 steg Qwen från cirka åtta procent till fyrtioåtta procent. Nästan sex gånger fler korrekta svar. Qwen fortsatte att tänka tills den fick slut på utrymme att svara.
Vad gjorde Qwen fel?
1:00 I tänkeläge upprepade den ofta sitt resonemang. Föreställ dig en student som fyller provhäftet med uträkningar tills klockan ringer. Bedömaren behöver fortfarande ett svar. De flesta ursprungliga svaren nådde längdgränsen. Astra lokaliserade en upprepningsriktning i två interna lager, och tog sedan bort dess bidrag från valda viktkolumner. Efter den redigeringen nådde fler svar en slutsats. Omkring en tredjedel nådde fortfarande gränsen i det rapporterade testet.
1:22 Examenshäftet fick äntligen en sista rad. Idag utmanade Matthew Honnibal, spaCy:s skapare och medgrundare av Explosion,
Vad bestrider dagens kritiker?
1:28 presentationen. Han säger att läsare kan kombinera experimentens olika förhållanden till ett intryck av en extraordinär teknik. Hans invändning rör deras kombinerade berättelse. Vi kan själva kontrollera förhållandena. Qwen-experimentet gav Astra en Python-notebook över vikterna och övningsproblem
Vilken hjälp fick Astra egentligen?
1:44 med svar. Under många omgångar inspekterade den interna aktiveringar och jämförde ursprungliga och redigerade versioner. Den slutliga budgeten tillät femtio omgångar av modellkörningar. Varje generationsbatch kunde innehålla hundratals svar. Övningsdata kom från träningsdelningar. Forskarna säger att Astra aldrig såg de slutliga utvärderingsuppsättningarna. Feedback hjälpte till att välja redigeringen; undanhållna problem mätte den efteråt. Samplingsinställningarna förblev oförändrade mellan den ursprungliga och redigerade Qwen,
2:09 vilket gjorde denna protokolls poängjämförelse tolkningsbar. Den första prompten gav den en hjälpsam labbhandledare. Diagnostisera fel, hitta de ansvariga komponenterna, jämför på samma problem, och testa flera styrkor. Den nämnde explicit repetitivt tänkande som en reparation som räknas. Doktorander bör förhandla om detta introduktionspaket. Det är en imponerande reparation.
Hur liten var den faktiska reparationen?
2:28 Astras riktade redigering berörde ungefär etthundratrettioen tusen vikter. Det är ungefär sexton tusendelar av en procent av modellen. Viktfilen ändrades direkt. Gradientträning förblev förbjuden; den befintliga modellen utförde svaren efter Astras redigeringssession avslutades. Vinsten nådde även instruktionsföljande. Jag gillar den praktiska implikationen. En modell kan inneha användbart arbete som dess felläge fortsätter att begrava.
2:48 Att åtgärda det felet kan återställa användbara svar. Att slutföra räknas. Honnibal ger det verktygsstödda arbetet erkännande för att ha utfört uppgifter en mänsklig maskininlärningsingenjör skulle kunna utföra. Det är betydelsefullt för en agent. Hans klagomål är att de små rånummerdemonstrationerna och de större Python-assisterade reparationerna inbjuder till en bredare slutsats när de buntats ihop. Ta de små spelnätverken.
Vilka experiment hade verkligen inga verktyg?
3:09 I ett experiment läste Astra deras rånummer och identifierade korrekt vilket spel varje nätverk hade lärt sig. Verktyg var förbjudna. I ett annat skrev den nya spelvikter från grunden med hjälp av reglerna och källkoden, utan övningsutrullningar. Det är separata demonstrationer med separata bevis. Astras nätverk slog baslinjen som tränats i hundra miljoner steg i alla tre spel. Mot den längre tränade baslinjen förlorade den i Seaquest och
3:32 Asterix, medan den vann Breakout. Ändra jämförelsekolumnen, och segertalet behöver redigeras. Bekvämt nog är redigering dagens ämne. För ett bredare påstående skulle vi vilja se förbättringar över modeller med olika fel.
Vad skulle ett mer allmänt påstående behöva?
3:44 Spåra vad redigeraren såg och vad som räknades som framgång. Qwens modellkort varnar redan för tankeloopar. Att ta bort detta kända hinder har en särskild utgångspunkt. Till deras förtjänst publicerar författarna själva den obekväma uppföljningen. De förklarar att att stoppa loopar låter Qwen avsluta svar den redan kunde arbeta ut. Deras loggar inkluderar prompts, feedback och redigeringar. Vi kan undersöka prestationen och ställa en svårare fråga.
Vad hände med modellen som sällan loopade?
4:06 Nu den andra modellen, en mindre Gemma i sin egen uppföljningsinställning. Den loopade sällan, så dess fel var vanliga felaktiga räkningar och ogiltig algebra. Astra försökte sig på riktade viktreparationer med övningsfeedback igen. Ingen flyttade dess matematikpoäng med mer än ungefär en poäng, och en vinst etablerades inte. Den framgångsrika Qwen-reparationen hade ett hinder att ta bort. Gemmas aritmetiska fel överlevde. Det är den användbara frågan för utvecklare.
4:28 Vilket fel reparerade redigeringen, och har din modell faktiskt det? Testa de sparade vikterna på dina egna uppgifter innan du firar multiplikatorn. En reparerad flaskhals kan ha enorm betydelse medan nästa flaskhals förblir precis där den var. Om du hellre vill läsa detta än höra mig säga det, landar diffen i din inkorg varje morgon, gratis på thedailydiff.dev, länk nedan.
Skulle jag SHIP IT viktreparationspåståendet?
4:47 Så, dagens dom är NEEDS REVIEW. Jag skulle ta loopreparationen på allvar och testa den. Jag skulle hålla bredare påståenden begränsade till framgång utöver det felläget. Författarnas eget motexempel är den mest användbara raden i diffen. Och det var diffen för idag. Jag är Niko från Axrisi. Merge responsibly.
Källor
- Weight-space programming studyRikiya Takehi and coauthors
- November 3 critique of bundled experiment conditionsMatthew Honnibal
- Pinned Qwen protocol and exact weight editsRikiya Takehi and coauthors
- Actual initial Qwen promptRikiya Takehi and coauthors
- Pinned smaller Gemma follow-upRikiya Takehi and coauthors
- Original model-card thinking-loop warningQwen
- Primary study discussionHacker News
- Critique discussionHacker News
- Cover portrait: Sam Altman, TechCrunch 2019 crop, CC BY 2.0; cropped, background removed, resized and flipped; no endorsementSteve Jennings/Getty Images for TechCrunch via Wikimedia Commons
- Released checkpoint and attributed external re-runRikiyaT on Hugging Face; re-run credited to akhaliq
- Portrait license: Creative Commons Attribution 2.0Creative Commons; Steve Jennings/Getty Images for TechCrunch portrait credit above
.jpg){kind=link}