GPT-6 Astra heeft het eindeloze denken van een andere AI gerepareerd

Wat deze video behandelt

• De gerapporteerde Qwen-scoreverhoging kwam voort uit een gerichte reparatie van repetitieve redeneringen; ongeveer een derde van de bewerkte antwoorden bereikte nog steeds de lengtelimiet in het primaire protocol.
• Gradiënttraining was verboden, terwijl Python, oefenantwoorden en gebatchte model-run feedback over vele beurten waren toegestaan. De uiteindelijke evaluatievragen werden als achtergehouden verklaard.
• De kleine ruwe-gewichten en no-rollout game-experimenten gebruikten verschillende omstandigheden. Hun claims moeten hun individuele tool, input en basislijn behouden.
• Matthew Honnibal prijst de door tools ondersteunde engineering en betwist de bredere indruk die wordt geproduceerd door het bundelen van de experimenten.
• Het kleinere Gemma-vervolg gebruikte een eigen opstelling en slaagde er niet in een verbetering vast te stellen. Test welke storing een gewichtsbewerking herstelt voordat deze op een ander model wordt toegepast.

Vertaald transcript

Vertaald vanuit de originele Engelse gesproken tekst. Beschikbare audio en ondertiteling worden beheerd door YouTube.

Waarom steeg de wiskundescore?

0:00 Een AI die een andere AI zes keer slimmer maakt, klinkt als instant genialiteit. Astra's grote scoresprong kwam door Qwen te helpen antwoorden af te ronden die het bleef herhalen. Wat veranderde er in deze video? Welke hulp kreeg Astra? En hoe ver reikt de oplossing? Qwen ging van ongeveer acht procent naar achtenveertig procent. De onderzoekers probeerden een tweede model met bijna geen lussen. We zullen zien hoe dat ging vóór de uitspraak.

0:22 Het is dinsdag 3 november, en dit is The Daily Diff. Gewichtsruimteprogrammering is de naam die onderzoekers geven aan het vragen van een AI om de getallen binnen een neuraal netwerk te inspecteren of te schrijven. Die getallen zijn de gewichten. Dit aan MIT verbonden team gebruikte OpenAI's GPT-6 Astra om een klein Qwen-taalmodel te bewerken, waarbij gewone training verboden was. Rikiya Takehi en zijn mede-auteurs publiceerden de studie op maandag,

0:44 waarin ze de vraag stelden of een bestaande AI kon redeneren over de interne werking van een ander netwerk. Hun belangrijkste resultaat is zeer klikbaar. Op wiskunde vijfhonderd steeg Qwen van ongeveer acht procent naar achtenveertig procent. Bijna zes keer zoveel juiste antwoorden. Qwen bleef nadenken totdat het geen ruimte meer had om te antwoorden.

Wat deed Qwen verkeerd?

1:00 In denkmodus herhaalde het vaak zijn redenering. Stel je een student voor die het examenboekje volschrijft met werk totdat de bel gaat. De corrector heeft nog steeds een antwoord nodig. De meeste originele antwoorden bereikten de lengtelimiet. Astra lokaliseerde een herhalingsrichting in twee interne lagen, en verwijderde vervolgens de bijdrage ervan uit geselecteerde gewichtskolommen. Na die bewerking bereikten meer antwoorden een conclusie. Ongeveer een derde bereikte nog steeds de limiet in de gerapporteerde test.

1:22 Het examenboekje kreeg eindelijk een laatste regel. Vandaag heeft Matthew Honnibal, de maker van spaCy en mede-oprichter van Explosion,

Wat betwist de criticus van vandaag?

1:28 de presentatie betwist. Hij zegt dat lezers de verschillende omstandigheden van de experimenten kunnen combineren tot een indruk van één buitengewone techniek. Zijn bezwaar betreft hun gecombineerde verhaal. We kunnen de omstandigheden zelf controleren. Het Qwen-experiment gaf Astra een Python-notebook over de gewichten en oefen

Welke hulp kreeg Astra eigenlijk?

1:44 problemen met antwoorden. Over vele beurten inspecteerde het interne activaties en vergeleek originele en bewerkte versies. Het uiteindelijke budget stond vijftig batches van modelruns toe. Elke generatiebatch kon honderden antwoorden bevatten. De oefengegevens kwamen uit trainingssplits. De onderzoekers zeggen dat Astra de uiteindelijke evaluatiesets nooit heeft gezien. Feedback hielp bij het kiezen van de bewerking; achtergehouden problemen maten het achteraf. De bemonsteringsinstellingen bleven vast tussen de originele en bewerkte Qwen,

2:09 wat de scorevergelijking van dit protocol interpreteerbaar maakt. De eerste prompt gaf het een behulpzame laboratoriumsupervisor. Diagnoseer storingen, vind de verantwoordelijke componenten, vergelijk op dezelfde problemen, en test verschillende sterktes. Het vermeldde expliciet repetitief denken als een reparatie die meetelt. Afgestudeerde studenten moeten onderhandelen over dit onboardingpakket. Dat is een indrukwekkende reparatie.

Hoe klein was de eigenlijke reparatie?

2:28 Astra's gerichte bewerking raakte ruwweg honderd eenendertigduizend gewichten. Dat is ongeveer zestien duizendsten van een procent van het model. Het gewichtsbestand is direct gewijzigd. Gradiënttraining bleef verboden; het bestaande model deed de beantwoording nadat Astra's bewerkingssessie was afgelopen. De winst bereikte ook het volgen van instructies. Ik vind de praktische implicatie leuk. Een model kan nuttig werk bezitten dat zijn falenmodus blijft begraven.

2:48 Het oplossen van die fout kan bruikbare antwoorden herstellen. Afwerken telt. Honnibal prijst het tool-ondersteunde werk als het uitvoeren van taken die een menselijke machine-learning-ingenieur zou kunnen doen. Dat is van belang voor een agent. Zijn klacht is dat de kleine ruwe-nummer demonstraties en grotere Python-ondersteunde reparaties, wanneer ze worden gebundeld, leiden tot een bredere conclusie. Neem de kleine spelnetwerken.

Welke experimenten hadden echt geen tools?

3:09 In één experiment las Astra hun ruwe nummers en identificeerde correct welk spel elk netwerk had geleerd. Tools waren verboden. In een ander schreef het nieuwe spelende gewichten helemaal opnieuw met behulp van de regels en broncode, zonder oefenuitrol. Dat zijn afzonderlijke demonstraties met afzonderlijk bewijs. Astra's netwerken versloegen de basislijn die voor honderd miljoen stappen was getraind in alle drie spellen. Tegen de langer getrainde basislijn verloor het in Seaquest en

3:32 Asterix, terwijl het Breakout won. Verander de vergelijkingskolom, en de overwinningsrede moet worden bewerkt. Handig is dat bewerken het onderwerp van vandaag is. Voor een bredere claim zouden we verbeteringen willen zien bij modellen met verschillende storingen.

Wat zou een bredere claim nodig hebben?

3:44 Houd bij wat de editor zag en wat als succes telde. Qwen's modelkaart waarschuwt al voor denkloops. Het wegnemen van dit bekende obstakel heeft een specifiek startpunt. Het siert de auteurs dat ze zelf de ongemakkelijke follow-up publiceren. Ze leggen uit dat het stoppen van lussen Qwen in staat stelt antwoorden af te ronden die het al kon uitwerken. Hun logs bevatten prompts, feedback en bewerkingen. We kunnen de prestatie onderzoeken en een moeilijkere vraag stellen.

Wat gebeurde er met het model dat zelden in een lus kwam?

4:06 Nu het tweede model, een kleinere Gemma in zijn eigen follow-up opstelling. Het kwam zelden in een lus, dus de storingen waren gewone verkeerde rekenkunde en ongeldige algebra. Astra probeerde opnieuw gerichte gewichtsbewerkingen met praktijkfeedback. Geen enkele veranderde de wiskundescore met meer dan ongeveer één punt, en een winst werd niet vastgesteld. De succesvolle Qwen-reparatie had een obstakel om te verwijderen. Gemma's rekenfouten bleven bestaan. Dat is de nuttige vraag voor ontwikkelaars.

4:28 Welke storing heeft de bewerking gerepareerd, en heeft jouw model die ook? Test de opgeslagen gewichten op je eigen taken voordat je de multiplier viert. Een gerepareerde bottleneck kan enorm belangrijk zijn, terwijl de volgende bottleneck precies bleef waar hij was. Als je dit liever leest dan dat ik het zeg, dan landt de diff elke ochtend gratis in je inbox op thedailydiff.dev, link hieronder.

Zou ik de claim over gewichtsbewerking SHIPPEN?

4:47 Dus, het oordeel van vandaag is NEEDS REVIEW. Ik zou de lusreparatie serieus nemen en testen. Ik zou bredere claims afhankelijk houden van succes buiten die foutmodus. Het tegenvoorbeeld van de auteurs zelf is de meest nuttige regel in de diff. En dat is de diff voor vandaag. Ik ben Niko van Axrisi. Voeg verantwoord samen.

Bronnen

1. Weight-space programming studyRikiya Takehi and coauthors
2. November 3 critique of bundled experiment conditionsMatthew Honnibal
3. Pinned Qwen protocol and exact weight editsRikiya Takehi and coauthors
4. Actual initial Qwen promptRikiya Takehi and coauthors
5. Pinned smaller Gemma follow-upRikiya Takehi and coauthors
6. Original model-card thinking-loop warningQwen
7. Primary study discussionHacker News
8. Critique discussionHacker News
9. Cover portrait: Sam Altman, TechCrunch 2019 crop, CC BY 2.0; cropped, background removed, resized and flipped; no endorsementSteve Jennings/Getty Images for TechCrunch via Wikimedia Commons
10. Released checkpoint and attributed external re-runRikiyaT on Hugging Face; re-run credited to akhaliq
11. Portrait license: Creative Commons Attribution 2.0Creative Commons; Steve Jennings/Getty Images for TechCrunch portrait credit above