GPT-6 Astra a corrigé la pensée sans fin d'une autre IA
Une étude affiliée au MIT a utilisé GPT-6 Astra pour modifier les poids d'un petit modèle Qwen et aider à ce que plus de réponses soient complétées.
Une étude affiliée au MIT a utilisé GPT-6 Astra pour modifier les poids d'un petit modèle Qwen et aider à ce que plus de réponses soient complétées. Le saut de score en mathématiques rapporté dépendait d'une réparation ciblée de la boucle, d'une analyse Python et d'une rétroaction pratique. Un suivi distinct plus petit de Gemma n'a trouvé aucun gain établi.
Lire l'édition écrite (anglais) ↗
Ce que cette vidéo couvre
- L'augmentation de score rapportée pour Qwen provenait d'une réparation ciblée du raisonnement répétitif; environ un tiers des réponses modifiées atteignaient toujours la limite de longueur dans le protocole principal.
- L'entraînement par gradient était interdit, tandis que Python, les réponses pratiques et la rétroaction par lots de l'exécution du modèle étaient autorisés sur plusieurs itérations. Les questions d'évaluation finales ont été déclarées comme étant mises de côté par la source.
- Les petites expériences avec les poids bruts et sans déploiement ont utilisé des conditions différentes. Leurs revendications devraient conserver leur outil, leurs entrées et leur portée de référence individuels.
- Matthew Honnibal attribue le mérite à l'ingénierie assistée par des outils et conteste l'impression générale produite par le regroupement des expériences.
- Le suivi de Gemma plus petit a utilisé sa propre configuration et n'a pas réussi à établir une amélioration. Testez quelle défaillance une modification de poids répare avant de l'appliquer à un autre modèle.
Questions et réponses
Qu'est-ce qu'Astra a modifié pour améliorer le score mathématique rapporté de Qwen?
Astra a effectué une modification de poids ciblée qui a aidé Qwen à terminer davantage de réponses, selon l'étude de Rikiya Takehi et de ses coauteurs. Elle a supprimé une contribution associée à la répétition de colonnes sélectionnées dans les couches internes. L'augmentation rapportée du score mathématique a utilisé un protocole d'évaluation fixe. De nombreuses réponses modifiées atteignaient toujours la limite de longueur, de sorte que le résultat conserve un taux d'échec résiduel substantiel.
Quels outils et retours étaient autorisés pendant la modification du poids de Qwen?
L'analyse Python, les problèmes pratiques avec réponses et les retours par lots des exécutions du modèle étaient autorisés sur de nombreuses itérations. Le "prompt" initial réel des chercheurs interdisait l'entraînement par gradient et spécifiait des conseils de diagnostic et de test causal, y compris la réparation de la pensée répétitive comme cible éligible. Ce soutien a aidé Astra à choisir une modification directe des poids existants. Une unité budgétaire pouvait contenir des centaines de réponses générées.
Les problèmes d'évaluation finaux étaient-ils disponibles pour le modèle d'édition?
Les chercheurs affirment que les ensembles d'évaluation finaux sont restés invisibles pour Astra. La rétroaction pratique provenait de problèmes divisés pour l'entraînement et a aidé à sélectionner la modification; des problèmes séparés "mis de côté" ont mesuré le modèle soumis par la suite. Le "prompt" initial divulguait les noms des "benchmarks" et le protocole d'évaluation. Cette distinction décrit ce qui a été retenu sans prétendre que l'éditeur manquait de toutes les informations sur la tâche.
Que s'est-il passé lors du suivi de modification de poids de Gemma plus petit?
Le suivi de Gemma plus petit n'a pas réussi à établir un gain, selon Rikiya Takehi et ses coauteurs. Le modèle bouclait rarement, et ses échecs incluaient des erreurs arithmétiques et une algèbre invalide. Les modifications ciblées avec rétroaction pratique ont déplacé le score mathématique rapporté d'au plus environ un point. Il a utilisé une configuration distincte, de sorte que la comparaison fournit un contre-exemple "scopé" plutôt qu'une ablation également contrôlée.
Quel a été le verdict de The Daily Diff sur la revendication de modification de poids?
Le verdict de The Daily Diff a été NEEDS REVIEW. Niko prendrait au sérieux la réparation ciblée de la boucle et la testerait, tout en limitant les revendications plus larges au succès au-delà de ce mode de défaillance. Le contre-exemple des chercheurs sur un modèle plus petit éclaire ce jugement. Les développeurs devraient identifier la défaillance qu'une modification répare et évaluer les poids enregistrés sur leurs propres tâches avant de célébrer un multiplicateur rapporté.
Transcription traduite
Traduit de la narration originale en anglais. L'audio et les sous-titres disponibles sont contrôlés par YouTube.
Pourquoi le score en mathématiques a-t-il bondi?
0:00 Une IA rendant une autre IA six fois plus intelligente ressemble à un génie instantané. Le grand saut de score d'Astra est venu en aidant Qwen à terminer les réponses qu'il continuait de répéter. Dans cette vidéo, qu'est-ce qui a changé? Quelle aide Astra a-t-elle obtenue? Et jusqu'où la correction s'étend-elle? Qwen est passé d'environ huit pour cent à quarante-huit pour cent. Les chercheurs ont essayé un deuxième modèle avec presque aucune boucle. Nous verrons comment cela s'est passé avant le verdict.
0:22 Nous sommes le mardi 3 novembre, et voici The Daily Diff. La programmation dans l'espace des poids est le nom donné par les chercheurs au fait de demander à une IA d'inspecter ou de écrire les nombres à l'intérieur d'un réseau neuronal. Ces nombres sont ses poids. Cette équipe affiliée au MIT a utilisé GPT six Astra d'OpenAI pour éditer un petit modèle linguistique Qwen, l'entraînement ordinaire étant interdit. Rikiya Takehi et ses coauteurs ont publié l'étude lundi,
0:44 se demandant si une IA existante pouvait raisonner sur les internes d'un autre réseau. Leur résultat principal est très attrayant. Sur "math five hundred", Qwen est passé d'environ huit pour cent à quarante-huit pour cent. Près de six fois plus de bonnes réponses. Qwen a continué à réfléchir jusqu'à ce qu'il n'ait plus de place pour répondre.
Qu'est-ce que Qwen faisait de mal?
1:00 En mode de réflexion, il répétait souvent son raisonnement. Imaginez un étudiant remplissant le livret d'examen de brouillon jusqu'à ce que la cloche sonne. Le correcteur a toujours besoin d'une réponse. La plupart des réponses originales atteignaient la limite de longueur. Astra a localisé une direction de répétition dans deux couches internes, puis a supprimé sa contribution des colonnes de poids sélectionnées. Après cette modification, plus de réponses ont abouti à une conclusion. Environ un tiers atteignait encore la limite dans le test rapporté.
1:22 Le livret d'examen a finalement obtenu une dernière ligne. Aujourd'hui, Matthew Honnibal, créateur de spaCy et cofondateur d'Explosion,
Qu'est-ce que le critique d'aujourd'hui conteste?
1:28 a contesté la présentation. Il dit que les lecteurs peuvent combiner les différentes conditions des expériences en une impression d'une technique extraordinaire. Son objection concerne leur histoire combinée. Nous pouvons vérifier les conditions nous-mêmes. L'expérience Qwen a donné à Astra un carnet Python sur les poids et des problèmes
Quelle aide Astra a-t-elle réellement obtenue?
1:44 pratiques avec des réponses. Sur de nombreuses itérations, il a inspecté les activations internes et comparé les versions originales et éditées. Le budget final a permis cinquante lots d'exécutions de modèles. Chaque lot de génération pouvait contenir des centaines de réponses. Les données de pratique provenaient de divisions d'entraînement. Les chercheurs affirment qu'Astra n'a jamais vu les ensembles d'évaluation finaux. La rétroaction a aidé à choisir la modification; des problèmes "mis de côté" l'ont mesurée après. Les paramètres d'échantillonnage sont restés fixes entre le Qwen original et le Qwen modifié,
2:09 rendant la comparaison des scores de ce protocole interprétable. Le premier "prompt" lui a donné un superviseur de laboratoire serviable. Diagnostiquer les pannes, trouver les composants responsables, comparer sur les mêmes problèmes et tester plusieurs forces. Il mentionnait explicitement la pensée répétitive comme une réparation qui compte. Les étudiants aux cycles supérieurs devraient négocier pour ce "package" d'intégration. C'est une réparation impressionnante.
Quelle était la taille réelle de la réparation?
2:28 La modification ciblée d'Astra a touché environ cent trente et un mille poids. C'est environ seize millièmes de pour cent du modèle. Le fichier de poids a été modifié directement. L'entraînement par gradient est resté interdit; le modèle existant a fourni les réponses après la fin de la session d'édition d'Astra. Le gain a également atteint le suivi des instructions. J'aime l'implication pratique. Un modèle peut posséder un travail utile que son mode de défaillance continue d'enfouir.
2:48 Corriger cette défaillance peut récupérer des réponses utilisables. Terminer compte. Honnibal attribue au travail assisté par des outils le mérite d'avoir effectué des tâches qu'un ingénieur humain en apprentissage automatique pourrait faire. C'est important pour un agent. Sa plainte est que les petites démonstrations de nombres bruts et les réparations plus importantes assistées par Python invitent à une conclusion plus large lorsqu'elles sont regroupées. Prenons les minuscules réseaux de jeux.
Quelles expériences n'avaient vraiment aucun outil?
3:09 Dans une expérience, Astra a lu leurs nombres bruts et a correctement identifié quel jeu chaque réseau avait appris. Les outils étaient interdits. Dans une autre, il a écrit de nouveaux poids de jeu à partir de zéro en utilisant les règles et le code source, sans "rollouts" pratiques. Ce sont des démonstrations distinctes avec des preuves distinctes. Les réseaux d'Astra ont battu la référence entraînée pendant cent millions d'étapes dans les trois jeux. Contre la référence entraînée plus longtemps, il a perdu dans Seaquest et
3:32 Asterix, tout en gagnant Breakout. Changez la colonne de comparaison, et le discours de victoire doit être modifié. Heureusement, l'édition est le sujet d'aujourd'hui. Pour une affirmation plus large, nous voudrions des améliorations sur des modèles avec des échecs différents.
De quoi aurait besoin une affirmation plus générale?
3:44 Suivre ce que l'éditeur a vu et ce qui a été considéré comme un succès. La carte modèle de Qwen met déjà en garde contre les boucles de pensée. Supprimer cet obstacle connu a un point de départ particulier. À leur crédit, les auteurs publient eux-mêmes le suivi inconfortable. Ils expliquent que l'arrêt des boucles permet à Qwen de terminer les réponses qu'il pouvait déjà élaborer. Leurs journaux incluent les "prompts", la rétroaction et les modifications. Nous pouvons examiner l'accomplissement et poser une question plus difficile.
Qu'est-il arrivé au modèle qui bouclait rarement?
4:06 Maintenant, le deuxième modèle, une plus petite Gemma dans sa propre configuration de suivi. Elle bouclait rarement, donc ses échecs étaient des erreurs arithmétiques ordinaires et de l'algèbre invalide. Astra a de nouveau essayé des modifications ciblées des poids avec rétroaction pratique. Aucune n'a fait varier son score en mathématiques de plus d'environ un point, et un gain n'a pas été établi. La réparation réussie de Qwen avait un obstacle à supprimer. Les erreurs arithmétiques de Gemma ont persisté. C'est la question utile pour les développeurs.
4:28 Quelle défaillance la modification a-t-elle réparée, et votre modèle l'a-t-il réellement? Testez les poids sauvegardés sur vos propres tâches avant de célébrer le multiplicateur. Un "bottleneck" réparé peut avoir une importance énorme tandis que le prochain "bottleneck" reste exactement là où il était. Si vous préférez lire ceci plutôt que de m'entendre le dire, le "diff" arrive dans votre boîte de réception chaque matin, gratuitement à the daily diff dot dev, lien ci-dessous.
Livrerais-je la réclamation de modification de poids?
4:47 Donc, le verdict d'aujourd'hui est NEEDS REVIEW. Je prendrais la réparation de la boucle au sérieux et je la testerais. Je garderais les affirmations plus larges conditionnées au succès au-delà de ce mode de défaillance. Le contre-exemple des auteurs est la ligne la plus utile dans le "diff". Et c'est le "diff" pour aujourd'hui. Je suis Niko d'Axrisi. Fusionnez de manière responsable.
Sources
- Weight-space programming studyRikiya Takehi and coauthors
- November 3 critique of bundled experiment conditionsMatthew Honnibal
- Pinned Qwen protocol and exact weight editsRikiya Takehi and coauthors
- Actual initial Qwen promptRikiya Takehi and coauthors
- Pinned smaller Gemma follow-upRikiya Takehi and coauthors
- Original model-card thinking-loop warningQwen
- Primary study discussionHacker News
- Critique discussionHacker News
- Cover portrait: Sam Altman, TechCrunch 2019 crop, CC BY 2.0; cropped, background removed, resized and flipped; no endorsementSteve Jennings/Getty Images for TechCrunch via Wikimedia Commons
- Released checkpoint and attributed external re-runRikiyaT on Hugging Face; re-run credited to akhaliq
- Portrait license: Creative Commons Attribution 2.0Creative Commons; Steve Jennings/Getty Images for TechCrunch portrait credit above
.jpg){kind=link}