GPT-6 Astra a corrigé la pensée infinie d'une autre IA
Une étude affiliée au MIT a utilisé GPT-6 Astra pour modifier les poids d'un petit modèle Qwen et aider à finaliser davantage de réponses.
Une étude affiliée au MIT a utilisé GPT-6 Astra pour modifier les poids d'un petit modèle Qwen et aider à finaliser davantage de réponses. Le bond de son score en mathématiques dépendait d'une réparation ciblée de la boucle, d'une analyse Python et d'un retour d'expérience pratique. Un suivi séparé sur un plus petit modèle Gemma n'a montré aucun gain établi.
Lire l'édition écrite (anglais) ↗
Ce que couvre cette vidéo
- L'augmentation de score rapportée pour Qwen provenait d'une réparation ciblée du raisonnement répétitif; environ un tiers des réponses modifiées atteignaient toujours la limite de longueur dans le protocole primaire.
- L'entraînement par gradient était interdit, tandis que l'analyse Python, les réponses d'entraînement et le retour d'information des exécutions par lots du modèle étaient autorisés sur de nombreux tours. Les questions d'évaluation finales étaient déclarées comme étant mises de côté.
- Les expériences avec de petits poids bruts et sans déploiement (no-rollout) ont utilisé des conditions différentes. Leurs affirmations doivent conserver leur portée individuelle en termes d'outils, d'entrées et de bases de référence.
- Matthew Honnibal attribue le mérite à l'ingénierie assistée par des outils et conteste l'impression plus large produite par le regroupement des expériences.
- Le suivi sur le plus petit modèle Gemma a utilisé sa propre configuration et n'a pas réussi à établir une amélioration. Testez quelle défaillance une modification de poids répare avant de l'appliquer à un autre modèle.
Questions et réponses
Qu'est-ce qu'Astra a modifié pour améliorer le score mathématique rapporté de Qwen ?
Astra a effectué une modification de poids ciblée qui a aidé Qwen à terminer davantage de réponses, selon l'étude de Rikiya Takehi et ses coauteurs. Elle a supprimé une contribution associée à la répétition de colonnes sélectionnées dans les couches internes. L'augmentation de score en mathématiques rapportée a utilisé un protocole d'évaluation fixe. De nombreuses réponses modifiées atteignaient encore la limite de longueur, de sorte que le résultat conserve un taux d'échec résiduel substantiel.
Quels outils et retours d'information étaient autorisés pendant la modification des poids de Qwen ?
L'analyse Python, les problèmes d'entraînement avec des réponses et le retour d'information des exécutions de modèles par lots étaient autorisés sur de nombreux tours. La consigne initiale des chercheurs interdisait l'entraînement par gradient et spécifiait des conseils de diagnostic et de test causal, incluant la réparation de la pensée répétitive comme cible éligible. Ce support a aidé Astra à choisir une modification directe des poids existants. Une unité budgétaire pouvait contenir des centaines de réponses générées.
Les problèmes d'évaluation finale étaient-ils disponibles pour le modèle d'édition ?
Les chercheurs affirment que les ensembles d'évaluation finale sont restés invisibles pour Astra. Le retour d'information de pratique provenait de problèmes de divisions d'entraînement et a aidé à sélectionner la modification ; des problèmes distincts mis de côté ont mesuré le modèle soumis par la suite. La consigne initiale divulguait les noms des benchmarks et le protocole d'évaluation. Cette distinction décrit ce qui a été retenu sans affirmer que l'éditeur manquait de toute information sur la tâche.
Que s'est-il passé lors du suivi de la modification des poids sur le plus petit modèle Gemma ?
Le suivi sur le plus petit modèle Gemma n'a pas réussi à établir un gain, selon Rikiya Takehi et ses coauteurs. Le modèle bouclait rarement, et ses échecs incluaient des erreurs arithmétiques et de l'algèbre invalide. Des modifications ciblées avec un retour d'information de pratique ont déplacé le score mathématique rapporté d'au plus environ un point. Il a utilisé une configuration distincte, de sorte que la comparaison fournit un contre-exemple ciblé plutôt qu'une ablation à contrôle égal.
Quel était le verdict de The Daily Diff sur l'affirmation de modification des poids ?
Le verdict de The Daily Diff était NEEDS REVIEW. Niko prendrait la réparation ciblée de la boucle au sérieux et la testerait, tout en maintenant les affirmations plus larges conditionnées au succès au-delà de ce mode de défaillance. Le contre-exemple du modèle plus petit des chercheurs informe ce jugement. Les développeurs devraient identifier l'échec qu'une modification répare et évaluer les poids sauvegardés sur leurs propres tâches avant de célébrer un multiplicateur rapporté.
Transcription traduite
Traduit de la narration originale en anglais. L'audio et les sous-titres disponibles sont gérés par YouTube.
Pourquoi le score en mathématiques a-t-il bondi ?
0:00 Une IA rendant une autre IA six fois plus intelligente ressemble à un génie instantané. Le grand bond de score d'Astra est venu en aidant Qwen à terminer les réponses qu'il ne cessait de répéter. Dans cette vidéo, qu'est-ce qui a changé ? Quelle aide Astra a-t-elle reçue ? Et jusqu'où la correction voyage-t-elle ? Qwen est passé d'environ huit pour cent à quarante-huit pour cent. Les chercheurs ont essayé un deuxième modèle avec presque aucune boucle. Nous verrons comment cela s'est passé avant le verdict.
0:22 Nous sommes mardi 3 novembre, et voici The Daily Diff. La programmation dans l'espace des poids est le nom donné par les chercheurs au fait de demander à une IA d'inspecter ou de écrire les nombres à l'intérieur d'un réseau neuronal. Ces nombres sont ses poids. Cette équipe affiliée au MIT a utilisé GPT-6 Astra d'OpenAI pour modifier un petit modèle de langage Qwen, l'entraînement ordinaire étant interdit. Rikiya Takehi et ses coauteurs ont publié l'étude lundi,
0:44 demandant si une IA existante pouvait raisonner sur les internes d'un autre réseau. Leur résultat principal est très attrayant. Sur Math 500, Qwen est passé d'environ huit pour cent à quarante-huit pour cent. Presque six fois plus de bonnes réponses. Qwen a continué à réfléchir jusqu'à ce qu'il n'ait plus de place pour répondre.
Qu'est-ce que Qwen faisait de mal ?
1:00 En mode de réflexion, il répétait souvent son raisonnement. Imaginez un étudiant remplissant le carnet d'examen avec son travail jusqu'à ce que la cloche sonne. Le correcteur a toujours besoin d'une réponse. La plupart des réponses originales atteignaient la limite de longueur. Astra a localisé une direction de répétition dans deux couches internes, puis a supprimé sa contribution des colonnes de poids sélectionnées. Après cette modification, plus de réponses ont abouti à une conclusion. Environ un tiers atteignait encore la limite dans le test rapporté.
1:22 Le carnet d'examen a finalement eu une dernière ligne. Aujourd'hui, Matthew Honnibal, créateur de spaCy et cofondateur d'Explosion,
Qu'est-ce que le critique d'aujourd'hui conteste ?
1:28 a contesté la présentation. Il affirme que les lecteurs peuvent combiner les différentes conditions des expériences pour avoir l'impression d'une technique extraordinaire. Son objection concerne leur histoire combinée. Nous pouvons vérifier les conditions nous-mêmes. L'expérience Qwen a donné à Astra un notebook Python sur les poids et des problèmes
Quelle aide Astra a-t-elle réellement reçue ?
1:44 d'entraînement avec des réponses. Sur de nombreux tours, il a inspecté les activations internes et comparé les versions originales et modifiées. Le budget final autorisait cinquante lots d'exécutions du modèle. Chaque lot de génération pouvait contenir des centaines de réponses. Les données d'entraînement provenaient de divisions d'entraînement. Les chercheurs affirment qu'Astra n'a jamais vu les ensembles d'évaluation finaux. Le feedback a aidé à choisir la modification ; des problèmes mis de côté l'ont mesurée après. Les paramètres d'échantillonnage sont restés fixes entre le Qwen original et le Qwen modifié,
2:09 rendant la comparaison des scores de ce protocole interprétable. La première consigne lui a donné un superviseur de laboratoire utile. Diagnostiquer les échecs, trouver les composants responsables, comparer sur les mêmes problèmes et tester plusieurs forces. Il mentionnait explicitement la pensée répétitive comme une réparation qui compte. Les étudiants en master devraient négocier pour ce forfait d'intégration. C'est une réparation impressionnante.
Quelle était l'étendue réelle de la réparation ?
2:28 La modification ciblée d'Astra a touché environ cent trente et un mille poids. Cela représente environ seize millièmes de pour cent du modèle. Le fichier de poids a été modifié directement. L'entraînement par gradient est resté interdit; le modèle existant a effectué les réponses après la fin de la session de modification d'Astra. Le gain a également atteint le respect des instructions. J'aime l'implication pratique. Un modèle peut posséder un travail utile que son mode de défaillance ne cesse d'enfouir.
2:48 Corriger cette défaillance peut récupérer des réponses utilisables. Terminer compte. Honnibal attribue le travail assisté par des outils comme effectuant des tâches qu'un ingénieur en apprentissage automatique humain pourrait faire. C'est important pour un agent. Sa plainte est que les petites démonstrations de nombres bruts et les réparations plus importantes assistées par Python invitent à une conclusion plus large lorsqu'elles sont regroupées. Prenons les minuscules réseaux de jeux.
Quelles expériences n'avaient vraiment pas d'outils ?
3:09 Dans une expérience, Astra a lu leurs nombres bruts et a correctement identifié quel jeu chaque réseau avait appris. Les outils étaient interdits. Dans une autre, il a écrit de nouveaux poids de jeu à partir de zéro en utilisant les règles et le code source, sans déploiement d'entraînement. Ce sont des démonstrations distinctes avec des preuves distinctes. Les réseaux d'Astra ont battu la référence entraînée pendant cent millions d'étapes dans les trois jeux. Contre la référence entraînée plus longtemps, il a perdu dans Seaquest et
3:32 Asterix, tout en gagnant Breakout. Changez la colonne de comparaison, et le discours de victoire doit être modifié. Heureusement, la modification est le sujet d'aujourd'hui. Pour une affirmation plus large, nous voudrions des améliorations sur des modèles avec des échecs différents.
Qu'est-ce qu'une affirmation plus générale nécessiterait ?
3:44 Suivez ce que l'éditeur a vu et ce qui a compté comme un succès. La carte du modèle de Qwen avertit déjà des boucles de pensée. Supprimer cet obstacle connu a un point de départ particulier. À leur crédit, les auteurs publient eux-mêmes le suivi inconfortable. Ils expliquent que l'arrêt des boucles permet à Qwen de terminer les réponses qu'il pouvait déjà élaborer. Leurs journaux incluent les invites, les commentaires et les modifications. Nous pouvons examiner la réalisation et poser une question plus difficile.
Qu'est-il arrivé au modèle qui bouclait rarement ?
4:06 Maintenant le deuxième modèle, un plus petit Gemma dans sa propre configuration de suivi. Il bouclait rarement, donc ses échecs étaient des erreurs arithmétiques ordinaires et de l'algèbre invalide. Astra a de nouveau tenté des modifications de poids ciblées avec un retour d'expérience pratique. Aucune n'a déplacé son score en mathématiques de plus d'environ un point, et un gain n'a pas été établi. La réparation réussie de Qwen avait un obstacle à supprimer. Les erreurs arithmétiques de Gemma ont persisté. C'est la question utile pour les développeurs.
4:28 Quelle défaillance la modification a-t-elle réparée, et votre modèle l'a-t-il réellement ? Testez les poids sauvegardés sur vos propres tâches avant de célébrer le multiplicateur. Un goulot d'étranglement réparé peut avoir une importance énorme tandis que le prochain goulot d'étranglement reste exactement là où il était. Si vous préférez lire ceci plutôt que de m'entendre le dire, la "diff" arrive dans votre boîte de réception chaque matin, gratuitement sur thedailydiff.dev, lien ci-dessous.
Livrerais-je la revendication de modification de poids ?
4:47 Donc, le verdict d'aujourd'hui est NEEDS REVIEW. Je prendrais la réparation de boucle au sérieux et la testerais. Je maintiendrais les affirmations plus larges conditionnées au succès au-delà de ce mode de défaillance. Le contre-exemple des auteurs est la ligne la plus utile de la "diff". Et c'est la "diff" pour aujourd'hui. Je suis Niko d'Axrisi. Fusionnez de manière responsable.
Sources
- Weight-space programming studyRikiya Takehi and coauthors
- November 3 critique of bundled experiment conditionsMatthew Honnibal
- Pinned Qwen protocol and exact weight editsRikiya Takehi and coauthors
- Actual initial Qwen promptRikiya Takehi and coauthors
- Pinned smaller Gemma follow-upRikiya Takehi and coauthors
- Original model-card thinking-loop warningQwen
- Primary study discussionHacker News
- Critique discussionHacker News
- Cover portrait: Sam Altman, TechCrunch 2019 crop, CC BY 2.0; cropped, background removed, resized and flipped; no endorsementSteve Jennings/Getty Images for TechCrunch via Wikimedia Commons
- Released checkpoint and attributed external re-runRikiyaT on Hugging Face; re-run credited to akhaliq
- Portrait license: Creative Commons Attribution 2.0Creative Commons; Steve Jennings/Getty Images for TechCrunch portrait credit above
.jpg){kind=link}