+− THE DAILY DIFFdev & AI news
NEEDS REVIEW

Mémoire de l'agent Claude: rêves basés sur la transcription et échecs d'écriture partagée

Un mauvais repère sauvegardé a envoyé Claude par-dessus la même corniche Pokémon trois fois dans l'expérience rapportée par Anthropic.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Un mauvais repère sauvegardé a envoyé Claude par-dessus la même corniche Pokémon trois fois dans l'expérience rapportée par Anthropic. La "rêverie" basée sur la transcription a corrigé la note, tandis que des pages de contrat séparées et des termes verbatim ont récupéré des faits notés manquants dans une autre tâche.

Lire l'édition écrite (anglais) ↗

Ce que cette vidéo couvre

  • La mémoire de l'agent maintient le contexte entre les sessions; la réparation décrite modifie les notes plutôt que les poids du modèle.
  • Vérifier la mauvaise note par rapport à la transcription de la session a aidé la branche corrigée à atteindre la ville d'Azuria.
  • La recherche seule a obtenu 53% des critères; la recherche plus le wiki plus grand a atteint 61% sur 25 questions sur des documents Stainless.
  • D'autres tâches juridiques rapportées par la source n'ont montré aucun gain clair du wiki ou un wiki plus grand que les documents originaux.
  • Des pages spécifiques au contrat, un rédacteur par page et des termes verbatim ont permis de récupérer 57/57 faits notés; les deux changements ont été testés ensemble.

Questions et réponses

Que modifie la rêverie dans un système de mémoire d'agent?

La rêverie examine les transcriptions des sessions précédentes et réorganise le contexte sauvegardé que les sessions ultérieures peuvent lire. La recherche d'Anthropic définit la mémoire d'agent comme un contexte retenu et exclut les modifications des poids du modèle. Le logiciel environnant choisit quand le travail s'exécute et quelles transcriptions il reçoit. L'API Managed Agents' Dreams est en préversion de recherche et produit un magasin de sortie séparé pour examen.

Surveillez cette partie 0:41 · Anthropic · Claude Platform documentation

Comment une mauvaise mémoire a-t-elle bloqué Claude au Mont Sélénite?

Claude a enregistré le Centre Pokémon du mauvais côté du Mont Sélénite, puis est parti en croyant que la grotte était derrière lui. Anthropic rapporte qu'une corniche à sens unique l'a renvoyé sur une route antérieure, tandis que son outil de navigation a manqué la chute. La vérification de la note sauvegardée par rapport à la transcription originale a corrigé l'emplacement. La branche corrigée a finalement atteint la ville d'Azuria.

Surveillez cette partie 1:30 · Anthropic

Quand un wiki de mémoire lié n'a-t-il pas réussi à améliorer la recherche de source?

Un wiki n'a montré aucun gain clair sur une tâche juridique rapportée où les critères pouvaient souvent être satisfaits en récupérant des informations d'un seul document. Anthropic décrit également une tâche distincte dont le wiki est devenu plus grand que les documents originaux. Les résultats de l'article soutiennent l'évaluation spécifique à la tâche de la représentation, avec les coûts de maintenance considérés en même temps que tout avantage de réponse.

Surveillez cette partie 2:53 · Anthropic

Quels changements d'écriture ont permis de récupérer les faits contractuels manquants?

Chaque contrat a reçu sa propre page wiki avec un seul agent la rédigeant, et les termes ont été cités mot pour mot. La tâche d'acquisition simulée d'Anthropic a alors pris en charge les cinquante-sept faits notés, après que la version du tableau partagé en ait inclus quarante et un. La propriété et la citation ont changé ensemble, de sorte que le test ne peut pas isoler la contribution de chaque changement. Le résultat est un résultat de référence sans garantie d'exactitude juridique universelle.

Surveillez cette partie 3:23 · Anthropic · Harvey AI

Quel a été le verdict de The Daily Diff sur la réparation de mémoire basée sur la transcription?

Le verdict de The Daily Diff a été NÉCESSITE UNE RÉVISION. Niko utiliserait la réparation basée sur la transcription, inspecterait les notes modifiées et testerait si un wiki aide la tâche réelle. Les contre-exemples d'Anthropic montrent qu'une représentation peut ajouter du travail sans un avantage clair. Son guide avertit que les anciennes transcriptions ne peuvent pas établir des changements externes ultérieurs, de sorte que les faits changeants importants nécessitent toujours une vérification.

Surveillez cette partie 4:39 · Anthropic · Claude Cookbook

Transcription traduite

Traduit de la narration originale en anglais. L'audio et les sous-titres disponibles sont contrôlés par YouTube.

Pourquoi la mémoire a-t-elle piégé Claude?

0:00 Donner une mémoire à Claude devrait l'empêcher de répéter les erreurs. Anthropic a observé qu'une mauvaise note l'envoyait par-dessus la même corniche Pokémon trois fois. Dans cette vidéo, comment la mémoire piège-t-elle Claude? Et qu'est-ce qui le répare réellement? Anthropic appelle la réparation la rêverie. Des sessions de modèle supplémentaires revisitent les transcriptions stockées et modifient les fichiers de mémoire. Son test de contrat a même récupéré tous les faits manquants en modifiant la façon dont ces mémoires étaient écrites.

0:22 Gardez cela à l'esprit. Nous sommes le samedi 7 novembre, et voici The Daily Diff. La mémoire de l'agent est un contexte sauvegardé entre les sessions. Les poids du modèle restent inchangés. Le logiciel environnant décide quand le nettoyage s'exécute et quelles transcriptions il voit. La fonctionnalité Rêves des agents gérés est en préversion de recherche. Cet article n'active pas les rêves pour tous les utilisateurs de Claude.

Qu'est-ce qu'Anthropic a réellement testé?

0:41 Anthropic a publié l'article de Lance Martin vendredi. La discussion d'aujourd'hui sur Hacker News voit des gens débattre des mémoires qu'ils suppriment. Que se passe-t-il lorsqu'une note erronée avec confiance survit à une autre session? Nous avons donné à l'hallucination un classeur. Claude doit traverser le Mont Sélénite, en utilisant un Centre Pokémon à proximité comme repère. Il note que le bâtiment est du côté est, même s'il est du côté ouest. Il part en croyant que la grotte est déjà derrière lui.

1:05 Puis il marche sur une corniche à sens unique vers la route d'où il est venu. Son outil de navigation rate la chute, alors Claude explique l'échec comme un dépassement. La tentative suivante commence avec la même fausse hypothèse. La persistance a préservé le bug. Après la troisième chute, Claude écrit qu'il va s'arrêter plutôt que de continuer à boucler. La configuration des chercheurs lui indique automatiquement de continuer. Il retourne dans une ville antérieure, et cette course se termine sans atteindre la ville d'Azuria. Même le bot veut que cette réunion se termine.

Comment la rêverie a-t-elle corrigé l'itinéraire?

1:30 Les chercheurs exécutent la rêverie sur le dossier de mémoire défectueux. Claude vérifie la note par rapport à la transcription de la session originale, détecte l'erreur d'emplacement et la réécrit. Avec la note corrigée, il rentre dans le Mont Sélénite et atteint finalement Azuria. C'est le résultat utile ici. Une affirmation sauvegardée est vérifiée par rapport aux preuves avant une autre tentative. Dans une seule exécution, Sonnet trois point sept a accumulé des centaines de fichiers tout en gagnant

1:50 un badge. Fable cinq a conservé une collection plus petite et en a gagné quatre. Différents modèles, une seule exécution chacun, de sorte que la contribution du système de classement ne peut pas être isolée. Sur Hacker News, yfontana dit qu'ils suppriment presque toutes les mémoires automatiques parce que les notes appartiennent généralement à la tâche actuelle. C'est l'expérience d'un utilisateur. Les coordonnées d'hier font une mauvaise boussole une fois que vous avez bougé.

Quand un wiki de mémoire est-il utile?

2:10 Anthropic a également construit un wiki lié aux documents internes de Stainless. Claude organise les informations connexes entre les sessions, puis utilise ces pages pour répondre aux questions. Cela peut aider lorsqu'une réponse s'étend sur plusieurs documents. Les fichiers originaux restent disponibles pour vérifier la carte. Avec la recherche seule, Claude a obtenu cinquante-trois pour cent des critères notés. La recherche plus le wiki plus grand ont atteint soixante-et-un pour cent.

2:32 Il s'agissait de vingt-cinq questions sur les documents d'une entreprise. Un travail hors ligne supplémentaire a amélioré cette évaluation. L'article ne nous donne pas de prix total pour la construction du wiki, alors gardez la colonne de la facture ouverte. Les rêves utilisent les tarifs standard des jetons API, et les tâches peuvent prendre de quelques minutes à quelques heures. Anthropic dit que vérifier continuellement chaque mémoire peut être peu pratique. Le deuxième quart de votre agent est toujours débité sur votre carte de crédit. Le même article inclut une tâche juridique où le wiki n'a montré aucun gain clair par rapport à la

Quand le wiki n'ajoute-t-il rien?

2:56 recherche. Un autre wiki est devenu plus grand que les documents qu'il résumait. Si une question peut être résolue en trouvant un passage, construire une encyclopédie en premier peut être un moyen remarquablement coûteux d'utiliser le bouton de recherche . Claude Code charge automatiquement un petit bloc initial de son index de mémoire, avec des notes détaillées conservées ailleurs. Une mauvaise instruction injectée peut affecter chaque session. Le guide d'Anthropic avertit que la mémoire n'est aussi bonne que les transcriptions. Le journal d'hier ne peut pas vérifier les changements de ce matin.

Pourquoi seize faits contractuels ont-ils disparu?

3:23 Passons maintenant à la tâche contractuelle. Plusieurs agents construisent un wiki pour une acquisition simulée, écrivant les termes dans un tableau partagé. Le bref résultant comprend quarante et un des cinquante-sept faits notés. Seize faits ont disparu quelque part entre les contrats et la réponse soignée. C'est un endroit assez important pour perdre des informations. Anthropic attribue l'échec à de mauvais résumés et à des agents écrasant le travail des uns des autres. Les termes manquants n'ont jamais été conservés en toute sécurité pour la session de réponse.

3:47 La rêverie permet à Claude de réfléchir à ces échecs, de proposer différentes instructions de wiki et de reconstruire. La réparation remonte jusqu'à la façon dont la mémoire est écrite. Quiconque a édité le même document avec des collègues connaît cette douleur. Donnez à chaque participant un cerveau plus grand, et ils peuvent toujours sauvegarder par-dessus le travail de quelqu'un d'autre. Le problème passionnant de la mémoire de l'IA s'est retrouvé dans la cuisine du bureau portant un bug de concurrence.

4:08 Chaque contrat obtient sa propre page, écrite par un seul agent. Les termes sont cités mot pour mot. Le wiki amélioré prend en charge les cinquante-sept faits notés. C'est la solution promise. La propriété séparée empêche l'écrasement, et les citations exactes préservent les termes. Les deux changements se sont produits ensemble, donc aucun n'obtient le mérite exclusif. Gardez les souvenirs importants traçables à leurs sources. Les rêves des agents gérés préservent le magasin d'entrée et produisent une sortie

4:32 distincte que vous pouvez examiner. Si vous préférez lire ceci plutôt que de m'entendre le dire, le diff arrive dans votre boîte de réception chaque matin, gratuitement sur thedailydiff.dev, lien ci-dessous.

Ferais-je confiance à ce système de mémoire?

4:39 Donc le verdict d'aujourd'hui est NÉCESSITE UNE RÉVISION. J'utiliserais la réparation basée sur la transcription car une erreur persistante mérite une solution persistante. Je vérifierais les notes modifiées et testerais si le wiki aide ma tâche réelle. Les contre-exemples d'Anthropic montrent à quel point la maintenance de la mémoire devient facilement un autre projet que vous devez maintenant maintenir. Et c'est le diff pour aujourd'hui. Je suis Niko d'Axrisi. Fusionnez de manière responsable.

Sources

  1. The components of agent memory — Lance Martin; figures by Monika Tuchowska; Anthropic-reported evaluationsAnthropic
  2. Dreams — research preview, separate output store, billing and lifecycleClaude Platform documentation
  3. Claude Code memory — injected index boundaryClaude Code documentation
  4. Dreaming with a dynamic workflow — transcript staleness and caller controlClaude Cookbook
  5. Sleep-time Compute — April 2025 prior work, no replication of this article claimedKevin Lin and colleagues / arXiv
  6. Harvey LAB — tasks, documents, grading rubrics and version scopeHarvey AI
  7. Authentic Dario Amodei portrait — TechCrunch Disrupt 2023; cropped, background removed and resized; Anthropic identity only, no authorship, current reaction or endorsementTechCrunch / Wikimedia Commons
  8. Original TechCrunch portrait source — Dario Amodei at Disrupt 2023TechCrunch / Flickr
  9. Portrait licence — Creative Commons Attribution 2.0Creative Commons
  10. Two Buttons — Jake Clark, Imgflip template; commentary labels added; brief process satire, hosting is not a licence or legal clearance and grants no blanket reuseJake Clark / Imgflip
  11. Groundhog Day GIF — Bill Murray and Stephen Tobolowsky as Phil/Ned; @groundhogday; silent, resized and captioned narrator commentary; no present-day reaction or blanket reuse; hosting is not a licence or legal clearanceGroundhog Day / GIPHY
  12. Two Buttons origin attribution — Jake Clark, October 2014; secondary sourceSupermeme
  13. Groundhog Day source link supplied by the GIPHY uploaderGroundhog Day

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Vidéos similaires