+− THE DAILY DIFFdev & AI news
NEEDS REVIEW

Memòria de l'agent Claude: somni basat en transcripcions i fallades en escriptors compartits

Un punt de referència guardat incorrectament va fer que Claude caigués tres vegades pel mateix abisme Pokémon en l'experiment reportat per Anthropic.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Un punt de referència guardat incorrectament va fer que Claude caigués tres vegades pel mateix abisme Pokémon en l'experiment reportat per Anthropic. El somni basat en transcripcions va corregir la nota, mentre que les pàgines de contracte separades i els termes textuals van recuperar fets qualificats perduts en una altra tasca.

Llegeix l'edició escrita (anglès) ↗

Què cobreix aquest vídeo

  • La memòria de l'agent persisteix el context entre sessions; la reparació descrita canvia notes en lloc dels pesos del model.
  • La comprovació de la nota incorrecta amb la transcripció de la sessió va ajudar la branca corregida a arribar a Ciutat Celeste.
  • La cerca sola va obtenir el 53% dels criteris; la cerca més la wiki més gran va arribar al 61% en 25 preguntes sobre documents de Stainless.
  • Altres tasques legals informades per la font no van mostrar un guany clar de la wiki o una wiki més gran que els documents originals.
  • Les pàgines específiques del contracte, un escriptor per pàgina i els termes textuals van recuperar 57/57 fets qualificats; ambdós canvis es van provar junts.

Preguntes i respostes

Què canvia el "somni" en un sistema de memòria d'agent?

El "somni" revisa les transcripcions de sessions anteriors i reorganitza el context guardat que les sessions posteriors poden llegir. La investigació d'Anthropic defineix la memòria de l'agent com a context retingut i exclou els canvis als pesos del model. El programari circumdant tria quan s'executa la tasca i quines transcripcions rep. L'API "Managed Agents' Dreams" es troba en previsualització d'investigació i produeix un magatzem de sortida separat per a la revisió.

Mireu aquesta part 0:41 · Anthropic · Claude Platform documentation

Com va mantenir una memòria errònia a Claude atrapat a la Muntanya Lluna?

Claude va registrar el Centre Pokémon al costat equivocat de la Muntanya Lluna, i després va marxar creient que la cova estava darrere seu. Anthropic informa que un precipici d'una sola direcció el va retornar a una ruta anterior, mentre que la seva eina de navegació no va detectar la caiguda. La comprovació de la nota guardada amb la transcripció original va corregir la ubicació. La branca corregida finalment va arribar a Ciutat Celeste.

Mireu aquesta part 1:30 · Anthropic

Quan una wiki de memòria enllaçada no va aconseguir millorar la cerca de fonts?

Una wiki no va mostrar un guany clar en una tasca legal informada on els criteris sovint es podien satisfer recuperant informació d'un sol document. Anthropic també descriu una tasca separada la wiki de la qual va esdevenir més gran que els documents originals. Els resultats de l'article recolzen l'avaluació específica de la tasca de la representació, amb els costos de manteniment considerats juntament amb qualsevol benefici de resposta.

Mireu aquesta part 2:53 · Anthropic

Quins canvis en l'escriptura van recuperar els fets del contracte perduts?

Cada contracte va rebre la seva pròpia pàgina de wiki amb un sol agent que la va escriure, i els termes es van citar textualment. La tasca d'adquisició simulada d'Anthropic va suportar els cinquanta-set fets qualificats, després que la versió de taula compartida inclogués quaranta-un. La propietat i la citació van canviar juntes, de manera que la prova no pot aïllar la contribució de cap dels dos canvis. El resultat és un resultat de referència sense una garantia d'exactitud legal universal.

Mireu aquesta part 3:23 · Anthropic · Harvey AI

Quin va ser el veredicte de The Daily Diff sobre la reparació de memòria basada en transcripcions?

El veredicte de The Daily Diff va ser NEEDS REVIEW. Niko utilitzaria la reparació basada en transcripcions, inspeccionaria les notes modificades i provaria si una wiki ajuda la tasca real. Els propis contraexemples d'Anthropic mostren que una representació pot afegir treball sense un benefici clar. El seu "cookbook" adverteix que les transcripcions antigues no poden establir canvis externs posteriors, de manera que els fets importants que canvien encara necessiten verificació.

Mireu aquesta part 4:39 · Anthropic · Claude Cookbook

Transcripció traduïda

Traduït de la narració original en anglès. L'àudio i els subtítols disponibles estan controlats per YouTube.

Per què la memòria va mantenir Claude atrapat?

0:00 Donar memòria a Claude hauria d'evitar que repeteixi errors. Anthropic va observar com una nota incorrecta el feia caure pel mateix abisme Pokémon tres vegades. En aquest vídeo, com atrapa la memòria a Claude? I què ho arregla realment? Anthropic anomena la reparació "somni". Sessions addicionals del model revisen les transcripcions emmagatzemades i editen els fitxers de memòria. La seva prova de contracte fins i tot va recuperar tots els fets perduts canviant la manera com s'escrivien aquestes memòries.

0:22 Retingueu aquest pensament. És dissabte, 7 de novembre, i això és The Daily Diff. La memòria de l'agent és un context guardat entre sessions. Els pesos del model romanen inalterats. El programari circumdant decideix quan s'executa la neteja i quines transcripcions veu. La funció 'Managed Agents' Dreams' està en previsualització d'investigació. Aquest article no activa els somnis per a tots els usuaris de Claude.

Què va provar realment Anthropic?

0:41 Anthropic va publicar l'article de Lance Martin divendres. La discussió d'avui a Hacker News té gent discutint sobre quines memòries esborren. Què passa quan una nota errònia amb confiança sobreviu a una altra sessió? Hem donat a la "al·lucinació" un arxivador. Claude ha de creuar la Muntanya Lluna, utilitzant un Centre Pokémon proper com a punt de referència. Anota que l'edifici és al costat est, encara que és a l'oest. Se'n va creient que la cova ja està darrere seu.

1:05 Llavors, camina per un precipici d'una sola direcció cap a la ruta d'on venia. La seva eina de navegació no detecta la caiguda, així que Claude explica la fallada com un excés. El següent intent comença amb la mateixa suposició incorrecta. La persistència ha preservat l'error. Després de la tercera caiguda, Claude escriu que s'aturarà en lloc de continuar fent bucles. La configuració dels investigadors li diu automàticament que continuï. Torna a una ciutat anterior, i aquesta execució acaba sense arribar a Ciutat Celeste. Fins i tot el bot vol que aquesta reunió acabi.

Com va arreglar el "somni" la ruta?

1:30 Els investigadors executen el "somni" a la carpeta de memòria defectuosa. Claude comprova la nota amb la transcripció original de la sessió, detecta l'error d'ubicació i la reescriu. Amb la nota corregida, torna a entrar a la Muntanya Lluna i finalment arriba a Ciutat Celeste. Aquest és el resultat útil aquí. Una afirmació guardada es verifica amb proves abans d'un altre intent. En una execució, Sonnet tres punt set va acumular centenars de fitxers mentre guanyava

1:50 una insígnia. Fable cinc va mantenir una col·lecció més petita i en va guanyar quatre. Models diferents, una execució cadascun, de manera que la contribució del sistema d'arxius no es pot aïllar. A Hacker News, yfontana diu que esborra gairebé totes les memòries automàtiques perquè les notes solen pertànyer a la tasca actual. Aquesta és l'experiència d'un usuari. Les coordenades d'ahir fan una mala brúixola un cop t'has mogut.

Quan ajuda una wiki de memòria?

2:10 Anthropic també va construir una wiki enllaçada sobre els documents interns de Stainless. Claude organitza informació relacionada entre sessions, després utilitza aquestes pàgines per respondre preguntes. Això pot ajudar quan una resposta abasta diversos documents. Els fitxers originals romanen disponibles per comprovar el mapa. Amb la cerca sola, Claude va obtenir un cinquanta-tres per cent dels criteris qualificats. La cerca més la wiki més gran va arribar al seixanta-un per cent.

2:32 Eren vint-i-cinc preguntes sobre els documents d'una empresa. Un treball addicional fora de línia va millorar aquesta avaluació. L'article no ens dóna el preu total per construir la wiki, així que mantingueu la columna de la factura oberta. Dreams utilitza tarifes de tokens d'API estàndard, i les tasques poden durar de minuts a hores. Anthropic diu que comprovar contínuament cada memòria pot ser poc pràctic. El segon torn del teu agent encara va a la teva targeta de crèdit. El mateix article inclou una tasca legal on la wiki no va mostrar un guany clar sobre

Quan la wiki no afegeix res?

2:56 la cerca. Una altra wiki va créixer més que els documents que resumia. Si es pot respondre una pregunta trobant un sol passatge, construir una enciclopèdia primer pot ser una manera notablement cara d'utilitzar el botó de cerca. Claude Code carrega automàticament un fragment d'obertura limitat del seu índex de memòria, amb notes detallades guardades en un altre lloc. Una instrucció injectada incorrecta pot afectar cada sessió. El "cookbook" d'Anthropic adverteix que la memòria només és tan bona com les transcripcions. El registre d'ahir no pot verificar els canvis d'avui.

Per què van desaparèixer setze fets del contracte?

3:23 Ara, per a la tasca del contracte. Diversos agents construeixen una wiki per a una adquisició simulada, escrivint termes en una taula compartida. El resum resultant inclou quaranta-un dels cinquanta-set fets qualificats. Setze fets han desaparegut en algun lloc entre els contractes i la resposta polida. Això és un lloc bastant important per perdre informació. Anthropic atribueix la fallada a resums deficients i agents que sobrescriuen el treball dels altres. Els termes perduts mai es van preservar de manera segura per a la sessió de resposta.

3:47 El "somni" permet a Claude reflexionar sobre aquestes fallades, proposar diferents instruccions per a la wiki i reconstruir-la. La reparació arriba fins a la forma en què s'escriu la memòria. Qualsevol que hagi editat el mateix document amb companys de feina coneix aquest dolor. Doneu a cada participant un cervell més gran, i encara poden guardar per sobre del treball d'un altre. L'apassionant problema de la memòria de l'IA s'ha passejat per la cuina de l'oficina amb un error de concurrència.

4:08 Cada contracte té la seva pròpia pàgina, escrita per un únic agent. Els termes es citen literalment. La wiki millorada suporta els cinquanta-set fets qualificats. Aquesta és la solució promesa. La propietat separada evita la sobreescriptura, i les cites exactes preserven els termes. Ambdós canvis van succeir junts, així que cap dels dos rep el crèdit exclusiu. Manteniu les memòries importants traçables a les seves fonts. Managed Agents' Dreams conserva l'emmagatzematge d'entrada i produeix una sortida separada

4:32 que podeu revisar. Si preferiu llegir això que escoltar-me, el "diff" arriba a la vostra safata d'entrada cada matí, gratuïtament a thedailydiff.dev, enllaç a sota.

Confies en aquest sistema de memòria?

4:39 Així que el veredicte d'avui és NEEDS REVIEW. Jo utilitzaria la reparació basada en transcripcions perquè un error persistent mereix una solució persistent. Revisaria les notes modificades i provaria si la wiki ajuda la meva tasca real. Els contraexemples d'Anthropic mostren com de fàcilment el manteniment de la memòria es converteix en un altre projecte que ara heu de mantenir. I aquest és el "diff" d'avui. Sóc Niko d'Axrisi. Fusiona amb responsabilitat.

Fonts

  1. The components of agent memory — Lance Martin; figures by Monika Tuchowska; Anthropic-reported evaluationsAnthropic
  2. Dreams — research preview, separate output store, billing and lifecycleClaude Platform documentation
  3. Claude Code memory — injected index boundaryClaude Code documentation
  4. Dreaming with a dynamic workflow — transcript staleness and caller controlClaude Cookbook
  5. Sleep-time Compute — April 2025 prior work, no replication of this article claimedKevin Lin and colleagues / arXiv
  6. Harvey LAB — tasks, documents, grading rubrics and version scopeHarvey AI
  7. Authentic Dario Amodei portrait — TechCrunch Disrupt 2023; cropped, background removed and resized; Anthropic identity only, no authorship, current reaction or endorsementTechCrunch / Wikimedia Commons
  8. Original TechCrunch portrait source — Dario Amodei at Disrupt 2023TechCrunch / Flickr
  9. Portrait licence — Creative Commons Attribution 2.0Creative Commons
  10. Two Buttons — Jake Clark, Imgflip template; commentary labels added; brief process satire, hosting is not a licence or legal clearance and grants no blanket reuseJake Clark / Imgflip
  11. Groundhog Day GIF — Bill Murray and Stephen Tobolowsky as Phil/Ned; @groundhogday; silent, resized and captioned narrator commentary; no present-day reaction or blanket reuse; hosting is not a licence or legal clearanceGroundhog Day / GIPHY
  12. Two Buttons origin attribution — Jake Clark, October 2014; secondary sourceSupermeme
  13. Groundhog Day source link supplied by the GIPHY uploaderGroundhog Day

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Vídeos relacionats