+− THE DAILY DIFFdev & AI news
NEEDS REVIEW

Memoria do axente Claude: soño baseado en transcricións e fallos de escritor compartido

Un punto de referencia gardado incorrectamente enviou a Claude polo mesmo saliente de Pokémon tres veces no experimento de Anthropic.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Un punto de referencia gardado incorrectamente enviou a Claude polo mesmo saliente de Pokémon tres veces no experimento de Anthropic. O soño baseado en transcricións corrixiu a nota, mentres que as páxinas de contrato separadas e os termos textuais recuperaron feitos clasificados que faltaban noutra tarefa.

Ler a edición escrita (inglés) ↗

Que abrangue este vídeo

  • A memoria do axente persiste no contexto entre sesións; a reparación descrita cambia as notas en lugar dos pesos do modelo.
  • Verificar a nota incorrecta coa transcrición da sesión axudou á rama corrixida a chegar á cidade de Cerulean.
  • Só a busca acadou o 53% dos criterios; a busca máis o wiki máis grande acadaron o 61% en 25 preguntas sobre documentos de Stainless.
  • Outras tarefas legais reportadas por fontes non mostraron unha ganancia clara do wiki ou un wiki maior que os documentos orixinais.
  • As páxinas específicas do contrato, un escritor por páxina e os termos textuais recuperaron 57/57 feitos clasificados; ámbolos dous cambios foron probados xuntos.

Preguntas e respostas

Que cambia o soño nun sistema de memoria de axente?

O soño revisa as transcricións de sesións anteriores e reorganiza o contexto gardado que as sesións posteriores poden ler. A investigación de Anthropic define a memoria do axente como contexto retido e exclúe os cambios nos pesos do modelo. O software circundante escolle cando se executa o traballo e que transcricións recibe. A API de Managed Agents' Dreams está en vista previa de investigación e produce un almacén de saída separado para a revisión.

Ver esta parte 0:41 · Anthropic · Claude Platform documentation

Como unha memoria errónea mantivo a Claude atrapado no Monte Lúa?

Claude rexistrou o Centro Pokémon no lado incorrecto do Monte Lúa, e despois marchou crendo que a cova estaba detrás del. Anthropic informa que un saliente de sentido único o devolveu a unha ruta anterior, mentres que a súa ferramenta de navegación non detectou a caída. A comprobación da nota gardada coa transcrición orixinal corrixiu a localización. A rama corrixida finalmente chegou á cidade de Cerulean.

Ver esta parte 1:30 · Anthropic

Cando un wiki de memoria ligado non mellorou a busca de fontes?

Un wiki non mostrou unha ganancia clara nunha tarefa legal informada onde os criterios a miúdo podían ser satisfeitos recuperando información dun único documento. Anthropic tamén describe unha tarefa separada cuxo wiki se fixo máis grande que os documentos orixinais. Os resultados do artigo apoian a avaliación específica da tarefa da representación, cos custos de mantemento considerados xunto con calquera beneficio de resposta.

Ver esta parte 2:53 · Anthropic

Que cambios de escritura recuperaron os feitos do contrato que faltaban?

Cada contrato recibiu a súa propia páxina wiki cun único axente que a escribiu, e os termos foron citados palabra por palabra. A tarefa de adquisición simulada de Anthropic apoiou entón os cincuenta e sete feitos clasificados, despois de que a versión da táboa compartida incluíse corenta e un. A propiedade e a cita cambiaron xuntas, polo que a proba non pode illar a contribución de ningún dos cambios. O resultado é un resultado de referencia sen garantía de precisión legal universal.

Ver esta parte 3:23 · Anthropic · Harvey AI

Cal foi o veredicto de The Daily Diff sobre a reparación de memoria baseada en transcricións?

O veredicto de The Daily Diff foi NEEDS REVIEW. Niko usaría a reparación baseada en transcricións, inspeccionaría as notas cambiadas e probaría se un wiki axuda á tarefa real. Os propios contraexemplos de Anthropic mostran que unha representación pode engadir traballo sen un beneficio claro. O seu libro de receitas advirte que as transcricións antigas non poden establecer cambios externos posteriores, polo que os feitos cambiantes importantes aínda necesitan verificación.

Ver esta parte 4:39 · Anthropic · Claude Cookbook

Transcrición traducida

Traducido da narración orixinal en inglés. O audio e os subtítulos dispoñibles son controlados por YouTube.

Por que a memoria mantivo a Claude atrapado?

0:00 Darlle memoria a Claude debería impedir que repita erros. Anthropic viu como unha nota incorrecta o enviaba polo mesmo saliente de Pokémon tres veces. Neste vídeo, como atrapa a memoria a Claude? E que o arranxa realmente? Anthropic chama ao arranxo soño. Sesións adicionais do modelo revisan as transcricións almacenadas e editan os ficheiros de memoria. A súa proba de contrato incluso recuperou todos os feitos que faltaban cambiando como se escribiron esas memorias.

0:22 Manteña esa idea. É sábado, sete de novembro, e este é The Daily Diff. A memoria do axente é o contexto gardado entre sesións. Os pesos do modelo permanecen sen cambios. O software circundante decide cando se executa a limpeza e que transcricións ve. A función Managed Agents' Dreams está en vista previa de investigación. Este artigo non activa os soños para todos os usuarios de Claude.

Que probou realmente Anthropic?

0:41 Anthropic publicou o artigo de Lance Martin o venres. A discusión de Hacker News de hoxe ten a xente discutindo sobre que memorias eliminan. Que pasa cando unha nota equivocada con confianza sobrevive a outra sesión? Demos á alucinación un armario de arquivo. Claude necesita cruzar o Monte Lúa, usando un Centro Pokémon próximo como punto de referencia. Escribe que o edificio está no lado leste, aínda que está no oeste. Vaise crendo que a cova xa está detrás del.

1:05 Entón camiña por un saliente de sentido único ata a ruta de onde viña. A súa ferramenta de navegación non detecta a caída, polo que Claude explica o fallo como superamento. O seguinte intento comeza coa mesma suposición incorrecta. A persistencia conservou o erro. Despois da terceira caída, Claude escribe que vai deterse en lugar de seguir facendo un bucle. A configuración dos investigadores dille automaticamente que continúe. Diríxese de novo a unha cidade anterior, e esa execución remata sen chegar á cidade de Cerulean. Ata o bot quere que remate esta reunión.

Como arranxou o soño a ruta?

1:30 Os investigadores executan o soño na carpeta de memoria defectuosa. Claude verifica a nota coa transcrición da sesión orixinal, detecta o erro de localización e reescríbea. Coa nota corrixida, reingresa ao Monte Lúa e finalmente chega a Cerulean. Ese é o resultado útil aquí. Unha afirmación gardada verifícase coa evidencia antes doutro intento. Nunha execución, Sonnet tres punto sete acumulou centos de ficheiros mentres gañaba

1:50 unha insignia. Fable cinco mantivo unha colección máis pequena e gañou catro. Diferentes modelos, unha execución cada un, polo que a contribución do sistema de arquivo non se pode illar. En Hacker News, yfontana di que elimina case todas as memorias automáticas porque as notas adoitan pertencer á tarefa actual. Esa é a experiencia dun usuario. As coordenadas de onte son un compás pésimo unha vez que te desprazaches.

Cando axuda un wiki de memoria?

2:10 Anthropic tamén construíu un wiki ligado sobre os documentos internos de Stainless. Claude organiza información relacionada entre sesións, e despois usa esas páxinas para responder preguntas. Isto pode axudar cando unha resposta abarca varios documentos. Os ficheiros orixinais seguen dispoñibles para consultar o mapa. Só coa busca, Claude acadou o cincuenta e tres por cento dos criterios clasificados. A busca máis o wiki máis grande acadou o sesenta e un por cento.

2:32 Eran vinte e cinco preguntas sobre os documentos dunha empresa. O traballo fóra de liña adicional mellorou esa avaliación. O artigo non nos dá un prezo total para construír o wiki, así que manteña aberta a columna da factura. Dreams usa tarifas de token de API estándar, e os traballos poden levar de minutos a horas. Anthropic di que comprobar continuamente cada memoria pode ser impráctico. O segundo turno do seu axente aínda vai á súa tarxeta de crédito. O mesmo artigo inclúe unha tarefa legal onde o wiki non mostrou unha ganancia clara sobre

Cando o wiki non engade nada?

2:56 a busca. Outro wiki creceu máis que os documentos que resumiu. Se unha pregunta pode ser respondida atopando unha pasaxe, construír unha enciclopedia primeiro pode ser unha forma notablemente cara de usar o botón de atopar. Claude Code carga automaticamente un fragmento limitado de apertura do seu índice de memoria, con notas detalladas gardadas noutro lugar. Unha instrución inxectada incorrecta pode afectar a cada sesión. O libro de receitas de Anthropic advirte que a memoria só é tan boa como as transcricións. O rexistro de onte non pode verificar os cambios desta mañá.

Por que desapareceron dezaseis feitos do contrato?

3:23 Agora para a tarefa do contrato. Varios axentes constrúen un wiki para unha adquisición simulada, escribindo termos nunha táboa compartida. O informe resultante inclúe corenta e un dos cincuenta e sete feitos clasificados. Dezaseis feitos desapareceron nalgún lugar entre os contratos e a resposta pulida. Ese é un lugar bastante importante para perder información. Anthropic atribúe o fallo a malos resumos e axentes sobrescribindo o traballo dos demais. Os termos que faltaban nunca foron preservados de forma segura para a sesión de resposta.

3:47 O soño permite a Claude reflexionar sobre eses fallos, propor diferentes instrucións wiki e reconstruír. A reparación chega ata como se escribe a memoria. Calquera que editara o mesmo documento con compañeiros de traballo coñece esta dor. Dámoslle a cada participante un cerebro máis grande, e aínda así poden gardar sobre o traballo doutra persoa. O emocionante problema da memoria da IA foi parar á cociña da oficina levando un erro de concorrencia.

4:08 Cada contrato ten a súa propia páxina, escrita por un único axente. Os termos cítanse palabra por palabra. O wiki mellorado admite os cincuenta e sete feitos clasificados. Esa é a solución prometida. A propiedade separada impide a sobreescritura, e as citas exactas preservan os termos. Ambos cambios ocorreron xuntos, polo que ningún recibe o crédito exclusivo. Manteña as memorias importantes rastreables ata as súas fontes. Managed Agents' Dreams conserva o almacén de entrada e produce unha saída separada que

4:32 pode revisar. Se prefires ler isto en vez de escoitarme dicilo, o diff chega á túa caixa de entrada cada mañá, gratis en the daily diff dot dev, ligazón a continuación.

Confiaría neste sistema de memoria?

4:39 Así que o veredicto de hoxe é NEEDS REVIEW. Usaría a reparación baseada en transcricións porque un erro persistente merece unha solución persistente. Revisaría as notas cambiadas e probaría se o wiki axuda á miña tarefa real. Os contraexemplos de Anthropic mostran a facilidade coa que o mantemento da memoria se converte noutro proxecto que agora tes que manter. E iso é todo polo diff de hoxe. Son Niko de Axrisi. Fusionar con responsabilidade.

Fontes

  1. The components of agent memory — Lance Martin; figures by Monika Tuchowska; Anthropic-reported evaluationsAnthropic
  2. Dreams — research preview, separate output store, billing and lifecycleClaude Platform documentation
  3. Claude Code memory — injected index boundaryClaude Code documentation
  4. Dreaming with a dynamic workflow — transcript staleness and caller controlClaude Cookbook
  5. Sleep-time Compute — April 2025 prior work, no replication of this article claimedKevin Lin and colleagues / arXiv
  6. Harvey LAB — tasks, documents, grading rubrics and version scopeHarvey AI
  7. Authentic Dario Amodei portrait — TechCrunch Disrupt 2023; cropped, background removed and resized; Anthropic identity only, no authorship, current reaction or endorsementTechCrunch / Wikimedia Commons
  8. Original TechCrunch portrait source — Dario Amodei at Disrupt 2023TechCrunch / Flickr
  9. Portrait licence — Creative Commons Attribution 2.0Creative Commons
  10. Two Buttons — Jake Clark, Imgflip template; commentary labels added; brief process satire, hosting is not a licence or legal clearance and grants no blanket reuseJake Clark / Imgflip
  11. Groundhog Day GIF — Bill Murray and Stephen Tobolowsky as Phil/Ned; @groundhogday; silent, resized and captioned narrator commentary; no present-day reaction or blanket reuse; hosting is not a licence or legal clearanceGroundhog Day / GIPHY
  12. Two Buttons origin attribution — Jake Clark, October 2014; secondary sourceSupermeme
  13. Groundhog Day source link supplied by the GIPHY uploaderGroundhog Day

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Vídeos relacionados