+− THE DAILY DIFFdev & AI news
NEEDS REVIEW

Memória do agente Claude: "sonhar" com base em transcrições e falhas de escritores partilhados

Um local guardado errado enviou Claude sobre a mesma beira Pokémon três vezes na experiência relatada da Anthropic.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Um local guardado errado enviou Claude sobre a mesma beira Pokémon três vezes na experiência relatada da Anthropic. O "sonhar" com base em transcrições corrigiu a nota, enquanto páginas de contrato separadas e termos literais recuperaram factos classificados em falta noutra tarefa.

Ler a edição escrita (Inglês) ↗

O que este vídeo aborda

  • A memória do agente mantém o contexto entre sessões; a reparação descrita altera notas em vez de pesos do modelo.
  • Verificar a nota errada em relação à transcrição da sessão ajudou o ramo corrigido a chegar à Cidade de Cerulean.
  • A pesquisa sozinha obteve 53% dos critérios; a pesquisa mais a wiki maior atingiu 61% em 25 perguntas sobre documentos Stainless.
  • Outras tarefas legais relatadas por fontes não mostraram um ganho claro da wiki ou uma wiki maior do que os documentos originais.
  • Páginas específicas do contrato, um escritor por página e termos literais recuperaram 57/57 factos classificados; ambas as alterações foram testadas em conjunto.

Perguntas e respostas

O que é que o "sonhar" muda num sistema de memória de agente?

O "sonhar" revê transcrições de sessões anteriores e reorganiza o contexto guardado que as sessões posteriores podem ler. A pesquisa da Anthropic define a memória do agente como contexto retido e exclui alterações aos pesos do modelo. O software circundante escolhe quando o trabalho é executado e quais transcrições ele recebe. A API Managed Agents' Dreams está em pré-visualização de pesquisa e produz um armazenamento de saída separado para revisão.

Veja esta parte 0:41 · Anthropic · Claude Platform documentation

Como é que uma memória errada manteve Claude preso no Monte da Lua?

Claude registou o Centro Pokémon no lado errado do Monte da Lua, depois partiu acreditando que a caverna estava atrás dele. A Anthropic relata que uma beira de sentido único o devolveu a uma rota anterior, enquanto a sua ferramenta de navegação falhou a queda. A verificação da nota guardada em relação à transcrição original corrigiu a localização. O ramo corrigido acabou por chegar à Cidade de Cerulean.

Veja esta parte 1:30 · Anthropic

Quando é que uma wiki de memória ligada falhou em melhorar a pesquisa de origem?

Uma wiki não mostrou um ganho claro numa tarefa legal relatada onde os critérios podiam ser frequentemente satisfeitos recuperando informações de um único documento. A Anthropic também descreve uma tarefa separada cuja wiki se tornou maior do que os documentos originais. Os resultados do artigo apoiam a avaliação específica da tarefa da representação, com os custos de manutenção considerados juntamente com qualquer benefício de resposta.

Veja esta parte 2:53 · Anthropic

Quais as alterações de escrita que recuperaram os factos de contrato em falta?

Cada contrato recebeu a sua própria página wiki com um único agente a escrevê-la, e os termos foram citados palavra por palavra. A tarefa de aquisição simulada da Anthropic apoiou então todos os cinquenta e sete factos classificados, depois de a versão da tabela partilhada ter incluído quarenta e um. A propriedade e a citação mudaram juntas, pelo que o teste não pode isolar a contribuição de nenhuma das alterações. O resultado é um resultado de referência sem garantia universal de precisão legal.

Veja esta parte 3:23 · Anthropic · Harvey AI

Qual foi o veredicto do The Daily Diff sobre a reparação de memória com base em transcrições?

O veredicto do The Daily Diff foi NEEDS REVIEW (Precisa de Revisão). Niko usaria a reparação com base em transcrições, inspecionaria as notas alteradas e testaria se uma wiki ajuda a tarefa real. Os próprios contra-exemplos da Anthropic mostram que uma representação pode adicionar trabalho sem um benefício claro. O seu "cookbook" adverte que as transcrições antigas não podem estabelecer alterações externas posteriores, pelo que os factos importantes em mudança ainda precisam de verificação.

Veja esta parte 4:39 · Anthropic · Claude Cookbook

Transcrição traduzida

Traduzido da narração original em inglês. Áudio e legendas disponíveis são controlados pelo YouTube.

Porque é que a memória manteve Claude preso?

0:00 Dar uma memória a Claude deve impedir que ele repita erros. A Anthropic observou uma nota errada enviá-lo sobre a mesma beira Pokémon três vezes. Neste vídeo, como é que a memória prende Claude? E o que é que realmente o conserta? A Anthropic chama à reparação "sonhar". Sessões de modelo extra revisitam transcrições armazenadas e editam ficheiros de memória. O seu teste de contrato até recuperou todos os factos em falta, alterando a forma como essas memórias foram escritas.

0:22 Guarda esse pensamento. É sábado, sete de novembro, e este é o The Daily Diff. A memória do agente é o contexto guardado entre sessões. Os pesos do modelo permanecem inalterados. O software circundante decide quando a limpeza é executada e quais as transcrições que ele vê. A funcionalidade Managed Agents' Dreams está em pré-visualização de pesquisa. Este artigo não ativa os "sonhos" para todos os utilizadores de Claude.

O que é que a Anthropic realmente testou?

0:41 A Anthropic publicou o artigo de Lance Martin na sexta-feira. A discussão de hoje no Hacker News tem pessoas a discutir sobre quais memórias eles apagam. O que acontece quando uma nota confiantemente errada sobrevive para outra sessão? Demos à alucinação um arquivo. Claude precisa de atravessar o Monte da Lua, usando um Centro Pokémon próximo como seu ponto de referência. Ele escreve que o edifício está no lado leste, embora esteja no oeste. Ele parte acreditando que a caverna já está atrás dele.

1:05 Então ele passa por uma beira de sentido único para a rota de onde veio. A sua ferramenta de navegação falha a queda, então Claude explica a falha como extrapolação. A próxima tentativa começa com a mesma premissa errada. A persistência preservou o bug. Após a terceira queda, Claude escreve que vai parar em vez de continuar a fazer um loop. A configuração dos pesquisadores diz-lhe automaticamente para continuar. Ele volta para uma cidade anterior, e essa corrida termina sem chegar a Cerulean City. Até o bot quer que esta reunião termine.

Como é que o "sonhar" corrigiu a rota?

1:30 Os pesquisadores executam o "sonhar" na pasta de memória defeituosa. Claude verifica a nota em relação à transcrição original da sessão, deteta o erro de localização e reescreve-a. Com a nota corrigida, ele reentra no Monte da Lua e eventualmente chega a Cerulean. Esse é o resultado útil aqui. Uma afirmação guardada é verificada em relação à evidência antes de outra tentativa. Numa corrida, Sonnet três ponto sete acumulou centenas de ficheiros enquanto ganhava

1:50 uma insígnia. Fable cinco manteve uma coleção menor e ganhou quatro. Diferentes modelos, uma corrida cada, então a contribuição do sistema de arquivo não pode ser isolada. No Hacker News, yfontana diz que apaga quase todas as memórias automáticas porque as notas geralmente pertencem à tarefa atual. Essa é a experiência de um utilizador. As coordenadas de ontem fazem uma bússola inútil depois de te teres movido.

Quando é que uma wiki de memória ajuda?

2:10 A Anthropic também construiu uma wiki ligada sobre os documentos internos da Stainless. Claude organiza informações relacionadas entre sessões, depois usa essas páginas para responder a perguntas. Isso pode ajudar quando uma resposta abrange vários documentos. Os ficheiros originais permanecem disponíveis para verificar o mapa. Apenas com a pesquisa, Claude obteve cinquenta e três por cento dos critérios classificados. A pesquisa mais a wiki maior atingiu sessenta e um por cento.

2:32 Eram vinte e cinco perguntas sobre os documentos de uma empresa. Trabalho extra offline melhorou essa avaliação. O artigo não nos dá um preço total para a construção da wiki, portanto, mantenha a coluna da fatura aberta. Os "Sonhos" usam taxas de token de API padrão, e os trabalhos podem levar de minutos a horas. A Anthropic diz que verificar continuamente todas as memórias pode ser impraticável. O segundo turno do seu agente ainda vai para o seu cartão de crédito. O mesmo artigo inclui uma tarefa legal onde a wiki não mostrou um ganho claro em relação

Quando é que a wiki não acrescenta nada?

2:56 à pesquisa. Outra wiki ficou maior do que os documentos que resumia. Se uma pergunta pode ser respondida encontrando uma passagem, construir uma enciclopédia primeiro pode ser uma forma notavelmente cara de usar o botão de pesquisa. Claude Code carrega automaticamente um pedaço de abertura limitado do seu índice de memória, com notas detalhadas guardadas noutro lugar. Uma instrução injetada errada pode afetar cada sessão. O "cookbook" da Anthropic avisa que a memória é tão boa quanto as transcrições. O registo de ontem não pode verificar as alterações desta manhã.

Porque é que dezasseis factos de contrato desapareceram?

3:23 Agora para a tarefa do contrato. Vários agentes constroem uma wiki para uma aquisição simulada, escrevendo termos numa tabela partilhada. O resumo resultante inclui quarenta e um de cinquenta e sete factos classificados. Dezasseis factos desapareceram em algum lugar entre os contratos e a resposta polida. Esse é um lugar bastante importante para perder informações. A Anthropic atribui a falha a maus resumos e agentes a sobrescrever o trabalho uns dos outros. Os termos em falta nunca foram preservados com segurança para a sessão de resposta.

3:47 O "sonhar" permite que Claude reflita sobre essas falhas, proponha diferentes instruções de wiki e reconstrua. A reparação atinge toda a forma como a memória é escrita. Qualquer pessoa que tenha editado o mesmo documento com colegas de trabalho conhece esta dor. Dê a cada participante um cérebro maior, e eles ainda podem gravar sobre o trabalho de outra pessoa. O excitante problema de memória da IA foi parar à cozinha do escritório com um "bug" de concorrência.

4:08 Cada contrato tem a sua própria página, escrita por um único agente. Os termos são citados palavra por palavra. A wiki melhorada suporta todos os cinquenta e sete factos classificados. Essa é a correção prometida. A propriedade separada impede a anulação, e as citações exatas preservam os termos. Ambas as alterações aconteceram juntas, então nenhuma recebe crédito exclusivo. Mantenha memórias importantes rastreáveis às suas fontes. O Managed Agents' Dreams preserva o armazenamento de entrada e produz uma saída separada

4:32 que pode rever. Se preferir ler isto a ouvir-me dizê-lo, o "diff" chega à sua caixa de entrada todas as manhãs, gratuitamente em thedailydiff.dev, link abaixo.

Eu confiaria neste sistema de memória?

4:39 Então, o veredicto de hoje é "NEEDS REVIEW" (Precisa de Revisão). Usaria a reparação com base em transcrições porque um erro persistente merece uma correção persistente. Verificaria as notas alteradas e testaria se a wiki ajuda a minha tarefa real. Os contra-exemplos da Anthropic mostram a facilidade com que a manutenção da memória se torna outro projeto que agora tem de manter. E este é o "diff" de hoje. Sou o Niko da Axrisi. Faça a fusão responsavelmente.

Fontes

  1. The components of agent memory — Lance Martin; figures by Monika Tuchowska; Anthropic-reported evaluationsAnthropic
  2. Dreams — research preview, separate output store, billing and lifecycleClaude Platform documentation
  3. Claude Code memory — injected index boundaryClaude Code documentation
  4. Dreaming with a dynamic workflow — transcript staleness and caller controlClaude Cookbook
  5. Sleep-time Compute — April 2025 prior work, no replication of this article claimedKevin Lin and colleagues / arXiv
  6. Harvey LAB — tasks, documents, grading rubrics and version scopeHarvey AI
  7. Authentic Dario Amodei portrait — TechCrunch Disrupt 2023; cropped, background removed and resized; Anthropic identity only, no authorship, current reaction or endorsementTechCrunch / Wikimedia Commons
  8. Original TechCrunch portrait source — Dario Amodei at Disrupt 2023TechCrunch / Flickr
  9. Portrait licence — Creative Commons Attribution 2.0Creative Commons
  10. Two Buttons — Jake Clark, Imgflip template; commentary labels added; brief process satire, hosting is not a licence or legal clearance and grants no blanket reuseJake Clark / Imgflip
  11. Groundhog Day GIF — Bill Murray and Stephen Tobolowsky as Phil/Ned; @groundhogday; silent, resized and captioned narrator commentary; no present-day reaction or blanket reuse; hosting is not a licence or legal clearanceGroundhog Day / GIPHY
  12. Two Buttons origin attribution — Jake Clark, October 2014; secondary sourceSupermeme
  13. Groundhog Day source link supplied by the GIPHY uploaderGroundhog Day

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Vídeos relacionados