Claude 代理记忆:转录支持的梦想与共享作者失败
Anthropic 报告的实验中,错误的保存地标让 Claude 三次从同一个宝可梦山脊掉落。
Anthropic 报告的实验中,错误的保存地标让 Claude 三次从同一个宝可梦山脊掉落。转录支持的梦想修正了笔记,而单独的合同页面和逐字条款弥补了另一个任务中缺失的评分事实。
本视频涵盖的内容
- 代理记忆在会话之间保持上下文;所描述的修复是修改笔记而不是模型权重。
- 将错误的笔记与会话转录进行核对,帮助修正后的分支到达了华蓝市。
- 单独搜索得分占标准的 53%;搜索加上更大的维基在关于 Stainless 文档的 25 个问题上达到了 61%。
- 其他来源报告的法律任务没有显示出明显的维基增益,或者维基比原始文档更大。
- 合同专用页面、每个页面一名作者和逐字条款恢复了 57/57 个评分事实;两项更改同时进行测试。
常见问题
梦想在代理记忆系统中改变了什么?
梦想会审查早期的会话转录并重新组织后续会话可以读取的已保存上下文。Anthropic 的研究将代理记忆定义为保留的上下文,不包括对模型权重的更改。周围的软件选择何时运行工作以及它接收哪些转录。Managed Agents' Dreams API 处于研究预览阶段,并为审查生成一个单独的输出存储。
一个错误的记忆是如何让 Claude 困在月见山中的?
Claude 错误地记录了宝可梦中心在月见山的错误一侧,然后离开时以为洞穴在它身后。Anthropic 报告说,一个单向的悬崖让它回到了更早的路线,而它的导航工具错过了掉落。将保存的笔记与原始转录进行核对纠正了位置。修正后的分支最终到达了华蓝市。
何时链接的记忆维基未能改善源搜索?
在一个报告的法律任务中,维基没有显示出明显的优势,其中标准通常可以通过从单个文档中检索信息来满足。Anthropic 还描述了另一个任务,其维基变得比原始文档更大。文章的结果支持对表示形式进行特定于任务的评估,同时将维护成本与任何回答收益一起考虑。
哪些写入更改恢复了丢失的合同事实?
每个合同都有自己的维基页面,由单个代理编写,并且条款逐字引用。Anthropic 的模拟收购任务随后支持了所有 57 个评分事实,而共享表格版本只包含了 41 个。所有权和引用同时更改,因此测试无法隔离任何一项更改的贡献。结果是一个基准结果,不提供普遍的法律准确性保证。
The Daily Diff 对转录支持的记忆修复的评价是什么?
The Daily Diff 的裁决是“需要审查”。Niko 将使用转录支持的修复,检查更改的笔记,并测试维基是否对实际任务有帮助。Anthropic 自己的反例表明,一种表示形式可能会增加工作量而没有明显的好处。它的手册警告说,旧的转录无法确定后来的外部更改,因此重要的更改事实仍然需要验证。
翻译的文字记录
译自英文原版旁白。可用音频和字幕由 YouTube 控制。
为什么记忆让 Claude 陷入困境?
0:00 让 Claude 拥有记忆应该能阻止它重复犯错。 Anthropic 观察到一个错误的笔记让它三次从同一个宝可梦山脊 掉落。在这段视频中,记忆是如何困住 Claude 的? 以及什么真正修复了它? Anthropic 称这种修复为“梦想”。 额外的模型会话会重新审视存储的转录并编辑记忆文件。 它的合同测试甚至通过改变那些记忆的 书写方式,恢复了所有缺失的事实。
0:22 记住这一点。 今天是 11 月 7 日星期六,这里是 The Daily Diff。 代理记忆是会话之间保存的上下文。 模型的权重保持不变。 周围的软件决定何时运行清理以及它能看到哪些 转录。Managed Agents' Dreams 功能处于研究预览阶段。 本文不会为每个 Claude 用户开启梦想功能。
Anthropic 到底测试了什么?
0:41 Anthropic 于周五发布了 Lance Martin 的文章。 今天的 Hacker News 讨论中,人们正在争论他们 删除了哪些记忆。当一个自信的错误笔记存活到另一个 会话时会发生什么?我们给幻觉一个文件柜。 Claude 需要穿过月见山,将附近的宝可梦中心作为其地标。 它写下建筑物在东边, 即使它在西边。 它离开时相信洞穴已经在他身后了。
1:05 然后它走过一个单向的悬崖,回到了它来时的路上。 它的导航工具错过了下降,所以 Claude 将失败解释为 超出了目标。下一次尝试以相同的错误假设开始。 持久性保留了错误。 第三次跌落后,Claude 写道它将停止而不是 继续循环。研究人员的设置会自动告诉它继续。 它返回到一个更早的城镇,那次运行结束时没有到达华蓝 市。连机器人也希望这次会议结束。
梦想如何修复路线?
1:30 研究人员对有缺陷的记忆文件夹运行“梦想”功能。 Claude 根据原始会话转录检查笔记, 发现了位置错误,并重写了它。 有了修正后的笔记,它重新进入月见山,最终到达了 华蓝市。这就是这里有用的结果。 保存的声明在再次尝试之前会进行证据核查。 在一次运行中,Sonnet 3.7 积累了数百个文件,同时获得了
1:50 一个徽章。Fable 5 保留了较小的集合并获得了四个。 不同的模型,各运行一次,因此文件系统的贡献无法 分离。在 Hacker News 上,yfontana 表示他们删除了几乎所有自动 记忆,因为笔记通常属于当前任务。 那是一位用户的经验。 一旦你移动了,昨天的坐标就成了糟糕的指南针。
记忆维基何时能提供帮助?
2:10 Anthropic 还在 Stainless 的内部文档之上构建了一个链接维基。 Claude 跨会话组织相关信息, 然后使用这些页面回答问题。 当一个答案需要跨越多个文档时,这会很有帮助。 原始文件仍然可用以查阅地图。 仅通过搜索,Claude 在评分标准中获得了 53% 的分数。 搜索加上更大的维基达到了 61%。
2:32 这些是关于一家公司文档的 25 个问题。 额外的离线工作改进了评估。 文章没有给出构建维基的总价, 所以请保持发票一栏空白。 Dreaming 使用标准 API 令牌费率,任务可能需要几分钟到几小时。 Anthropic 表示,持续检查每个记忆可能不切实际。 你的代理的第二班工作仍然记在你的信用卡上。 同一篇文章还包括一项法律任务,其中维基没有显示出比
维基何时一无是处?
2:56 搜索有明显优势。另一个维基比它摘要的文档还要大。 如果一个问题可以通过找到一段文字来回答, 那么首先构建一个百科全书可能是一种异常昂贵的点击“查找” 按钮的方式。Claude Code 自动加载其内存索引中有限的起始块, 详细的笔记则保存在其他地方。 错误的注入指令会影响每个会话。 Anthropic 的食谱警告说,记忆的质量取决于转录。 昨天的日志无法验证今天早上的更改。
为什么 16 个合同事实消失了?
3:23 现在来看合同任务。 几个代理为模拟收购建立了一个维基, 将条款写入一个共享表格中。 生成的摘要包含 57 个评分事实中的 41 个。 有 16 个事实在合同和精炼答案之间 消失了。那是一个相当重要的信息丢失的地方。 Anthropic 将失败归因于糟糕的摘要和代理之间相互 覆盖工作。丢失的条款从未在回答会话中安全保存。
3:47 “梦想”功能让 Claude 反思这些失败, 提出不同的维基指令,并重建。 修复一直追溯到记忆是如何写入的。 任何和同事一起编辑过同一文档的人都了解这种痛苦。 给每个参与者一个更大的大脑,他们仍然可以覆盖别人的 工作。这个激动人心的 AI 记忆 问题已经穿着并发错误走进了办公室厨房。 每个合同都有自己的页面,由一个代理编写。
4:08 条款逐字引用。 改进后的维基支持所有 57 个评分事实。 这就是承诺的修复。 单独的所有权可以防止覆盖,精确的引用可以保留条款。 这两项更改是同时发生的,因此不能单独归功于任何一项。 将重要的记忆追溯到其来源。 Managed Agents' Dreams 保留输入存储并生成一个独立的输出, 你可以进行审查。
4:32 如果您宁愿阅读而不是听我说,那么每天早晨,The Daily Diff 会免费 发送到您的收件箱,请访问 thedailydiff.dev,链接如下。 因此,今天的裁决是需要审查(NEEDS REVIEW)。
我会信任这个记忆系统吗?
4:39 我将使用基于转录的修复,因为持续的错误值得 持续的修复。我将检查更改的笔记,并测试维基是否对我的 实际任务有帮助。Anthropic 的反例表明记忆维护 很容易成为你现在必须维护的另一个项目。 这就是今天的区别。 我是 Axrisi 的 Niko。 请负责任地合并。 负责任地合并。
来源
- The components of agent memory — Lance Martin; figures by Monika Tuchowska; Anthropic-reported evaluationsAnthropic
- Dreams — research preview, separate output store, billing and lifecycleClaude Platform documentation
- Claude Code memory — injected index boundaryClaude Code documentation
- Dreaming with a dynamic workflow — transcript staleness and caller controlClaude Cookbook
- Sleep-time Compute — April 2025 prior work, no replication of this article claimedKevin Lin and colleagues / arXiv
- Harvey LAB — tasks, documents, grading rubrics and version scopeHarvey AI
- Authentic Dario Amodei portrait — TechCrunch Disrupt 2023; cropped, background removed and resized; Anthropic identity only, no authorship, current reaction or endorsementTechCrunch / Wikimedia Commons
- Original TechCrunch portrait source — Dario Amodei at Disrupt 2023TechCrunch / Flickr
- Portrait licence — Creative Commons Attribution 2.0Creative Commons
- Two Buttons — Jake Clark, Imgflip template; commentary labels added; brief process satire, hosting is not a licence or legal clearance and grants no blanket reuseJake Clark / Imgflip
- Groundhog Day GIF — Bill Murray and Stephen Tobolowsky as Phil/Ned; @groundhogday; silent, resized and captioned narrator commentary; no present-day reaction or blanket reuse; hosting is not a licence or legal clearanceGroundhog Day / GIPHY
- Two Buttons origin attribution — Jake Clark, October 2014; secondary sourceSupermeme
- Groundhog Day source link supplied by the GIPHY uploaderGroundhog Day



