Paměť agenta Claude: sny podložené přepisem a chyby sdíleného zápisu
Špatně uložený orientační bod poslal Claudeho třikrát přes stejnou pokémoní římsu v experimentu, který popsala Anthropic.
Špatně uložený orientační bod poslal Claudeho třikrát přes stejnou pokémoní římsu v experimentu, který popsala Anthropic. Sny podložené přepisem chybu v poznámce opravily, zatímco samostatné stránky smluv a doslovné podmínky obnovily chybějící hodnocené skutečnosti v jiném úkolu.
Přečtěte si psané vydání (anglicky) ↗
Co toto video pokrývá
- Paměť agenta zachovává kontext mezi relacemi; popsaná oprava mění poznámky, nikoli váhy modelu.
- Kontrola špatné poznámky proti přepisu relace pomohla opravené větvi dosáhnout Cerulean City.
- Pouhé vyhledávání získalo 53 % kritérií; vyhledávání plus větší wiki dosáhlo 61 % na 25 otázek o dokumentech Stainless.
- Jiné právní úkoly uváděné zdroji nevykazovaly jasný přínos wiki nebo byla wiki větší než původní dokumenty.
- Stránky specifické pro smlouvu, jeden autor na stránku a doslovné termíny obnovily 57/57 hodnocených skutečností; obě změny byly testovány společně.
Otázky a odpovědi
Co mění "snění" v paměťovém systému agenta?
"Snění" kontroluje přepisy dřívějších relací a reorganizuje uložený kontext, který mohou číst pozdější relace. Výzkum Anthropic definuje paměť agenta jako uchovaný kontext a vylučuje změny vah modelu. Okolní software vybírá, kdy se práce spustí a které přepisy obdrží. API Managed Agents' Dreams je ve fázi výzkumné ukázky a produkuje samostatné výstupní úložiště pro kontrolu.
Jak špatná paměť držela Claudeho uvězněného na Mount Moon?
Claude zaznamenal Pokémon Center na špatné straně Mount Moon a pak odešel s přesvědčením, že jeskyně je za ním. Anthropic uvádí, že jednosměrná římsa ho vrátila na dřívější trasu, zatímco jeho navigační nástroj propadnutí nezaznamenal. Kontrola uložené poznámky proti původnímu přepisu chybu v poloze opravila. Opravená větev nakonec dosáhla Cerulean City.
Kdy se propojená wiki s pamětí nepodařilo zlepšit vyhledávání zdroje?
Wiki neprokázala žádný jasný přínos u jednoho nahlášeného právního úkolu, kde kritéria bylo často možné splnit získáním informací z jednoho dokumentu. Anthropic také popisuje samostatný úkol, jehož wiki se stala větší než původní dokumenty. Výsledky článku podporují hodnocení reprezentace specifické pro úkol, přičemž náklady na údržbu jsou zvažovány spolu s jakýmkoli přínosem pro odpovědi.
Které změny v psaní obnovily chybějící smluvní fakta?
Každá smlouva obdržela vlastní stránku wiki s jedním agentem, který ji psal, a termíny byly citovány doslovně. Úkol simulované akvizice Anthropic pak podpořil všech 57 hodnocených faktů, poté co verze se sdílenou tabulkou obsahovala 41. Vlastnictví a citace se změnily společně, takže test nemůže izolovat přínos žádné změny. Výsledek je benchmarkový výsledek bez univerzální záruky právní přesnosti.
Jaký byl verdikt The Daily Diff ohledně opravy paměti podložené přepisem?
Verdikt The Daily Diff zněl VYŽADUJE PŘEZKOUMÁNÍ. Niko by použil opravu podloženou přepisem, prozkoumal by změněné poznámky a otestoval, zda wiki pomáhá skutečnému úkolu. Vlastní protipříklady Anthropic ukazují, že reprezentace může přidat práci bez jasného přínosu. Její kuchařka varuje, že staré přepisy nemohou potvrdit pozdější externí změny, takže důležité měnící se fakta stále potřebují ověření.
Přeložený přepis
Přeloženo z původního anglického vyprávění. Dostupné audio a titulky jsou řízeny YouTube.
Proč paměť držela Claudeho v pasti?
0:00 Poskytnutí paměti Claudeovi by mělo zabránit opakování chyb. Anthropic sledovala, jak jedna špatná poznámka poslala Claudeho třikrát přes stejnou pokémoní římsu. V tomto videu, jak paměť uvězňuje Claudeho? A co to vlastně opravuje? Anthropic nazývá opravu "snění". Dodatečné modelové sezení znovu navštěvují uložené přepisy a upravují paměťové soubory. Jejich test smluv dokonce obnovil všechny chybějící fakta změnou způsobu, jakým byly tyto vzpomínky zapsány.
0:22 Zapamatujte si to. Je sobota, sedmý listopad, a toto je The Daily Diff. Paměť agenta je kontext uložený mezi relacemi. Váhy modelu zůstávají nezměněny. Okolní software rozhoduje, kdy se spustí úklid a které přepisy uvidí. Funkce Managed Agents' Dreams je ve fázi výzkumné ukázky. Tento článek nezapíná "sny" pro každého uživatele Claudeho.
Co Anthropic skutečně testovala?
0:41 Anthropic zveřejnila článek Lance Martina v pátek. Dnešní diskuze na Hacker News má lidi, kteří se hádají o tom, které vzpomínky mažou. Co se stane, když se sebevědomě špatná poznámka přenese do další relace? Halucinaci jsme dali kartotéku. Claude musí překonat horu Mount Moon a použít nedaleké Pokémon Center jako orientační bod. Zapíše si, že budova je na východní straně, i když je na západní. Odejde s přesvědčením, že jeskyně je už za ním.
1:05 Pak přejde přes jednosměrnou římsu na cestu, ze které přišel. Jeho navigační nástroj propadnutí nezaznamená, takže Claude vysvětluje selhání jako "přestřelení" cíle. Další pokus začíná se stejným chybným předpokladem. Vytrvalost zachovala chybu. Po třetím pádu Claude píše, že se zastaví, místo aby se stále točil v kruhu. Nastavení výzkumníků mu automaticky říká, aby pokračoval. Vrací se do dřívějšího města a tento běh končí, aniž by dosáhl Cerulean City. I bot chce, aby tato schůzka skončila.
Jak "sny" opravily trasu?
1:30 Výzkumníci spustí "snění" na složce s chybnou pamětí. Claude zkontroluje poznámku proti původnímu přepisu relace, zachytí chybu v poloze a přepíše ji. S opravenou poznámkou znovu vstoupí na Mount Moon a nakonec dosáhne Cerulean. To je zde užitečný výsledek. Uložený nárok je zkontrolován proti důkazům před dalším pokusem. V jednom běhu Sonnet 3.7 nashromáždil stovky souborů a získal jeden odznak. Fable 5 udržovala menší sbírku a získala čtyři.
1:50 Různé modely, každý jeden běh, takže příspěvek spisového systému nelze izolovat. Na Hacker News yfontana říká, že maže téměř všechny automatické vzpomínky, protože poznámky obvykle patří k aktuálnímu úkolu. To je zkušenost jednoho uživatele. Včerejší souřadnice jsou mizerný kompas, jakmile se pohnete. Anthropic také vybudovala propojenou wiki nad interními dokumenty Stainless.
Kdy pomáhá wiki s pamětí?
2:10 Claude organizuje související informace napříč relacemi, pak používá tyto stránky k zodpovězení otázek. To může pomoci, když odpověď zahrnuje několik dokumentů. Původní soubory zůstávají k dispozici pro kontrolu mapy. Pouze s vyhledáváním Claude získal 53 % hodnocených kritérií. Vyhledávání plus větší wiki dosáhlo 61 %. To bylo 25 otázek o dokumentech jedné společnosti. Dodatečná offline práce zlepšila toto hodnocení.
2:32 Článek nám nedává celkovou cenu za vybudování wiki, takže sloupec faktur ponechte otevřený. Dreams používá standardní sazby za API tokeny a úlohy mohou trvat minuty až hodiny. Anthropic říká, že neustálá kontrola každé paměti může být nepraktická. Druhá směna vašeho agenta stále jde na vaši kreditní kartu. Stejný článek zahrnuje právní úkol, kde wiki neprokázala žádný jasný přínos oproti vyhledávání. Jiná wiki se rozrostla více než dokumenty, které shrnovala. Pokud lze otázku zodpovědět nalezením jedné pasáže, pak
Kdy wiki nic nepřidá?
2:56 vybudování encyklopedie může být překvapivě drahý způsob použití tlačítka najít. Claude Code automaticky načítá omezený úvodní úsek svého paměťového indexu, s podrobnými poznámkami uloženými jinde. Špatně vložený pokyn může ovlivnit každou relaci. Kuchařka Anthropic varuje, že paměť je jen tak dobrá jako přepisy. Včerejší záznam nemůže ověřit dnešní změny. Nyní k úkolu se smlouvami. Několik agentů vytvoří wiki pro simulovanou akvizici,
Proč zmizelo šestnáct smluvních faktů?
3:23 zapisuje podmínky do jedné sdílené tabulky. Výsledný shrnutí obsahuje 41 z 57 hodnocených faktů. Šestnáct faktů zmizelo někde mezi smlouvami a uhlazenou odpovědí. To je poměrně důležité místo, kde ztrácíte informace. Anthropic sleduje selhání k špatným souhrnům a agentům, kteří si navzájem přepisují práci. Chybějící termíny nebyly nikdy bezpečně uchovány pro odpovědní relaci. "Snění" umožňuje Claudeovi zamyslet se nad těmito selháními, navrhnout jiné pokyny pro wiki a znovu ji vybudovat.
3:47 Oprava se vrací až k tomu, jak je paměť zapsána. Každý, kdo upravoval stejný dokument s kolegy, zná tuto bolest. Dejte každému účastníkovi větší mozek a stále mohou uložit přes práci někoho jiného. Vzrušující problém s AI pamětí se zatoulal do kancelářské kuchyně s chybou souběžnosti. Každá smlouva dostane vlastní stránku, kterou napíše jeden agent. Termíny jsou citovány doslovně. Vylepšená wiki podporuje všech 57 hodnocených faktů.
4:08 To je slíbená oprava. Oddělené vlastnictví brání přepisování a přesné citace zachovávají termíny. Obě změny nastaly společně, takže ani jedna nedostane výhradní zásluhy. Důležité vzpomínky udržujte dohledatelné k jejich zdrojům. Managed Agents' Dreams zachovává vstupní úložiště a produkuje samostatný výstup, který můžete zkontrolovat. Pokud si to raději přečtete, než uslyšíte, "diff" vám přistane ve schránce každé ráno, zdarma na thedailydiff.dev, odkaz níže.
4:32 Takže dnešní verdikt je VYŽADUJE PŘEZKOUMÁNÍ. Použil bych opravu podloženou přepisem, protože trvalá chyba si zaslouží trvalou opravu. Zkontroloval bych změněné poznámky a otestoval, zda wiki pomáhá
Důvěřoval bych tomuto paměťovému systému?
4:39 mému skutečnému úkolu. Protipříklady Anthropic ukazují, jak snadno se údržba paměti stane dalším projektem, který musíte udržovat. A to je dnešní "diff". Jsem Niko z Axrisi. Sloučit zodpovědně. Merge zodpovědně. Jsem Niko z Axrisi. Spojte zodpovědně.
Zdroje
- The components of agent memory — Lance Martin; figures by Monika Tuchowska; Anthropic-reported evaluationsAnthropic
- Dreams — research preview, separate output store, billing and lifecycleClaude Platform documentation
- Claude Code memory — injected index boundaryClaude Code documentation
- Dreaming with a dynamic workflow — transcript staleness and caller controlClaude Cookbook
- Sleep-time Compute — April 2025 prior work, no replication of this article claimedKevin Lin and colleagues / arXiv
- Harvey LAB — tasks, documents, grading rubrics and version scopeHarvey AI
- Authentic Dario Amodei portrait — TechCrunch Disrupt 2023; cropped, background removed and resized; Anthropic identity only, no authorship, current reaction or endorsementTechCrunch / Wikimedia Commons
- Original TechCrunch portrait source — Dario Amodei at Disrupt 2023TechCrunch / Flickr
- Portrait licence — Creative Commons Attribution 2.0Creative Commons
- Two Buttons — Jake Clark, Imgflip template; commentary labels added; brief process satire, hosting is not a licence or legal clearance and grants no blanket reuseJake Clark / Imgflip
- Groundhog Day GIF — Bill Murray and Stephen Tobolowsky as Phil/Ned; @groundhogday; silent, resized and captioned narrator commentary; no present-day reaction or blanket reuse; hosting is not a licence or legal clearanceGroundhog Day / GIPHY
- Two Buttons origin attribution — Jake Clark, October 2014; secondary sourceSupermeme
- Groundhog Day source link supplied by the GIPHY uploaderGroundhog Day



