+− THE DAILY DIFFdev & AI news
NEEDS REVIEW

Pamäť agenta Claude: snívanie podporené prepisom a zlyhania zdieľaného zapisovača

Chybná uložená orientačná poznámka poslala Claudeho cez ten istý Pokémon útes trikrát v experimente, ktorý vykonal Anthropic.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Chybná uložená orientačná poznámka poslala Claudeho cez ten istý Pokémon útes trikrát v experimente, ktorý vykonal Anthropic. Snívanie podporené prepisom opravilo poznámku, zatiaľ čo samostatné zmluvné stránky a doslovné podmienky obnovili chýbajúce ohodnotené fakty v inej úlohe.

Prečítajte si písanú edíciu (anglicky) ↗

Čo toto video pokrýva

  • Pamäť agenta udržuje kontext medzi reláciami; opísaná oprava mení poznámky, nie váhy modelu.
  • Kontrola nesprávnej poznámky v porovnaní s prepisom relácie pomohla opravenej vetve dosiahnuť Cerulean City.
  • Len vyhľadávanie dosiahlo 53 % kritérií; vyhľadávanie plus väčšia wiki dosiahli 61 % z 25 otázok o dokumentoch Stainless.
  • Iné právne úlohy hlásené zdrojom nepreukázali žiadny jasný zisk z wiki alebo wiki väčšiu ako pôvodné dokumenty.
  • Stránky špecifické pre zmluvy, jeden zapisovateľ na stránku a doslovné podmienky obnovili 57/57 ohodnotených faktov; obe zmeny boli testované spoločne.

Otázky a odpovede

Čo mení snívanie v systéme pamäte agenta?

Snívanie prezerá predchádzajúce prepisy relácií a reorganizuje uložený kontext, ktorý môžu neskoršie relácie čítať. Výskum spoločnosti Anthropic definuje pamäť agenta ako zachovaný kontext a vylučuje zmeny váh modelu. Okolitý softvér si vyberá, kedy sa práca spustí a aké prepisy dostane. API Managed Agents' Dreams je vo výskumnej ukážke a vytvára samostatné výstupné úložisko na kontrolu.

Pozrite si túto časť 0:41 · Anthropic · Claude Platform documentation

Ako nesprávna pamäť udržala Claudeho uväzneného v Mount Moon?

Claude zaznamenal Pokémon Center na nesprávnej strane Mount Moon a potom odišiel s presvedčením, že jaskyňa je za ním. Anthropic hlási, že jednosmerná rímsa ho vrátila na skoršiu cestu, zatiaľ čo jeho navigačný nástroj prehliadol pokles. Kontrola uloženej poznámky proti pôvodnému prepisu opravila polohu. Opravená vetva nakoniec dosiahla Cerulean City.

Pozrite si túto časť 1:30 · Anthropic

Kedy prepojená pamäťová wiki nedokázala zlepšiť vyhľadávanie zdrojov?

Wiki neukázala žiadny jasný zisk pri jednej hlásenej právnej úlohe, kde kritériá mohli byť často splnené získavaním informácií z jedného dokumentu. Anthropic tiež opisuje samostatnú úlohu, ktorej wiki sa stala väčšou ako pôvodné dokumenty. Výsledky článku podporujú hodnotenie reprezentácie špecifické pre úlohu, pričom náklady na údržbu sa zvažujú popri akomkoľvek prínose pri odpovedaní.

Pozrite si túto časť 2:53 · Anthropic

Aké zmeny v písaní obnovili chýbajúce zmluvné fakty?

Každá zmluva dostala vlastnú wiki stránku, ktorú napísal jeden agent, a podmienky boli citované doslova. Úloha simulovanej akvizície spoločnosti Anthropic potom podporila všetkých päťdesiatsedem hodnotených faktov, zatiaľ čo verzia zdieľanej tabuľky obsahovala štyridsaťjeden. Vlastníctvo a citácie sa zmenili spoločne, takže test nemôže izolovať príspevok žiadnej zmeny. Výsledkom je výsledok benchmarku bez univerzálnej záruky právnej presnosti.

Pozrite si túto časť 3:23 · Anthropic · Harvey AI

Aký bol verdikt The Daily Diff o oprave pamäte podporenej prepisom?

Verdikt The Daily Diff bol NEEDS REVIEW. Niko by použil opravu podporenu prepisom, skontroloval zmenené poznámky a otestoval, či wiki pomáha s aktuálnou úlohou. Vlastné protipríklady spoločnosti Anthropic ukazujú, že reprezentácia môže pridať prácu bez jasného prínosu. Jej kuchárska kniha varuje, že staré prepisy nemôžu určiť neskoršie externé zmeny, takže dôležité meniace sa fakty stále vyžadujú overenie.

Pozrite si túto časť 4:39 · Anthropic · Claude Cookbook

Preložený prepis

Preložené z pôvodného anglického rozprávania. Dostupný zvuk a titulky sú kontrolované službou YouTube.

Prečo pamäť držala Claudeho v pasci?

0:00 Poskytnutie pamäte Claudovi by malo zabrániť opakovaniu chýb. Anthropic sledoval, ako jedna chybná poznámka poslala Claudeho cez ten istý Pokémon útes trikrát. V tomto videu, ako pamäť chytí Claudeho do pasce? A čo to vlastne napraví? Anthropic nazýva opravu snívaním. Dodatočné modelové relácie opätovne prezerajú uložené prepisy a upravujú súbory pamäte. Jeho test zmluvy dokonca obnovil všetky chýbajúce fakty zmenou spôsobu, akým boli tieto pamäte zapísané. Držte tú myšlienku.

0:22 Je sobota, siedmy november, a toto je The Daily Diff. Pamäť agenta je kontext uložený medzi reláciami. Váhy modelu zostávajú nezmenené. Okolitý softvér rozhoduje, kedy sa spustí čistenie a ktoré prepisy uvidí. Funkcia Managed Agents' Dreams je vo výskumnej ukážke. Tento článok nezapína sny pre každého používateľa Claudeho. Anthropic zverejnil článok Lancea Martina v piatok.

Čo Anthropic skutočne testoval?

0:41 Dnešná diskusia na Hacker News má ľudí, ktorí sa hádajú o tom, ktoré pamäte vymazávajú. Čo sa stane, keď sebavedome nesprávna poznámka prežije do ďalšej relácie? Halucinácii sme dali kartotéku. Claude potrebuje prejsť cez Horu Mesiaca, pričom ako orientačný bod použije neďaleké Pokémon centrum. Zapíše si, že budova je na východnej strane, aj keď je na západnej. Odíde s presvedčením, že jaskyňa je už za ním. Potom prejde cez jednosmernú rímsu na cestu, z ktorej prišiel. Jeho navigačný nástroj prehliadne pád, takže Claude vysvetľuje zlyhanie ako prestrelenie.

1:05 Ďalší pokus začína s rovnakým chybným predpokladom. Perzistencia zachovala chybu. Po treťom páde Claude napíše, že sa zastaví, namiesto aby pokračoval v cyklovaní. Nastavenie výskumníkov mu automaticky prikáže pokračovať. Vráti sa do predchádzajúceho mesta a tento beh skončí bez dosiahnutia Cerulean City. Aj bot chce, aby sa toto stretnutie skončilo. Výskumníci spustia snívanie na chybnú pamäťovú zložku. Claude skontroluje poznámku v porovnaní s pôvodným prepisom relácie, chytí chybu miesta a prepíše ju.

Ako snívanie opravilo cestu?

1:30 S opravenou poznámkou znovu vstúpi do Hory Mesiaca a nakoniec dosiahne Cerulean. To je tu užitočný výsledok. Uložený nárok sa skontroluje proti dôkazom pred ďalším pokusom. V jednom behu Sonnet tri bod sedem nahromadila stovky súborov, zatiaľ čo získala jeden odznak. Fable päť si ponechala menšiu zbierku a získala štyri. Rôzne modely, jeden beh každý, takže príspevok kartotékového systému nemožno izolovať. Na Hacker News yfontana hovorí, že vymazávajú takmer všetky automatické spomienky, pretože poznámky zvyčajne patria k aktuálnej úlohe. To je skúsenosť jedného používateľa.

1:50 Včerajšie súradnice sú zlé kompas, akonáhle sa pohnete. Anthropic tiež vytvoril prepojenú wiki nad internými dokumentmi Stainless. Claude organizuje súvisiace informácie medzi reláciami a potom používa tieto stránky na odpovedanie na otázky. To môže pomôcť, keď odpoveď pokrýva niekoľko dokumentov. Pôvodné súbory zostávajú k dispozícii na kontrolu mapy. Len s vyhľadávaním Claude získal päťdesiattri percent hodnotených kritérií.

Kedy pomáha pamäťová wiki?

2:10 Vyhľadávanie plus väčšia wiki dosiahli šesťdesiatjeden percent. To bolo dvadsaťpäť otázok o dokumentoch jednej spoločnosti. Dodatočná offline práca zlepšila toto hodnotenie. Článok nám neuvádza celkovú cenu za vytvorenie wiki, takže nechajte stĺpec faktúry otvorený. Sny používajú štandardné sadzby tokenov API a úlohy môžu trvať minúty až hodiny. Anthropic hovorí, že nepretržitá kontrola každej pamäte môže byť nepraktická. Druhá zmena vášho agenta stále ide na vašu kreditnú kartu. Ten istý článok obsahuje právnu úlohu, kde wiki nepreukázala žiadny jasný zisk oproti vyhľadávaniu.

2:32 Iná wiki narástla do väčších rozmerov ako dokumenty, ktoré zhrnula. Ak je možné na otázku odpovedať nájdením jedného úryvku, vybudovanie encyklopédie najprv môže byť pozoruhodne drahý spôsob, ako použiť tlačidlo "nájsť". Claude Code automaticky načíta obmedzený úvodný kus svojho pamäťového indexu, s podrobnými poznámkami uloženými inde. Nesprávne vložená inštrukcia môže ovplyvniť každú reláciu. Kuchárska kniha Anthropicu varuje, že pamäť je len taká dobrá ako prepisy. Včerajší denník nemôže overiť dnešné zmeny. Teraz k zmluvnej úlohe. Niekoľko agentov vytvorí wiki pre simulovanú akvizíciu, pričom píše podmienky do jednej zdieľanej tabuľky.

Kedy wiki nič nepridáva?

2:56 Výsledný súhrn obsahuje štyridsaťjeden z päťdesiatsedem hodnotených faktov. Šestnásť faktov zmizlo niekde medzi zmluvami a vyleštenou odpoveďou. To je pomerne dôležité miesto na stratu informácií. Anthropic pripisuje zlyhanie zlým súhrnom a agentom, ktorí si navzájom prepisujú prácu. Chýbajúce podmienky nikdy neboli bezpečne zachované pre reláciu odpovedania. Snívanie umožňuje Claudovi premýšľať o týchto zlyhaniach, navrhovať rôzne wiki inštrukcie a prebudovať. Oprava siaha až k tomu, ako je pamäť zapísaná. Každý, kto upravoval ten istý dokument s kolegami, pozná túto bolesť.

Prečo zmizlo šestnásť zmluvných faktov?

3:23 Dajte každému účastníkovi väčší mozog a stále môžu uložiť prácu niekoho iného. Vzrušujúci problém s pamäťou AI sa zatúlal do kancelárskej kuchyne s chybou súbežnosti. Každá zmluva dostane svoju vlastnú stránku, ktorú napíše jeden agent. Podmienky sú citované slovo za slovom. Vylepšená wiki podporuje všetkých päťdesiatsedem hodnotených faktov. To je sľúbená oprava. Oddelené vlastníctvo zabraňuje prepisovaniu a presné citácie zachovávajú podmienky. Obe zmeny nastali spoločne, takže ani jedna nedostane výhradnú zásluhu.

3:47 Uchovávajte dôležité spomienky sledovateľné k ich zdrojom. Managed Agents' Dreams uchováva vstupný obchod a vytvára samostatný výstup, ktorý môžete skontrolovať. Ak si to radšej prečítate, ako počúvate, diff vám pristane v schránke každé ráno, zadarmo na thedailydiff.dev, odkaz nižšie. Takže dnešný verdikt je NEEDS REVIEW. Použil by som opravu podporenu prepisom, pretože pretrvávajúca chyba si zaslúži pretrvávajúcu opravu. Skontroloval by som zmenené poznámky a otestoval, či mi wiki pomôže s mojou skutočnou úlohou. Protipríklady Anthropicu ukazujú, ako ľahko sa údržba pamäte stane ďalším projektom, ktorý musíte udržiavať. A to je dnešný rozdiel.

4:08 Som Niko z Axrisi. Zlučujte zodpovedne. Dávajte Claudeovi pamäť, aby prestal opakovať chyby. Anthropic sledoval jednu nesprávnu poznámku, ktorá ho trikrát poslala cez ten istý útes Pokémon. V tomto videu, ako pamäť chytí Claudeho? A čo to vlastne opravuje? Anthropic nazýva opravu snívaním. Dodatočné modelové relácie opätovne prezerajú uložené prepisy a upravujú pamäťové súbory.

4:32 Jeho zmluvný test dokonca obnovil všetky chýbajúce fakty zmenou spôsobu, akým boli tieto pamäte zapísané. Podržte tú myšlienku. Je sobota, 7. novembra a toto je The Daily Diff.

Veril by som tomuto pamäťovému systému?

4:39 Pamäť agenta je kontext uložený medzi reláciami. Váhy modelu zostávajú nezmenené. Okolitý softvér rozhoduje, kedy sa spustí čistenie a ktoré prepisy uvidí. Funkcia Managed Agents' Dreams je vo výskumnej ukážke. Tento článok nezapína sny pre každého používateľa Claudeho. Anthropic zverejnil článok Lancea Martina v piatok. Dnešná diskusia na Hacker News má ľudí, ktorí sa hádajú o tom, ktoré pamäte vymazávajú. Čo sa stane, keď sebavedome nesprávna poznámka prežije do ďalšej relácie? Dali sme halucinácii kartotéku.

Zdroje

  1. The components of agent memory — Lance Martin; figures by Monika Tuchowska; Anthropic-reported evaluationsAnthropic
  2. Dreams — research preview, separate output store, billing and lifecycleClaude Platform documentation
  3. Claude Code memory — injected index boundaryClaude Code documentation
  4. Dreaming with a dynamic workflow — transcript staleness and caller controlClaude Cookbook
  5. Sleep-time Compute — April 2025 prior work, no replication of this article claimedKevin Lin and colleagues / arXiv
  6. Harvey LAB — tasks, documents, grading rubrics and version scopeHarvey AI
  7. Authentic Dario Amodei portrait — TechCrunch Disrupt 2023; cropped, background removed and resized; Anthropic identity only, no authorship, current reaction or endorsementTechCrunch / Wikimedia Commons
  8. Original TechCrunch portrait source — Dario Amodei at Disrupt 2023TechCrunch / Flickr
  9. Portrait licence — Creative Commons Attribution 2.0Creative Commons
  10. Two Buttons — Jake Clark, Imgflip template; commentary labels added; brief process satire, hosting is not a licence or legal clearance and grants no blanket reuseJake Clark / Imgflip
  11. Groundhog Day GIF — Bill Murray and Stephen Tobolowsky as Phil/Ned; @groundhogday; silent, resized and captioned narrator commentary; no present-day reaction or blanket reuse; hosting is not a licence or legal clearanceGroundhog Day / GIPHY
  12. Two Buttons origin attribution — Jake Clark, October 2014; secondary sourceSupermeme
  13. Groundhog Day source link supplied by the GIPHY uploaderGroundhog Day

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Súvisiace videá