Memorija agenta Claude: sanjarenje potkrijepljeno transkriptima i neuspjesi dijeljenog pisanja
Kriva spremljena bilješka poslala je Claudea tri puta preko istog Pokémon ruba u eksperimentu koji je objavio Anthropic.
Kriva spremljena bilješka poslala je Claudea tri puta preko istog Pokémon ruba u eksperimentu koji je objavio Anthropic. Sanjarenje potkrijepljeno transkriptom ispravilo je bilješku, dok su odvojene stranice ugovora i doslovni uvjeti vratili nedostajuće ocjenjivane činjenice u drugom zadatku.
Pročitajte pisano izdanje (engleski) ↗
Što ovaj video pokriva
- Memorija agenta održava kontekst između sesija; opisani popravak mijenja bilješke, a ne težine modela.
- Provjera pogrešne bilješke s transkriptom sesije pomogla je ispravljenoj grani da stigne do Cerulean Cityja.
- Samo pretraživanje ostvarilo je 53% kriterija; pretraživanje plus veći wiki doseglo je 61% na 25 pitanja o Stainless dokumentima.
- Drugi pravni zadaci prijavljeni iz izvora nisu pokazali jasan dobitak s wikijem ili je wiki bio veći od izvornih dokumenata.
- Stranice specifične za ugovore, jedan pisac po stranici i doslovni uvjeti vratili su 57/57 ocjenjivanih činjenica; obje su promjene testirane zajedno.
Pitanja i odgovori
Što sanjarenje mijenja u sustavu memorije agenta?
Sanjarenje pregledava transkripte ranijih sesija i reorganizira spremljeni kontekst koji kasnije sesije mogu pročitati. Anthropikovo istraživanje definira memoriju agenta kao zadržani kontekst i isključuje promjene težina modela. Okolni softver bira kada se rad pokreće i koje transkripte prima. Managed Agents' Dreams API je u pregledu istraživanja i proizvodi zasebnu izlaznu pohranu za pregled.
Kako je pogrešna uspomena zadržala Claudea zarobljenog na planini Mount Moon?
Claude je zabilježio Pokémon centar na pogrešnoj strani planine Mount Moon, a zatim je otišao vjerujući da je špilja iza njega. Anthropic izvještava da ga je jednosmjerni rub vratio na raniju rutu, dok je njegov navigacijski alat promašio pad. Provjera spremljene bilješke s izvornim transkriptom ispravila je lokaciju. Ispravljena grana na kraju je stigla do Cerulean Cityja.
Kada povezani wiki memorije nije uspio poboljšati pretraživanje izvora?
Wiki nije pokazao jasan dobitak na jednom prijavljenom pravnom zadatku gdje su se kriteriji često mogli zadovoljiti dohvaćanjem informacija iz jednog dokumenta. Anthropic također opisuje zaseban zadatak čiji je wiki postao veći od izvornih dokumenata. Rezultati članka podržavaju procjenu reprezentacije specifičnu za zadatak, s troškovima održavanja koji se razmatraju uz bilo kakvu korist odgovaranja.
Koje su promjene u pisanju vratile nedostajuće činjenice ugovora?
Svaki je ugovor dobio svoju wiki stranicu s jednim agentom koji ju je napisao, a uvjeti su citirani doslovno. Anthropikov zadatak simulirane akvizicije zatim je podržao svih pedeset i sedam ocjenjivanih činjenica, nakon što je verzija s dijeljenom tablicom uključivala četrdeset i jednu. Vlasništvo i citat mijenjali su se zajedno, pa test ne može izolirati doprinos nijedne promjene. Rezultat je ishod mjerila bez univerzalnog jamstva pravne točnosti.
Kakva je bila presuda The Daily Diff-a o popravku memorije potkrijepljenom transkriptom?
Presuda The Daily Diff-a bila je POTREBNA REVIZIJA. Niko bi koristio popravak potkrijepljen transkriptom, pregledao promijenjene bilješke i testirao pomaže li wiki stvarnom zadatku. Antropikovi protuprimjeri pokazuju da reprezentacija može dodati posao bez jasne koristi. Njegov priručnik upozorava da stari transkripti ne mogu utvrditi kasnije vanjske promjene, pa važne promjenjive činjenice i dalje trebaju provjeru.
Prevedeni transkript
Prevedeno iz izvornog engleskog pripovijedanja. Dostupni zvuk i titlovi kontroliraju se putem YouTubea.
Zašto je memorija zadržala Claudea zarobljenog?
0:00 Davanje memorije Claudeu trebalo bi spriječiti ponavljanje pogrešaka. Anthropic je gledao kako ga jedna pogrešna bilješka šalje preko istog Pokémon ruba tri puta. U ovom videu, kako memorija zarobljava Claudea? I što ga zapravo popravlja? Anthropic popravak naziva sanjarenjem. Dodatne sesije modela ponovno pregledavaju pohranjene transkripte i uređuju memorijske datoteke. Njegov test ugovora čak je vratio sve nedostajuće činjenice promjenom načina na koji su te memorije zapisane.
0:22 Zadržite tu misao. Subota je, sedmi studeni, i ovo je The Daily Diff. Memorija agenta je kontekst spremljen između sesija. Težine modela ostaju nepromijenjene. Okolni softver odlučuje kada se čišćenje pokreće i koje transkripte vidi. Značajka Managed Agents' Dreams je u pregledu istraživanja. Ovaj članak ne uključuje snove za svakog korisnika Claudea.
Što je Anthropic zapravo testirao?
0:41 Anthropic je objavio članak Lancea Martina u petak. Današnja rasprava na Hacker Newsu ima ljude koji se svađaju o tome koje memorije brišu. Što se događa kada samouvjereno pogrešna bilješka preživi u drugu sesiju? Halucinaciji smo dali ormarić za spise. Claude mora prijeći planinu Mount Moon, koristeći obližnji Pokémon centar kao orijentir. Zapisuje da je zgrada na istočnoj strani, iako je na zapadnoj. Odlazi vjerujući da je špilja već iza njega.
1:05 Zatim hoda preko jednosmjernog ruba na rutu odakle je došao. Njegov navigacijski alat promašuje pad, pa Claude objašnjava neuspjeh kao pretjerivanje. Sljedeći pokušaj počinje istom pogrešnom pretpostavkom. Upornost je sačuvala grešku. Nakon trećeg pada, Claude piše da će se zaustaviti umjesto da nastavi kružiti. Postavke istraživača automatski mu govore da nastavi. Vraća se u raniji grad, i taj se pokušaj završava bez dolaska u Cerulean City. Čak i bot želi da ovaj sastanak završi.
Kako je sanjarenje popravilo rutu?
1:30 Istraživači pokreću sanjarenje na neispravnoj memorijskoj mapi. Claude provjerava bilješku s izvornim transkriptom sesije, hvata grešku lokacije i prepravlja je. S ispravljenom bilješkom ponovno ulazi u Mount Moon i na kraju stiže do Ceruleana. To je ovdje koristan rezultat. Spremljena tvrdnja provjerava se s dokazima prije drugog pokušaja. U jednom pokretanju, Sonnet tri točka sedam akumulirao je stotine datoteka dok je zaradio
1:50 jednu značku. Fable pet je zadržao manju kolekciju i zaradio četiri. Različiti modeli, po jedno pokretanje, tako da se doprinos sustava za arhiviranje ne može izolirati. Na Hacker Newsu, yfontana kaže da brišu gotovo sve automatske memorije jer bilješke obično pripadaju trenutnom zadatku. To je iskustvo jednog korisnika. Jučerašnje koordinate čine loš kompas nakon što ste se pomaknuli.
Kada wiki memorije pomaže?
2:10 Anthropic je također izgradio povezani wiki iznad Stainlessovih internih dokumenata. Claude organizira povezane informacije kroz sesije, zatim koristi te stranice za odgovaranje na pitanja. Ovo može pomoći kada se odgovor proteže kroz nekoliko dokumenata. Izvorne datoteke ostaju dostupne za provjeru karte. Samo pretraživanjem, Claude je postigao pedeset i tri posto ocjenjivanih kriterija. Pretraživanje plus veći wiki doseglo je šezdeset i jedan posto.
2:32 Bilo je to dvadeset i pet pitanja o dokumentima jedne tvrtke. Dodatni izvanmrežni rad poboljšao je tu procjenu. Članak nam ne daje ukupnu cijenu izgradnje wikija, pa neka stupac računa ostane otvoren. Sanjarenje koristi standardne stope API tokena, a poslovi mogu trajati od minuta do sati. Anthropic kaže da kontinuirano provjeravanje svake memorije može biti nepraktično. Druga smjena vašeg agenta i dalje ide na vašu kreditnu karticu. Isti članak uključuje pravni zadatak gdje wiki nije pokazao jasan dobitak u odnosu na
Kada wiki ne dodaje ništa?
2:56 pretraživanje. Drugi wiki je postao veći od dokumenata koje je sažeo. Ako se na pitanje može odgovoriti pronalaženjem jednog odlomka, izgradnja enciklopedije prvo može biti iznenađujuće skup način korištenja gumba za pronalaženje. Claude Code automatski učitava ograničeni početni dio svog memorijskog indeksa, s detaljnim bilješkama pohranjenim drugdje. Pogrešno unesena instrukcija može utjecati na svaku sesiju. Anthropikov kuharica upozorava da je memorija dobra samo koliko i transkripti. Jučerašnji dnevnik ne može potvrditi jutrošnje promjene.
Zašto je nestalo šesnaest ugovornih činjenica?
3:23 Sada za zadatak ugovora. Nekoliko agenata gradi wiki za simuliranu akviziciju, upisujući uvjete u jednu zajedničku tablicu. Dobiveni kratak opis uključuje četrdeset i jednu od pedeset i sedam ocjenjenih činjenica. Šesnaest činjenica nestalo je negdje između ugovora i dotjeranog odgovora. To je prilično važno mjesto za gubljenje informacija. Anthropic neuspjeh pripisuje lošim sažecima i agentima koji prepisuju jedni drugima rad. Nedostajući uvjeti nikada nisu bili sigurno sačuvani za sesiju odgovaranja.
3:47 Sanjarenje omogućuje Claudeu da razmisli o tim neuspjesima, predloži različite wiki upute i ponovno izgradi. Popravak seže sve do načina na koji je memorija zapisana. Svatko tko je uređivao isti dokument s kolegama poznaje ovu bol. Dajte svakom sudioniku veći mozak, i oni i dalje mogu spremiti preko nečijeg drugog rada. Uzbudljiv problem AI memorije zalutao je u uredsku kuhinju noseći grešku konkurentnosti.
4:08 Svaki ugovor dobiva svoju stranicu, koju piše jedan agent. Uvjeti su citirani doslovno. Poboljšani wiki podržava svih pedeset i sedam ocjenjivanih činjenica. To je obećano rješenje. Zasebno vlasništvo sprječava preklapanje, a točni citati čuvaju uvjete. Obje promjene dogodile su se istodobno, pa nijedna ne dobiva isključivu zaslugu. Važne uspomene neka budu sljedive do svojih izvora. Managed Agents' Dreams čuva ulaznu pohranu i proizvodi zaseban izlaz
4:32 koji možete pregledati. Ako biste radije pročitali ovo nego čuli kako to govorim, diff stiže u vaš inbox svako jutro, besplatno na the daily diff dot dev, poveznica ispod.
Bi li vjerovao ovom memorijskom sustavu?
4:39 Dakle, današnja presuda je POTREBNA REVIZIJA. Koristio bih popravak potkrijepljen transkriptom jer uporna pogreška zaslužuje uporan popravak. Provjerio bih promijenjene bilješke i testirao pomaže li wiki mom stvarnom zadatku. Anthropikovi protuprimjeri pokazuju kako lako održavanje memorije postaje još jedan projekt koji sada morate održavati. I to je to za danas. Ja sam Niko iz Axrisija. Spajajte odgovorno.
Izvori
- The components of agent memory — Lance Martin; figures by Monika Tuchowska; Anthropic-reported evaluationsAnthropic
- Dreams — research preview, separate output store, billing and lifecycleClaude Platform documentation
- Claude Code memory — injected index boundaryClaude Code documentation
- Dreaming with a dynamic workflow — transcript staleness and caller controlClaude Cookbook
- Sleep-time Compute — April 2025 prior work, no replication of this article claimedKevin Lin and colleagues / arXiv
- Harvey LAB — tasks, documents, grading rubrics and version scopeHarvey AI
- Authentic Dario Amodei portrait — TechCrunch Disrupt 2023; cropped, background removed and resized; Anthropic identity only, no authorship, current reaction or endorsementTechCrunch / Wikimedia Commons
- Original TechCrunch portrait source — Dario Amodei at Disrupt 2023TechCrunch / Flickr
- Portrait licence — Creative Commons Attribution 2.0Creative Commons
- Two Buttons — Jake Clark, Imgflip template; commentary labels added; brief process satire, hosting is not a licence or legal clearance and grants no blanket reuseJake Clark / Imgflip
- Groundhog Day GIF — Bill Murray and Stephen Tobolowsky as Phil/Ned; @groundhogday; silent, resized and captioned narrator commentary; no present-day reaction or blanket reuse; hosting is not a licence or legal clearanceGroundhog Day / GIPHY
- Two Buttons origin attribution — Jake Clark, October 2014; secondary sourceSupermeme
- Groundhog Day source link supplied by the GIPHY uploaderGroundhog Day
.jpg){kind=link}