Claudeova memorija agenta: sanjarenje potpomognuto transkriptima i neuspjesi zajedničkih pisaca
Pogrešna spremljena orijentir poslala je Claudea preko istog Pokémon ruba tri puta u eksperimentu koji je objavio Anthropic.
Pogrešna spremljena orijentir poslala je Claudea preko istog Pokémon ruba tri puta u eksperimentu koji je objavio Anthropic. Sanjarenje potpomognuto transkriptom ispravilo je bilješku, dok su zasebne stranice ugovora i doslovni uvjeti oporavili nedostajuće ocijenjene činjenice u drugom zadatku.
Pročitajte pisano izdanje (engleski) ↗
Šta ovaj video pokriva
- Memorija agenta održava kontekst između sesija; opisani popravak mijenja bilješke, a ne težine modela.
- Provjera pogrešne bilješke u odnosu na transkript sesije pomogla je ispravljenoj grani da dođe do grada Cerulean.
- Samo pretraživanje postiglo je 53% kriterija; pretraživanje plus veći wiki doseglo je 61% na 25 pitanja o Stainless dokumentima.
- Drugi pravni zadaci, prijavljeni iz izvora, nisu pokazali jasan wiki dobitak ili je wiki bio veći od izvornih dokumenata.
- Stranice specifične za ugovor, jedan pisac po stranici i doslovni uvjeti oporavili su 57/57 ocijenjenih činjenica; obje promjene testirane su zajedno.
Pitanja i odgovori
Što sanjarenje mijenja u sustavu memorije agenta?
Sanjarenje pregledava ranije transkripte sesija i reorganizira spremljeni kontekst koji kasnije sesije mogu čitati. Anthropicovo istraživanje definira memoriju agenta kao zadržani kontekst i isključuje promjene težina modela. Okolni softver bira kada se posao pokreće i koje transkripte prima. API Managed Agents' Dreams je u pregledu istraživanja i proizvodi zasebnu izlaznu pohranu za pregled.
Kako je pogrešna memorija zadržala Claudea zaglavljenog na planini Mjesec?
Claude je zabilježio Pokémon centar na pogrešnoj strani planine Mjesec, a zatim je otišao vjerujući da je špilja iza njega. Anthropic izvještava da ga je jednosmjerni rub vratio na raniju rutu, dok je njegov navigacijski alat promašio pad. Provjera spremljene bilješke u odnosu na izvorni transkript ispravila je lokaciju. Ispravljena grana je na kraju stigla do grada Ceruleana.
Kada povezani memorijski wiki nije uspio poboljšati pretraživanje izvora?
Wiki nije pokazao jasan dobitak u jednom prijavljenom pravnom zadatku gdje su se kriteriji često mogli zadovoljiti dohvaćanjem informacija iz jednog dokumenta. Anthropic također opisuje zasebni zadatak čiji je wiki postao veći od izvornih dokumenata. Rezultati članka podržavaju procjenu prikaza specifičnu za zadatak, s troškovima održavanja uzimajući u obzir uz bilo kakvu korist od odgovaranja.
Koje su promjene u pisanju oporavile nedostajuće činjenice iz ugovora?
Svaki je ugovor dobio svoju wiki stranicu s jednim agentom koji ju je napisao, a uvjeti su citirani doslovno. Anthropicov zadatak simulirane akvizicije tada je podržavao svih pedeset i sedam ocijenjenih činjenica, nakon što je verzija sa zajedničkom tablicom uključivala četrdeset i jednu. Vlasništvo i citat promijenili su se zajedno, pa test ne može izolirati doprinos nijedne promjene. Rezultat je rezultat mjerila bez univerzalnog jamstva pravne točnosti.
Kakva je bila presuda The Daily Diff-a o popravku memorije potpomognutom transkriptom?
Presuda The Daily Diff-a bila je POTREBNA REVIZIJA. Niko bi koristio popravak potpomognut transkriptom, pregledao promijenjene bilješke i testirao pomaže li wiki stvarnom zadatku. Anthropicovi protuprimjeri pokazuju da prikaz može dodati posao bez jasne koristi. Njegova kuharica upozorava da stari transkripti ne mogu utvrditi kasnije vanjske promjene, pa važne promjenjive činjenice i dalje trebaju provjeru.
Prevedeni transkript
Prevedeno iz originalne engleske naracije. Dostupan zvuk i titlovi kontroliše YouTube.
Zašto je memorija zadržala Claudea zarobljenog?
0:00 Davanje Claudeu memorije trebalo bi ga spriječiti da ponavlja pogreške. Anthropic je promatrao kako ga jedna pogrešna bilješka šalje preko istog Pokémon ruba tri puta. U ovom videu, kako memorija zarobljava Claudea? I što ga zapravo popravlja? Anthropic popravak naziva sanjarenjem. Dodatne sesije modela ponovno pregledavaju pohranjene transkripte i uređuju memorijske datoteke. Njegov test ugovora čak je oporavio svaku nedostajuću činjenicu promjenom načina na koji su te memorije napisane.
0:22 Zadrži tu misao. Subota je, sedmi studeni, a ovo je The Daily Diff. Memorija agenta je kontekst spremljen između sesija. Težine modela ostaju nepromijenjene. Okruženje softvera odlučuje kada se pokreće čišćenje i koje transkripte vidi. Značajka Managed Agents' Dreams je u pregledu istraživanja. Ovaj članak ne uključuje snove za svakog korisnika Claudea.
Što je Anthropic zapravo testirao?
0:41 Anthropic je objavio članak Lancea Martina u petak. Današnja rasprava na Hacker Newsu ima ljude koji se svađaju o tome koje memorije brišu. Što se događa kada samouvjereno pogrešna bilješka preživi u drugu sesiju? Halucinaciji smo dali ormarić za spise. Claude treba prijeći planinu Mjesec, koristeći obližnji Pokémon centar kao orijentir. Zapisuje da se zgrada nalazi na istočnoj strani, iako je na zapadnoj. Odlazi vjerujući da je špilja već iza njega.
1:05 Zatim hoda preko jednosmjernog ruba na put odakle je došao. Njegov alat za navigaciju promašuje pad, pa Claude objašnjava neuspjeh kao pretjerivanje. Sljedeći pokušaj počinje s istom pogrešnom pretpostavkom. Upornost je očuvala pogrešku. Nakon trećeg pada, Claude piše da će stati, a ne nastaviti petlju. Postavka istraživača automatski mu govori da nastavi. Vraća se u raniji grad, i to pokretanje završava bez dolaska do Cerulean Grada. Čak i bot želi da ovaj sastanak završi.
Kako je sanjarenje popravilo rutu?
1:30 Istraživači pokreću sanjarenje na neispravnoj memorijskoj mapi. Claude provjerava bilješku u odnosu na izvorni transkript sesije, hvata pogrešku lokacije i prepisuje je. S ispravljenom bilješkom ponovno ulazi u planinu Mjesec i na kraju dolazi do Ceruleana. To je koristan rezultat ovdje. Spremljena tvrdnja provjerava se u odnosu na dokaze prije drugog pokušaja. U jednom pokretanju, Sonnet tri točke sedam je akumulirao stotine datoteka dok je zaradio
1:50 jednu značku. Fable pet je zadržao manju zbirku i zaradio četiri. Različiti modeli, po jedno pokretanje, tako da se doprinos sustava za arhiviranje ne može izolirati. Na Hacker Newsu, yfontana kaže da brišu gotovo sve automatske memorije jer bilješke obično pripadaju trenutnom zadatku. To je iskustvo jednog korisnika. Jučerašnje koordinate čine loš kompas nakon što ste se pomaknuli.
Kada wiki memorije pomaže?
2:10 Anthropic je također izgradio povezani wiki iznad Stainlessovih internih dokumenata. Claude organizira povezane informacije između sesija, a zatim koristi te stranice za odgovaranje na pitanja. Ovo može pomoći kada se odgovor proteže kroz nekoliko dokumenata. Izvorne datoteke ostaju dostupne za provjeru karte. Samo pretraživanjem, Claude je postigao pedeset i tri posto ocijenjenih kriterija. Pretraživanje plus veći wiki doseglo je šezdeset i jedan posto.
2:32 To je bilo dvadeset i pet pitanja o dokumentima jedne tvrtke. Dodatni offline rad poboljšao je tu ocjenu. Članak nam ne daje ukupnu cijenu izgradnje wikija, pa neka stupac s računom ostane otvoren. Dreams koristi standardne stope tokena API-ja, a poslovi mogu trajati od nekoliko minuta do nekoliko sati. Anthropic kaže da kontinuirano provjeravanje svake memorije može biti nepraktično. Druga smjena vašeg agenta i dalje ide na vašu kreditnu karticu. Isti članak uključuje pravni zadatak gdje wiki nije pokazao jasan dobitak u odnosu na
Kada wiki ništa ne dodaje?
2:56 pretraživanje. Drugi wiki je narastao veći od dokumenata koje je sažeo. Ako se na pitanje može odgovoriti pronalaženjem jednog odlomka, izgradnja enciklopedije može biti izuzetno skup način korištenja gumba za pronalaženje. Claude Code automatski učitava ograničeni početni dio svog memorijskog indeksa, s detaljnim bilješkama koje se čuvaju drugdje. Pogrešna unesena instrukcija može utjecati na svaku sesiju. Anthropicova kuharica upozorava da je memorija dobra samo onoliko koliko su dobri transkripti. Jučerašnji dnevnik ne može provjeriti današnje promjene.
Zašto je nestalo šesnaest ugovornih činjenica?
3:23 Sada za zadatak ugovora. Nekoliko agenata gradi wiki za simuliranu akviziciju, pišući uvjete u jednu zajedničku tablicu. Dobiveni kratak opis uključuje četrdeset i jednu od pedeset i sedam ocijenjenih činjenica. Šesnaest činjenica nestalo je negdje između ugovora i dotjeranog odgovora. To je prilično važno mjesto za gubljenje informacija. Anthropic pripisuje neuspjeh lošim sažecima i agentima koji prepisuju jedni drugima posao. Nedostajući uvjeti nikada nisu bili sigurno sačuvani za sesiju
3:47 odgovaranja. Sanjarenje omogućuje Claudeu da razmisli o tim neuspjesima, predloži različite wiki upute i ponovno izgradi. Popravak seže sve do načina na koji je memorija napisana. Svatko tko je uređivao isti dokument s kolegama zna za ovu bol. Dajte svakom sudioniku veći mozak, i oni i dalje mogu spremiti preko nečijeg drugog rada. Uzbudljivi problem AI memorije zalutao je u uredsku kuhinju noseći grešku konkurentnosti.
4:08 Svaki ugovor dobiva vlastitu stranicu, koju piše jedan agent. Uvjeti su citirani doslovno. Poboljšani wiki podržava svih pedeset i sedam ocijenjenih činjenica. To je obećani popravak. Zasebno vlasništvo sprječava preklapanje, a točni citati čuvaju uvjete. Obje su se promjene dogodile zajedno, tako da nijedna ne dobiva isključivu zaslugu. Važne uspomene čuvajte tako da se mogu pratiti do izvora. Managed Agents' Dreams čuva ulaznu pohranu i proizvodi zasebni izlaz koji
4:32 možete pregledati. Ako biste radije pročitali ovo nego čuli kako to govorim, razlika stiže u vašu poštu svako jutro, besplatno na the daily diff dot dev, link ispod.
Bi li vjerovao ovom memorijskom sustavu?
4:39 Dakle, današnja presuda je POTREBNA REVIZIJA. Koristio bih popravak potpomognut transkriptom jer uporna pogreška zaslužuje uporan popravak. Provjerio bih promijenjene bilješke i testirao pomaže li wiki mom stvarnom zadatku. Anthropicovi protuprimjeri pokazuju koliko lako održavanje memorije postaje još jedan projekt koji sada morate održavati. I to je razlika za danas. Ja sam Niko iz Axrisija. Spoji odgovorno.
Izvori
- The components of agent memory — Lance Martin; figures by Monika Tuchowska; Anthropic-reported evaluationsAnthropic
- Dreams — research preview, separate output store, billing and lifecycleClaude Platform documentation
- Claude Code memory — injected index boundaryClaude Code documentation
- Dreaming with a dynamic workflow — transcript staleness and caller controlClaude Cookbook
- Sleep-time Compute — April 2025 prior work, no replication of this article claimedKevin Lin and colleagues / arXiv
- Harvey LAB — tasks, documents, grading rubrics and version scopeHarvey AI
- Authentic Dario Amodei portrait — TechCrunch Disrupt 2023; cropped, background removed and resized; Anthropic identity only, no authorship, current reaction or endorsementTechCrunch / Wikimedia Commons
- Original TechCrunch portrait source — Dario Amodei at Disrupt 2023TechCrunch / Flickr
- Portrait licence — Creative Commons Attribution 2.0Creative Commons
- Two Buttons — Jake Clark, Imgflip template; commentary labels added; brief process satire, hosting is not a licence or legal clearance and grants no blanket reuseJake Clark / Imgflip
- Groundhog Day GIF — Bill Murray and Stephen Tobolowsky as Phil/Ned; @groundhogday; silent, resized and captioned narrator commentary; no present-day reaction or blanket reuse; hosting is not a licence or legal clearanceGroundhog Day / GIPHY
- Two Buttons origin attribution — Jake Clark, October 2014; secondary sourceSupermeme
- Groundhog Day source link supplied by the GIPHY uploaderGroundhog Day
.jpg){kind=link}