Claude-agentin muisti: transkriptin tukema unelmointi ja jaetun kirjoittajan epäonnistumiset
Väärä tallennettu maamerkki sai Clauden putoamaan saman Pokémon-jyrkänteen yli kolmesti Anthropicin raportoidussa kokeessa.
Väärä tallennettu maamerkki sai Clauden putoamaan saman Pokémon-jyrkänteen yli kolmesti Anthropicin raportoidussa kokeessa. Transkriptin tukema unelmointi korjasi muistiinpanon, kun taas erilliset sopimussivut ja sanatarkat ehdot palauttivat puuttuvat luokitellut tiedot toisessa tehtävässä.
Lue kirjoitettu versio (englanniksi) ↗
Mitä tämä video käsittelee
- Agentin muisti säilyttää kontekstin istuntojen välillä; kuvattu korjaus muuttaa muistiinpanoja pikemminkin kuin mallipainoja.
- Väärän muistiinpanon tarkistaminen istunnon transkriptistä auttoi korjattua haaraa saavuttamaan Cerulean Cityn.
- Pelkkä haku sai 53 % kriteereistä; haku ja suurempi wiki saavuttivat 61 % 25 kysymyksestä, jotka koskivat Stainless-dokumentteja.
- Muissa lähteiden raportoimissa oikeudellisissa tehtävissä ei ollut selvää wiki-hyötyä tai wiki oli alkuperäisiä dokumentteja suurempi.
- Sopimuskohtaiset sivut, yksi kirjoittaja per sivu ja sanatarkat ehdot palauttivat 57/57 luokiteltua faktaa; molemmat muutokset testattiin yhdessä.
Kysymyksiä ja vastauksia
Mitä unelmointi muuttaa agenttimuistijärjestelmässä?
Unelmointi tarkistaa aiempien istuntojen transkriptit ja järjestelee uudelleen tallennetun kontekstin, jota myöhemmät istunnot voivat lukea. Anthropicin tutkimus määrittelee agenttimuistin säilytetyksi kontekstiksi ja sulkee pois mallipainojen muutokset. Ympäröivä ohjelmisto valitsee, milloin työ suoritetaan ja mitkä transkriptit se vastaanottaa. Managed Agents' Dreams API on tutkimusversiossa ja tuottaa erillisen ulostulosäilön tarkistettavaksi.
Miten väärä muisto piti Clauden loukussa Mount Moonissa?
Claude kirjasi Pokémon-keskuksen Mount Moonin väärälle puolelle ja lähti sitten uskoen, että luola oli sen takana. Anthropic raportoi, että yksisuuntainen reunus palautti sen aiemmalle reitille, kun taas sen navigointityökalu ei havainnut pudotusta. Tallennetun muistiinpanon tarkistaminen alkuperäistä transkriptiä vasten korjasi sijainnin. Korjattu haara saavutti lopulta Cerulean Cityn.
Milloin linkitetty muistiwiki ei parantanut lähdehakua?
Wiki ei osoittanut selvää etua yhdessä raportoidussa oikeudellisessa tehtävässä, jossa kriteerit voitiin usein täyttää hakemalla tietoa yhdestä dokumentista. Anthropic kuvaa myös erillistä tehtävää, jonka wiki kasvoi suuremmaksi kuin alkuperäiset dokumentit. Artikkelin tulokset tukevat esitystavan tehtäväkohtaista arviointia, jossa ylläpitokustannukset otetaan huomioon yhdessä vastaushyödyn kanssa.
Mitkä kirjoitusmuutokset palauttivat puuttuvat sopimusfaktat?
Jokainen sopimus sai oman wiki-sivunsa, jonka yksi agentti kirjoitti, ja ehdot lainattiin sanatarkasti. Anthropicin simuloidun hankintatehtävän jälkeen se tuki kaikkia viittäkymmentäseitsemää luokiteltua faktaa, kun jaetun taulukon versiossa oli neljäkymmentäyksi. Omistajuus ja lainaus muuttuivat yhdessä, joten testi ei voi eristää kummankaan muutoksen osuutta. Tulos on vertailuarvon tulos ilman yleistä oikeudellisen tarkkuuden takuuta.
Mikä oli The Daily Diffin tuomio transkriptin tukemasta muistin korjauksesta?
The Daily Diffin tuomio oli NEEDS REVIEW. Niko käyttäisi transkriptin tukemaa korjausta, tarkastelisi muuttuneita muistiinpanoja ja testaisi, auttaako wiki todellista tehtävää. Anthropicin omat vastaesimerkit osoittavat, että esitys voi lisätä työtä ilman selvää hyötyä. Sen keittokirja varoittaa, että vanhat transkriptit eivät voi vahvistaa myöhempiä ulkoisia muutoksia, joten tärkeät muuttuvat faktat tarvitsevat edelleen vahvistusta.
Käännetty transkriptio
Käännetty alkuperäisestä englanninkielisestä selostuksesta. Käytettävissä olevan äänen ja tekstitysten hallinta tapahtuu YouTuben kautta.
Miksi muisti piti Clauden loukussa?
0:00 Claudelle muistin antamisen pitäisi estää sitä toistamasta virheitä. Anthropic seurasi, kuinka yksi väärä muistiinpano lähetti sen saman Pokémon-jyrkänteen yli kolme kertaa. Tässä videossa, miten muisti vangitsee Clauden? Ja mikä sen todella korjaa? Anthropic kutsuu korjausta unelmoinniksi. Lisättyjä malli-istuntoja käytetään tallennettujen transkriptien uudelleenkäsittelyyn ja muistitiedostojen muokkaamiseen. Sen sopimustesti jopa palautti kaikki puuttuvat faktat muuttamalla, miten nämä muistot kirjoitettiin.
0:22 Pidä se mielessä. On lauantai, marraskuun seitsemäs, ja tämä on The Daily Diff. Agenttimuisti on istuntojen välillä tallennettua kontekstia. Mallin painot pysyvät ennallaan. Ympäröivä ohjelmisto päättää, milloin siivous suoritetaan ja mitkä transkriptit se näkee. Managed Agents' Dreams -ominaisuus on tutkimusversiossa. Tämä artikkeli ei ota unelmia käyttöön jokaiselle Claude-käyttäjälle.
Mitä Anthropic todella testasi?
0:41 Anthropic julkaisi Lance Martinin artikkelin perjantaina. Tämänpäiväisessä Hacker News -keskustelussa ihmiset kiistelevät siitä, mitkä muistot he poistavat. Mitä tapahtuu, kun itsevarmasti väärä muistiinpano säilyy toiseen istuntoon? Olemme antaneet hallusinaatiolle arkistokaapin. Clauden on ylitettävä Mount Moon käyttäen lähellä olevaa Pokémon-keskusta maamerkkinään. Se kirjoittaa ylös, että rakennus on itäpuolella, vaikka se on länsipuolella. Se lähtee uskoen, että luola on jo sen takana.
1:05 Sitten se kävelee yksisuuntaisen reunuksen yli reitille, josta se tuli. Sen navigointityökalu ei havaitse pudotusta, joten Claude selittää epäonnistumisen ylimenoksi. Seuraava yritys alkaa samalla väärällä oletuksella. Pysyvyys on säilyttänyt virheen. Kolmannen putoamisen jälkeen Claude kirjoittaa, että se aikoo pysähtyä sen sijaan, että se jatkaisi silmukkaa. Tutkijoiden asetelma käskee sitä automaattisesti jatkamaan. Se palaa aiempaan kaupunkiin, ja tämä ajo päättyy saavuttamatta Ceruleania Cityä. Jopa botti haluaa tämän kokouksen päättyvän.
Miten unelmointi korjasi reitin?
1:30 Tutkijat ajavat unelmoinnin viallisessa muistikansiossa. Claude tarkistaa muistiinpanon alkuperäistä istunnon transkriptiä vasten, havaitsee sijaintivirheen ja kirjoittaa sen uudelleen. Korjatulla muistiinpanolla se palaa Mount Mooneen ja lopulta saavuttaa Ceruleanin. Se on tässä hyödyllinen tulos. Tallennettu väite tarkistetaan todisteita vastaan ennen uutta yritystä. Yhdessä ajossa Sonnet kolme pistettä seitsemän keräsi satoja tiedostoja ansaitessaan
1:50 yhden merkin. Fable viisi säilytti pienemmän kokoelman ja ansaitsi neljä. Eri malleja, yksi ajo kutakin, joten tiedostojärjestelmän osuutta ei voida eristää. Hacker Newsissä yfontana sanoo poistavansa lähes kaikki automaattiset muistot, koska muistiinpanot kuuluvat yleensä nykyiseen tehtävään. Se on yhden käyttäjän kokemus. Eiliset koordinaatit tekevät huonon kompassin, kun olet liikkunut.
Milloin muistiwiki auttaa?
2:10 Anthropic rakensi myös linkitetyn wikin Stainlessin sisäisten dokumenttien yli. Claude järjestää liittyvän tiedon istuntojen yli, ja käyttää sitten näitä sivuja vastaamaan kysymyksiin. Tämä voi auttaa, kun vastaus ulottuu useisiin dokumentteihin. Alkuperäiset tiedostot pysyvät saatavilla kartan tarkistamiseen. Pelkällä haulla Claude sai viisikymmentäkolme prosenttia luokitelluista kriteereistä. Haku ja suurempi wiki saavuttivat kuusikymmentäyksi prosenttia.
2:32 Nämä olivat kaksikymmentäviisi kysymystä yhden yrityksen dokumenteista. Lisätty offline-työ paransi tätä arviointia. Artikkeli ei anna meille kokonaishintaa wikin rakentamisesta, joten pidä laskun sarake avoimena. Unelmat käyttävät tavallisia API-tunnushintoja, ja tehtävät voivat kestää minuuteista tunteihin. Anthropic sanoo, että jokaisen muistin jatkuva tarkistaminen voi olla epäkäytännöllistä. Agenttisi toinen vuoro menee edelleen luottokortillesi. Sama artikkeli sisältää oikeudellisen tehtävän, jossa wiki ei osoittanut selvää etua
Milloin wiki ei lisää mitään?
2:56 haun suhteen. Toinen wiki kasvoi suuremmaksi kuin tiivistetyt dokumentit. Jos kysymykseen voidaan vastata löytämällä yksi kohta, ensiksi ensyklopedian rakentaminen voi olla huomattavan kallis tapa käyttää etsi painiketta. Claude Code lataa automaattisesti rajoitetun aloitusosan muisti- indeksistään, ja yksityiskohtaiset muistiinpanot pidetään muualla. Väärin syötetty ohje voi vaikuttaa jokaiseen istuntoon. Anthropicin keittokirja varoittaa, että muisti on vain yhtä hyvä kuin transkriptit. Eilisen loki ei voi vahvistaa tämän aamun muutoksia.
Miksi kuusitoista sopimusfaktaa katosi?
3:23 Nyt sopimustehtävään. Useat agentit rakentavat wikin simuloidulle hankinnalle, kirjoittaen ehdot yhteen jaettuun taulukkoon. Tuloksena oleva yhteenveto sisältää 41 viidestäkymmenestäseitsemästä luokitellusta faktasta. Kuusitoista faktaa on kadonnut jonnekin sopimusten ja viimeistellyn vastauksen väliin. Se on melko tärkeä paikka menettää tietoa. Anthropic jäljittää virheen huonoihin tiivistelmiin ja agentteihin, jotka ylikirjoittavat toistensa työtä. Puuttuvia ehtoja ei koskaan turvallisesti säilytetty vastausta varten
3:47 istunnossa. Unelmointi antaa Clauden pohtia näitä epäonnistumisia, ehdottaa erilaisia wiki-ohjeita ja rakentaa uudelleen. Korjaus ulottuu aina siihen, miten muisti on kirjoitettu. Kuka tahansa, joka on muokannut samaa asiakirjaa työtovereidensa kanssa, tietää tämän tuskan. Anna jokaiselle osallistujalle isommat aivot, ja he voivat silti tallentaa jonkun toisen työn päälle. Jännittävä AI-muistin ongelma on vaeltanut toimiston keittiöön mukanaan samanaikaisuusvirhe.
4:08 Jokainen sopimus saa oman sivunsa, jonka yksi agentti kirjoittaa. Ehdot lainataan sanatarkasti. Parannettu wiki tukee kaikkia viittäkymmentäseitsemää luokiteltua faktaa. Se on luvattu korjaus. Erillinen omistajuus estää ylikirjoituksen, ja tarkat lainaukset säilyttävät ehdot. Molemmat muutokset tapahtuivat yhdessä, joten kumpikaan ei saa yksin kunniaa. Pidä tärkeät muistot jäljitettävissä lähteisiinsä. Managed Agents' Dreams säilyttää syötesäilön ja tuottaa erillisen ulostulon,
4:32 jonka voit tarkistaa. Jos haluat mieluummin lukea tämän kuin kuulla minun sanovan sen, the diff saapuu sähköpostiisi joka aamu, ilmaiseksi osoitteessa the daily diff dot dev, linkki alla.
Luottaisinko tähän muistijärjestelmään?
4:39 Joten tämän päivän tuomio on NEEDS REVIEW. Käyttäisin transkriptin tukemaa korjausta, koska pysyvä virhe ansaitsee pysyvän korjauksen. Tarkistaisin muutetut muistiinpanot ja testaisin, auttaako wiki todellista tehtävääni. Anthropicin vastaesimerkit osoittavat, kuinka helposti muistin ylläpito muuttuu toiseksi projektiksi, jota sinun on nyt ylläpidettävä. Ja se on tämän päivän ero. Olen Niko Axrisista. Yhdistä vastuullisesti.
Lähteet
- The components of agent memory — Lance Martin; figures by Monika Tuchowska; Anthropic-reported evaluationsAnthropic
- Dreams — research preview, separate output store, billing and lifecycleClaude Platform documentation
- Claude Code memory — injected index boundaryClaude Code documentation
- Dreaming with a dynamic workflow — transcript staleness and caller controlClaude Cookbook
- Sleep-time Compute — April 2025 prior work, no replication of this article claimedKevin Lin and colleagues / arXiv
- Harvey LAB — tasks, documents, grading rubrics and version scopeHarvey AI
- Authentic Dario Amodei portrait — TechCrunch Disrupt 2023; cropped, background removed and resized; Anthropic identity only, no authorship, current reaction or endorsementTechCrunch / Wikimedia Commons
- Original TechCrunch portrait source — Dario Amodei at Disrupt 2023TechCrunch / Flickr
- Portrait licence — Creative Commons Attribution 2.0Creative Commons
- Two Buttons — Jake Clark, Imgflip template; commentary labels added; brief process satire, hosting is not a licence or legal clearance and grants no blanket reuseJake Clark / Imgflip
- Groundhog Day GIF — Bill Murray and Stephen Tobolowsky as Phil/Ned; @groundhogday; silent, resized and captioned narrator commentary; no present-day reaction or blanket reuse; hosting is not a licence or legal clearanceGroundhog Day / GIPHY
- Two Buttons origin attribution — Jake Clark, October 2014; secondary sourceSupermeme
- Groundhog Day source link supplied by the GIPHY uploaderGroundhog Day



