+− THE DAILY DIFFdev & AI news
NEEDS REVIEW

Claude agento atmintis: transkriptu pagrįstas sapnavimas ir bendrų rašytojų nesėkmės

Neteisingai išsaugota orientyrų atmintis tris kartus pasiuntė Claude per tą patį Pokémon skardį Anthropic praneštame eksperimente.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Neteisingai išsaugota orientyrų atmintis tris kartus pasiuntė Claude per tą patį Pokémon skardį Anthropic praneštame eksperimente. Transkriptu pagrįstas sapnavimas ištaisė pastabą, o atskiri sutarčių puslapiai ir pažodiniai terminai atgavo trūkstamus įvertintus faktus kitoje užduotyje.

Skaityti rašytinę versiją (anglų k.) ↗

Kas aptariama šiame vaizdo įraše

  • Agento atmintis išlaiko kontekstą tarp sesijų; aprašytas pataisymas keičia pastabas, o ne modelio svorius.
  • Neteisingos pastabos patikrinimas pagal sesijos transkriptą padėjo pataisytai šakai pasiekti Cerulean City.
  • Vien tik paieška įvertino 53% kriterijų; paieška ir didesnis wiki pasiekė 61% iš 25 klausimų apie nerūdijančio plieno dokumentus.
  • Kitos šaltiniuose praneštos teisinės užduotys neparodė aiškaus wiki naudos arba wiki buvo didesnis nei originalūs dokumentai.
  • Sutartims skirti puslapiai, vienas rašytojas vienam puslapiui ir pažodiniai terminai atgavo 57/57 įvertintus faktus; abu pakeitimai buvo išbandyti kartu.

Klausimai ir atsakymai

Ką "sapnavimas" keičia agento atminties sistemoje?

"Sapnavimas" peržiūri ankstesnių sesijų transkriptus ir pertvarko išsaugotą kontekstą, kurį gali skaityti vėlesnės sesijos. Anthropic tyrimas apibrėžia agento atmintį kaip išlaikytą kontekstą ir neįtraukia modelio svorių pakeitimų. Aplinkinė programinė įranga pasirenka, kada vykdomas darbas ir kokius transkriptus ji gauna. "Managed Agents' Dreams" API yra tyrimų peržiūroje ir sukuria atskirą išvesties saugyklą peržiūrai.

Žiūrėkite šią dalį 0:41 · Anthropic · Claude Platform documentation

Kaip klaidinga atmintis laikė Claude įstrigusią Mėnulio kalne?

Claude užfiksavo Pokémon centrą ne toje Mėnulio kalno pusėje, tada išėjo manydama, kad urvas liko už nugaros. Anthropic praneša, kad vienpusis skardis sugrąžino ją į ankstesnį maršrutą, o jos navigacijos įrankis nepastebėjo kritimo. Išsaugotos pastabos patikrinimas su originaliu transkriptu ištaisė vietą. Ištaisyta šaka galiausiai pasiekė Cerulean City.

Žiūrėkite šią dalį 1:30 · Anthropic

Kada susieta atminties wiki nepagerino šaltinio paieškos?

Wiki neparodė aiškaus pranašumo vienoje praneštoje teisinėje užduotyje, kurioje kriterijai dažnai galėjo būti patenkinti gaunant informaciją iš vieno dokumento. Anthropic taip pat aprašo atskirą užduotį, kurios wiki tapo didesnė už originalius dokumentus. Straipsnio rezultatai palaiko užduočiai būdingą atvaizdavimo vertinimą, atsižvelgiant į priežiūros išlaidas kartu su bet kokia atsakymo nauda.

Žiūrėkite šią dalį 2:53 · Anthropic

Kokie rašymo pakeitimai atgavo trūkstamus sutarties faktus?

Kiekviena sutartis gavo savo wiki puslapį, parašytą vieno agento, o sąlygos buvo cituojamos pažodžiui. Anthropic imitacinio įsigijimo užduotis tada palaikė visus penkiasdešimt septynis įvertintus faktus, kai bendros lentelės versija apėmė keturiasdešimt vieną. Nuosavybė ir citatos pasikeitė kartu, todėl testas negali izoliuoti nė vieno pakeitimo indėlio. Rezultatas yra etaloninis, be visuotinės teisinės tikslumo garantijos.

Žiūrėkite šią dalį 3:23 · Anthropic · Harvey AI

Koks buvo "The Daily Diff" verdiktas dėl transkriptu pagrįsto atminties taisymo?

"The Daily Diff" verdiktas buvo REIKIA PERŽIŪRĖTI. Niko naudotų transkriptu pagrįstą taisymą, patikrintų pakeistas pastabas ir patikrintų, ar wiki padeda faktinei užduočiai. Patys Anthropic prieštaraujantys pavyzdžiai rodo, kad atvaizdavimas gali pridėti darbo be aiškios naudos. Jos gaminimo knyga perspėja, kad seni transkriptai negali nustatyti vėlesnių išorinių pakeitimų, todėl svarbius besikeičiančius faktus vis dar reikia patvirtinti.

Žiūrėkite šią dalį 4:39 · Anthropic · Claude Cookbook

Išverstas transkriptas

Išversta iš originalo anglų kalbos. Galimas garso ir subtitrų valdymas per YouTube.

Kodėl atmintis laikė Claude įkalintą?

0:00 Duodant Claude atmintį, ji turėtų nustoti kartoti klaidas. Anthropic stebėjo, kaip viena klaidinga pastaba siuntė ją per tą patį Pokémon skardį tris kartus. Šiame vaizdo įraše, kaip atmintis įkalina Claude? Ir kas iš tikrųjų tai ištaiso? Anthropic pataisymą vadina sapnavimu. Papildomos modelio sesijos peržiūri išsaugotus transkriptus ir redaguoja atminties failus. Jos sutarčių testas net atgavo kiekvieną trūkstamą faktą, pakeisdamas, kaip tos atmintys buvo parašytos.

0:22 Palaikykite tą mintį. Šeštadienis, lapkričio septintoji, ir tai yra The Daily Diff. Agento atmintis yra kontekstas, išsaugotas tarp sesijų. Modelio svoriai išlieka nepakitę. Aplinkinė programinė įranga sprendžia, kada vykdomas valymas ir kokius transkriptus ji mato. "Managed Agents' Dreams" funkcija yra tyrimų peržiūroje. Šis straipsnis neįjungia sapnų kiekvienam Claude vartotojui.

Ką iš tiesų išbandė Anthropic?

0:41 Anthropic penktadienį paskelbė Lance'o Martino straipsnį. Šiandienos "Hacker News" diskusijoje žmonės ginčijasi, kurias atmintis jie ištrina. Kas nutinka, kai užtikrintai klaidinga pastaba išlieka kitoje sesijoje? Mes suteikėme haliucinacijai kartotekos spintą. Claude turi pereiti Mėnulio kalną, naudodamasi netoliese esančiu Pokémon centru kaip orientyru. Ji užsirašo, kad pastatas yra rytinėje pusėje, nors jis yra vakarinėje. Ji išeina manydama, kad urvas jau yra už jos.

1:05 Tada ji pereina vienpusį skardį į kelią, iš kurio atėjo. Jos navigacijos įrankis nepastebi kritimo, todėl Claude paaiškina nesėkmę kaip peršovimą. Kitas bandymas prasideda nuo tos pačios klaidingos prielaidos. Atkaklumas išsaugojo klaidą. Po trečio kritimo Claude rašo, kad sustos, o ne tęs ciklus. Tyrėjų nustatymai automatiškai liepia jai tęsti. Ji grįžta į ankstesnį miestą, ir tas paleidimas baigiasi nepasiekus Cerulean City. Net botas nori, kad šis susitikimas baigtųsi.

Kaip sapnavimas pataisė maršrutą?

1:30 Tyrėjai paleidžia "sapnavimą" su klaidingu atminties aplanku. Claude patikrina pastabą pagal originalų sesijos transkriptą, suranda vietos klaidą ir ją perrašo. Su ištaisyta pastaba ji vėl įeina į Mėnulio kalną ir galiausiai pasiekia Cerulean. Tai yra naudingas rezultatas čia. Išsaugotas teiginys patikrinamas su įrodymais prieš kitą bandymą. Vienu paleidimu "Sonnet" trys taškai septyni sukaupė šimtus failų, gaudami

1:50 vieną ženklelį. "Fable" penki išlaikė mažesnę kolekciją ir gavo keturis. Skirtingi modeliai, po vieną paleidimą kiekvienas, todėl negalima izoliuoti kartotekos sistemos indėlio. "Hacker News" svetainėje yfontana sako, kad jie ištrina beveik visas automatines atmintis, nes pastabos paprastai priklauso dabartinei užduočiai. Tai vieno vartotojo patirtis. Vakar dienos koordinatės yra prastas kompasas, kai jau pajudėjote.

Kada atminties wiki padeda?

2:10 Anthropic taip pat sukūrė susietą wiki, naudodamas Stainlesso vidinius dokumentus. Claude organizuoja susijusią informaciją tarp sesijų, tada naudoja tuos puslapius atsakymams į klausimus. Tai gali padėti, kai atsakymas apima kelis dokumentus. Originalūs failai lieka prieinami žemėlapiui patikrinti. Vien tik ieškodamas, Claude gavo penkiasdešimt tris procentus įvertintų kriterijų. Paieška plius didesnis wiki pasiekė šešiasdešimt vieną procentą.

2:32 Tai buvo dvidešimt penki klausimai apie vienos įmonės dokumentus. Papildomas darbas neprisijungus pagerino tą įvertinimą. Straipsnis nepateikia bendros wiki sukūrimo kainos, todėl palikite sąskaitos stulpelį atidarytą. Dreaming naudoja standartinius API žetonų tarifus, o darbai gali užtrukti nuo minučių iki valandų. Anthropic teigia, kad nuolatinis kiekvienos atminties tikrinimas gali būti nepraktiška. Jūsų agento antroji pamaina vis tiek atsiduria jūsų kredito kortelėje. Tame pačiame straipsnyje pateikiama teisinė užduotis, kurioje wiki neparodė aiškios naudos, palyginti su

Kada wiki nieko neprideda?

2:56 paieška. Kitas wiki tapo didesnis nei dokumentai, kuriuos jis apibendrino. Jei į klausimą galima atsakyti radus vieną ištrauką, enciklopedijos kūrimas iš pradžių gali būti nepaprastai brangus būdas naudoti paieškos mygtuką. "Claude Code" automatiškai įkelia ribotą atidarymo atminties indekso gabalą, su išsamiomis pastabomis, laikomomis kitur. Neteisingai įvesta instrukcija gali paveikti kiekvieną sesiją. Anthropic gaminimo knyga perspėja, kad atmintis yra gera tiek, kiek geri transkriptai. Vakar dienos žurnalas negali patvirtinti šio ryto pakeitimų.

Kodėl dingo šešiolika sutarties faktų?

3:23 Dabar apie sutarčių užduotį. Keli agentai sudaro wiki imitaciniam įsigijimui, įrašydami sąlygas į vieną bendrą lentelę. Gautas trumpas aprašas apima keturiasdešimt vieną iš penkiasdešimt septynių įvertintų faktų. Šešiolika faktų dingo kažkur tarp sutarčių ir išbaigto atsakymo. Tai gana svarbi vieta, kur prarasti informaciją. Anthropic nesėkmę sieja su blogomis santraukomis ir agentų darbu, perrašant vienas kito darbą. Trūkstamos sąlygos niekada nebuvo saugiai išsaugotos atsakymų sesijai.

3:47 Sapnavimas leidžia Claude apmąstyti tas nesėkmes, pasiūlyti skirtingas wiki instrukcijas ir perkurti. Pataisymas siekia net iki to, kaip atmintis yra parašyta. Kiekvienas, kas yra redagavęs tą patį dokumentą su bendradarbiais, žino šį skausmą. Suteikite kiekvienam dalyviui didesnes smegenis, ir jie vis tiek gali išsaugoti kitų darbą. "Įspūdinga AI atmintis" problema nuklydo į biuro virtuvę dėvėdama lygiagretumo klaidą.

4:08 Kiekviena sutartis gauna savo puslapį, parašytą vieno agento. Sąlygos cituojamos pažodžiui. Patobulintas wiki palaiko visus penkiasdešimt septynis įvertintus faktus. Tai yra pažadėtas pataisymas. Atskira nuosavybė neleidžia perrašyti, o tikslios citatos išsaugo sąlygas. Abu pakeitimai įvyko kartu, todėl nė vienas iš jų negauna išimtinės garbės. Svarbias atmintis laikykite atsekamomis iki jų šaltinių. "Managed Agents' Dreams" išsaugo įvesties saugyklą ir sukuria atskirą išvestį,

4:32 kurią galite peržiūrėti. Jei norite tai perskaityti, o ne girdėti, kaip aš sakau, skirtumai atkeliauja į jūsų pašto dėžutę kiekvieną rytą, nemokamai daily diff dot dev, nuoroda apačioje.

Ar pasitikėčiau šia atminties sistema?

4:39 Taigi, šiandienos verdiktas yra REIKIA PERŽIŪRĖTI. Aš naudočiau transkriptu pagrįstą pataisymą, nes atkakli klaida nusipelno atkaklaus pataisymo. Patikrinčiau pakeistas pastabas ir patikrinčiau, ar wiki padeda mano faktinei užduočiai. Anthropic pavyzdžiai rodo, kaip lengvai atminties priežiūra tampa dar vienu projektu, kurį dabar turite prižiūrėti. Ir tai yra šiandienos skirtumas. Aš esu Nikas iš Axrisi. Sujunkite atsakingai.

Šaltiniai

  1. The components of agent memory — Lance Martin; figures by Monika Tuchowska; Anthropic-reported evaluationsAnthropic
  2. Dreams — research preview, separate output store, billing and lifecycleClaude Platform documentation
  3. Claude Code memory — injected index boundaryClaude Code documentation
  4. Dreaming with a dynamic workflow — transcript staleness and caller controlClaude Cookbook
  5. Sleep-time Compute — April 2025 prior work, no replication of this article claimedKevin Lin and colleagues / arXiv
  6. Harvey LAB — tasks, documents, grading rubrics and version scopeHarvey AI
  7. Authentic Dario Amodei portrait — TechCrunch Disrupt 2023; cropped, background removed and resized; Anthropic identity only, no authorship, current reaction or endorsementTechCrunch / Wikimedia Commons
  8. Original TechCrunch portrait source — Dario Amodei at Disrupt 2023TechCrunch / Flickr
  9. Portrait licence — Creative Commons Attribution 2.0Creative Commons
  10. Two Buttons — Jake Clark, Imgflip template; commentary labels added; brief process satire, hosting is not a licence or legal clearance and grants no blanket reuseJake Clark / Imgflip
  11. Groundhog Day GIF — Bill Murray and Stephen Tobolowsky as Phil/Ned; @groundhogday; silent, resized and captioned narrator commentary; no present-day reaction or blanket reuse; hosting is not a licence or legal clearanceGroundhog Day / GIPHY
  12. Two Buttons origin attribution — Jake Clark, October 2014; secondary sourceSupermeme
  13. Groundhog Day source link supplied by the GIPHY uploaderGroundhog Day

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Susiję vaizdo įrašai