+− THE DAILY DIFFdev & AI news
NEEDS REVIEW

Claude ügynöki memória: átirat-alapú álmodás és megosztott írói hibák

Egy rosszul elmentett "tájékozódási pont" háromszor küldte Claude-ot ugyanazon Pokémon szikla fölé az Anthropic jelentett kísérletében.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Egy rosszul elmentett "tájékozódási pont" háromszor küldte Claude-ot ugyanazon Pokémon szikla fölé az Anthropic jelentett kísérletében. Az átirat-alapú álmodás kijavította a feljegyzést, míg külön szerződési oldalak és szó szerinti kifejezések pótolták a hiányzó, értékelt tényeket egy másik feladatban.

Olvassa el az írott kiadást (angolul) ↗

Amit ez a videó tartalmaz

  • Az ügynökmemória megőrzi a kontextust a munkamenetek között; a leírt javítás a feljegyzéseket változtatja meg, nem a modell-súlyokat.
  • A hibás feljegyzés ellenőrzése a munkamenet átirata alapján segített a javított ágnak elérni Cerulean City-t.
  • Önmagában a keresés a kritériumok 53%-át teljesítette; a keresés plusz a nagyobb wiki 61%-ot ért el 25 kérdésre a Stainless dokumentumokról.
  • Más forrásból jelentett jogi feladatoknál nem mutatkozott egyértelmű wiki előny, vagy a wiki nagyobb volt, mint az eredeti dokumentumok.
  • Szerződésspecifikus oldalak, oldalanként egy író és szó szerinti kifejezések 57/57 értékelt tényt helyreállítottak; mindkét változást együtt tesztelték.

Kérdések és válaszok

Mit változtat meg az álmodás egy ügynöki memóriarendszerben?

Az álmodás felülvizsgálja a korábbi munkamenet-átiratokat, és átszervezi a mentett kontextust, amelyet a későbbi munkamenetek olvashatnak. Az Anthropic kutatása az ügynökmemóriát megőrzött kontextusként definiálja, és kizárja a modell súlyainak változtatásait. A környező szoftver választja ki, hogy mikor fut a munka, és milyen átiratokat kap. A Managed Agents' Dreams API kutatási előzetesben van, és egy külön kimeneti tárolót hoz létre felülvizsgálatra.

Nézze meg ezt a részt 0:41 · Anthropic · Claude Platform documentation

Hogyan tartotta csapdában Claude-ot egy rossz emlék a Hold-hegyen?

Claude rossz oldalon jegyezte fel a Pokémon Központot a Hold-hegyen, majd azt hitte, a barlang már mögötte van. Az Anthropic jelentése szerint egy egyirányú párkány visszavezette egy korábbi útvonalra, miközben a navigációs eszköze nem vette észre a lejtőt. Az elmentett jegyzet eredeti átirattal való összevetése kijavította a helyet. A javított ág végül elérte Cerulean City-t.

Nézze meg ezt a részt 1:30 · Anthropic

Mikor nem javította a láncolt memória-wiki a forráskeresést?

Egy wiki nem mutatott egyértelmű előnyt egy jelentett jogi feladatnál, ahol a kritériumok gyakran kielégíthetők voltak egyetlen dokumentumból származó információk lekérésével. Az Anthropic egy külön feladatot is leír, amelynek wikije nagyobb lett, mint az eredeti dokumentumok. A cikk eredményei támogatják a reprezentáció feladatspecifikus értékelését, a karbantartási költségeket figyelembe véve a válaszadási előnyök mellett.

Nézze meg ezt a részt 2:53 · Anthropic

Mely írásbeli változtatások hozták vissza a hiányzó szerződési tényeket?

Minden szerződés saját wiki oldalt kapott, amelyet egyetlen ügynök írt, és a feltételeket szó szerint idézték. Az Anthropic szimulált felvásárlási feladata ezután mind az ötvenhét értékelt tényt támogatta, miután a megosztott táblázatos verzió negyvenegyet tartalmazott. A tulajdonjog és az idézés együtt változott, így a teszt nem tudja elkülöníteni egyik változás hozzájárulását sem. Az eredmény egy benchmark eredmény, univerzális jogi pontossági garancia nélkül.

Nézze meg ezt a részt 3:23 · Anthropic · Harvey AI

Mi volt a The Daily Diff ítélete az átirat-alapú memória javításról?

A The Daily Diff ítélete FELÜLVIZSGÁLAT SZÜKSÉGES volt. Niko használná az átirat-alapú javítást, ellenőrizné a megváltozott jegyzeteket, és tesztelné, hogy egy wiki segíti-e az aktuális feladatot. Az Anthropic saját ellenpéldái azt mutatják, hogy egy reprezentáció extra munkát jelenthet egyértelmű előny nélkül. A szakácskönyve figyelmeztet, hogy a régi átiratok nem tudják igazolni a későbbi külső változásokat, így a fontos, változó tényeket továbbra is ellenőrizni kell.

Nézze meg ezt a részt 4:39 · Anthropic · Claude Cookbook

Lefordított átirat

Az eredeti angol narrációból fordítva. A rendelkezésre álló hangot és feliratokat a YouTube vezérli.

Miért tartotta csapdában a memória Claude-ot?

0:00 Ha Claude-nak memóriát adunk, meg kellene akadályoznia, hogy megismételje a hibákat. Az Anthropic figyelte, ahogy egy rossz feljegyzés háromszor is ugyanazon Pokémon szikla fölé küldte. Ebben a videóban, hogyan csapdázza be a memória Claude-ot? És mi az, ami valójában helyrehozza? Az Anthropic a javítást álmodásnak nevezi. Az extra modellmenetek újra áttekintik a tárolt átiratokat, és szerkesztik a memóriafájlokat. A szerződési tesztje még az összes hiányzó tényt is helyreállította, megváltoztatva azok emlékek írásának módját.

0:22 Gondoljon erre. Szombat van, november hetedike, és ez a The Daily Diff. Az ügynökmemória a munkamenetek között elmentett kontextus. A modell súlyai változatlanok maradnak. A környező szoftver dönti el, hogy mikor fut a takarítás, és mely átiratokat látja. A Managed Agents' Dreams funkció kutatási előzetesben van. Ez a cikk nem kapcsolja be az álmokat minden Claude felhasználó számára.

Mit tesztelt valójában az Anthropic?

0:41 Az Anthropic pénteken publikálta Lance Martin cikkét. A mai Hacker News vitájában az emberek arról vitatkoznak, hogy mely emlékeket töröljék. Mi történik, ha egy magabiztosan hibás feljegyzés túlél egy másik munkamenetet? Adtunk a hallucinációnak egy irattartót. Claude-nak át kell kelnie a Hold-hegyen, egy közeli Pokémon Központot használva tájékozódási pontként. Azt írja le, hogy az épület a keleti oldalon van, pedig a nyugati oldalon van. Azt hiszi, a barlang már mögötte van.

1:05 Aztán átlép egy egyirányú párkányon arra az útvonalra, ahonnan jött. A navigációs eszköze nem veszi észre a lejtőt, így Claude túllövésként magyarázza a kudarcot. A következő kísérlet ugyanazzal a rossz feltételezéssel indul. A kitartás megőrizte a hibát. A harmadik esés után Claude azt írja, hogy megáll, ahelyett, hogy folytatná a hurkot. A kutatók beállítása automatikusan folytatja a feladatot. Visszatér egy korábbi városba, és ez a futam anélkül fejeződik be, hogy elérné Cerulean City-t. Még a bot is azt akarja, hogy ez a megbeszélés véget érjen.

Hogyan javította ki az álmodás az útvonalat?

1:30 A kutatók a hibás memória mappán futtatják az álmodást. Claude összeveti a feljegyzést az eredeti munkamenet átiratával, észleli a helymeghatározási hibát, és újraírja azt. A javított feljegyzéssel újra belép a Hold-hegyre, és végül eléri Cerulean-t. Ez itt a hasznos eredmény. Egy elmentett állítást bizonyítékok ellenőriznek egy újabb próbálkozás előtt. Egy futás során a Sonnet három pont hét, több száz fájlt gyűjtött össze, miközben

1:50 egy jelvényt szerzett. Az Fable öt kisebb gyűjteményt tartott fenn, és négyet szerzett. Különböző modellek, mindegyik egy futással, így az irattároló rendszer hozzájárulása nem különíthető el. A Hacker News-on yfontana azt mondja, hogy szinte az összes automatikus emléket törli, mert a jegyzetek általában az aktuális feladathoz tartoznak. Ez egy felhasználó tapasztalata. A tegnapi koordináták már használhatatlan iránytűvé válnak, ha egyszer elmozdultunk.

Mikor segít az emlékezet wiki?

2:10 Az Anthropic egy kapcsolódó wikit is épített a Stainless belső dokumentumai fölé. Claude a kapcsolódó információkat munkamenetek között szervezi, majd ezeket az oldalakat használja a kérdések megválaszolására. Ez segíthet, ha egy válasz több dokumentumot is átfog. Az eredeti fájlok továbbra is elérhetők a térkép ellenőrzéséhez. Önmagában a kereséssel Claude az osztályozott kritériumok ötvenhárom százalékát érte el. A keresés és a nagyobb wiki hatvanegy százalékot ért el.

2:32 Huszonöt kérdés volt egy cég dokumentumairól. Az extra offline munka javította ezt az értékelést. A cikk nem adja meg a wiki felépítésének teljes árát, tehát tartsa nyitva a számla oszlopot. Az álmok standard API token árakat használnak, és a feladatok percektől órákig tarthatnak. Az Anthropic szerint minden memória folyamatos ellenőrzése valószínűleg nem praktikus. Ügynöke második műszakja továbbra is az Ön hitelkártyáját terheli. Ugyanez a cikk tartalmaz egy jogi feladatot is, ahol a wiki nem mutatott egyértelmű előnyt a

Mikor nem ad hozzá semmit a wiki?

2:56 kereséssel szemben. Egy másik wiki nagyobbá vált, mint az általa összefoglalt dokumentumok. Ha egy kérdésre egyetlen bekezdés megtalálásával is válaszolni lehet, akkor először egy enciklopédia felépítése rendkívül drága módja lehet a "keresés" gomb használatának. A Claude Code automatikusan betölti a memória indexének egy korlátozott nyitó részét, a részletes jegyzeteket máshol tárolva. Egy rosszul befecskendezett utasítás minden munkamenetre hatással lehet. Az Anthropic szakácskönyve figyelmeztet, hogy a memória csak annyira jó, amennyire az átiratok. A tegnapi napló nem tudja igazolni a mai változásokat.

Miért tűnt el tizenhat szerződési tény?

3:23 Most pedig a szerződési feladat. Több ügynök épít egy wikit egy szimulált felvásárláshoz, a feltételeket egy megosztott táblázatba írva. Az így kapott összefoglaló ötvenhét értékelt tényből negyvenegyet tartalmaz. Tizenhat tény eltűnt valahol a szerződések és a kifinomult válasz között. Ez egy elég fontos hely az információvesztés szempontjából. Az Anthropic a kudarcot a rossz összefoglalóknak és annak tulajdonítja, hogy az ügynökök felülírják egymás munkáját. A hiányzó kifejezéseket soha nem őrizték meg biztonságosan a válaszadási

3:47 munkamenethez. Az álmodás lehetővé teszi Claude számára, hogy reflektáljon ezekre a kudarcokra, különböző wiki utasításokat javasoljon, és újraépítse azokat. A javítás egészen addig nyúlik vissza, ahogyan az emlék van írva. Bárki, aki már szerkesztett azonos dokumentumot munkatársakkal, ismeri ezt a fájdalmat. Adjon minden résztvevőnek nagyobb agyat, és még akkor is felülírhatják más munkáját. Az izgalmas AI memória probléma bekószált az irodai konyhába egy párhuzamossági hibát viselve.

4:08 Minden szerződés saját oldalt kap, amelyet egyetlen ügynök ír. A kifejezéseket szó szerint idézik. A továbbfejlesztett wiki mind az ötvenhét értékelt tényt támogatja. Ez az ígért javítás. A külön tulajdonjog megakadályozza az ütközést, és a pontos idézetek megőrzik a feltételeket. Mindkét változás egyszerre történt, így egyik sem kap kizárólagos elismerést. Tartsa fontos emlékeit nyomon követhetően forrásaikig. A Managed Agents' Dreams megőrzi a bemeneti tárolót, és egy különálló, ellenőrizhető kimenetet

4:32 állít elő. Ha inkább elolvasná, mintsem hallaná tőlem, a diff minden reggel ingyenesen megérkezik a postafiókjába a thedailydiff.dev címen, link lent.

Megbíznék ebben a memória rendszerben?

4:39 Szóval a mai ítélet: FELÜLVIZSGÁLAT SZÜKSÉGES. Használnék átirat-alapú javítást, mert egy tartós hiba tartós javítást érdemel. Ellenőrizném a megváltozott jegyzeteket, és tesztelném, hogy a wiki segít-e az aktuális feladatomban. Az Anthropic ellenpéldái megmutatják, milyen könnyen válik a memória karbantartása egy újabb projektté, amit most már fenn kell tartanunk. És ennyi a mai különbség. Niko vagyok az Axrisitől. Felelősségteljesen egyesítsen.

Források

  1. The components of agent memory — Lance Martin; figures by Monika Tuchowska; Anthropic-reported evaluationsAnthropic
  2. Dreams — research preview, separate output store, billing and lifecycleClaude Platform documentation
  3. Claude Code memory — injected index boundaryClaude Code documentation
  4. Dreaming with a dynamic workflow — transcript staleness and caller controlClaude Cookbook
  5. Sleep-time Compute — April 2025 prior work, no replication of this article claimedKevin Lin and colleagues / arXiv
  6. Harvey LAB — tasks, documents, grading rubrics and version scopeHarvey AI
  7. Authentic Dario Amodei portrait — TechCrunch Disrupt 2023; cropped, background removed and resized; Anthropic identity only, no authorship, current reaction or endorsementTechCrunch / Wikimedia Commons
  8. Original TechCrunch portrait source — Dario Amodei at Disrupt 2023TechCrunch / Flickr
  9. Portrait licence — Creative Commons Attribution 2.0Creative Commons
  10. Two Buttons — Jake Clark, Imgflip template; commentary labels added; brief process satire, hosting is not a licence or legal clearance and grants no blanket reuseJake Clark / Imgflip
  11. Groundhog Day GIF — Bill Murray and Stephen Tobolowsky as Phil/Ned; @groundhogday; silent, resized and captioned narrator commentary; no present-day reaction or blanket reuse; hosting is not a licence or legal clearanceGroundhog Day / GIPHY
  12. Two Buttons origin attribution — Jake Clark, October 2014; secondary sourceSupermeme
  13. Groundhog Day source link supplied by the GIPHY uploaderGroundhog Day

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Kapcsolódó videók