Minni Claude-umboðsmanns: draumur byggður á afritum og mistök sameiginlegra rithöfunda
Röng vistað kennileiti sendi Claude yfir sömu Pokémon-brúnina þrisvar sinnum í tilraun Anthropic.
Röng vistað kennileiti sendi Claude yfir sömu Pokémon-brúnina þrisvar sinnum í tilraun Anthropic. Draumur byggður á afritum leiðrétti minnismiðann, á meðan aðskildar samningssíður og nákvæmar orðanir endurheimtu óupplýstar staðreyndir í öðru verkefni.
Lestu skriflegu útgáfuna (enska) ↗
Það sem þetta myndband fjallar um
- Minni umboðsmanns varðveitir samhengi milli lota; lýst viðgerð breytir minnismiðum frekar en líkanþyngdum.
- Að athuga rangan minnismiða gegn afriti lotunnar hjálpaði leiðréttu greininni að ná Cerulean City.
- Einungis leit gaf 53% af viðmiðunum; leit ásamt stærri wiki náði 61% á 25 spurningum um Stainless skjöl.
- Önnur löggild verkefni sem byggðust á heimildum sýndu engan skýran wiki ávinning eða wiki sem var stærri en upprunalegu skjölin.
- Samningsbundnar síður, einn rithöfundur á síðu og nákvæm orðalag endurheimtu 57/57 flokkaðar staðreyndir; báðar breytingar voru prófaðar saman.
Spurningar og svör
Hvað breytir „draumur“ í minniskerfi umboðsmanns?
„Draumur“ fer yfir fyrri lotuskrár og endurskipuleggur vistað samhengi sem síðari lotur geta lesið. Rannsóknir Anthropic skilgreina minni umboðsmanns sem varðveitt samhengi og útiloka breytingar á líkanþyngdum. Umliggjandi hugbúnaður velur hvenær verkið fer fram og hvaða skrár hann fær. Managed Agents' Dreams API er í rannsóknarforsýningu og framleiðir sérstaka úttaksgeymslu til skoðunar.
Hvernig hélt röng minni Claude föstum í Mount Moon?
Claude skráði Pokémon-miðstöðina á ranga hlið Mount Moon, fór síðan og trúði því að hellirinn væri fyrir aftan það. Anthropic greinir frá því að einátta brún hafi skilað því á fyrri leið, á meðan leiðsögutæki þess missti af fallinu. Að athuga vistuðu athugasemdina gegn upprunalegu afriti leiðrétti staðsetninguna. Leiðrétta greinin náði að lokum Cerulean City.
Hvenær tókst tengt minni-wiki ekki að bæta heimildaleit?
Wiki sýndi engan skýran ávinning í einu tilkynntu lögfræðilegu verkefni þar sem oft var hægt að fullnægja viðmiðum með því að sækja upplýsingar úr einu skjali. Anthropic lýsir einnig sérstöku verkefni þar sem wiki varð stærra en upprunalegu skjölin. Niðurstöður greinarinnar styðja verkefnissértækt mat á framsetningu, þar sem viðhaldskostnaður er tekinn til greina samhliða ávinningi af svörun.
Hvaða breytingar á skrifum endurheimtu samningsstaðreyndirnar sem vantaði?
Hver samningur fékk sína eigin wiki-síðu með einum umboðsmanni sem skrifaði hana, og skilmálar voru vitnaðir orðrétt. Hermda yfirtökuverkefni Anthropic studdi síðan allar fimmtíu og sjö flokkaðar staðreyndir, eftir að útgáfan með sameiginlegri töflu innihélt fjörutíu og einn. Eignarhald og tilvitnun breyttust saman, svo prófið getur ekki einangrað framlag hvorrar breytingar. Niðurstaðan er viðmiðunarútkoma án alhliða ábyrgðar á lögfræðilegri nákvæmni.
Hver var niðurstaða The Daily Diff um minnisviðgerðir sem byggðar eru á afritum?
Niðurstaða The Daily Diff var ÞARF AÐ YFIRFARA. Niko myndi nota minnisviðgerðir sem byggðar eru á afritum, skoða breyttu athugasemdirnar og prófa hvort wiki hjálpar raunverulegu verkefninu. Eigin mótdæmi Anthropic sýna að framsetning getur bætt við vinnu án skýrs ávinnings. Matreiðslubók hennar varar við því að gömul afrit geti ekki staðfest síðari ytri breytingar, svo mikilvægar breytilegar staðreyndir þurfa enn staðfestingu.
Þýtt afrit
Þýtt úr upprunalegri enskri frásögn. Tiltækt hljóð og textar eru stjórnaðir af YouTube.
Hvers vegna hélt minnið Claude föstum?
0:00 Að gefa Claude minni ætti að koma í veg fyrir að það endurtaki mistök. Anthropic sá einn rangan minnismiða senda það yfir sömu Pokémon-brúnina þrisvar sinnum. Í þessu myndbandi, hvernig festir minnið Claude? Og hvað lagar það raunverulega? Anthropic kallar viðgerðina "draum". Aukalotur líkansins endurheimsækja geymd afrit og breyta minnisskrám. Samningspróf hennar endurheimti jafnvel allar óupplýstar staðreyndir með því að breyta því hvernig þessar minningar voru skrifaðar.
0:22 Geymdu þessa hugmynd. Það er laugardagur, sjöundi nóvember, og þetta er The Daily Diff. Minni umboðsmanns er samhengi sem er vistað milli lota. Þyngdir líkansins haldast óbreyttar. Umliggjandi hugbúnaður ræður því hvenær hreinsun fer fram og hvaða afrit hann sér. Managed Agents' Dreams eiginleikinn er í rannsóknarforsýningu. Þessi grein kveikir ekki á draumum fyrir alla Claude notendur.
Hvað prófaði Anthropic raunverulega?
0:41 Anthropic birti grein Lance Martin á föstudag. Í umræðum á Hacker News í dag deila menn um hvaða minningar þeir eyða. Hvað gerist þegar sjálfsöruggur rangur minnismiði lifir af í aðra lotu? Við höfum gefið ofskynjuninni skjalaskáp. Claude þarf að fara yfir Mount Moon og nota nálæga Pokémon miðstöð sem kennileiti. Það skrifar niður að byggingin sé austan megin, þó hún sé vestan megin. Það fer í burtu og trúir því að hellirinn sé þegar fyrir aftan það.
1:05 Svo gengur það yfir einátta brún inn á leiðina sem það kom frá. Leiðsögutæki þess missir af fallinu, svo Claude útskýrir mistökin sem yfirskot. Næsta tilraun byrjar með sömu röngu forsendunni. Þrautseigja hefur varðveitt villuna. Eftir þriðja fallið skrifar Claude að það ætli að hætta frekar en halda áfram. Uppsetning rannsakenda segir því sjálfkrafa að halda áfram. Það fer aftur til fyrri bæjar, og sú keyrsla endar án þess að ná Cerulean City. Jafnvel róbótinn vill að þessi fundur endi.
Hvernig lagaði draumur leiðina?
1:30 Rannsakendur framkvæma „draum“ á gallaða minnismöppunni. Claude athugar minnismiðann gegn upprunalega afriti lotunnar, finnur staðsetningarvilluna og endurskrifar hana. Með leiðréttum minnismiða fer það aftur inn í Mount Moon og nær að lokum Cerulean. Það er gagnlega niðurstaðan hér. Vistað krafa er athuguð gegn sönnunargögnum fyrir aðra tilraun. Í einni keyrslu safnaði Sonnet þrjú punkt sjö saman hundruðum skráa á meðan hún vann
1:50 eitt merki. Fable fimm hélt minni safni og vann fjögur. Mismunandi líkön, ein keyrsla hvert, þannig að framlag skjalaskrárkerfisins verður ekki einangrað. Á Hacker News segir yfontana að þeir eyði næstum öllum sjálfvirkum minningum vegna þess að minnismiðarnir tilheyra venjulega núverandi verkefni. Þetta er reynsla eins notanda. Hnit gærdagsins eru ömurlegur áttaviti þegar þú hefur færst.
Hvenær hjálpar minnis-wiki?
2:10 Anthropic byggði einnig tengda wiki yfir innri skjöl Stainless. Claude skipuleggur tengdar upplýsingar yfir lotur, og notar síðan þessar síður til að svara spurningum. Þetta getur hjálpað þegar svar spannar nokkur skjöl. Upprunalegu skrárnar eru áfram aðgengilegar til að skoða kortið. Með eingöngu leit, skoraði Claude 53% af flokkuðum viðmiðum. Leit ásamt stærri wiki náði 61%.
2:32 Þetta voru tuttugu og fimm spurningar um skjöl eins fyrirtækis. Auka vinna utan nets bætti þetta mat. Greinin gefur okkur ekkert heildarverð fyrir að byggja wiki, svo haltu reikningsdálknum opnum. Dreams notar staðlaða API tákngjöld, og störf geta tekið frá mínútum til klukkustunda. Anthropic segir að stöðugt að athuga allar minningar gæti verið óhæflegt. Önnur vakt umboðsmannsins þíns fer samt á kreditkortið þitt. Í sömu grein er einnig minnst á lögfræðilegt verkefni þar sem wiki sýndi engan skýran ávinning umfram
Hvenær bætir wiki engu við?
2:56 leit. Annað wiki varð stærra en skjölin sem það dró saman. Ef hægt er að svara spurningu með því að finna einn kafla, getur það verið ótrúlega dýr leið til að nota leitartakkann að byggja alfræðiorðabók fyrst. Claude Code hleður sjálfkrafa takmarkaðan opnunarhluta minnisvísitölu sinnar, með ítarlegum athugasemdum geymdum annars staðar. Röng innspýtingarleiðbeining getur haft áhrif á hverja lotu. Matreiðslubók Anthropic varar við því að minni sé aðeins eins gott og afritin. Skráning gærdagsins getur ekki staðfest breytingar morgunsins.
Hvers vegna hurfu sextán samningsstaðreyndir?
3:23 Nú að samningsverkefninu. Nokkrir umboðsmenn byggja wiki fyrir hermda yfirtöku, og skrifa skilmála inn í eina sameiginlega töflu. Niðurstaðan inniheldur 41 af 57 flokkuðum staðreyndum. Sextán staðreyndir hafa horfið einhvers staðar milli samninga og fágaðra svara. Það er nokkuð mikilvægur staður til að missa upplýsingar. Anthropic rekur mistökin til slæmra samantekta og umboðsmanna sem skrifa yfir verk hver annars. Hugtökin sem vantaði voru aldrei öruggilega varðveitt fyrir svörunarlotuna.
3:47 Að dreyma leyfir Claude að hugsa um þessi mistök, leggja til mismunandi wiki-leiðbeiningar og endurbyggja. Viðgerðin nær alveg aftur að því hvernig minnið er skrifað. Sérhver sem hefur ritstýrt sama skjali með samstarfsmönnum þekkir þessa sársauka. Gefðu hverjum þátttakanda stærri heila, og þeir geta samt vistað yfir vinnu annars. Spennandi gervigreindarminnisvandamálið hefur villst inn í skrifstofueldhúsið klæddur samhliða villu.
4:08 Hver samningur fær sína eigin síðu, skrifaða af einum umboðsmanni. Skilmálar eru vitnaðir orðrétt. Endurbætt wiki styður allar fimmtíu og sjö flokkaðar staðreyndir. Það er lofaða lausnin. Aðskilið eignarhald kemur í veg fyrir yfirskrift, og nákvæmar tilvitnanir varðveita skilmálana. Báðar breytingar gerðust samtímis, svo hvorug fær ein einasta heiður. Geymdu mikilvægar minningar rekjanlegar að uppruna sínum. Managed Agents' Dreams varðveitir inntaksgeymsluna og framleiðir sérstaka úttaksgagnagrunn
4:32 sem þú getur skoðað. Ef þú vilt frekar lesa þetta en heyra mig segja það, þá lendir munurinn í pósthólfinu þínu á hverjum morgni, ókeypis á the daily diff dot dev, tengill hér að neðan.
Myndi ég treysta þessu minniskerfi?
4:39 Svo niðurstaða dagsins er ÞARF AÐ YFIRFARA. Ég myndi nota afritunarstuddri viðgerð því þrálát mistök eiga skilið þráláta lagfæringu. Ég myndi athuga breyttu athugasemdirnar og prófa hvort wiki hjálpar verkefninu mínu í raun. Andstæður Anthropic sýna hversu auðveldlega viðhald minnis verður annað verkefni sem þú þarft nú að viðhalda. Og það er munurinn fyrir í dag. Ég er Niko frá Axrisi. Sameinaðu ábyrgt.
Heimildir
- The components of agent memory — Lance Martin; figures by Monika Tuchowska; Anthropic-reported evaluationsAnthropic
- Dreams — research preview, separate output store, billing and lifecycleClaude Platform documentation
- Claude Code memory — injected index boundaryClaude Code documentation
- Dreaming with a dynamic workflow — transcript staleness and caller controlClaude Cookbook
- Sleep-time Compute — April 2025 prior work, no replication of this article claimedKevin Lin and colleagues / arXiv
- Harvey LAB — tasks, documents, grading rubrics and version scopeHarvey AI
- Authentic Dario Amodei portrait — TechCrunch Disrupt 2023; cropped, background removed and resized; Anthropic identity only, no authorship, current reaction or endorsementTechCrunch / Wikimedia Commons
- Original TechCrunch portrait source — Dario Amodei at Disrupt 2023TechCrunch / Flickr
- Portrait licence — Creative Commons Attribution 2.0Creative Commons
- Two Buttons — Jake Clark, Imgflip template; commentary labels added; brief process satire, hosting is not a licence or legal clearance and grants no blanket reuseJake Clark / Imgflip
- Groundhog Day GIF — Bill Murray and Stephen Tobolowsky as Phil/Ned; @groundhogday; silent, resized and captioned narrator commentary; no present-day reaction or blanket reuse; hosting is not a licence or legal clearanceGroundhog Day / GIPHY
- Two Buttons origin attribution — Jake Clark, October 2014; secondary sourceSupermeme
- Groundhog Day source link supplied by the GIPHY uploaderGroundhog Day
.jpg){kind=link}