+− THE DAILY DIFFdev & AI news
NEEDS REVIEW

Claude agent yaddaşı: transkriptlə dəstəklənən yuxugörmə və birgə-yazıçı uğursuzluqları

Yanlış yadda saxlanmış bir "landmark" Claude-u Anthropic-in bildirdiyi eksperimentdə üç dəfə eyni Pokémon çıxıntısından aşağı göndərdi.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Yanlış yadda saxlanmış bir "landmark" Claude-u Anthropic-in bildirdiyi eksperimentdə üç dəfə eyni Pokémon çıxıntısından aşağı göndərdi. Transkriptlə dəstəklənən yuxugörmə qeydi düzəltdi, ayrı müqavilə səhifələri və sözbəsöz şərtlər isə başqa bir tapşırıqda itkin qiymətləndirilmiş faktları bərpa etdi.

Yazılı nəşri oxuyun (İngiliscə) ↗

Bu videoda nələr əhatə olunur

  • Agent yaddaşı sessiyalar arasında konteksti saxlayır; təsvir edilən təmir model ağırlıqlarını deyil, qeydləri dəyişir.
  • Yanlış qeydin sessiya transkripti ilə yoxlanılması düzəldilmiş budağın Cerulean City-yə çatmasına kömək etdi.
  • Tək axtarış meyarların 53%-ni təşkil etdi; axtarış üstəgəl daha böyük viki Stainless sənədləri haqqında 25 sualda 61%-ə çatdı.
  • Mənbədə bildirilən digər hüquqi tapşırıqlar açıq bir viki qazancı göstərmədi və ya viki orijinal sənədlərdən daha böyük oldu.
  • Müqavilə-spesifik səhifələr, hər səhifə üçün bir yazıçı və sözbəsöz şərtlər 57/57 qiymətləndirilmiş faktları bərpa etdi; hər iki dəyişiklik birlikdə sınaqdan keçirildi.

Suallar və cavablar

Agent yaddaş sistemində yuxugörmə nəyi dəyişir?

Yuxugörmə əvvəlki sessiya transkriptlərini nəzərdən keçirir və sonrakı sessiyaların oxuya biləcəyi saxlanmış konteksti yenidən təşkil edir. Anthropic-in tədqiqatı agent yaddaşını saxlanılan kontekst kimi müəyyənləşdirir və model ağırlıqlarında dəyişiklikləri istisna edir. Ətrafdakı proqram təminatı işin nə vaxt işlədiyini və hansı transkriptləri aldığını seçir. Managed Agents' Dreams API tədqiqat önizləməsindədir və nəzərdən keçirmək üçün ayrı bir çıxış anbarı yaradır.

Bu hissəyə baxın 0:41 · Anthropic · Claude Platform documentation

Yanlış yaddaş Claude-u Mount Moon-da necə tələyə saldı?

Claude Pokémon Mərkəzini Mount Moon-un yanlış tərəfində qeyd etdi, sonra mağaranın arxasında olduğuna inanaraq getdi. Anthropic bildirir ki, bir istiqamətli çıxıntı onu əvvəlki marşruta qaytardı, naviqasiya aləti isə düşüşü qaçırdı. Saxlanılan qeydin orijinal transkriptlə yoxlanılması yeri düzəltdi. Düzəldilmiş budaq nəhayət Cerulean City-yə çatdı.

Bu hissəyə baxın 1:30 · Anthropic

Bağlı yaddaş vikisi mənbə axtarışını nə vaxt yaxşılaşdıra bilmədi?

Viki, meyarların tez-tez tək bir sənəddən məlumat almaqla təmin edilə bildiyi bir bildirilən hüquqi tapşırıqda aydın bir qazanc göstərmədi. Anthropic həmçinin vikisi orijinal sənədlərdən daha böyük olan ayrı bir tapşırığı təsvir edir. Məqalənin nəticələri təmsilçiliyin tapşırıq-spesifik qiymətləndirməsini dəstəkləyir, cavab vermə faydası ilə yanaşı saxlama xərcləri də nəzərə alınır.

Bu hissəyə baxın 2:53 · Anthropic

Hansı yazı dəyişiklikləri itkin müqavilə faktlarını bərpa etdi?

Hər müqavilənin öz viki səhifəsi var idi, onu bir agent yazırdı və şərtlər sözbəsöz sitat gətirilirdi. Anthropic-in simulyasiya edilmiş satınalma tapşırığı, paylaşılan cədvəl versiyası qırx birini ehtiva etdikdən sonra, bütün əlli yeddi qiymətləndirilmiş faktı dəstəklədi. Mülkiyyət və sitat birlikdə dəyişdi, buna görə test heç bir dəyişikliyin töhfəsini təcrid edə bilməz. Nəticə universal hüquqi dəqiqlik zəmanəti olmayan bir benchmark nəticəsidir.

Bu hissəyə baxın 3:23 · Anthropic · Harvey AI

The Daily Diff-in transkriptlə dəstəklənən yaddaş təmiri haqqında qərarı nə idi?

The Daily Diff-in qərarı NƏZƏRDƏN KEÇİRİLMƏLİDİR idi. Niko transkriptlə dəstəklənən təmirdən istifadə edər, dəyişdirilmiş qeydləri yoxlayar və vikinin real tapşırığa kömək edib etmədiyini sınaqdan keçirərdi. Anthropic-in öz əks nümunələri göstərir ki, bir təmsilçilik açıq bir fayda olmadan iş əlavə edə bilər. Onun "cookbook"u xəbərdar edir ki, köhnə transkriptlər sonrakı xarici dəyişiklikləri müəyyən edə bilməz, buna görə vacib dəyişən faktların hələ də yoxlanılması lazımdır.

Bu hissəyə baxın 4:39 · Anthropic · Claude Cookbook

Tərcümə olunmuş transkript

Orijinal ingilis dilindəki nəqldən tərcümə edilmişdir. Mövcud audio və subtitrlər YouTube tərəfindən idarə olunur.

Niyə yaddaş Claude-u tələdə saxladı?

0:00 Claude-a yaddaş vermək onun səhvləri təkrarlamasını dayandırmalıdır. Anthropic bir yanlış qeydin onu eyni Pokémon çıxıntısından üç dəfə aşağı göndərdiyini gördü. Bu videoda yaddaş Claude-u necə tələyə salır? Və əslində onu nə düzəldir? Anthropic təmiri yuxugörmə adlandırır. Əlavə model sessiyaları saxlanmış transkriptləri yenidən nəzərdən keçirir və yaddaş fayllarını redaktə edir. Onun müqavilə testi hətta bu yaddaşların necə yazıldığını dəyişdirərək bütün itkin faktları bərpa etdi.

0:22 Bu fikri saxlayın. Şənbə, noyabrın yeddisidir və bu, The Daily Diff-dir. Agent yaddaşı sessiyalar arasında saxlanılan kontekstdir. Modelin ağırlıqları dəyişməz qalır. Ətrafdakı proqram təminatı təmizləmənin nə vaxt işlədiyini və hansı transkriptləri gördüyünü müəyyənləşdirir. İdarə Olunan Agentlərin Yuxuları xüsusiyyəti tədqiqat önizləməsindədir. Bu məqalə hər Claude istifadəçisi üçün yuxuları aktivləşdirmir.

Anthropic əslində nəyi sınaqdan keçirdi?

0:41 Anthropic Lance Martin-in məqaləsini cümə günü nəşr etdi. Bugünkü Hacker News müzakirəsində insanlar hansı yaddaşları sildikləri barədə mübahisə edirlər. Bir inamla yanlış qeyd başqa bir sessiyaya keçəndə nə baş verir? Biz hallüsinasiyaya bir sənəd dolabı vermişik. Claude Mount Moon-u keçməlidir, yaxınlıqdakı Pokémon Mərkəzini "landmark" olaraq istifadə edərək. Bina şərq tərəfdə olduğunu yazır, baxmayaraq ki, qərb tərəfdədir. Mağaranın artıq arxasında olduğuna inanaraq gedir.

1:05 Sonra bir istiqamətli çıxıntıdan gəldiyi marşrut üzərinə düşür. Naviqasiya aləti düşüşü qaçırır, buna görə Claude uğursuzluğu həddindən artıq getmə kimi izah edir. Növbəti cəhd eyni yanlış fərziyyə ilə başlayır. Davamlılıq səhvi qoruyub. Üçüncü yıxılmadan sonra, Claude dövrə vurmağa davam etməkdənsə, dayanacağını yazır. Tədqiqatçıların qurğusu avtomatik olaraq ona davam etməsini bildirir. Əvvəlki bir şəhərə qayıdır və bu qaçış Cerulean City-yə çatmadan bitir. Hətta bot belə bu görüşün bitməsini istəyir.

Yuxugörmə marşrutu necə düzəltdi?

1:30 Tədqiqatçılar səhvlərin olduğu yaddaş qovluğunda yuxugörməni işə salırlar. Claude qeydi orijinal sessiya transkripti ilə yoxlayır, yer səhvini tapır və onu yenidən yazır. Düzəldilmiş qeydlə o, Mount Moon-a yenidən daxil olur və nəhayət Cerulean-a çatır. Bu, burada faydalı nəticədir. Yadda saxlanılmış bir iddia başqa bir cəhddən əvvəl sübutla yoxlanılır. Bir işləmədə, Sonnet üç nöqtə yeddi yüzlərlə fayl topladı, bir nişan qazanarkən.

1:50 Fable beş daha kiçik bir kolleksiya saxladı və dördünü qazandı. Fərqli modellər, hər biri bir işləmə, buna görə sənədləşmə sisteminin töhfəsi təcrid edilə bilməz. Hacker News-da, yfontana deyir ki, demək olar ki, bütün avtomatik yaddaşları silirlər, çünki qeydlər adətən cari tapşırığa aiddir. Bu, bir istifadəçinin təcrübəsidir. Dünənki koordinatlar, hərəkət etdikdən sonra pis bir kompas edir.

Yaddaş vikisi nə vaxt kömək edir?

2:10 Anthropic həmçinin Stainless-in daxili sənədləri üzərində əlaqəli bir viki qurdu. Claude sessiyalar arasında əlaqəli məlumatları təşkil edir, sonra bu səhifələri suallara cavab vermək üçün istifadə edir. Bu, bir cavab bir neçə sənədi əhatə etdikdə kömək edə bilər. Xəritəni yoxlamaq üçün orijinal fayllar mövcud qalır. Tək axtarışla Claude qiymətləndirilmiş meyarların əlli üç faizini qazandı. Axtarış üstəgəl daha böyük viki altmış bir faizə çatdı.

2:32 Bunlar bir şirkətin sənədləri haqqında iyirmi beş sual idi. Əlavə oflayn iş bu qiymətləndirməni yaxşılaşdırdı. Məqalə bizə viki qurmaq üçün ümumi qiymət vermir, buna görə hesab sütununu açıq saxlayın. Dreams standart API token dərəcələrindən istifadə edir və işlər dəqiqələrdən saatlara qədər çəkə bilər. Anthropic deyir ki, hər yaddaşı davamlı olaraq yoxlamaq qeyri-praktik ola bilər. Agentinizin ikinci növbəsi hələ də kredit kartınıza yazılır. Eyni məqalə vikinin axtarış üzərində aydın bir qazanc göstərmədiyi bir hüquqi tapşırığı da

Viki nə vaxt heç nə əlavə etmir?

2:56 özündə cəmləşdirir. Başqa bir viki xülasə etdiyi sənədlərdən daha böyük oldu. Əgər bir suala bir keçidi tapmaqla cavab vermək mümkündürsə, əvvəlcə bir ensiklopediya qurmaq, tap düyməsini istifadə etmək üçün olduqca bahalı bir yol ola bilər. Claude Code yaddaş indeksinin məhdud bir açılış hissəsini avtomatik yükləyir, detallı qeydlər başqa yerdə saxlanılır. Yanlış daxil edilmiş bir təlimat hər sessiyaya təsir edə bilər. Anthropic-in "cookbook"u xəbərdar edir ki, yaddaş yalnız transkriptlər qədər yaxşıdır. Dünənki jurnal bu səhərki dəyişiklikləri təsdiq edə bilməz.

Niyə on altı müqavilə faktı yoxa çıxdı?

3:23 İndi müqavilə tapşırığına keçək. Bir neçə agent simulyasiya edilmiş bir satınalma üçün bir viki qurur, şərtləri birgə bir cədvələ yazır. Nəticədə əldə edilən qısa icmal əlli yeddi qiymətləndirilmiş faktdan qırx birini ehtiva edir. On altı fakt müqavilələr və təmizlənmiş cavab arasında bir yerdə yoxa çıxıb. Bu, məlumat itirmək üçün olduqca vacib bir yerdir. Anthropic uğursuzluğu pis xülasələr və agentlərin bir-birinin işini yazması ilə əlaqələndirir. İtkin şərtlər heç vaxt cavab sessiyası üçün təhlükəsiz şəkildə saxlanılmadı.

3:47 Yuxugörmə Claude-un bu uğursuzluqlar üzərində düşünməsinə, fərqli viki təlimatları təklif etməsinə və yenidən qurmasına imkan verir. Təmir yaddaşın necə yazıldığını da əhatə edir. Həmkarları ilə eyni sənədi redaktə edən hər kəs bu ağrını bilir. Hər iştirakçıya daha böyük bir beyin verin, yenə də başqasının işini yaza bilərlər. Həyəcanverici AI yaddaş problemi ofis mətbəxinə yolunu tapıb bir konkurentlik səhvi geyinərək.

4:08 Hər müqavilənin öz səhifəsi var, bir agent tərəfindən yazılır. Şərtlər sözbəsöz sitat gətirilir. Təkmilləşdirilmiş viki bütün əlli yeddi qiymətləndirilmiş faktı dəstəkləyir. Bu, vəd edilmiş düzəlişdir. Ayrı mülkiyyət pozulmaların qarşısını alır və dəqiq sitatlar şərtləri qoruyur. Hər iki dəyişiklik birlikdə baş verdi, buna görə heç biri tək kredit almır. Vacib xatirələri mənbələri ilə izlənilə bilən saxlayın. İdarə Olunan Agentlərin Yuxuları giriş anbarını qoruyur və nəzərdən keçirə biləcəyiniz

4:32 ayrı bir çıxış yaradır. Əgər bunu oxumağı eşitməkdən daha çox istəyirsinizsə, diff hər səhər pulsuz olaraq dailydiff.dev-də poçt qutunuza düşür, link aşağıdadır.

Bu yaddaş sisteminə etibar edərdimmi?

4:39 Beləliklə, bugünkü qərar NƏZƏRDƏN KEÇİRİLMƏLİDİR. Transkriptlə dəstəklənən təmirdən istifadə edərdim, çünki davamlı bir səhvə davamlı bir düzəliş layiqdir. Dəyişdirilmiş qeydləri yoxlayar və vikinin real tapşırığıma kömək edib etmədiyini sınaqdan keçirərdim. Anthropic-in əks nümunələri yaddaşın saxlanılmasının asanlıqla necə başqa bir layihəyə çevrildiyini göstərir ki, indi siz onu saxlamaq məcburiyyətindəsiniz. Və bu, bugünkü fərqdir. Mən Axrisi-dən Nikonam. Məsuliyyətlə birləşdirin.

Mənbələr

  1. The components of agent memory — Lance Martin; figures by Monika Tuchowska; Anthropic-reported evaluationsAnthropic
  2. Dreams — research preview, separate output store, billing and lifecycleClaude Platform documentation
  3. Claude Code memory — injected index boundaryClaude Code documentation
  4. Dreaming with a dynamic workflow — transcript staleness and caller controlClaude Cookbook
  5. Sleep-time Compute — April 2025 prior work, no replication of this article claimedKevin Lin and colleagues / arXiv
  6. Harvey LAB — tasks, documents, grading rubrics and version scopeHarvey AI
  7. Authentic Dario Amodei portrait — TechCrunch Disrupt 2023; cropped, background removed and resized; Anthropic identity only, no authorship, current reaction or endorsementTechCrunch / Wikimedia Commons
  8. Original TechCrunch portrait source — Dario Amodei at Disrupt 2023TechCrunch / Flickr
  9. Portrait licence — Creative Commons Attribution 2.0Creative Commons
  10. Two Buttons — Jake Clark, Imgflip template; commentary labels added; brief process satire, hosting is not a licence or legal clearance and grants no blanket reuseJake Clark / Imgflip
  11. Groundhog Day GIF — Bill Murray and Stephen Tobolowsky as Phil/Ned; @groundhogday; silent, resized and captioned narrator commentary; no present-day reaction or blanket reuse; hosting is not a licence or legal clearanceGroundhog Day / GIPHY
  12. Two Buttons origin attribution — Jake Clark, October 2014; secondary sourceSupermeme
  13. Groundhog Day source link supplied by the GIPHY uploaderGroundhog Day

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Əlaqəli videolar