Клод агентінің жады: транскрипцияға негізделген армандау және ортақ жазушының қателіктері
Қате сақталған бағдар Клодты Anthropic компаниясының хабарланған экспериментінде бір Покемон жартасынан үш рет құлатты.
Қате сақталған бағдар Клодты Anthropic компаниясының хабарланған экспериментінде бір Покемон жартасынан үш рет құлатты. Транскрипцияға негізделген армандау ескертпені түзеді, ал жеке келісімшарт беттері мен сөзбе-сөз терминдер басқа тапсырмада жоғалған бағаланған фактілерді қалпына келтірді.
Жазбаша басылымды оқыңыз (ағылшынша) ↗
Бұл бейне не туралы
- Агент жады сессиялар арасында контекстті сақтайды; сипатталған жөндеу модель салмақтарын емес, жазбаларды өзгертеді.
- Қате жазбаны сессия транскрипциясымен тексеру түзетілген тармақты Cerulean City-ге жетуге көмектесті.
- Тек іздеу критерийлерінің 53%-ын көрсетті; іздеу және үлкенірек вики Stainless құжаттарына қатысты 25 сұрақ бойынша 61%-ға жетті.
- Басқа дереккөздер хабарлаған құқықтық тапсырмалар айқын вики жетістігін немесе бастапқы құжаттардан үлкенірек викиді көрсетпеді.
- Келісімшартқа арналған жеке беттер, бір бетке бір жазушы және сөзбе-сөз терминдер 57/57 бағаланған фактілерді қалпына келтірді; екі өзгеріс бірге тексерілді.
Сұрақтар мен жауаптар
Агент жады жүйесінде армандау нені өзгертеді?
Армандау бұрынғы сессия транскрипцияларын қайта қарайды және кейінгі сессиялар оқи алатын сақталған контекстті қайта ұйымдастырады. Anthropic компаниясының зерттеуі агент жадын сақталған контекст ретінде анықтайды және модель салмақтарына өзгерістерді қоспайды. Қоршаған бағдарламалық қамтамасыз ету жұмыстың қашан іске қосылатынын және ол қандай транскрипцияларды алатынын таңдайды. Managed Agents' Dreams API зерттеу алдын ала қарау кезеңінде және қарау үшін бөлек шығыс қоймасын шығарады.
Қате жады Клодты Тау айында қалай тұзаққа түсірді?
Клод Покемон орталығын Тау айының қате жағына жазып, содан кейін үңгір артында қалды деп сеніп кетті. Anthropic бір бағытты жартастың оны бұрынғы жолға қайтарғанын, ал оның навигация құралы құлауды жіберіп алғанын хабарлайды. Сақталған жазбаны бастапқы транскрипциямен тексеру орналасуды түзеді. Түзетілген тармақ ақырында Cerulean City-ге жетті.
Байланысты жады викиі дереккөзді іздеуді жақсарта алмағанда қашан?
Вики критерийлерді жиі бір құжаттан ақпарат алу арқылы қанағаттандыруға болатын бір хабарланған құқықтық тапсырмада айқын жетістік көрсетпеді. Anthropic сонымен қатар викиі бастапқы құжаттардан үлкенірек болған бөлек тапсырманы сипаттайды. Мақаланың нәтижелері жауап беру артықшылықтарымен қатар күту шығындарын ескере отырып, ұсыныстың тапсырмаға тән бағалауын қолдайды.
Жоғалған келісімшарт фактілерін қандай жазу өзгерістері қалпына келтірді?
Әрбір келісімшартқа жеке агент жазған жеке вики беті берілді, және терминдер сөзбе-сөз дәйексөз келтірілді. Anthropic компаниясының симуляцияланған сатып алу тапсырмасы ортақ кесте нұсқасы қырық бірін қамтығаннан кейін барлық елу жеті бағаланған фактілерді қолдады. Меншік пен дәйексөз бірге өзгерді, сондықтан тест екі өзгерістің де үлесін бөле алмайды. Нәтиже - әмбебап заңды дәлдік кепілдігі жоқ эталондық нәтиже.
The Daily Diff транскрипцияға негізделген жадыны жөндеу туралы қандай үкім шығарды?
The Daily Diff үкімі ҚАРАУДЫ ҚАЖЕТ ЕТЕДІ болды. Нико транскрипцияға негізделген жөндеуді қолданады, өзгертілген жазбаларды тексереді және викидің нақты тапсырмаға көмектесетінін тексереді. Anthropic компаниясының өз қарсы мысалдары ұсыныстың айқын пайдасыз жұмыс қосатынын көрсетеді. Оның аспаздық кітабы ескі транскрипциялар кейінгі сыртқы өзгерістерді анықтай алмайтынын ескертеді, сондықтан маңызды өзгермелі фактілер әлі де тексеруді қажет етеді.
Аударылған транскрипция
Бастапқы ағылшын тіліндегі баяндамадан аударылған. Қолжетімді аудио және субтитрлерді YouTube басқарады.
Неліктен жады Клодты тұзаққа түсірді?
0:00 Клодқа жады беру оның қателіктерді қайталамауына кедергі болуы керек. Anthropic бір қате жазбаның оны бір Покемон жартасынан үш рет құлатқанын көрді. Бұл бейнеде жады Клодты қалай тұзаққа түсіреді? Және оны не шынымен түзетеді? Anthropic жөндеуді армандау деп атайды. Қосымша модель сессиялары сақталған транскрипцияларды қайта қарап, жады файлдарын өңдейді. Оның келісімшарт сынағы тіпті осы жадылардың жазылуын өзгерту арқылы жоғалған барлық фактілерді қалпына келтірді.
0:22 Бұл ойды ұстаңыз. Бүгін сенбі, жетінші қараша, және бұл The Daily Diff. Агент жады - бұл сессиялар арасында сақталған контекст. Модельдің салмақтары өзгеріссіз қалады. Қоршаған бағдарламалық қамтамасыз ету тазалаудың қашан жүргізілетінін және қандай транскрипцияларды көретінін шешеді. Managed Agents' Dreams мүмкіндігі зерттеу алдын ала қарау кезеңінде. Бұл мақала әрбір Клод пайдаланушысы үшін армандауды қоспайды.
Anthropic нақты нені сынады?
0:41 Anthropic Лэнс Мартиннің мақаласын жұма күні жариялады. Бүгінгі Hacker News талқылауында адамдар қандай жадыларды жоятыны туралы дауласады. Сенімді қате жазба басқа сессияға өткенде не болады? Біз галлюцинацияға файл шкафын бердік. Клод тау айын кесіп өтуі керек, жақын маңдағы Покемон орталығын бағдар ретінде пайдаланып. Ол ғимарат шығыс жақта орналасқан деп жазады, шындығында батыста болса да. Ол үңгір артында қалды деп сеніп кетеді.
1:05 Содан кейін ол бір бағытты жартастан өзі келген жолға түседі. Оның навигация құралы құлауды жіберіп алады, сондықтан Клод сәтсіздікті асып кету деп түсіндіреді. Келесі әрекет сол қате болжаммен басталады. Табандылық қатені сақтады. Үшінші құлағаннан кейін, Клод айналуды жалғастырмай, тоқтайтынын жазады. Зерттеушілердің қондырғысы оған автоматты түрде жалғастыруды бұйырады. Ол бұрынғы қалаға қайта оралады, және сол жұмыс Cerulean City-ге жетпей аяқталады. Тіпті бот та бұл кездесудің аяқталғанын қалайды.
Армандау бағытты қалай түзеді?
1:30 Зерттеушілер бұзылған жады қалтасында армандауды іске қосады. Клод жазбаны бастапқы сессия транскрипциясымен тексереді, орналасу қатесін тауып, оны қайта жазады. Түзетілген жазбамен ол Тау айына қайта кіріп, ақырында Cerulean-ға жетеді. Бұл жердегі пайдалы нәтиже. Сақталған талап келесі әрекеттің алдында дәлелдермен тексеріледі. Бір іске қосуда, Sonnet үш нүкте жеті бір белгішені алып, жүздеген файлдарды жинады.
1:50 Fable бес кішірек коллекцияны сақтап, төрт белгішені алды. Әртүрлі модельдер, әрқайсысы бір рет іске қосылды, сондықтан файлдық жүйенің үлесін бөлу мүмкін емес. Hacker News-те yfontana олар барлық автоматты жадыларды жоятынын айтады, өйткені жазбалар әдетте ағымдағы тапсырмаға тиесілі. Бұл бір пайдаланушының тәжірибесі. Кешегі координаттар сіз қозғалғаннан кейін жарамсыз компасқа айналады.
Жады викиі қашан көмектеседі?
2:10 Anthropic сонымен қатар Stainless компаниясының ішкі құжаттары бойынша байланысты вики құрды. Клод сессиялар бойынша байланысты ақпаратты ұйымдастырады, содан кейін сол беттерді сұрақтарға жауап беру үшін пайдаланады. Бұл жауап бірнеше құжатты қамтығанда көмектеседі. Бастапқы файлдар картаны тексеру үшін қолжетімді болып қалады. Тек іздеумен Клод бағаланған критерийлердің елу үш пайызын жинады. Іздеу және үлкенірек вики алпыс бір пайызға жетті.
2:32 Бұл бір компанияның құжаттарына қатысты жиырма бес сұрақ болды. Қосымша офлайн жұмыс бұл бағалауды жақсартты. Мақала бізге вики құрудың жалпы құнын бермейді, сондықтан шот-фактура бағанын ашық қалдырыңыз. Dreams стандартты API токен ставкаларын пайдаланады, және жұмыстар минуттан сағатқа дейін созылуы мүмкін. Anthropic әрбір жадыны үнемі тексеру практикалық емес болуы мүмкін дейді. Сіздің агентіңіздің екінші ауысымы әлі де несие картаңызға түседі. Сол мақалада вики іздеуге қарағанда айқын жетістік көрсетпеген құқықтық тапсырма
Вики ештеңе қоспағанда қашан?
2:56 бар. Басқа вики ол қорытындылаған құжаттардан үлкенірек өсті. Егер сұраққа бір үзіндіні табу арқылы жауап беруге болатын болса, алдымен энциклопедия құру табу түймесін пайдаланудың таңғаларлық қымбат тәсілі болуы мүмкін. Claude Code жады индексінің шектеулі бастапқы бөлігін автоматты түрде жүктейді, егжей-тегжейлі жазбалар басқа жерде сақталады. Қате енгізілген нұсқау әрбір сессияға әсер етуі мүмкін. Anthropic компаниясының аспаздық кітабы жады транскрипциялар сияқты жақсы екенін ескертеді. Кешегі журнал бүгінгі өзгерістерді тексере алмайды.
Неліктен он алты келісімшарт фактісі жоғалып кетті?
3:23 Енді келісімшарт тапсырмасына келейік. Бірнеше агент симуляцияланған сатып алу үшін вики құрады, шарттарды бір ортақ кестеге жазады. Нәтижесінде алынған қысқаша мәліметтерде елу жеті бағаланған фактінің қырық бірі бар. Он алты факт келісімшарттар мен өңделген жауап арасында жоғалып кетті. Бұл ақпаратты жоғалту үшін өте маңызды орын. Anthropic қатені жаман қорытындылар мен агенттердің бір-бірінің жұмысын қайта жазуына байланыстырады. Жоғалған терминдер жауап беру
3:47 сессиясы үшін ешқашан қауіпсіз сақталмаған. Армандау Клодқа осы қателіктерді ойлауға, әртүрлі вики нұсқауларын ұсынуға және қайта құруға мүмкіндік береді. Жөндеу жадының қалай жазылғанына дейін жетеді. Әріптестермен бір құжатты өңдеген кез келген адам бұл ауырсынуды біледі. Әрбір қатысушыға үлкенірек ми беріңіз, сонда олар әлі де біреудің жұмысының үстінен сақтай алады. Қызықты AI жады мәселесі кеңсе асханасына бірге жүру қатесін киіп келді.
4:08 Әр келісімшарт жеке бетке ие болады, оны бір агент жазады. Терминдер сөзбе-сөз дәйексөз келтіріледі. Жақсартылған вики барлық елу жеті бағаланған фактілерді қолдайды. Бұл уәде етілген жөндеу. Жеке меншік құқығы бұзушылықты болдырмайды, және нақты дәйексөздер терминдерді сақтайды. Екі өзгеріс бірге болды, сондықтан ешқайсысы жеке кредит алмайды. Маңызды жадыларды олардың дереккөздеріне дейін қадағалаңыз. Managed Agents' Dreams енгізу қоймасын сақтайды және бөлек шығыс
4:32 қоймасын шығарады, оны сіз қарай аласыз. Егер сіз мұны менің айтқанымнан гөрі оқығыңыз келсе, diff әр таң сайын сіздің пошта жәшігіңізге келеді, тегін the daily diff dot dev сайтында, төмендегі сілтеме.
Мен бұл жады жүйесіне сенім артатын ба едім?
4:39 Сондықтан бүгінгі үкім – ҚАРАУДЫ ҚАЖЕТ ЕТЕДІ. Мен транскрипцияға негізделген жөндеуді қолданамын, өйткені тұрақты қателік тұрақты жөндеуге лайық. Мен өзгертілген жазбаларды тексеремін және викидің менің нақты тапсырмама көмектесетінін тексеремін. Anthropic компаниясының қарсы мысалдары жадыны күту сіз енді күтуіңіз керек тағы бір жобаға қалай оңай айналатынын көрсетеді. Бүгінгі айырмашылық осы. Мен Axrisi-ден Нико. Жауапкершілікпен біріктіріңіз.
Дереккөздер
- The components of agent memory — Lance Martin; figures by Monika Tuchowska; Anthropic-reported evaluationsAnthropic
- Dreams — research preview, separate output store, billing and lifecycleClaude Platform documentation
- Claude Code memory — injected index boundaryClaude Code documentation
- Dreaming with a dynamic workflow — transcript staleness and caller controlClaude Cookbook
- Sleep-time Compute — April 2025 prior work, no replication of this article claimedKevin Lin and colleagues / arXiv
- Harvey LAB — tasks, documents, grading rubrics and version scopeHarvey AI
- Authentic Dario Amodei portrait — TechCrunch Disrupt 2023; cropped, background removed and resized; Anthropic identity only, no authorship, current reaction or endorsementTechCrunch / Wikimedia Commons
- Original TechCrunch portrait source — Dario Amodei at Disrupt 2023TechCrunch / Flickr
- Portrait licence — Creative Commons Attribution 2.0Creative Commons
- Two Buttons — Jake Clark, Imgflip template; commentary labels added; brief process satire, hosting is not a licence or legal clearance and grants no blanket reuseJake Clark / Imgflip
- Groundhog Day GIF — Bill Murray and Stephen Tobolowsky as Phil/Ned; @groundhogday; silent, resized and captioned narrator commentary; no present-day reaction or blanket reuse; hosting is not a licence or legal clearanceGroundhog Day / GIPHY
- Two Buttons origin attribution — Jake Clark, October 2014; secondary sourceSupermeme
- Groundhog Day source link supplied by the GIPHY uploaderGroundhog Day



