+− THE DAILY DIFFdev & AI news
NEEDS REVIEW

Claude-Agenten-Gedächtnis: Transkript-gestütztes Träumen und Fehler bei gemeinsamen Schreibern

Ein falsch gespeichertes Lesezeichen ließ Claude in einem von Anthropic gemeldeten Experiment dreimal über dieselbe Pokémon-Klippe stürzen.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Ein falsch gespeichertes Lesezeichen ließ Claude in einem von Anthropic gemeldeten Experiment dreimal über dieselbe Pokémon-Klippe stürzen. Transkript-gestütztes Träumen korrigierte den Hinweis, während separate Vertragsseiten und wörtliche Begriffe in einer anderen Aufgabe fehlende bewertete Fakten wiederherstellten.

Die schriftliche Ausgabe lesen (Englisch) ↗

Was dieses Video behandelt

  • Das Agenten-Gedächtnis behält den Kontext zwischen den Sitzungen bei; die beschriebene Reparatur ändert Notizen statt Modellgewichte.
  • Das Überprüfen der falschen Notiz mit dem Sitzungstranskript half dem korrigierten Zweig, Azuria City zu erreichen.
  • Die reine Suche erzielte 53 % der Kriterien; Suche plus das größere Wiki erreichte 61 % bei 25 Fragen zu Stainless-Dokumenten.
  • Andere quellenbasierte juristische Aufgaben zeigten keinen klaren Wiki-Gewinn oder ein Wiki, das größer war als die Originaldokumente.
  • Vertragsspezifische Seiten, ein Autor pro Seite und wörtliche Begriffe stellten 57 von 57 bewerteten Fakten wieder her; beide Änderungen wurden zusammen getestet.

Fragen und Antworten

Was ändert das Träumen in einem Agenten-Gedächtnissystem?

Das Träumen überprüft frühere Sitzungstranskripte und reorganisiert den gespeicherten Kontext, den spätere Sitzungen lesen können. Anthropic's Forschung definiert Agenten-Gedächtnis als beibehaltenen Kontext und schließt Änderungen an Modellgewichten aus. Die umgebende Software wählt aus, wann die Arbeit läuft und welche Transkripte sie empfängt. Die Managed Agents' Dreams API befindet sich in der Forschungsvorschau und erstellt einen separaten Ausgabespeicher zur Überprüfung.

Diesen Teil beobachten 0:41 · Anthropic · Claude Platform documentation

Wie hielt eine falsche Erinnerung Claude im Mondberg gefangen?

Claude verzeichnete das Pokémon-Center auf der falschen Seite des Mondbergs und ging dann davon aus, dass die Höhle hinter ihm lag. Anthropic berichtet, dass eine Einwegklippe es zu einer früheren Route zurückführte, während sein Navigationswerkzeug den Absturz übersah. Die Überprüfung der gespeicherten Notiz mit dem Originaltranskript korrigierte den Standort. Der korrigierte Zweig erreichte schließlich Azuria City.

Diesen Teil beobachten 1:30 · Anthropic

Wann hat ein verlinktes Gedächtnis-Wiki die Quellsuche nicht verbessert?

Ein Wiki zeigte bei einer gemeldeten juristischen Aufgabe, bei der Kriterien oft durch das Abrufen von Informationen aus einem einzigen Dokument erfüllt werden konnten, keinen klaren Gewinn. Anthropic beschreibt auch eine separate Aufgabe, deren Wiki größer wurde als die Originaldokumente. Die Ergebnisse des Artikels unterstützen eine aufgabenspezifische Bewertung der Repräsentation, wobei die Wartungskosten zusammen mit jedem Nutzen für die Beantwortung berücksichtigt werden.

Diesen Teil beobachten 2:53 · Anthropic

Welche Schreibänderungen haben die fehlenden Vertragsfakten wiederhergestellt?

Jeder Vertrag erhielt eine eigene Wiki-Seite, die von einem einzigen Agenten geschrieben wurde, und die Begriffe wurden Wort für Wort zitiert. Anthropic's simulierte Akquisitionsaufgabe unterstützte dann alle siebenundfünfzig bewerteten Fakten, nachdem die Version mit der gemeinsamen Tabelle einundvierzig enthielt. Eigentum und Zitat änderten sich zusammen, sodass der Test den Beitrag keiner Änderung isolieren kann. Das Ergebnis ist ein Benchmark-Ergebnis ohne universelle Garantie für rechtliche Genauigkeit.

Diesen Teil beobachten 3:23 · Anthropic · Harvey AI

Wie lautete das Urteil von The Daily Diff zur Transkript-gestützten Gedächtnisreparatur?

Das Urteil von The Daily Diff war NEEDS REVIEW. Niko würde die Transkript-gestützte Reparatur verwenden, die geänderten Notizen inspizieren und testen, ob ein Wiki der tatsächlichen Aufgabe hilft. Anthropic's eigene Gegenbeispiele zeigen, dass eine Repräsentation Arbeit hinzufügen kann, ohne einen klaren Nutzen zu haben. Ihr Kochbuch warnt, dass alte Transkripte spätere externe Änderungen nicht feststellen können, sodass wichtige sich ändernde Fakten immer noch überprüft werden müssen.

Diesen Teil beobachten 4:39 · Anthropic · Claude Cookbook

Übersetztes Transkript

Aus der englischen Originalerzählung übersetzt. Verfügbare Audio- und Untertitel werden von YouTube gesteuert.

Warum hielt das Gedächtnis Claude gefangen?

0:00 Claude ein Gedächtnis zu geben, sollte verhindern, dass es Fehler wiederholt. Anthropic beobachtete, wie eine falsche Notiz es dreimal über dieselbe Pokémon-Klippe schickte. In diesem Video: Wie fängt das Gedächtnis Claude ein? Und was repariert es wirklich? Anthropic nennt die Reparatur "Träumen". Zusätzliche Modellsitzungen überprüfen gespeicherte Transkripte und bearbeiten Gedächtnisdateien. Sein Vertragstest stellte sogar alle fehlenden Fakten wieder her, indem er änderte, wie diese Erinnerungen geschrieben wurden.

0:22 Behaltet diesen Gedanken im Kopf. Es ist Samstag, der siebte November, und dies ist The Daily Diff. Das Agenten-Gedächtnis ist ein zwischen den Sitzungen gespeicherter Kontext. Die Modellgewichte bleiben unverändert. Die umgebende Software entscheidet, wann die Bereinigung läuft und welche Transkripte sie sieht. Die Funktion "Managed Agents' Dreams" befindet sich in der Forschungsvorschau. Dieser Artikel aktiviert Träume nicht für jeden Claude-Nutzer.

Was hat Anthropic eigentlich getestet?

0:41 Anthropic veröffentlichte Lance Martins Artikel am Freitag. Die heutige Hacker News-Diskussion zeigt Leute, die darüber streiten, welche Erinnerungen sie löschen. Was passiert, wenn eine selbstbewusst falsche Notiz in eine andere Sitzung überlebt? Wir haben der Halluzination einen Aktenschrank gegeben. Claude muss den Mondberg überqueren und ein nahegelegenes Pokémon-Center als Orientierungspunkt nutzen. Es schreibt auf, dass das Gebäude auf der Ostseite liegt, obwohl es auf der Westseite ist. Es geht davon aus, dass die Höhle bereits hinter ihm liegt.

1:05 Dann läuft es über eine Einwegklippe auf die Route zurück, von der es kam. Sein Navigationswerkzeug übersieht den Absturz, also erklärt Claude das Scheitern als Überschießen. Der nächste Versuch beginnt mit derselben falschen Annahme. Die Persistenz hat den Fehler bewahrt. Nach dem dritten Sturz schreibt Claude, dass es aufhören wird, statt weiter zu schleifen. Die Einrichtung der Forscher sagt ihm automatisch, dass es fortfahren soll. Es kehrt in eine frühere Stadt zurück, und dieser Durchlauf endet, ohne Azuria City zu erreichen. Sogar der Bot möchte, dass dieses Meeting endet.

Wie hat das Träumen die Route repariert?

1:30 Die Forscher lassen das Träumen auf dem fehlerhaften Gedächtnisordner laufen. Claude gleicht die Notiz mit dem ursprünglichen Sitzungstranskript ab, findet den Positionsfehler und schreibt ihn neu. Mit der korrigierten Notiz betritt es den Mondberg erneut und erreicht schließlich Azuria. Das ist das nützliche Ergebnis hier. Eine gespeicherte Behauptung wird vor einem weiteren Versuch auf Beweise geprüft. In einem Durchlauf sammelte Sonnet 3.7 Hunderte von Dateien, während es

1:50 ein Abzeichen verdiente. Fable 5 behielt eine kleinere Sammlung und verdiente vier. Unterschiedliche Modelle, jeweils ein Durchlauf, daher kann der Beitrag des Ablagesystems nicht isoliert werden. Auf Hacker News sagt yfontana, dass sie fast alle automatischen Erinnerungen löschen, weil die Notizen normalerweise zur aktuellen Aufgabe gehören. Das ist die Erfahrung eines Benutzers. Die Koordinaten von gestern ergeben einen schlechten Kompass, sobald man sich bewegt hat.

Wann hilft ein Gedächtnis-Wiki?

2:10 Anthropic hat auch ein verlinktes Wiki über Stainless' interne Dokumente erstellt. Claude organisiert relevante Informationen über Sitzungen hinweg, und verwendet diese Seiten dann, um Fragen zu beantworten. Dies kann hilfreich sein, wenn eine Antwort mehrere Dokumente umfasst. Die Originaldateien bleiben zur Überprüfung der Karte verfügbar. Mit der reinen Suche erzielte Claude dreiundfünfzig Prozent der bewerteten Kriterien. Suche plus das größere Wiki erreichte einundsechzig Prozent.

2:32 Das waren fünfundzwanzig Fragen zu den Dokumenten eines Unternehmens. Zusätzliche Offline-Arbeit verbesserte diese Bewertung. Der Artikel gibt uns keinen Gesamtpreis für den Aufbau des Wikis an, also die Rechnungsspalte offen halten. Träume nutzen Standard-API-Token-Raten, und Aufträge können Minuten bis Stunden dauern. Anthropic sagt, dass eine kontinuierliche Überprüfung jeder Erinnerung unpraktisch sein kann. Die zweite Schicht deines Agenten geht immer noch auf deine Kreditkarte. Derselbe Artikel enthält eine juristische Aufgabe, bei der das Wiki keinen klaren Gewinn gegenüber der

Wann fügt das Wiki nichts hinzu?

2:56 Suche zeigte. Ein anderes Wiki wurde größer als die Dokumente, die es zusammenfasste. Wenn eine Frage durch das Finden einer einzelnen Passage beantwortet werden kann, kann der Bau einer Enzyklopädie zuvor eine bemerkenswert teure Art sein, die "Finden"-Schaltfläche zu verwenden. Claude Code lädt automatisch einen begrenzten Anfangsteil seines Speicherindexes, wobei detaillierte Notizen anderswo aufbewahrt werden. Eine falsch eingefügte Anweisung kann jede Sitzung beeinflussen. Anthropic's Kochbuch warnt, dass das Gedächtnis nur so gut ist wie die Transkripte. Das Protokoll von gestern kann die Änderungen von heute Morgen nicht überprüfen.

Warum verschwanden sechzehn Vertragsfakten?

3:23 Nun zur Vertragsaufgabe. Mehrere Agenten erstellen ein Wiki für eine simulierte Akquisition, indem sie Begriffe in eine gemeinsame Tabelle schreiben. Das resultierende Briefing enthält einundvierzig von siebenundfünfzig bewerteten Fakten. Sechzehn Fakten sind irgendwo zwischen den Verträgen und der ausgearbeiteten Antwort verschwunden. Das ist ein ziemlich wichtiger Ort, um Informationen zu verlieren. Anthropic führt das Versagen auf schlechte Zusammenfassungen und sich gegenseitig überschreibende Agenten zurück. Die fehlenden Begriffe wurden nie sicher für die Antwortsitzung

3:47 gespeichert. Das Träumen lässt Claude über diese Fehler nachdenken, andere Wiki-Anweisungen vorschlagen und neu aufbauen. Die Reparatur reicht bis zur Art und Weise, wie die Erinnerung geschrieben wird. Jeder, der dasselbe Dokument mit Kollegen bearbeitet hat, kennt diesen Schmerz. Gib jedem Teilnehmer ein größeres Gehirn, und sie können immer noch die Arbeit eines anderen überschreiben. Das aufregende KI-Speicherproblem ist in die Büroküche gewandert mit einem Gleichzeitigkeitsfehler.

4:08 Jeder Vertrag erhält eine eigene Seite, geschrieben von einem einzigen Agenten. Begriffe werden Wort für Wort zitiert. Das verbesserte Wiki unterstützt alle siebenundfünfzig bewerteten Fakten. Das ist die versprochene Lösung. Separate Eigentümerschaft verhindert Überschreiben, und exakte Zitate bewahren die Begriffe. Beide Änderungen erfolgten zusammen, sodass keine von beiden die alleinige Anerkennung erhält. Wichtige Erinnerungen müssen auf ihre Quellen zurückführbar bleiben. Managed Agents' Dreams bewahrt den Eingabespeicher und erstellt einen separaten Ausgabeordner,

4:32 den du überprüfen kannst. Wenn du dies lieber lesen als hören möchtest, landet der Diff jeden Morgen kostenlos in deinem Posteingang unter thedailydiff.dev, Link unten.

Würde ich diesem Gedächtnissystem vertrauen?

4:39 Das heutige Urteil lautet also NEEDS REVIEW. Ich würde die Transkript-gestützte Reparatur verwenden, weil ein hartnäckiger Fehler eine hartnäckige Lösung verdient. Ich würde die geänderten Notizen überprüfen und testen, ob das Wiki meiner tatsächlichen Aufgabe hilft. Anthropics Gegenbeispiele zeigen, wie leicht die Speicherwartung zu einem weiteren Projekt wird, das man jetzt pflegen muss. Und das ist der Diff für heute. Ich bin Niko von Axrisi. Verantwortungsbewusst zusammenführen.

Quellen

  1. The components of agent memory — Lance Martin; figures by Monika Tuchowska; Anthropic-reported evaluationsAnthropic
  2. Dreams — research preview, separate output store, billing and lifecycleClaude Platform documentation
  3. Claude Code memory — injected index boundaryClaude Code documentation
  4. Dreaming with a dynamic workflow — transcript staleness and caller controlClaude Cookbook
  5. Sleep-time Compute — April 2025 prior work, no replication of this article claimedKevin Lin and colleagues / arXiv
  6. Harvey LAB — tasks, documents, grading rubrics and version scopeHarvey AI
  7. Authentic Dario Amodei portrait — TechCrunch Disrupt 2023; cropped, background removed and resized; Anthropic identity only, no authorship, current reaction or endorsementTechCrunch / Wikimedia Commons
  8. Original TechCrunch portrait source — Dario Amodei at Disrupt 2023TechCrunch / Flickr
  9. Portrait licence — Creative Commons Attribution 2.0Creative Commons
  10. Two Buttons — Jake Clark, Imgflip template; commentary labels added; brief process satire, hosting is not a licence or legal clearance and grants no blanket reuseJake Clark / Imgflip
  11. Groundhog Day GIF — Bill Murray and Stephen Tobolowsky as Phil/Ned; @groundhogday; silent, resized and captioned narrator commentary; no present-day reaction or blanket reuse; hosting is not a licence or legal clearanceGroundhog Day / GIPHY
  12. Two Buttons origin attribution — Jake Clark, October 2014; secondary sourceSupermeme
  13. Groundhog Day source link supplied by the GIPHY uploaderGroundhog Day

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Ähnliche Videos