# GPT-6 Astra patchte das endlose Denken einer anderen KI Published: 2026-11-04 Eine mit dem MIT verbundene Studie nutzte GPT-6 Astra, um die Gewichte eines kleinen Qwen-Modells zu bearbeiten und so zu helfen, mehr Antworten zu vervollständigen. Der gemeldete Anstieg der Mathepunktzahl hing von einer gezielten Schleifenreparatur, Python-Analyse und Übungsfeedback ab. Eine separate, kleinere Gemma-Folgestudie fand keinen etablierten Gewinn. Canonical: https://thedailydiff.dev/de/video/2026-11-03-astra-qwen-weights/ ## Was dieses Video behandelt - Der gemeldete Anstieg der Qwen-Punktzahl resultierte aus einer gezielten Reparatur sich wiederholender Denkprozesse; etwa ein Drittel der bearbeiteten Antworten erreichte im primären Protokoll immer noch die Längenbegrenzung. - Gradiententraining war verboten, während Python, Übungsantworten und gebündeltes Modell-Run-Feedback über viele Runden hinweg erlaubt waren. Die endgültigen Bewertungsfragen wurden als zurückgehalten deklariert. - Die kleinen Rohgewicht- und Keine-Rollout-Spielexperimente verwendeten unterschiedliche Bedingungen. Ihre Behauptungen sollten ihren individuellen Tool-, Eingabe- und Baseline-Bereich beibehalten. - Matthew Honnibal schreibt die toolgestützte Entwicklung zu und bestreitet den breiteren Eindruck, der durch die Bündelung der Experimente entsteht. - Die kleinere Gemma-Folgestudie verwendete ihr eigenes Setup und konnte keine Verbesserung feststellen. Testen Sie, welchen Fehler eine Gewichtsänderung behebt, bevor Sie sie auf ein anderes Modell anwenden. ## Fragen und Antworten ### Was hat Astra geändert, um Qwens gemeldete Mathepunktzahl zu verbessern? Astra nahm eine gezielte Gewichtsänderung vor, die Qwen laut der Studie von Rikiya Takehi und Co-Autoren half, mehr Antworten zu vervollständigen. Es entfernte einen mit Wiederholungen verbundenen Beitrag aus ausgewählten Spalten in internen Schichten. Der gemeldete Anstieg der Mathepunktzahl verwendete ein festes Bewertungsprotokoll. Viele bearbeitete Antworten erreichten immer noch die Längenbegrenzung, so dass das Ergebnis eine erhebliche Restfehlerrate aufweist. ### Welche Werkzeuge und welches Feedback waren während der Qwen-Gewichtsänderung erlaubt? Python-Analyse, Übungsaufgaben mit Antworten und gebündeltes Modell-Run-Feedback waren über viele Runden hinweg erlaubt. Der tatsächliche ursprüngliche Prompt der Forscher verbot Gradiententraining und spezifizierte Diagnose- und kausale Testratschläge, einschließlich der Reparatur von wiederholtem Denken als zulässiges Ziel. Diese Unterstützung half Astra, eine direkte Bearbeitung bestehender Gewichte zu wählen. Eine Budgeteinheit konnte Hunderte von generierten Antworten enthalten. ### Standen die endgültigen Bewertungsaufgaben dem Bearbeitungsmodell zur Verfügung? Die Forscher sagen, dass die endgültigen Bewertungssätze von Astra ungesehen blieben. Übungsfeedback kam von Problemen aus dem Trainingssplit und half bei der Auswahl der Bearbeitung; separate zurückgehaltene Probleme maßen das eingereichte Modell danach. Der anfängliche Prompt enthüllte Benchmark-Namen und das Bewertungsprotokoll. Diese Unterscheidung beschreibt, was zurückgehalten wurde, ohne zu behaupten, dass der Editor keine Informationen über die Aufgabe hatte. ### Was geschah bei der kleineren Gemma-Gewichtsänderungs-Folgestudie? Die kleinere Gemma-Folgestudie konnte laut Rikiya Takehi und Co-Autoren keinen Gewinn feststellen. Das Modell lief selten in Schleifen, und seine Fehler umfassten falsche Arithmetik und ungültige Algebra. Gezielte Bearbeitungen mit Übungsfeedback verschoben die gemeldete Mathepunktzahl um höchstens etwa einen Punkt. Es wurde ein separates Setup verwendet, so dass der Vergleich ein abgegrenztes Gegenbeispiel und keine gleich kontrollierte Ablation liefert. ### Wie lautete das Urteil von The Daily Diff zur Behauptung der Gewichtsänderung? Das Urteil von The Daily Diff lautete NEEDS REVIEW. Niko würde die gezielte Schleifenreparatur ernst nehmen und testen, während breitere Behauptungen vom Erfolg über diesen Fehlermodus hinaus abhängig gemacht würden. Das eigene Gegenbeispiel der Forscher mit einem kleineren Modell untermauert dieses Urteil. Entwickler sollten den Fehler identifizieren, den eine Bearbeitung behebt, und die gespeicherten Gewichte an ihren eigenen Aufgaben bewerten, bevor sie einen gemeldeten Multiplikator feiern. ## Kapitel - 0:00 Warum stieg die Mathepunktzahl? - 0:58 Was machte Qwen falsch? - 1:25 Was bestreitet der heutige Kritiker? - 1:41 Welche Hilfe bekam Astra tatsächlich? - 2:27 Wie klein war die eigentliche Reparatur? - 3:08 Welche Experimente hatten wirklich keine Werkzeuge? - 3:40 Was würde eine allgemeinere Behauptung erfordern? - 4:06 Was geschah mit dem Modell, das selten in Schleifen geriet? - 4:47 Würde ich die Behauptung zur Gewichtsänderung freigeben? ## Übersetztes Transkript Aus der englischen Originalerzählung übersetzt. Verfügbare Audio- und Untertitel werden von YouTube gesteuert. ### Warum stieg die Mathepunktzahl? 0:00 Eine KI, die eine andere KI sechsmal intelligenter macht, klingt nach sofortigem Genie. Astras großer Punktsprung kam daher, dass sie Qwen half, Antworten zu beenden, die es immer wieder wiederholte. Was hat sich in diesem Video geändert? Welche Hilfe bekam Astra? Und wie weit reicht die Lösung? Qwen stieg von etwa acht Prozent auf achtundvierzig Prozent. Die Forscher versuchten es mit einem zweiten Modell mit fast keinen Schleifen. Wir werden sehen, wie das vor dem Urteil lief. 0:22 Es ist Dienstag, der dritte November, und dies ist The Daily Diff. Gewichtsraumprogrammierung ist der Name, den die Forscher dafür verwenden, eine KI zu bitten, die Zahlen in einem neuronalen Netzwerk zu prüfen oder zu schreiben. Diese Zahlen sind ihre Gewichte. Dieses mit dem MIT verbundene Team nutzte OpenAIs GPT-6 Astra, um ein kleines Qwen-Sprachmodell zu bearbeiten, wobei normales Training verboten war. Rikiya Takehi und seine Mitautoren veröffentlichten die Studie am Montag und 0:44 fragten, ob eine bestehende KI über die Interna eines anderen Netzwerks nachdenken könnte. Ihr Schlagzeilen-Ergebnis ist sehr klickstark. Bei Math 500 stieg Qwen von etwa acht Prozent auf achtundvierzig Prozent. Fast sechsmal so viele richtige Antworten. Qwen dachte immer weiter, bis es keinen Platz mehr hatte, um zu antworten. ### Was machte Qwen falsch? 1:00 Im Denkmodus wiederholte es oft seine Argumentation. Stellen Sie sich einen Schüler vor, der das Prüfungsheft mit Notizen füllt, bis die Glocke läutet. Der Prüfer braucht immer noch eine Antwort. Die meisten ursprünglichen Antworten erreichten das Längenlimit. Astra lokalisierte eine Wiederholungsrichtung in zwei internen Schichten und entfernte dann deren Beitrag aus ausgewählten Gewichtspalten. Nach dieser Bearbeitung erreichten mehr Antworten eine Schlussfolgerung. Etwa ein Drittel erreichte im gemeldeten Test immer noch die Obergrenze. 1:22 Das Prüfungsheft bekam endlich eine letzte Zeile. Heute stellte Matthew Honnibal, der Schöpfer von spaCy und Mitbegründer von Explosion, ### Was bestreitet der heutige Kritiker? 1:28 die Präsentation in Frage. Er sagt, Leser könnten die unterschiedlichen Bedingungen der Experimente zu einem Eindruck einer außergewöhnlichen Technik zusammenfassen. Sein Einwand betrifft ihre zusammengefasste Geschichte. Wir können die Bedingungen selbst überprüfen. Das Qwen-Experiment gab Astra ein Python-Notebook über die Gewichte und Übungsaufgaben ### Welche Hilfe bekam Astra tatsächlich? 1:44 mit Antworten. Über viele Runden hinweg inspizierte es interne Aktivierungen und verglich ursprüngliche und bearbeitete Versionen. Das endgültige Budget erlaubte fünfzig Batches von Modellläufen. Jeder Generierungsbatch konnte Hunderte von Antworten enthalten. Die Übungsdaten stammten aus Trainings-Splits. Die Forscher sagen, Astra habe die endgültigen Bewertungssätze nie gesehen. Feedback half bei der Auswahl der Bearbeitung; zurückgehaltene Probleme maßen sie danach. Die Sampling-Einstellungen blieben zwischen dem ursprünglichen und dem bearbeiteten Qwen fixiert, 2:09 was den Vergleich der Punktzahlen dieses Protokolls interpretierbar macht. Der erste Prompt gab ihm einen hilfsbereiten Laborbetreuer. Fehler diagnostizieren, verantwortliche Komponenten finden, bei denselben Problemen vergleichen und mehrere Stärken testen. Erwähnt wurde explizit "wiederholtes Denken" als eine Reparatur, die zählt. Doktoranden sollten dieses Onboarding-Paket aushandeln. Das ist eine beeindruckende Reparatur. ### Wie klein war die eigentliche Reparatur? 2:28 Astras gezielte Bearbeitung betraf ungefähr einhundertdreiunddreißigtausend Gewichte. Das sind etwa sechzehntausendstel eines Prozents des Modells. Die Gewichtsdatei wurde direkt geändert. Gradiententraining blieb verboten; das bestehende Modell gab die Antworten, nachdem Astras Bearbeitungssitzung beendet war. Der Gewinn erreichte auch die Befolgung von Anweisungen. Ich mag die praktische Implikation. Ein Modell kann nützliche Arbeit leisten, die seine Fehlfunktion immer wieder vergräbt. 2:48 Das Beheben dieser Fehlfunktion kann nutzbare Antworten wiederherstellen. Das Beenden zählt. Honnibal lobt die toolgestützte Arbeit als das Ausführen von Aufgaben, die ein menschlicher Machine-Learning-Ingenieur erledigen könnte. Das ist bedeutsam für einen Agenten. Seine Beschwerde ist, dass die kleinen Demonstrationen mit rohen Zahlen und die größeren Python-gestützten Reparaturen zu einer breiteren Schlussfolgerung einladen, wenn sie zusammengefasst werden. Nehmen Sie die winzigen Spielnetzwerke. ### Welche Experimente hatten wirklich keine Werkzeuge? 3:09 In einem Experiment las Astra deren Rohdaten und identifizierte korrekt, welches Spiel jedes Netzwerk gelernt hatte. Werkzeuge waren verboten. In einem anderen schrieb es neue spielende Gewichte von Grund auf neu, unter Verwendung der Regeln und des Quellcodes, ohne Übungs-Rollouts. Das sind separate Demonstrationen mit separaten Beweisen. Astras Netzwerke übertrafen die Baseline, die für hundert Millionen Schritte trainiert wurde, in allen drei Spielen. Gegen die länger trainierte Baseline verlor es in Seaquest und 3:32 Asterix, während es Breakout gewann. Ändert man die Vergleichsspalte, muss die Siegesrede überarbeitet werden. Praktischerweise ist Bearbeiten das Thema von heute. Für eine umfassendere Behauptung würden wir Verbesserungen über Modelle mit verschiedenen Fehlern hinweg erwarten. ### Was würde eine allgemeinere Behauptung erfordern? 3:44 Verfolgen Sie, was der Editor sah und was als Erfolg zählte. Qwens Modellkarte warnt bereits vor Denkschleifen. Das Entfernen dieses bekannten Hindernisses hat einen bestimmten Ausgangspunkt. Zu ihrem Verdienst veröffentlichen die Autoren die unbequeme Folgestudie selbst. Sie erklären, dass das Stoppen von Schleifen es Qwen ermöglicht, Antworten zu beenden, die es bereits erarbeiten konnte. Ihre Logs enthalten Prompts, Feedback und Bearbeitungen. Wir können die Leistung untersuchen und eine schwierigere Frage stellen. ### Was geschah mit dem Modell, das selten in Schleifen geriet? 4:06 Nun das zweite Modell, eine kleinere Gemma in ihrem eigenen Folge-Setup. Es lief selten in Schleifen, daher waren seine Fehler gewöhnliche falsche Arithmetik und ungültige Algebra. Astra versuchte erneut gezielte Gewichtsänderungen mit Übungsfeedback. Keine verschob die Mathepunktzahl um mehr als etwa einen Punkt, und ein Gewinn wurde nicht festgestellt. Die erfolgreiche Qwen-Reparatur hatte ein Hindernis zu beseitigen. Gemmas Rechenfehler blieben bestehen. Das ist die nützliche Frage für Entwickler. 4:28 Welchen Fehler hat die Bearbeitung behoben, und hat Ihr Modell diesen Fehler tatsächlich? Testen Sie die gespeicherten Gewichte an Ihren eigenen Aufgaben, bevor Sie den Multiplikator feiern. Ein repariertes Nadelöhr kann enorm wichtig sein, während das nächste Nadelöhr genau dort bleibt, wo es war. Wenn Sie dies lieber lesen als mich sprechen zu hören, landet der Diff jeden Morgen kostenlos in Ihrem Posteingang unter thedailydiff.dev, Link unten. ### Würde ich die Behauptung zur Gewichtsänderung freigeben? 4:47 Das heutige Urteil lautet also NEEDS REVIEW. Ich würde die Schleifenreparatur ernst nehmen und testen. Breitere Behauptungen würde ich vom Erfolg über diesen Fehlermodus hinaus abhängig machen. Das eigene Gegenbeispiel der Autoren ist die nützlichste Zeile im Diff. Und das ist der Diff für heute. Ich bin Niko von Axrisi. Verantwortungsvoll zusammenführen. ## Quellen - [Weight-space programming study](https://rikiyat.github.io/blog/weight-space-programming/) — Rikiya Takehi and coauthors - [November 3 critique of bundled experiment conditions](https://honnibal.dev/blog/astra-read-write-misleading) — Matthew Honnibal - [Pinned Qwen protocol and exact weight edits](https://github.com/RikiyaT/lm_understand-logs/tree/4d09ba6d6a7e891dd8063974dfe81b3d78e3494f/exp8_math) — Rikiya Takehi and coauthors - [Actual initial Qwen prompt](https://github.com/RikiyaT/lm_understand-logs/blob/4d09ba6d6a7e891dd8063974dfe81b3d78e3494f/exp8_math/runs/p50c/turns/t001/prompt.txt) — Rikiya Takehi and coauthors - [Pinned smaller Gemma follow-up](https://github.com/RikiyaT/lm_understand-logs/tree/4d09ba6d6a7e891dd8063974dfe81b3d78e3494f/exp8_math/gemma_followup) — Rikiya Takehi and coauthors - [Original model-card thinking-loop warning](https://huggingface.co/Qwen/Qwen3.5-0.8B/blob/main/README.md) — Qwen - [Primary study discussion](https://news.ycombinator.com/item?id=50341174) — Hacker News - [Critique discussion](https://news.ycombinator.com/item?id=50351111) — Hacker News - [Cover portrait: Sam Altman, TechCrunch 2019 crop, CC BY 2.0; cropped, background removed, resized and flipped; no endorsement](https://commons.wikimedia.org/wiki/File:Sam_Altman_TechCrunch_SF_2019_Day_2_Oct_3_%28cropped%29.jpg) — Steve Jennings/Getty Images for TechCrunch via Wikimedia Commons - [Released checkpoint and attributed external re-run](https://huggingface.co/RikiyaT/Qwen3.5-0.8B-weight-space-programming) — RikiyaT on Hugging Face; re-run credited to akhaliq - [Portrait license: Creative Commons Attribution 2.0](https://creativecommons.org/licenses/by/2.0/) — Creative Commons; Steve Jennings/Getty Images for TechCrunch portrait credit above