GPT-6 Astra修补了另一个AI的无尽思考

本视频涵盖的内容

• 报告的Qwen分数增加来自于对重复推理的有针对性修复；在主要协议中，约三分之一的编辑答案仍然达到长度上限。
• 禁止梯度训练，但在许多轮次中允许使用Python、实践答案和批量模型运行反馈。最终评估问题被声明为保留问题。
• 小型原始权重和无推广游戏实验使用了不同的条件。它们的声明应保留其各自的工具、输入和基线范围。
• Matthew Honnibal认可工具辅助工程，并对捆绑实验所产生的更广泛印象提出异议。
• 较小的Gemma后续研究使用了其自己的设置，未能确定改进。在将权重编辑应用于另一个模型之前，请测试其修复了哪种故障。

翻译的文字记录

译自英文原版旁白。可用音频和字幕由 YouTube 控制。

为什么数学分数会跳跃？

0:00 一个AI让另一个AI聪明六倍听起来像是即时 天才。Astra的巨大分数跃升来自于帮助Qwen完成它一直在 重复的答案。在这个视频中，什么改变了？ Astra得到了什么帮助？ 以及修复能传播多远？ Qwen从大约8%上升到48%。 研究人员尝试了第二个模型，几乎没有循环。 我们将在判决前看看进展如何。

0:22 今天是11月3日星期二，这里是The Daily Diff。 权重空间编程是研究人员的名称 用于要求AI检查或 写入神经网络内部的数字。 这些数字是它的权重。 这个麻省理工学院附属的团队使用OpenAI的GPT-6 Astra来编辑一个小型 Qwen语言模型，禁止普通训练。 Rikiya Takehi和他的合著者周一发表了这项研究，

0:44 询问现有AI是否能推理另一个网络的内部结构。 他们的头条结果非常引人注目。 在数学500分中，Qwen从大约8%上升到48%。 正确答案的数量几乎是原来的六倍。 Qwen一直思考，直到它没有空间回答。

Qwen出了什么问题？

1:00 在思考模式下，它经常重复其推理。 想象一个学生在铃声响起前，用解题过程填满了考卷。 批改人仍然需要一个答案。 大多数原始答案都达到了长度限制。 Astra在两个内部层中定位了一个重复方向， 然后从选定的权重列中移除了其贡献。 经过这次编辑，更多的答案得出了结论。 在报告的测试中，大约三分之一的答案仍然达到了上限。

1:22 考卷最终有了最后一行。 今天，spaCy的创始人兼Explosion的联合创始人Matthew Honnibal，

今天的评论员争议什么？

1:28 对展示方式提出了质疑。 他说读者可以将实验的不同条件结合起来，形成 一种非凡技术的印象。 他的异议涉及到它们的组合故事。 我们可以自己检查条件。 Qwen实验给Astra一个Python笔记本，其中包含权重和带答案的练习

Astra实际得到了什么帮助？

1:44 问题。 在许多轮次中，它检查了内部激活，并比较了原始和 编辑版本。最终预算允许进行五十批模型运行。 每个生成批次可能包含数百个答案。 练习数据来自训练集。 研究人员表示，Astra从未见过最终评估集。 反馈有助于选择编辑；随后用保留问题进行测量。 原始和编辑的Qwen之间的采样设置保持不变，

2:09 使得此协议的分数比较可解释。 第一个提示给了它一个乐于助人的实验室主管。 诊断故障，找到负责的组件， 在相同问题上进行比较，并测试几种强度。 它明确提及重复思考是一种有效的修复方法。 研究生应该争取这个入职套餐。 这是一项令人印象深刻的修复。

实际修复有多小？

2:28 Astra的有针对性编辑触及了大约13.1万个权重。 这大约是模型的百分之零点零一六。 权重文件直接更改。 禁止梯度训练；Astra的编辑会话结束后，现有模型进行回答。 Astra的编辑会话结束后，现有模型进行了回答。 增益也达到了指令遵循。 我喜欢这种实际意义。 一个模型可能拥有有用的工作，但其故障模式会不断掩盖它。

2:48 修复该故障可以恢复可用的答案。 完成才算数。Honnibal认为工具辅助工作值得称赞，它完成了 人类机器学习工程师可以完成的任务。 这对一个智能体来说意义重大。 他的抱怨是，小型原始数字演示和大型 Python辅助修复在捆绑在一起时会引起更广泛的结论。 以小游戏网络为例。

哪些实验真正没有工具？

3:09 在一个实验中，Astra读取了它们的原始数字，并正确识别了每个网络学到了 哪种游戏。 禁止使用工具。 在另一个实验中，它使用规则和源代码从头开始编写了新的游戏玩法权重， 没有实践推广。 这些是具有独立证据的独立演示。 Astra的网络在所有三款游戏中都击败了经过一亿步训练的基线。 与训练时间更长的基线相比，它在《海洋任务》和

3:32 《小行星》中失利，而在《打砖块》中获胜。 改变比较列，胜利演说需要编辑。 巧合的是，编辑是今天的话题。 对于更广泛的声明，我们希望在具有不同故障的模型中实现改进。

更普遍的声明需要什么？

3:44 跟踪编辑器看到的内容以及什么被认为是成功。 Qwen的模型卡已经警告了思考循环。 移除这个已知障碍有一个特定的起点。 值得称赞的是，作者们自己发布了令人不安的后续内容。 他们解释说，停止循环让Qwen能够完成它已经能解决的答案。 他们的日志包括提示、反馈和编辑。 我们可以审视这项成就，并提出一个更难的问题。

很少循环的模型发生了什么？

4:06 现在是第二个模型，一个较小的Gemma，有其自己的后续设置。 它很少循环，因此它的故障是普通的错误算术和无效 代数。Astra再次尝试了有针对性的权重编辑和实践反馈。 没有任何一项将其数学分数提高超过大约一点， 并且没有确立增益。 成功的Qwen修复有一个障碍要移除。 Gemma的算术错误仍然存在。 这对于开发者来说是一个有用的问题。

4:28 编辑修复了哪个故障，您的模型是否真的存在该故障？ 在庆祝乘数之前，请在您自己的任务上测试保存的权重。 修复后的瓶颈可能非常重要，而下一个瓶颈仍 然原封不动。 如果您更喜欢阅读而不是听我讲，The Daily Diff每天早上都会免费发送到您的收件箱， 网址是thedailydiff.dev，链接如下。

我是否会认可权重编辑的说法？

4:47 所以，今天的判决是NEEDS REVIEW。 我会认真对待循环修复并进行测试。 我会将更广泛的声明限制在该故障模式之外的成功。 作者自己的反例是diff中最有用的一行。 这就是今天的diff。 我是Axrisi的Niko。 负责任地合并。

来源

1. Weight-space programming studyRikiya Takehi and coauthors
2. November 3 critique of bundled experiment conditionsMatthew Honnibal
3. Pinned Qwen protocol and exact weight editsRikiya Takehi and coauthors
4. Actual initial Qwen promptRikiya Takehi and coauthors
5. Pinned smaller Gemma follow-upRikiya Takehi and coauthors
6. Original model-card thinking-loop warningQwen
7. Primary study discussionHacker News
8. Critique discussionHacker News
9. Cover portrait: Sam Altman, TechCrunch 2019 crop, CC BY 2.0; cropped, background removed, resized and flipped; no endorsementSteve Jennings/Getty Images for TechCrunch via Wikimedia Commons
10. Released checkpoint and attributed external re-runRikiyaT on Hugging Face; re-run credited to akhaliq
11. Portrait license: Creative Commons Attribution 2.0Creative Commons; Steve Jennings/Getty Images for TechCrunch portrait credit above