GPT-6 Astra修補了另一個AI的無盡思考

本影片重點

• 報導中Qwen分數的提高來自於對重複推理的有針對性修復；在大約三分之一的編輯答案中，在主要協議中仍然達到了長度上限。
• 不允許梯度訓練，但在多個回合中允許Python、練習答案和批次模型運行回饋。最終評估問題被聲明為保留。
• 小型原始權重和無展開遊戲實驗使用了不同的條件。它們的聲明應保留其個別工具、輸入和基準範圍。
• Matthew Honnibal稱讚了工具輔助工程，並質疑將實驗捆綁在一起所產生的更廣泛印象。
• 較小的Gemma後續研究使用了自己的設置，未能確立改進。在將權重編輯應用於另一個模型之前，請測試該權重編輯修復了哪種故障。

翻譯文字稿

譯自英文原版旁白。可用的音訊和字幕由 YouTube 控制。

為什麼數學分數會跳升？

0:00 一個AI讓另一個AI聰明六倍，聽起來像是即時的 天才。Astra的大幅分數躍升來自於幫助Qwen完成它一直 重複的答案。在這個影片中，有什麼變化？ Astra得到了什麼幫助？ 這個修復能走多遠？ Qwen從大約百分之八上升到百分之四十八。 研究人員嘗試了第二個幾乎沒有循環的模型。 我們會在判斷之前看看結果如何。

0:22 今天是11月3日星期二，這裡是The Daily Diff。 權重空間程式設計是研究人員對 要求AI檢查或 編寫神經網路內部數字的稱呼。 這些數字就是它的權重。 這個與麻省理工學院相關的團隊使用OpenAI的GPT六 Astra來編輯一個小型 Qwen語言模型，禁止普通的訓練。 Rikiya Takehi和他的共同作者於週一發表了這項研究，

0:44 詢問現有的AI是否可以推斷另一個網路的內部結構。 他們頭條新聞的結果非常引人注目。 在數學五百上，Qwen從大約百分之八上升到百分之四十八。 正確答案幾乎是六倍。 Qwen一直思考，直到它沒有空間回答為止。

Qwen哪裡出錯了？

1:00 在思考模式中，它經常重複其推理。 想像一個學生填滿考卷，直到鈴聲響起。 閱卷者仍然需要一個答案。 大多數原始答案都達到了長度限制。 Astra在兩個內部層中找到了重複方向， 然後從選定的權重列中移除了其貢獻。 經過該編輯後，更多的答案達到了結論。 在大約三分之一的報導測試中，仍然達到上限。

1:22 考卷終於有了最後一行。 今天，spaCy的創建者和Explosion的共同創始人Matthew Honnibal，

今天的批評家爭論什麼？

1:28 質疑了這個呈現方式。 他說讀者可以將實驗的不同條件結合起來，形成一種 對一種非凡技術的印象。 他的異議涉及它們結合在一起的故事。 我們可以自己檢查條件。 Qwen實驗給了Astra一個Python筆記本，其中包含權重和練習

Astra實際得到了什麼幫助？

1:44 帶有答案的問題。 在許多回合中，它檢查了內部激活，並比較了原始和 編輯後的版本。最終的預算允許五十批模型運行。 每個生成批次可以包含數百個答案。 練習資料來自訓練拆分。 研究人員表示，Astra從未看到最終的評估集。 回饋有助於選擇編輯；事後用保留問題來衡量。 抽樣設置在原始Qwen和編輯後Qwen之間保持固定，

2:09 使該協議的分數比較可解釋。 第一個提示給了它一個樂於助人的實驗室主管。 診斷故障，找到負責的組件， 在相同的問題上進行比較，並測試幾種優點。 它明確提及重複思考是一種算數的修復。 研究生應該爭取這個入職套餐。 這是一個令人印象深刻的修復。

實際修復有多小？

2:28 Astra的有針對性編輯大約觸及了十三萬一千個權重。 這約佔模型的萬分之十六。 權重文件直接更改。 梯度訓練仍然被禁止；現有模型在 Astra的編輯會話結束後進行回答。 這種增益也達到了指令遵循。 我喜歡這種實際的意義。 一個模型可以擁有有用的工作，而它的故障模式卻一直將其掩蓋。

2:48 修復該故障可以恢復可用的答案。 完成很重要。Honnibal將工具輔助工作歸功於執行 人類機器學習工程師可以完成的任務。 這對一個代理來說是有影響的。 他的抱怨是，當將小的原始數字演示和較大的 Python輔助修復捆綁在一起時，會導致更廣泛的結論。 以微小的遊戲網路為例。

哪些實驗真的沒有工具？

3:09 在一個實驗中，Astra讀取了它們的原始數字，並正確識別出每個 網路學習了哪個遊戲。 禁止使用工具。 在另一個實驗中，它從頭開始使用規則和 原始碼編寫了新的遊戲權重，沒有練習展開。 這些是獨立的演示，具有獨立的證據。 Astra的網路在所有三個遊戲中都擊敗了經過一億步訓練的基準。 與訓練時間更長的基準相比，它在Seaquest和

3:32 Asterix中失敗，但在Breakout中獲勝。 更改比較欄，勝利演說需要編輯。 巧合的是，編輯是今天的主題。 對於更廣泛的主張，我們希望在具有不同故障的模型中看到改進。

更廣泛的主張需要什麼？

3:44 追蹤編輯器看到了什麼，以及什麼被視為成功。 Qwen的模型卡已經警告了思考循環。 移除這個已知障礙有一個特定的起點。 值得稱讚的是，作者自己發表了令人不安的後續研究。 他們解釋說，停止循環讓Qwen完成它已經可以解決的答案。 他們的日誌包括提示、回饋和編輯。 我們可以檢視這項成就，並提出一個更難的問題。

很少循環的模型發生了什麼？

4:06 現在是第二個模型，一個較小的Gemma，在它自己的後續設置中。 它很少循環，因此它的故障是普通的錯誤算術和無效 代數。Astra再次嘗試了有針對性的權重編輯和練習回饋。 沒有一個將其數學分數移動超過大約一點， 也沒有確立增益。 成功的Qwen修復有一個障礙需要移除。 Gemma的算術錯誤依然存在。 這對開發人員來說是一個有用的問題。

4:28 編輯修復了哪個故障，以及您的模型實際上是否存在該故障？ 在慶祝倍數之前，請在您自己的任務上測試保存的權重。 修復後的瓶頸可能非常重要，而下一個瓶頸仍然 完全在原處。 如果您寧願閱讀而不是聽我說，The Daily Diff每天早上都會免費發送到您的收件箱。 網址是thedailydiff.dev，連結如下。

我會推廣權重編輯的主張嗎？

4:47 所以，今天的判決是NEED REVIEW。 我會認真對待循環修復並進行測試。 我會將更廣泛的主張建立在超越該故障模式的成功基礎上。 作者自己的反例是diff中最有用的一行。 這就是今天的diff。 我是來自Axrisi的Niko。 負責任地合併。

來源

1. Weight-space programming studyRikiya Takehi and coauthors
2. November 3 critique of bundled experiment conditionsMatthew Honnibal
3. Pinned Qwen protocol and exact weight editsRikiya Takehi and coauthors
4. Actual initial Qwen promptRikiya Takehi and coauthors
5. Pinned smaller Gemma follow-upRikiya Takehi and coauthors
6. Original model-card thinking-loop warningQwen
7. Primary study discussionHacker News
8. Critique discussionHacker News
9. Cover portrait: Sam Altman, TechCrunch 2019 crop, CC BY 2.0; cropped, background removed, resized and flipped; no endorsementSteve Jennings/Getty Images for TechCrunch via Wikimedia Commons
10. Released checkpoint and attributed external re-runRikiyaT on Hugging Face; re-run credited to akhaliq
11. Portrait license: Creative Commons Attribution 2.0Creative Commons; Steve Jennings/Getty Images for TechCrunch portrait credit above