GPT-6 Astra 修補了另一個 AI 的無限思考
一項麻省理工學院相關研究使用 GPT-6 Astra 編輯了一個小型 Qwen 模型的權重，並幫助更多答案完成。
一項麻省理工學院相關研究使用 GPT-6 Astra 編輯了一個小型 Qwen 模型的權重，並幫助更多答案完成。其報告的數學分數躍升取決於有針對性的循環修復、Python 分析和實踐反饋。一項獨立的較小 Gemma 後續研究沒有發現既定收益。
本影片涵蓋的內容
- 所報告的 Qwen 分數增加來自於對重複推理的有針對性修復；在大約三分之一的編輯答案中，在主要協議中仍然達到了長度上限。
- 梯度訓練被禁止，而 Python、練習答案和分批模型運行反饋則允許在許多輪次中進行。最終評估問題被聲明為保留。
- 小型原始權重和無推出遊戲實驗使用了不同的條件。它們的主張應保留其各自的工具、輸入和基準範圍。
- Matthew Honnibal 讚揚了工具輔助工程，並質疑捆綁實驗所產生的更廣泛印象。
- 較小的 Gemma 後續研究使用了其自身的設置，但未能建立改進。在將權重編輯應用於另一個模型之前，請測試其修復了哪個故障。
問題與解答
Astra 改變了什麼以提高 Qwen 報告的數學分數？
根據 Rikiya Takehi 及其合著者進行的研究，Astra 進行了有針對性的權重編輯，幫助 Qwen 完成了更多答案。它從內部層的選定列中移除了與重複相關的貢獻。報告的數學分數增加使用了固定的評估協議。許多已編輯的答案仍然達到了長度上限，因此結果保留了相當大的殘餘故障率。
在 Qwen 權重編輯期間允許使用哪些工具和反饋？
在多個回合中，允許進行 Python 分析、帶有答案的練習問題以及批次模型運行反饋。研究人員實際的初始提示禁止梯度訓練，並指定了診斷和因果測試建議，包括將重複思考修復作為合格目標。這種支持幫助 Astra 選擇了對現有權重的直接編輯。一個預算單位可以包含數百個生成的答案。
最終評估問題是否可供編輯模型使用？
研究人員表示，最終評估集未被 Astra 看到。練習反饋來自訓練分割問題，並有助於選擇編輯；隨後由單獨的保留問題測量提交的模型。初始提示披露了基準名稱和評估協議。這種區別描述了被隱藏的內容，而不是聲稱編輯器缺乏有關任務的所有信息。
在較小的 Gemma 權重編輯後續研究中發生了什麼？
根據 Rikiya Takehi 及其合著者，較小的 Gemma 後續研究未能建立收益。該模型很少循環，其故障包括錯誤算術和無效代數。有針對性的編輯與練習反饋最多將報告的數學分數移動了大約一個點。它使用了單獨的設置，因此比較提供了一個範圍內的反例，而不是一個等效控制的消融。
The Daily Diff 對權重編輯主張的判決是什麼？
The Daily Diff 的判決是 NEEDS REVIEW。Niko 會認真對待有針對性的循環修復並進行測試，同時將更廣泛的主張建立在超越該故障模式的成功基礎上。研究人員自己的小型模型反例為該判斷提供了依據。開發人員在慶祝報告的乘數之前，應確定編輯修復了哪個故障，並在自己的任務上評估保存的權重。
翻譯的文字記錄
從英文原文旁白翻譯。可用的音頻和字幕由 YouTube 控制。
為何數學分數會跳升？
0:00 一個 AI 讓另一個 AI 聰明六倍，聽起來像是即時的 天才。Astra 的巨大分數躍升來自於幫助 Qwen 完成它一直在 重複的答案。在這段影片中，什麼改變了？ Astra 得到了什麼幫助？ 以及修復的範圍有多廣？ Qwen 從大約八個百分點上升到四十八個百分點。 研究人員嘗試了第二個幾乎沒有循環的模型。 我們會在判決前看看結果如何。
0:22 今天是十一月三日星期二，這是 The Daily Diff。 權重空間編程是研究人員的名稱， 指的是要求 AI 檢查或 寫入神經網絡中的數字。 這些數字就是它的權重。 這個麻省理工學院相關團隊使用 OpenAI 的 GPT-6 Astra 編輯了一個小型 Qwen 語言模型，禁止普通訓練。 Rikiya Takehi 和他的合著者於週一發表了這項研究，
0:44 詢問現有 AI 是否可以推理另一個網絡的內部。 他們的主要結果非常引人注目。 在數學五百中，Qwen 從大約八個百分點上升到四十八個百分點。 正確答案幾乎是六倍。 Qwen 不斷思考，直到用盡了回答的空間。
Qwen 到底做錯了什麼？
1:00 在思考模式下，它經常重複其推理。 想像一個學生用答卷填滿了考卷，直到鈴聲響起。 閱卷員仍然需要一個答案。 大多數原始答案都達到了長度限制。 Astra 在兩個內部層中找到了一個重複方向， 然後從選定的權重列中移除了其貢獻。 經過編輯後，更多答案達到了結論。 在報告的測試中，大約三分之一的答案仍然達到了上限。
1:22 考卷終於寫完了最後一行。 今天，spaCy 的創建者兼 Explosion 的聯合創始人 Matthew Honnibal，
今天的評論家質疑什麼？
1:28 質疑了這個呈現方式。 他說讀者可以將實驗的不同條件結合起來，形成一個 對一項非凡技術的印象。 他的異議涉及到它們的綜合故事。 我們可以自己檢查這些條件。 Qwen 實驗為 Astra 提供了一個 Python 筆記本，其中包含權重和練習
Astra 實際獲得了什麼幫助？
1:44 帶有答案的問題。 在許多輪次中，它檢查了內部激活，並比較了原始和 編輯版本。最終預算允許五十批模型運行。 每個生成批次可能包含數百個答案。 練習數據來自訓練分割。 研究人員表示 Astra 從未見過最終評估集。 反饋有助於選擇編輯；事後則使用保留問題進行測量。 原始和編輯後的 Qwen 之間的抽樣設置保持不變，
2:09 使此協議的分數比較可解釋。 第一個提示給了它一位有用的實驗室主管。 診斷故障，找到負責的組件， 在相同的問題上進行比較，並測試幾種強度。 它明確提到重複思考是一種算數的修復。 研究生應該協商這個入職套餐。 這是一個令人印象深刻的修復。
實際修復的規模有多小？
2:28 Astra 有針對性的編輯觸及了大約十三萬一千個權重。 這約佔模型的萬分之十六。 權重文件直接更改。 梯度訓練仍然被禁止；現有模型在 Astra 的編輯會話結束後進行回答。 收益也擴展到指令遵循。 我喜歡這種實際的意義。 一個模型可能擁有有用的工作，但其失敗模式一直將其掩埋。
2:48 修復該故障可以恢復可用的答案。 完成才算數。Honnibal 將工具輔助工作歸功於執行 人類機器學習工程師可以完成的任務。 這對一個代理人來說意義重大。 他的抱怨是，當捆綁在一起時，小的原始數字演示和較大的 Python 輔助修復會引發更廣泛的結論。 以微型遊戲網絡為例。
哪些實驗真的沒有工具？
3:09 在一個實驗中，Astra 讀取了它們的原始數字，並正確識別了每個網絡 學習了哪個遊戲。 工具被禁止。 在另一個實驗中，它使用規則和源代碼從頭開始編寫了新的遊戲權重， 沒有練習推出。 這些是具有獨立證據的獨立演示。 Astra 的網絡在所有三個遊戲中都擊敗了經過一億步訓練的基準線。 與訓練時間更長的基準線相比，它在 Seaquest 和 Asterix 中失利，
3:32 但在 Breakout 中獲勝。 更改比較列，勝利演講就需要編輯。 巧合的是，編輯是今天的主題。 對於更廣泛的主張，我們希望看到不同模型的改進，
更廣泛的主張需要什麼？
3:44 追踪編輯器看到了什麼以及什麼算作成功。 Qwen 的模型卡已經警告了思考循環。 移除這個已知障礙有一個特定的起點。 值得稱讚的是，作者們自己發布了令人不安的後續內容。 他們解釋說，停止循環讓 Qwen 能夠完成它已經能夠解決的答案。 他們的日誌包括提示、反饋和編輯。 我們可以檢視這項成就，並提出一個更難的問題。
很少循環的模型發生了什麼？
4:06 現在是第二個模型，一個較小的 Gemma 在其自己的後續設置中。 它很少循環，所以它的故障是普通的錯誤算術和無效代數。 Astra 再次嘗試了有針對性的權重編輯和練習反饋。 沒有一個將其數學分數移動超過約一個點， 並且沒有建立收益。 成功的 Qwen 修復有一個障礙需要移除。 Gemma 的算術錯誤仍然存在。 這就是對開發人員有用的問題。
4:28 編輯修復了哪個故障，您的模型是否確實存在該故障？ 在慶祝乘數之前，先在您自己的任務上測試保存的權重。 修復後的瓶頸可能非常重要，而下一個瓶頸仍然 原封不動。 如果您寧願閱讀而不是聽我說，那麼 The Daily Diff 會每天早上免費發送到您的收件箱， 網址是 thedailydiff.dev，連結在下方。
我會發布權重編輯的主張嗎？
4:47 所以，今天的判決是 NEEDS REVIEW。 我會認真對待循環修復並進行測試。 我會將更廣泛的主張建立在超越該故障模式的成功基礎上。 作者自己的反例是差異中最有用的一句話。 這就是今天的差異。 我是 Axrisi 的 Niko。 負責任地合併。
來源
- Weight-space programming studyRikiya Takehi and coauthors
- November 3 critique of bundled experiment conditionsMatthew Honnibal
- Pinned Qwen protocol and exact weight editsRikiya Takehi and coauthors
- Actual initial Qwen promptRikiya Takehi and coauthors
- Pinned smaller Gemma follow-upRikiya Takehi and coauthors
- Original model-card thinking-loop warningQwen
- Primary study discussionHacker News
- Critique discussionHacker News
- Cover portrait: Sam Altman, TechCrunch 2019 crop, CC BY 2.0; cropped, background removed, resized and flipped; no endorsementSteve Jennings/Getty Images for TechCrunch via Wikimedia Commons
- Released checkpoint and attributed external re-runRikiyaT on Hugging Face; re-run credited to akhaliq
- Portrait license: Creative Commons Attribution 2.0Creative Commons; Steve Jennings/Getty Images for TechCrunch portrait credit above
.jpg){kind=link}