GPT-6 Astraが別のAIの無限思考を修正
MIT関連の研究で、GPT-6 Astraが小さなQwenモデルの重みを編集し、より多くの回答が完了するのを助けました。
MIT関連の研究で、GPT-6 Astraが小さなQwenモデルの重みを編集し、より多くの回答が完了するのを助けました。報告された数学スコアの向上は、対象を絞ったループ修復、Python分析、および練習フィードバックに依存していました。別のより小さなGemmaの追跡調査では、確立された利益は見られませんでした。
この動画の要点
- 報告されたQwenのスコア上昇は、反復的な推論に対する対象を絞った修復によるものでした。主要なプロトコルでは、編集された回答の約3分の1がまだ長さ制限に達していました。
- 勾配学習は禁止されていましたが、Python、練習回答、およびバッチ処理されたモデル実行フィードバックは、何度も許可されました。最終的な評価問題は、ソースで保留されたと宣言されています。
- 小さな生の重みとロールアウトなしのゲーム実験では、異なる条件が使用されました。それらの主張は、個々のツール、入力、およびベースラインの範囲を保持する必要があります。
- Matthew Honnibalはツール支援によるエンジニアリングを評価し、実験をまとめて生み出された広範な印象に異議を唱えています。
- より小さなGemmaの追跡調査は独自のセットアップを使用し、改善を確立できませんでした。あるモデルに重み編集を適用する前に、それがどの失敗を修復するかをテストしてください。
質疑応答
Qwenの報告された数学スコアを向上させるために、Astraは何を変更しましたか？
Rikiya Takehiと共著者による研究によると、AstraはQwenがより多くの回答を完了できるようにする、対象を絞った重み編集を行いました。これは、内部層の選択された列から繰り返しに関連する寄与を除去しました。報告された数学スコアの増加は、固定された評価プロトコルを使用しました。多くの編集された回答はまだ長さ制限に達しており、結果はかなりの残存失敗率を保持しています。
Qwenの重み編集中にどのようなツールとフィードバックが許可されましたか？
Python分析、回答付きの練習問題、およびバッチ処理されたモデル実行フィードバックが、何度も許可されました。研究者たちの実際の最初のプロンプトは勾配学習を禁止し、診断および因果関係テストのアドバイス、繰り返し思考の修復を対象として含めていました。このサポートは、Astraが既存の重みへの直接編集を選択するのに役立ちました。予算単位には数百の生成された回答が含まれる可能性がありました。
最終的な評価問題は編集モデルに利用可能でしたか？
研究者たちは、最終的な評価セットはAstraには見られなかったと述べています。練習フィードバックはトレーニングスプリットの問題から得られ、編集の選択に役立ちました。別の保留された問題が、提出されたモデルをその後測定しました。最初のプロンプトはベンチマーク名と評価プロトコルを開示していました。この区別は、エディターがタスクに関するすべての情報を欠いていたと主張することなく、何が保留されたかを説明しています。
より小さなGemmaの重み編集の追跡調査では何が起こりましたか？
Rikiya Takehiと共著者によると、より小さなGemmaの追跡調査では利益を確立できませんでした。モデルはほとんどループせず、その失敗には誤った算術と無効な代数が含まれていました。練習フィードバックを伴う対象を絞った編集は、報告された数学のスコアを最大で約1点動かしただけでした。それは別のセットアップを使用していたため、比較は、等しく制御されたアブレーションではなく、範囲を限定した反例を提供します。
重み編集の主張に対するThe Daily Diffの評決は何でしたか？
The Daily Diffの評決はNEEDS REVIEWでした。Nikoは対象を絞ったループ修復を真剣に受け止め、それをテストする一方で、より広範な主張はその失敗モードを超えた成功に限定します。研究者自身のより小さなモデルの反例がその判断を裏付けています。開発者は、編集が修復する失敗を特定し、報告された乗数を祝う前に、保存された重みを自分のタスクで評価する必要があります。
翻訳されたトランスクリプト
オリジナルの英語ナレーションから翻訳されています。利用可能なオーディオとキャプションはYouTubeによって管理されています。
なぜ数学のスコアが跳ね上がったのか？
0:00 AIが別のAIを6倍賢くするという話は、一瞬にして 天才的な話に聞こえます。Astraの大きなスコア上昇は、Qwenが繰り返し続けていた回答を 完了させるのを助けたことから来ています。このビデオでは、何が変わったのでしょうか？ Astraはどんな助けを得たのでしょうか？ そして、その修正はどこまで波及するのでしょうか？ Qwenは約8パーセントから48パーセントに上昇しました。 研究者たちは、ほとんどループがない2番目のモデルを試しました。 その結果がどうだったか、評決の前に見ていきましょう。
0:22 11月3日火曜日、The Daily Diffです。 ウェイトスペースプログラミングは、AIにニューラルネットワーク内部の数字を検査または 記述するように依頼するための研究者たちの名前です。 それらの数字は重みです。 その数字が重みです。 このMIT関連チームは、OpenAIのGPT-6 Astraを使用して、小さなQwen言語モデルを編集しました。 通常のトレーニングは禁止されていました。 Rikiya Takehiと彼の共著者たちは月曜日にこの研究を発表し、
0:44 既存のAIが別のネットワークの内部について推論できるかどうかを問いかけました。 彼らの見出しの結果は非常にクリックしやすいものです。 数学500では、Qwenは約8パーセントから48パーセントに上昇しました。 正解が約6倍になりました。 Qwenは、回答するスペースがなくなるまで考え続けました。
Qwenは何を間違っていたのか？
1:00 思考モードでは、しばしばその推論を繰り返しました。 試験用紙が鐘が鳴るまで作業で埋め尽くされている学生を想像してみてください。 採点者はまだ回答を必要としています。 ほとんどの元の回答は長さ制限に達しました。 Astraは、2つの内部層で繰り返し方向を特定し、 選択された重み列からその寄与を除去しました。 その編集後、より多くの回答が結論に達しました。 報告されたテストでは、約3分の1がまだ上限に達しました。
1:22 試験用紙にはついに最後の行が書かれました。 今日、spaCyの作成者でありExplosionの共同創設者であるMatthew Honnibalが、
今日の批評家は何に異議を唱えているのか？
1:28 その発表に異議を唱えました。 彼は、読者が実験の異なる条件を組み合わせて、 1つの並外れた技術という印象を受け取ってしまう可能性があると言います。 彼の異議は、それらの結合された話に関するものです。 私たちは自分たちで条件を確認することができます。 Qwenの実験では、Astraに重みに対するPythonノートブックと、回答付きの練習問題を
Astraは実際にどのような助けを得たのか？
1:44 与えました。 多くのターンにわたって、内部のアクティベーションを検査し、元のバージョンと 編集されたバージョンを比較しました。最終的な予算では、50バッチのモデル実行が許可されました。 各生成バッチには数百の回答が含まれる可能性があります。 練習データはトレーニングスプリットから得られました。 研究者たちは、Astraが最終的な評価セットを見たことは一度もないと言っています。 フィードバックは編集の選択に役立ち、保留された問題はその後それを測定しました。 サンプリング設定は、元のQwenと編集されたQwenの間で固定されたままであり、
2:09 このプロトコルのスコア比較は解釈可能です。 最初のプロンプトでは、Astraに親切な研究室の監督者を与えました。 失敗を診断し、原因となるコンポーネントを見つけ、 同じ問題で比較し、いくつかの強度をテストします。 反復思考がカウントされる修正であると明示的に述べられています。 大学院生はこのオンボーディングパッケージの交渉をすべきです。 それは印象的な修復です。
実際の修正はどのくらい小さかったのか？
2:28 Astraのターゲットを絞った編集は、約13万1千個の重みに触れました。 これはモデルの約0.016パーセントです。 重みファイルは直接変更されました。 勾配学習は禁止されたままで、Astraの編集セッション終了後も既存のモデルが回答を行いました。 Astraの編集セッション終了後、既存のモデルが回答を行いました。 その利益は指示の追跡にも及びました。 実用的な意味合いが良いですね。 モデルは、その失敗モードによって埋もれてしまう有用な作業を所有している可能性があります。
2:48 その失敗を修正することで、使用可能な回答を回復することができます。 完了することが重要です。Honnibalは、ツール支援の作業が人間の機械学習エンジニアが実行できるタスクを実行していると評価しています。 Honnibalは、ツール支援の作業が人間の機械学習エンジニアが行える作業であると評価しています。 それはエージェントにとって重大なことです。 彼の不満は、小さな生数によるデモンストレーションと、より大きなPython支援による修正が、 一緒にまとめられると、より広範な結論を招くという点です。 小さなゲームネットワークを取り上げてみましょう。
本当にツールがなかった実験はどれか？
3:09 ある実験では、Astraがその生数を読み取り、各ネットワークがどのゲームを学習したかを 正しく識別しました。 ツールは禁止されていました。 別の実験では、ルールとソースコードを使用して、新しいゲームプレイの重みをゼロから書き出し、 練習のロールアウトは行いませんでした。 これらは別々の証拠を持つ別々のデモンストレーションです。 Astraのネットワークは、3つのゲームすべてで1億ステップ学習したベースラインを上回りました。 より長く学習したベースラインに対しては、シークエストとアステリックスでは負けましたが、
3:32 ブレイクアウトでは勝ちました。 比較対象の列を変更すると、勝利演説を編集する必要があります。 都合の良いことに、編集が今日のトピックです。 より広範な主張をするためには、異なる失敗を持つモデル全体での改善が必要です。
より一般的な主張には何が必要か？
3:44 エディターが見たものと、成功と見なされたものを追跡します。 Qwenのモデルカードはすでに思考ループについて警告しています。 この既知の障害を取り除くことには、特定の出発点があります。 彼らの功績として、著者たちは不快な追跡調査を自ら発表しています。 彼らは、ループを停止させることでQwenがすでに解き明かせた回答を完了できると説明しています。 彼らのログには、プロンプト、フィードバック、および編集が含まれています。 私たちはその成果を検討し、より難しい質問をすることができます。
ループがほとんどなかったモデルはどうなったのか？
4:06 次に、2番目のモデル、独自の追跡調査設定におけるより小さなGemmaです。 それはほとんどループせず、その失敗は通常の誤った算術と無効な代数でした。 Astraは、練習フィードバックを用いて、対象を絞った重み編集を再度試みました。 そのどれも、数学のスコアを約1点以上動かすことはなく、 利益は確立されませんでした。 成功したQwenの修復には、取り除くべき障害がありました。 Gemmaの算術エラーは残っていました。 それが開発者にとって有用な質問です。
4:28 編集がどの失敗を修復したのか、そしてあなたのモデルは実際にそれを持っているのか？ 乗数を祝う前に、保存された重みを自分のタスクでテストしてください。 修復されたボトルネックは非常に重要ですが、次のボトルネックは まったく同じ場所に残っています。 これを私の言葉で聞くよりも読みたい場合は、diffが毎朝あなたの受信トレイに届きます。 dailydiff.devで無料で、リンクは下にあります。
重み編集の主張を出荷しますか？
4:47 したがって、今日の評決はNEEDS REVIEWです。 ループ修復を真剣に受け止め、テストします。 より広範な主張は、その失敗モードを超えた成功に限定します。 著者自身の反例が、diffの中で最も有用な行です。 そして、今日のdiffはこれで終わりです。 AxrisiのNikoです。 責任を持ってマージしてください。
情報源
- Weight-space programming studyRikiya Takehi and coauthors
- November 3 critique of bundled experiment conditionsMatthew Honnibal
- Pinned Qwen protocol and exact weight editsRikiya Takehi and coauthors
- Actual initial Qwen promptRikiya Takehi and coauthors
- Pinned smaller Gemma follow-upRikiya Takehi and coauthors
- Original model-card thinking-loop warningQwen
- Primary study discussionHacker News
- Critique discussionHacker News
- Cover portrait: Sam Altman, TechCrunch 2019 crop, CC BY 2.0; cropped, background removed, resized and flipped; no endorsementSteve Jennings/Getty Images for TechCrunch via Wikimedia Commons
- Released checkpoint and attributed external re-runRikiyaT on Hugging Face; re-run credited to akhaliq
- Portrait license: Creative Commons Attribution 2.0Creative Commons; Steve Jennings/Getty Images for TechCrunch portrait credit above
.jpg){kind=link}