Apple MLX分散推論：モデル容量、速度、信頼境界

この動画の要点

• モデルの重みと推論ワークスペースの両方がメモリを消費します。モデルの重みのフットプリントだけでは、必要な容量を過小評価する可能性があります。
• パイプライン並列処理は連続する層を分散させ、テンソル並列処理は各層内部で作業を分割し、頻繁な低遅延通信が必要です。
• Appleは、8,192トークンのコンテキストで4台のM5 Ultra Mac Studioにおいて1秒あたり36トークン以上を報告しています。ケーブルの比較は、65,536トークンのコンテキストでの最初のトークンの待ち時間に関するものです。
• Mercorの90%の労働時間に関する発見は、選択されたベンチマークインデックスにおけるカバレッジがほとんど、あるいは全くないことを示しています。これは、モデルの失敗率が90%であることを立証するものではありません。
• OpenCodeの編集された通知は、外部プロバイダーとリンクされたConsoleユーザーのサブセットについて説明しています。公開通知は、すべてのローカルインストールが侵害されたことを立証するものではありません。
• ローカルモデルのセットアップを完全なプライバシーまたはコストソリューションとして扱う前に、実際のワークロードをテストし、認証情報を持つサービスを確認してください。

翻訳されたトランスクリプト

オリジナルの英語ナレーションから翻訳されています。利用可能なオーディオとキャプションはYouTubeによって管理されています。

なぜ2台のMacは同じ速度を保てるのか？

0:00 2台のMacがあればAIは2倍速くなると期待するでしょう。 Apple自身のテストでは、生成速度はほとんど変わらないことが示されています。 このビデオでは、4台のMacは何をもたらすのでしょうか？ ベンチマークは何を見逃しているのでしょうか？ あるコーディングツールは、ハードウェアを夜間の侵害に接続します。 後でまた話しましょう。 10月17日土曜日、これはThe Daily Diffです。 MLXは、Appleシリコン上の機械学習のためのAppleのオープンソースアレイフレームワークです。

0:22 その新しいテストは、4台のMac StudioでMetaのMuse Spark Openを実行します。 CPUとGPUが共有するユニファイドメモリを使用します。 Appleはこれを10月15日に公開しました。 Mercorは、AIベンチマークがほとんど測定しない作業をマッピングしました。 私たちは10月17日の版を取り上げています。 OpenCode Consoleに関する夜間の10月18日のアップデートとともに。 OpenCode Consoleに関する夜間の10月18日のアップデートとともに。

なぜモデルは複数のMacを必要とするのか？

0:41 不便な点から始めましょう。 AppleのMuse Spark Openテストでは、4ビットモデルだけでも約500ギガバイトを使用します。 1台のMac Studioは512ギガバイトが上限であり、推論には作業メモリも必要です。 1台のMac Studioは512ギガバイトが上限であり、推論には作業メモリも必要です。 重みだけでスーツケースがほとんどいっぱいになり、まだ靴下を1足も詰めていない状態です。 より多くのマシンがあれば、モデルは収まります。 パイプライン並列処理は、モデルをその層に分割します。 Mac Aが初期の層を処理し、中間結果をMac Bに渡して後期の層を処理します。

1:05 Mac Aが初期の層を処理し、中間結果をMac Bに渡して後期の層を処理します。 1つの生成されたトークンについて、これらのステップは依然として順番に発生します。 Appleの測定値では、デコード速度は単一のマシンと非常に似ていることが示されています。 2人目の料理人を雇って、同じサンドイッチを与えたようなものです。 Hacker Newsでは、ある開発者が、Appleの表が4ビットのMetaモデルとQwenモデルをそのネイティブ精度で並べて使用している理由について疑問を呈しました。 Hacker Newsでは、ある開発者が、Appleの表が4ビットのMetaモデルとQwenモデルをそのネイティブ精度で並べて使用している理由について疑問を呈しました。 Appleの表にはフォーマットが記載されているので、購入する前に脚注を読んでください。 スライドデッキのベンチマークは無敗です。

1:29 テンソル並列処理は、代わりに各層を横断してカットします。

ThunderboltはMac同士の連携にどう役立つのか？

1:32 複数のMacが同じ層の断片を一緒に処理し、 その結果を結合します。 これにより生成が加速される可能性がありますが、マシンは繰り返し通信します。 AppleはThunderboltを介した低遅延リモートメモリアクセスを使用します。 ケーブルにとっては大胆なキャリアアップですね。 見出しの結果は、約8千トークンのコンテキストで4台のM5 Ultra Mac Studioから毎秒36トークン以上です。 見出しの結果は、約8千トークンのコンテキストで4台のM5 Ultra Mac Studioから毎秒36トークン以上です。 Appleが自ら測定しました。

1:55 プロンプトが長くなると、話は変わります。 ある大規模なコンテキストテストでは、リンクあたり2本のケーブルを使用することで、最初のトークンの待ち時間が約10秒短縮されました。 ある大規模なコンテキストテストでは、リンクあたり2本のケーブルを使用することで、最初のトークンの待ち時間が約10秒短縮されました。 ローカルモデルは、プロンプト周りに有用な境界を提供します。 実際のセットアップがそれらをローカルに保つ限りは。 Appleは、ホスト型APIに対する普遍的な損益分岐点を提示していません。 それは利用率と必要なモデルに依存します。 時々質問に答えるマシンは、非常に高価なデスクの飾りとして多くの時間を費やします。

2:17 時々質問に答えるマシンは、非常に高価なデスクの飾りとして多くの時間を費やします。 そのモデルを選択するには、あなたの仕事に対するテストが必要です。

AIベンチマークは実際にどのような作業をカバーしているのか？

2:21 Mercorは29のベンチマークをアメリカの職務分類にマッピングしました。 そのインデックスは、約19,000のタスクのうち、約900のタスクをカバーしています。 このマップは、労働時間の90%がベンチマークカバレッジがほとんど、または全くないと推定しています。これは試験用紙の巨大な空白です。 このマップは、労働時間の90%がベンチマークカバレッジがほとんど、または全くないと推定しています。これは試験用紙の巨大な空白です。 Mercorのマップはカバレッジを測定します。 空白の職種はほとんどテストされていないタスクがあり、モデルの能力は未解決の問題です。マッピングにはAIモデルが使用され、Mercor自身のベンチマークプロンプトのサブセットで人間のレビューが行われました。 空白の職種はほとんどテストされていないタスクがあり、モデルの能力は未解決の問題です。マッピングにはAIモデルが使用され、Mercor自身のベンチマークプロンプトのサブセットで人間のレビューが行われました。 空白の職種はほとんどテストされていないタスクがあり、モデルの能力は未解決の問題です。マッピングにはAIモデルが使用され、Mercor自身のベンチマークプロンプトのサブセットで人間のレビューが行われました。

2:49 レビューアは、その最初の選択肢の約4分の3を受け入れました。 採点システム自体に採点システムが必要なのは、 当然です。したがって、自分の仕事について心配しているなら、リーダーボードでは議論は解決しません。 コーディングアシスタントを購入するなら、 実際のタスクを自分の受け入れチェックで再現してください。 役立つ作業には、デモ後の厄介な部分も含まれます。 チャットボットが間違ったスプレッドシートを自信満々に完成させたからといって、誰も昇進しません。 これで夜間のアップデートの話に移ります。

OpenCodeは誰が夜間に影響を受けたと述べているのか？

3:13 OpenCodeによると、セキュリティ侵害によりConsoleユーザーの1.4%が影響を受けました。 編集された通知では、外部プロバイダーとリンクしているサブセットに限定され、影響を受けたユーザーにはメールが送信されたと述べています。 編集された通知では、外部プロバイダーとリンクしているサブセットに限定され、影響を受けたユーザーにはメールが送信されたと述べています。 これを大規模な蒸留攻撃と呼び、インシデントは現在進行中であると述べています。 公開された根本原因はまだ発表されていません。 返信の中には、プロバイダーのクレジットが消えたと報告している人々がおり、 それが彼らの出来事の説明です。 この通知は、各個人の損失や補償を確立するものではありません。

3:38 AppleはOpenCodeをローカル推論に接続する方法を示したばかりで、 今やその名前はセキュリティ警告の隣にあります。 製品名は、いくつかの異なる信頼境界をカバーしています。 Consoleユーザーは公式通知を読み、プロバイダーの使用状況を確認する必要があります。 影響を受けている場合は、修復手順に従い、接続されている資格情報を確認してください。 この通知は、特定のホスト型Consoleスコープを提供します。 ここには、すべてのローカルインストールでの侵害の証拠はありません。

ローカル推論は何をあなたの管理下に置くのか？

4:02 これがその接続です。 Appleの記事では、OpenCodeをローカルモデルサーバーのクライアントとして挙げています。 同じコーディングインターフェースが、非常に異なるインフラストラクチャの前に置かれることがあります。 それが4台のMacが何をもたらすかという答えです。 容量、そして管理できる推論境界。 その境界周辺のサービスは、依然として独自のレビューに値します。 私の購入ルールはシンプルです。 モデルがフィットすることを証明し、タスク全体を測定し、資格情報を持つすべてのサービスを確認してください。

4:23 Appleの結果は、大規模なローカル推論をより実用的にし、 パイプラインテストは、ハードウェアを追加することがなぜ期待外れになる可能性があるかを説明しています。 あなたの受け入れテストは、発注書の隣にあるべきです。 私が話すのを聞くよりもこれを読みたい場合は、diffが毎朝無料であなたの受信トレイに届きます。daily diff dot dev、リンクは下にあります。 私が話すのを聞くよりもこれを読みたい場合は、diffが毎朝無料であなたの受信トレイに届きます。daily diff dot dev、リンクは下にあります。

4台のMacクラスターを購入しますか？

4:40 今日の評決はNEEDS REVIEWです。 クラスターを購入する前に、実際のワークロードを測定するでしょう。 購読し、ベルを鳴らして、もしあなたが異なる判断を下したならコメントで教えてください。 購読し、ベルを鳴らして、もしあなたが異なる判断を下したならコメントで教えてください。 そして、今日のdiffはこれで終わりです。 AxrisiのNikoです。 責任を持ってマージしてください。

情報源

1. Local and Distributed Large LLM Inference with MLX and RDMA on Mac StudioApple Machine Learning Research
2. A benchmark map of the US economyMercor
3. Benchmark Map methodology and expert reviewMercor
4. Edited security-breach notice with Console scopeOpenCode
5. Reader questions mixed benchmark precision formatsHacker News · peri-cl (reader opinion)
6. User reports vanished provider credit (unverified loss claim)Amruth Pillai on X