Apple MLX 分佈式推理：模型容量、速度和信任邊界

本影片涵蓋的內容

• 模型權重和推理工作空間都會消耗記憶體；單獨的模型權重足跡可能低估了所需的容量。
• 管道並行分發連續的層，而張量並行則將工作分佈在每個層內，並需要頻繁的低延遲通訊。
• Apple 報告在四台 M5 Ultra Mac Studio 上，使用 8,192 token 上下文，每秒生成超過 36 token；電纜比較涉及 65,536 token 上下文的第一個 token 等待時間。
• Mercor 的「90% 工作時間」發現描述了其選定基準索引中很少或沒有覆蓋範圍。它並未確立 90% 的模型故障率。
• OpenCode 編輯後的通知描述了擁有連結外部供應商的 Console 用戶子集。公開通知並未確立每個本地安裝都受到損害。
• 在將本地模型設置視為完整的隱私或成本解決方案之前，請測試您的實際工作負載並審查帶有憑證的服務。

翻譯的文字記錄

從英文原文旁白翻譯。可用的音頻和字幕由 YouTube 控制。

為什麼兩台 Mac 可以保持相同的速度？

0:00 你會期望兩台 Mac 能讓你的 AI 速度快一倍。 Apple 自己的測試顯示生成速度幾乎可以保持不變。 在這段影片中，四台 Mac 能買到什麼？ 基準測試遺漏了什麼？ 一個編碼工具將硬件與一夜之間的洩露事件連接起來。 我們稍後會再討論。 10 月 17 日星期六，這是 The Daily Diff。 MLX 是 Apple 用於在 Apple

0:22 晶片上進行機器學習的開源陣列框架。它的新測試在四台 Mac Studio 上運行 Meta 的 Muse Spark Open。 它使用 CPU 和 GPU 共享的統一記憶體。 Apple 於 10 月 15 日發布了此內容。 Mercor 繪製了 AI 基準幾乎未能測量的那些工作。 我們正在報導 10 月 17 日 的版本，以及 10 月 18 日 關於 OpenCode Console 的過夜更新。

為什麼模型需要不止一台 Mac？

0:41 從不方便的部分開始。 Apple 的 Muse Spark Open 測試單是四位元模型就需要大約五百 GB 的空間。 一台 Mac Studio 的上限是五百一十二 GB， 而且推理也需要工作記憶體。 在你打包一隻襪子之前，權重幾乎已經裝滿了整個行李箱。 更多的機器讓模型能夠裝載。 管道並行將模型切分為多個層。 Mac A 完成較早的層，然後將中間結果傳遞給 Mac B 處理

1:05 較晚的層。 對於一個生成的 token，這些步驟仍然按順序發生。 Apple 的測量結果顯示解碼速度與單機非常相似。 你僱了第二個廚師，卻給了他們相同的三明治。 在 Hacker News 上，一位開發人員質疑 Apple 的表格為何使用四位元 Meta 模型，而 Qwen 模型則採用其原生精度。 Apple 的表格中說明了格式，因此在購物前請閱讀註釋。 幻燈片演示基準測試依然無敵。

1:29 張量並行則是在每個層內進行分割。

Thunderbolt 如何幫助 Mac 協同工作？

1:32 多台 Mac 同時處理同一層的片段， 然後結合它們的結果。 這可以加速生成，但機器之間需要重複通訊。 Apple 使用 Thunderbolt 上的低延遲遠端記憶體存取。 對於一條電纜來說，這是一個大膽的職業選擇。 主要的結果是四台 M5 Ultra Mac Studio 每秒產生超過三十六個 token， 大約有八千個 token 的上下文。 Apple 親自測量了它。

1:55 更長的提示會改變故事。 在一項大型上下文測試中，每個連結使用兩條電纜可將第一個 token 的等待時間縮短約十秒。 大約十秒。 本地模型為您提供了提示周圍有用的邊界， 前提是您的實際設置將它們保持在本地。 Apple 尚未提供針對託管 API 的通用收支平衡價格。 這取決於利用率和您需要的模型。 一台偶爾回答問題的機器，大部分時間都像是一個非常

2:17 昂貴的桌面擺設。 選擇該模型需要針對您的工作進行測試。

AI 基準實際上涵蓋了哪些工作？

2:21 Mercor 將二十九個基準映射到美國職業分類法上。 其索引涵蓋了近一萬九千項任務中的約九百項。 該地圖估計，百分之九十的工作時間很少或根本沒有 基準覆蓋。這在試卷上是一個巨大的空白。 Mercor 的地圖測量覆蓋範圍。 一個空白職業的任務幾乎沒有經過測試；模型能力仍然是一個開放的 問題。該映射使用了 AI 模型，並對 Mercor 自己的基準提示的子集進行了人工審查。 Mercor 自己的基準提示。

2:49 審閱者接受了約四分之三的第一選擇。 評級系統需要自己的評級系統， 當然。所以如果你擔心你的工作，一個排行榜不能解決 爭論。如果你正在購買一個編碼助理， 用你自己的實際任務重播它， 並進行驗收檢查。有用的工作包括演示之後的那些尷尬部分。 沒有人會因為聊天機器人自信地完成了錯誤的 電子表格而獲得晉升。這就引出了我們過夜的更新。

OpenCode 說誰在一夜之間受到影響？

3:13 OpenCode 表示，一次安全漏洞影響了百分之 1.4 的 Console 用戶。其編輯後的通知將範圍縮小到連結了外部供應商的子集， 並表示受影響的用戶已收到電子郵件。 它稱此為大規模萃取攻擊，並表示事件仍在 進行中。公開的根本原因尚未公布。 回覆中包括人們報告供應商信用消失的事件， 這是他們對事件的描述。 該通知並未確定每個人的損失或賠償。

3:38 Apple 剛剛展示了如何將 OpenCode 連接到本地推理， 現在它的名字與安全警告並列。 產品名稱涵蓋了幾個不同的信任邊界。 Console 用戶應閱讀官方通知並檢查供應商使用情況。 如果您受到影響，請遵循補救措施並審查已連接的 憑證。此通知為我們提供了特定的託管 Console 範圍。 它沒有提供任何證據表明每個本地安裝都受到損害。

本地推理讓您掌控什麼？

4:02 這就是連接。 Apple 的文章將 OpenCode 列為其本地模型伺服器的客戶端。 相同的編碼介面可以位於非常不同的基礎設施之前。 這就回答了四台 Mac 能買到什麼。 容量，以及您可以管理的推理邊界。 圍繞該邊界的服務仍需進行自己的審查。 我的購買原則很簡單。 證明模型適用，衡量整個任務，並檢查每個持有憑證的服務。

4:23 Apple 的結果讓大型本地推理更實用， 而管道測試則解釋了為什麼增加硬件可能會令人失望。 您的驗收測試應與採購訂單一併進行。 如果您寧願閱讀這份報告而不是聽我說，那麼 The Daily Diff 每天早上都會免費發送到您的收件箱， 在 the daily diff dot dev 網站上，連結在下方。

我會買四台 Mac 的集群嗎？

4:40 所以今天的判決是 NEEDS REVIEW。 在購買集群之前，我會衡量我的實際工作負載。 訂閱，點擊鈴鐺，並在評論中告訴我你是否會有不同的評價。 會有不同的評價。 這就是今天的差異。 我是來自 Axrisi 的 Niko。 負責任地合併。

來源

1. Local and Distributed Large LLM Inference with MLX and RDMA on Mac StudioApple Machine Learning Research
2. A benchmark map of the US economyMercor
3. Benchmark Map methodology and expert reviewMercor
4. Edited security-breach notice with Console scopeOpenCode
5. Reader questions mixed benchmark precision formatsHacker News · peri-cl (reader opinion)
6. User reports vanished provider credit (unverified loss claim)Amruth Pillai on X