Apple MLX 分散式推斷：模型容量、速度與信任邊界

本影片重點

• 模型權重和推斷工作空間都會消耗記憶體；單憑模型權重的大小可能會低估所需的容量。
• 管線平行處理分配連續的層，而張量平行處理則在每個層內部劃分工作，並需要頻繁的低延遲通訊。
• Apple 報告在四台 M5 Ultra Mac Studio 上，8,192 語義環境下每秒超過 36 個 token；而纜線比較則是在 65,536 語義環境下第一個 token 的等待時間。
• Mercor 的「90% 工作時間」發現，描述了其選定基準指數中幾乎沒有覆蓋範圍的情況。這並不能證明 90% 的模型故障率。
• OpenCode 的編輯通知描述了一部分與外部提供者連結的 Console 使用者。公開通知並不能證明每個本地安裝都已受損。
• 在將本地模型設定視為完整的隱私或成本解決方案之前，請測試您的實際工作負載並審查帶有憑證的服務。

翻譯文字稿

譯自英文原版旁白。可用的音訊和字幕由 YouTube 控制。

為什麼兩台 Mac 的速度可以保持不變？

0:00 您會預期兩台 Mac 能讓您的 AI 速度快兩倍。 Apple 自己的測試顯示生成速度幾乎沒有變化。 在這段影片中，四台 Mac 能帶來什麼？ 基準測試錯過了什麼？ 一個編碼工具將硬體與一夜之間的洩露事件連結起來。 我們稍後再討論。 10 月 17 日星期六，這裡是 The Daily Diff。 MLX 是 Apple 用於在 Apple

0:22 晶片上進行機器學習的開源陣列框架。其新測試在四台 Mac Studio 上運行 Meta 的 Muse Spark Open。 它使用 CPU 和 GPU 共享的統一記憶體。 Apple 於 10 月 15 日發布了此內容。 Mercor 繪製了 AI 基準測試幾乎未能測量的所有工作。 我們正在報導 10 月 17 日 的版本，以及 10 月 18 日夜間 關於 OpenCode Console 的更新。

為什麼模型需要多於一台 Mac？

0:41 從不便之處開始。 Apple 的 Muse Spark Open 測試單單四 位元模型就使用了大約五百 GB。單台 Mac Studio 最多支援五百一十二 GB， 而推斷也需要工作記憶體。 在您打包任何襪子之前，這些權重幾乎已裝滿整個行李箱。 更多的機器才能讓模型容納進去。 管線平行處理透過其層級來切割模型。 Mac A 處理較早的層級，然後將中間結果傳遞給 Mac B 處理較晚的層級。

1:05 對於一個生成的 token，這些步驟仍然依序發生。 Apple 的測量結果顯示，解碼速度與單台機器非常相似。 您僱用了第二位廚師，並給了他們相同的三明治。 在 Hacker News 上，一位開發人員質疑 Apple 的表格為何使用四位元的 Meta 模型，卻將 Qwen 模型以其原始精度列出。 Apple 的表格有說明格式，因此在購買前請閱讀註腳。 投影片簡報的基準測試仍然無懈可擊。 張量平行處理則是在每個層級內部進行切割。

1:29 多台 Mac 共同處理同一個層級的不同部分，

Thunderbolt 如何幫助 Mac 協同工作？

1:32 然後結合它們的結果。 這可以加速生成，但機器之間需要頻繁通訊。 Apple 透過 Thunderbolt 使用低延遲的遠端記憶體存取。 對於一條纜線來說，這是大膽的職涯轉變。 主要結果是，四台 M5 Ultra Mac Studio 在約八千個語義環境下，每秒產生超過三十六個 token。 Apple 親自測量了它。 更長的提示會改變結果。 在一次大型語義測試中，每個連結使用兩條纜線，將第一個 token 的等待時間縮短了約十秒。

1:55 本地模型為您的提示提供了一個有用的邊界， 前提是您的實際設定將它們保留在本地。 Apple 並未提供針對託管 API 的通用盈虧平衡價格。 這取決於利用率和您所需的模型。 一台偶爾回答問題的機器，大部分時間都像是一個非常昂貴的桌上裝飾品。 選擇該模型需要針對您的工作進行測試。 Mercor 將二十九個基準測試對應到美國的工作分類法。 其索引涵蓋了近一萬九千個任務中的約九百個任務。

2:17 該地圖估計，百分之九十的工作時間幾乎沒有或完全沒有基準測試覆蓋。這在試卷上是一個巨大的空白。 Mercor 的地圖測量了覆蓋範圍。

AI 基準測試實際上涵蓋了哪些工作？

2:21 空白的職位幾乎沒有經過測試的任務；模型能力仍然是一個懸而未決的問題。該對應使用 AI 模型，並對 Mercor 自己的基準提示子集進行人工審查。 審查員接受了其最初選擇的大約四分之三。 評分系統自然也需要自己的評分系統。 因此，如果您擔心自己的工作，排行榜無法解決爭論。如果您要購買程式設計助理， 請使用您自己的驗收檢查來重現真實任務。 有用的工作包括演示之後的尷尬部分。 沒有人會因為聊天機器人自信地完成了錯誤的試算表而獲得晉升。 這就引出了昨晚的更新。

2:49 OpenCode 表示，一次安全漏洞影響了百分之 1.4 的 Console 用戶。其編輯後的通知將範圍縮小到與外部供應商連結的子集，並表示已向受影響的用戶發送電子郵件。 它稱此為大規模蒸餾攻擊，並表示事件仍在進行中。公開的根本原因尚未公布。 回復包括人們報告供應商餘額消失， 這是他們對事件的說法。 該通知並未確立每個人的損失或賠償。 Apple 剛好展示了如何將 OpenCode 連接到本地推斷， 現在它的名字卻和安全警告並列。

OpenCode 說有哪些人受到了影響？

3:13 產品名稱涵蓋了幾個不同的信任邊界。 Console 用戶應閱讀官方通知並檢查供應商的使用情況。 如果您受到影響，請遵循補救措施指示並審查已連接的憑證。此通知為我們提供了特定的託管 Console 範圍。 這裡沒有提供每個本地安裝都被洩漏的證據。 這是連結。 Apple 的文章將 OpenCode 稱為其本地模型伺服器的客戶端。 相同的編碼介面可以位於非常不同的基礎設施之前。 這回答了四台 Mac 能帶來什麼。

3:38 容量，以及您可以管理的推斷邊界。 圍繞該邊界的服務仍應進行自己的審查。 我的購買原則很簡單。 證明模型適合，測量整個任務，並檢查每個持有憑證的服務。Apple 的結果使大型本地推斷更加實用， 而管線測試則解釋了為什麼增加硬體可能會令人失望。 您的驗收測試應與採購訂單並列。 如果您寧願閱讀而不是聽我說，那麼 diff 會在每天早上免費發送到您的收件箱，網址是 the daily diff dot dev，連結在下方。

本地推斷能讓您掌控什麼？

4:02 所以今天的判決是 NEEDS REVIEW。 我會在購買叢集之前測量我的實際工作負載。 訂閱、點擊鈴鐺，並在評論中告訴我，如果您會給它不同的評價。 這就是今天的差異。 我是 Axrisi 的 Niko。 負責任地合併。 我的購買規則很簡單。 證明模型適合，衡量整個任務，並檢查每個持有憑證的服務。Apple 的結果使大型本地推斷更加實用，

4:23 而管線測試則解釋了為什麼增加硬體可能會令人失望。 您的驗收測試應與採購訂單並列。 如果您寧願閱讀而不是聽我說，那麼 diff 會在每天早上免費發送到您的收件箱，網址是 the daily diff dot dev，連結在下方。 所以今天的判決是 NEEDS REVIEW。 我會在購買叢集之前測量我的實際工作負載。

我會買四台 Mac 的叢集嗎？

4:40 訂閱、點擊鈴鐺，並在評論中告訴我，如果您會給它不同的評價。 這就是今天的差異。 我是 Axrisi 的 Niko。 負責任地合併。 如果您寧願閱讀而不是聽我說，那麼 diff 會在每天早上免費發送到您的收件箱，網址是 the daily diff dot dev，連結在下方。 所以今天的判決是 NEEDS REVIEW。 我會在購買叢集之前測量我的實際工作負載。

來源

1. Local and Distributed Large LLM Inference with MLX and RDMA on Mac StudioApple Machine Learning Research
2. A benchmark map of the US economyMercor
3. Benchmark Map methodology and expert reviewMercor
4. Edited security-breach notice with Console scopeOpenCode
5. Reader questions mixed benchmark precision formatsHacker News · peri-cl (reader opinion)
6. User reports vanished provider credit (unverified loss claim)Amruth Pillai on X