Apple MLX 分布式推理：模型容量、速度和信任边界

本视频涵盖的内容

• 模型权重和推理工作空间都会消耗内存；仅模型的权重占用空间就可能低估所需的容量。
• 流水线并行分布连续层，而张量并行则在每个层内部划分工作，需要频繁的低延迟通信。
• Apple 报告称，在四台 M5 Ultra Mac Studio 上，使用 8,192 令牌上下文，每秒生成超过 36 个令牌；电缆比较涉及 65,536 令牌上下文下的第一个令牌等待时间。
• Mercor 90% 工作时间的发现表明，其选定的基准索引覆盖范围很小或没有覆盖。这并未确立 90% 的模型故障率。
• OpenCode 的编辑通知描述了一部分连接了外部提供商的 Console 用户。公开通知并未确立所有本地安装都受到损害。
• 在将本地模型设置视为完整的隐私或成本解决方案之前，请测试您的实际工作负载并审查具有凭据的服务。

翻译的文字记录

译自英文原版旁白。可用音频和字幕由 YouTube 控制。

为什么两台 Mac 的速度可以保持不变？

0:00 你可能会期望两台 Mac 能让你的 AI 快两倍。 Apple 自己的测试表明，生成速度几乎可以保持不变。 在这个视频中，四台 Mac 能带来什么？ 基准测试遗漏了什么？ 一个编码工具将硬件连接到一夜之间的漏洞。 我们稍后再谈。 10 月 17 日星期六，这里是 The Daily Diff。 MLX 是 Apple 的开源数组框架，用于在 Apple 芯片上进行机器学习。

0:22 它的新测试在四台 Mac Studio 上运行 Meta 的 Muse Spark Open。 它使用统一内存，CPU 和 GPU 共享该内存。 Apple 于 10 月 15 日发布了此内容。 Mercor 绘制了 AI 基准几乎没有衡量的任务的地图。 我们正在报道 10 月 17 日 的版本，其中包含 10 月 18 日一夜之间的 关于 OpenCode Console 的更新。

为什么模型需要多于一台 Mac？

0:41 从不方便的部分开始。 Apple 的 Muse Spark Open 测试仅 4 位模型就需要大约 500 GB 的内存。 一台 Mac Studio 的最大内存为 512 GB， 而推理也需要工作内存。 在你打包一只袜子之前，权重几乎已经装满了行李箱。 更多的机器使模型得以容纳。 流水线并行性通过其层级来切割模型。 Mac A 处理较早的层，然后将中间结果传递给 Mac B 处理较晚的层。

1:05 对于一个生成的令牌，这些步骤仍然按顺序发生。 Apple 的测量结果显示，解码速度与单台机器非常相似。 你雇了第二个厨师，却给了他们相同的三明治。 在 Hacker News 上，一位开发者质疑 Apple 的表格为什么使用 4 位 Meta 模型，而旁边是 Qwen 模型的原始精度。 Apple 的表格说明了格式，所以在购物前请阅读脚注。 幻灯片演示基准仍然无懈可击。 张量并行性则在每个层内部进行切割。

1:29 多台 Mac 同时处理同一层的部分，

Thunderbolt 如何帮助 Mac 协同工作？

1:32 然后合并它们的结果。 这可以加速生成，但机器之间需要频繁通信。 Apple 通过 Thunderbolt 使用低延迟远程内存访问。 对于一根电缆来说，这是一个大胆的职业举动。 头条新闻结果是四台 M5 Ultra Mac Studio 每秒生成超过 36 个令牌， 上下文约 8,000 个令牌。 Apple 自己测量的。 更长的提示会改变故事。

1:55 在一个大型上下文测试中，每个链路两条电缆将第一个令牌的等待时间缩短了大约 10 秒。 本地模型为提示提供了有用的边界， 前提是您的实际设置将其保持在本地。 Apple 尚未提供针对托管 API 的通用盈亏平衡价格。 这取决于利用率和您需要的模型。 一台偶尔回答问题的机器，大部分时间都只是一个非常昂贵的桌面装饰品。 选择该模型需要针对您的工作进行测试。 Mercor 将 29 个基准映射到美国职业分类法上。

2:17 其索引涵盖了近 19,000 项任务中的大约 900 项。 该地图估计，90% 的工作时间几乎没有或根本没有基准覆盖。这是考卷上的一大片空白区域。

AI 基准测试实际涵盖了哪些工作？

2:21 Mercor 的地图衡量的是覆盖率。 一个空白职业几乎没有经过测试的任务；模型能力仍然是一个悬而未决的问题。 该映射使用了一个 AI 模型，并对 Mercor 自己的基准提示的子集进行了人工审查。 评审员接受了大约四分之三的第一选择。 评分系统自然需要自己的评分系统。 因此，如果你担心自己的工作，排行榜无法解决争论。 如果你正在购买一个编码助手， 用你自己的验收检查重放一个真实的任务。

2:49 有用的工作包括演示之后那些棘手的部分。 没有人会因为聊天机器人自信地完成了错误的电子表格而获得晋升。 这让我们来到了过夜更新。 OpenCode 表示，一次安全漏洞影响了 1.4% 的 Console 用户。 其编辑后的通知将其范围缩小到连接了外部提供商的子集，并表示已向受影响的用户发送了电子邮件。 它称之为大规模提炼攻击，并表示事件正在进行中。 公开的根本原因尚未公布。 回复中包括人们报告提供商信用消失的情况，

OpenCode 说谁在一夜之间受到了影响？

3:13 这是他们对事件的描述。 通知并未确立每个人的损失或赔偿。 Apple 刚刚展示了如何将 OpenCode 连接到本地推理， 现在它的名字旁边出现了安全警告。 产品名称涵盖了几个不同的信任边界。 Console 用户应阅读官方通知并检查提供商使用情况。 如果您受到影响，请按照补救说明操作并检查已连接的凭据。 此通知为我们提供了一个特定的托管 Console 范围。

3:38 它在这里没有提供证据表明每个本地安装都受到了损害。 这是连接方式。 Apple 的文章将 OpenCode 命名为其本地模型服务器的客户端。 相同的编码界面可以位于非常不同的基础设施之前。 这回答了四台 Mac 能买到什么。 容量，以及您可以管理的推理边界。 围绕该边界的服务仍然值得单独审查。

本地推理能让你控制什么？

4:02 我的购买规则很简单。 证明模型适合，衡量整个任务，并检查每个持有凭据的服务。 Apple 的结果使大型本地推理更加实用， 而流水线测试解释了为什么增加硬件可能会令人失望。 您的验收测试应与采购订单一并进行。 如果你宁愿阅读而不是听我讲，The Daily Diff 每天早上免费发送到你的收件箱，网址是 thedailydiff.dev，链接如下。 所以今天的判决是“需要审查”。 在购买集群之前，我会衡量我的实际工作负载。

4:23 订阅，点击铃铛，并在评论中告诉我你是否会有不同的看法。 今天的 Diff 就到这里。 我是 Axrisi 的 Niko。 负责任地合并。 如果您宁愿阅读而不是听我讲，The Daily Diff 每天早上免费发送到您的收件箱，网址是 thedailydiff.dev，链接如下。

我会购买四台 Mac 的集群吗？

4:40 所以今天的判决是“需要审查”。 在购买集群之前，我会衡量我的实际工作负载。 订阅，点击铃铛，并在评论中告诉我你是否会有不同的看法。 今天的 Diff 就到这里。 我是 Axrisi 的 Niko。 负责任地合并。 负责任地合并。

来源

1. Local and Distributed Large LLM Inference with MLX and RDMA on Mac StudioApple Machine Learning Research
2. A benchmark map of the US economyMercor
3. Benchmark Map methodology and expert reviewMercor
4. Edited security-breach notice with Console scopeOpenCode
5. Reader questions mixed benchmark precision formatsHacker News · peri-cl (reader opinion)
6. User reports vanished provider credit (unverified loss claim)Amruth Pillai on X