# Inferen cia distribuída de Apple MLX: capacidade do modelo, velocidade e límites de confianza

Published: 2026-10-18

A investigación de Apple do 15 de outubro mostra a Muse Spark Open executándose en catro Mac Studios e explica por que o paralelismo de canalización e o de tensor teñen efectos diferentes na velocidade de xeración. Esta edición do 17 de outubro, publicada o 18 de outubro, tamén examina o mapa de cobertura de puntos de referencia de Mercor e unha actualización de seguridade da consola OpenCode do 18 de outubro GMT+7 etiquetada explícitamente. As medicións do provedor, a cobertura do índice seleccionado e os informes de perdas de usuarios non verificados manteñen as súas advertencias separadas.

Canonical: https://thedailydiff.dev/gl/video/2026-10-17-apple-mac-cluster/

## Que abrangue este vídeo

- Tanto os pesos do modelo coma o espazo de traballo de inferencia consumen memoria; a pegada de peso dun modelo por si soa pode subestimar a capacidade requirida.
- O paralelismo de canalización distribúe capas sucesivas, mentres que o paralelismo de tensor divide o traballo dentro de cada capa e necesita comunicacións frecuentes de baixa latencia.
- Apple informa de máis de 36 tokens por segundo en catro Mac Studios M5 Ultra cun contexto de 8.192 tokens; a comparación de cables refírese á espera do primeiro token nun contexto de 65.536 tokens.
- O descubrimento do 90% das horas laborais de Mercor describe pouca ou ningunha cobertura no seu índice de referencia seleccionado. Non establece unha taxa de fallo do modelo do 90%.
- O aviso editado de OpenCode describe un subconxunto de usuarios da Consola con provedores externos vinculados. O aviso público non establece o compromiso de cada instalación local.
- Proba a túa carga de traballo real e revisa os servizos que conteñen credenciais antes de tratar unha configuración de modelo local como unha solución completa de privacidade ou custo.

## Capítulos

- 0:00 Por que dous Mac poden manter a mesma velocidade?
- 0:41 Por que o modelo necesita máis dun Mac?
- 1:30 Como axuda Thunderbolt aos Mac a traballar xuntos?
- 2:19 Que traballo cobren realmente os puntos de referencia da IA?
- 3:11 Quen di OpenCode que se viu afectado durante a noite?
- 4:02 Que pon a inferencia local baixo o teu control?
- 4:40 Mercaría o clúster de catro Mac?

## Transcrición traducida

Traducido da narración orixinal en inglés. O audio e os subtítulos dispoñibles son controlados por YouTube.

### Por que dous Mac poden manter a mesma velocidade?

0:00 Esperarías que dous Mac fixesen a túa IA o dobre de rápida. As probas propias de Apple mostran que a velocidade de xeración pode permanecer case inalterada. Neste vídeo, que conseguen catro Mac? Que non teñen en conta os puntos de referencia? Unha ferramenta de codificación conecta o hardware a unha violación nocturna. Volveremos a iso. Para o sábado, dezasete de outubro, isto é The Daily Diff. MLX é o framework de arrays de código aberto de Apple para aprendizaxe automática en Apple

0:22 silicon. A súa nova proba executa Meta's Muse Spark Open en catro Mac Studios. Utiliza memoria unificada, que comparten a CPU e a GPU. Apple publicou isto o quince de outubro. Mercor mapeou o traballo que os puntos de referencia da IA apenas miden. Estamos cubrindo a edición do dezasete de outubro con unha actualización nocturna do dezaoito de outubro sobre OpenCode Console.

### Por que o modelo necesita máis dun Mac?

0:41 Comecemos pola parte inconveniente. A proba Muse Spark Open de Apple usa uns cincocentos gigabytes só para o modelo de catro bits. Un único Mac Studio alcanza un máximo de cincocentos doce gigabytes, e a inferencia tamén necesita memoria de traballo. Os pesos case enchen a maleta antes de que empaques un só calcetín. Máis máquinas fan que o modelo encaixe. O paralelismo de canalización divide o modelo a través das súas capas. O Mac A fai as capas anteriores e logo pasa o resultado intermedio ao Mac B para

1:05 as capas posteriores. Para un token xerado, eses pasos aínda ocorren en secuencia. As medicións de Apple mostran que a velocidade de decodificación segue sendo moi similar á dunha única máquina. Contrataches un segundo cociñeiro e decheslle o mesmo sándwich. En Hacker News, un desenvolvedor cuestionou por que a táboa de Apple usaba un modelo Meta de catro bits xunto a un modelo Qwen na súa precisión nativa. A táboa de Apple indica os formatos, así que lea as notas a rodapé antes de comprar. Os puntos de referencia das presentacións de diapositivas seguen invictos.

1:29 O paralelismo de tensor corta cada capa en vez diso.

### Como axuda Thunderbolt aos Mac a traballar xuntos?

1:32 Varios Mac traballan xuntos en anacos da mesma capa, e logo combinan os seus resultados. Iso pode acelerar a xeración, pero as máquinas comunícanse repetidamente. Apple usa acceso remoto de memoria de baixa latencia a través de Thunderbolt. Un movemento audaz na carreira dun cable. O resultado principal é de máis de trinta e seis tokens por segundo de catro Mac Studios M5 Ultra, cun contexto de aproximadamente oito mil tokens. Apple medíuno ela mesma.

1:55 As solicitudes máis longas cambian a historia. Nunha proba de contexto grande, dous cables por enlace reduciron a espera do primeiro token uns dez segundos. Un modelo local ofrécelle un límite útil para as solicitudes, sempre que a súa configuración real os manteña locais. Apple non proporcionou un prezo de equilibrio universal fronte ás API aloxadas. Iso depende da utilización e do modelo que precise. Unha máquina que responde preguntas ocasionais pasa moito tempo sendo un ornamento de escritorio moi

2:17 caro. Escoller ese modelo require unha proba para o seu traballo.

### Que traballo cobren realmente os puntos de referencia da IA?

2:21 Mercor mapeou vinte e nove puntos de referencia na taxonomía de traballos estadounidense. O seu índice abrangue aproximadamente novecentas tarefas de case dezanove mil. O mapa estima que o noventa por cento das horas de traballo teñen pouca ou ningunha cobertura de puntos de referencia. É un espazo en branco xigante no exame. O mapa de Mercor mide a cobertura. Unha ocupación en branco ten tarefas apenas probadas; a capacidade do modelo segue sendo unha pregunta aberta. O mapeo utilizou un modelo de IA, con revisión humana nun subconxunto de as propias solicitudes de puntos de referencia de Mercor.

2:49 Os revisores aceptaron aproximadamente tres cuartas partes das súas primeiras opcións. O sistema de cualificación necesita o seu propio sistema de cualificación, naturalmente. Entón, se está preocupado polo seu traballo, unha táboa de clasificación non pode resolver a disputa. Se está a mercar un asistente de codificación, reproduza unha tarefa real coas súas propias comprobacións de aceptación. O traballo útil inclúe os anacos incómodos despois da demostración. Ninguén ascende porque o chatbot terminou con confianza a folla de cálculo equivocada. O que nos leva á actualización nocturna.

### Quen di OpenCode que se viu afectado durante a noite?

3:13 OpenCode di que unha violación de seguridade afectou ao un coma catro por cento dos usuarios da Consola. O seu aviso editado restrínxeo a un subconxunto con provedores externos vinculados, e di que os usuarios afectados recibiron un correo electrónico. Chama a isto un ataque de destilación a gran escala e di que o incidente está en curso. Aínda non chegou unha causa raíz pública. As respostas inclúen persoas que informan de crédito de provedor desaparecido, que é o seu relato dos acontecementos. O aviso non establece as perdas ou compensacións de cada persoa.

3:38 Apple acababa de mostrar como conectar OpenCode á inferencia local, e agora o seu nome está xunto a unha advertencia de seguridade. O nome do produto abarca varias fronteiras de confianza diferentes. Os usuarios da consola deben ler o aviso oficial e comprobar o uso do provedor. Se está afectado, siga as instrucións de remediación e revise as credenciais conectadas. Este aviso dános un alcance específico da consola aloxada. Non proporciona aquí ningunha proba dun compromiso en todas as instalacións locais.

### Que pon a inferencia local baixo o teu control?

4:02 Aquí está a conexión. O artigo de Apple nomea a OpenCode como cliente para o seu servidor de modelos local. A mesma interface de codificación pode situarse diante dunha infraestrutura moi diferente. Iso responde a que conseguen catro Mac. Capacidade e un límite de inferencia que pode administrar. Os servizos ao redor dese límite aínda merecen a súa propia revisión. A miña regra de compra é sinxela. Demostre que o modelo encaixa, mida toda a tarefa e verifique cada servizo que posúe unha

4:23 credencial. O resultado de Apple fai que a inferencia local grande sexa máis práctica, mentres que a proba de canalización explica por que engadir hardware pode decepcionar. A súa proba de aceptación pertence xunto á orde de compra. Se prefire ler isto en lugar de escoitarme dicilo, o diff chega á súa caixa de entrada cada mañá, de balde en the daily diff dot dev, ligazón a continuación.

### Mercaría o clúster de catro Mac?

4:40 Así que o veredicto de hoxe é NECESITA REVISIÓN. Mediría a miña carga de traballo real antes de comprar o clúster. Subscríbete, preme na campá e dime nos comentarios se o terías selado de forma diferente. E ese é o diff de hoxe. Son Niko de Axrisi. Fusión con responsabilidade.

## Fontes

- [Local and Distributed Large LLM Inference with MLX and RDMA on Mac Studio](https://machinelearning.apple.com/research/mlx-distributed-inference) — Apple Machine Learning Research
- [A benchmark map of the US economy](https://www.mercor.com/research/labor-index/benchmark-map/) — Mercor
- [Benchmark Map methodology and expert review](https://www.mercor.com/research/labor-index/benchmark-map/methodology/) — Mercor
- [Edited security-breach notice with Console scope](https://x.com/opencode/status/2111519637049319818) — OpenCode
- [Reader questions mixed benchmark precision formats](https://news.ycombinator.com/item?id=50119761) — Hacker News · peri-cl (reader opinion)
- [User reports vanished provider credit (unverified loss claim)](https://x.com/KingOKings/status/2111517723109015607) — Amruth Pillai on X