# Inferenza distribuita Apple MLX: capacità del modello, velocità e confini di fiducia

Published: 2026-10-18

La ricerca di Apple del 15 ottobre mostra Muse Spark Open in esecuzione su quattro Mac Studio e spiega perché il parallelismo della pipeline e del tensore hanno effetti diversi sulla velocità di generazione. Questa edizione del 17 ottobre, pubblicata il 18 ottobre, esamina anche la mappa di copertura del benchmark di Mercor e un aggiornamento di sicurezza della console OpenCode del 18 ottobre GMT+7, esplicitamente etichettato. Le misurazioni del fornitore, la copertura dell'indice selezionato e i rapporti di perdita utente non verificati mantengono le loro avvertenze separate.

Canonical: https://thedailydiff.dev/it/video/2026-10-17-apple-mac-cluster/

## Contenuto di questo video

- Sia i pesi del modello che lo spazio di lavoro dell'inferenza consumano memoria; l'ingombro dei soli pesi di un modello può sottostimare la capacità richiesta.
- Il parallelismo della pipeline distribuisce strati successivi, mentre il parallelismo del tensore divide il lavoro all'interno di ogni strato e richiede frequenti comunicazioni a bassa latenza.
- Apple riporta oltre 36 token al secondo su quattro Mac Studio M5 Ultra con un contesto di 8.192 token; il confronto dei cavi riguarda il tempo di attesa del primo token con un contesto di 65.536 token.
- La scoperta di Mercor del 90% delle ore lavorative descrive una copertura scarsa o nulla nel suo indice di benchmark selezionato. Non stabilisce un tasso di fallimento del modello del 90%.
- L'avviso modificato di OpenCode descrive un sottoinsieme di utenti della Console con fornitori esterni collegati. L'avviso pubblico non stabilisce la compromissione di ogni installazione locale.
- Testa il tuo carico di lavoro effettivo e rivedi i servizi che contengono credenziali prima di considerare una configurazione di modello locale come una soluzione completa per la privacy o i costi.

## Capitoli

- 0:00 Perché due Mac possono mantenere la stessa velocità?
- 0:41 Perché il modello ha bisogno di più di un Mac?
- 1:30 In che modo Thunderbolt aiuta i Mac a lavorare insieme?
- 2:19 Quale lavoro coprono effettivamente i benchmark AI?
- 3:11 Chi dice OpenCode sia stato colpito durante la notte?
- 4:02 Cosa mette sotto il tuo controllo l'inferenza locale?
- 4:40 Comprerei il cluster di quattro Mac?

## Trascrizione tradotta

Tradotto dalla narrazione originale inglese. L'audio e i sottotitoli disponibili sono controllati da YouTube.

### Perché due Mac possono mantenere la stessa velocità?

0:00 Ti aspetteresti che due Mac rendano la tua AI due volte più veloce. I test di Apple mostrano che la velocità di generazione può rimanere quasi invariata. In questo video, cosa ottengono quattro Mac? Cosa non colpiscono i benchmark? Uno strumento di codifica collega l'hardware a una violazione notturna. Ci torneremo su. Per sabato 17 ottobre, questo è The Daily Diff. MLX è il framework di array open source di Apple per il machine learning su Apple

0:22 silicon. Il suo nuovo test esegue Meta's Muse Spark Open su quattro Mac Studio. Utilizza memoria unificata, che CPU e GPU condividono. Apple ha pubblicato questo il 15 ottobre. Mercor ha mappato il lavoro che i benchmark AI misurano a malapena. Stiamo coprendo l'edizione del 17 ottobre con un aggiornamento notturno del 18 ottobre riguardante OpenCode Console.

### Perché il modello ha bisogno di più di un Mac?

0:41 Iniziamo con la parte scomoda. Il test Muse Spark Open di Apple utilizza circa cinquecento gigabyte solo per il modello a quattro bit. Un singolo Mac Studio raggiunge un massimo di cinquecentododici gigabyte, e l'inferenza ha bisogno anche di memoria di lavoro. I pesi quasi riempiono la valigia prima che tu abbia messo un solo calzino. Più macchine fanno sì che il modello si adatti. Il parallelismo della pipeline taglia il modello attraverso i suoi strati. Mac A esegue gli strati precedenti, quindi passa il risultato intermedio a Mac B per

1:05 gli strati successivi. Per un token generato, questi passaggi avvengono ancora in sequenza. Le misurazioni di Apple mostrano che la velocità di decodifica rimane molto simile a quella di una singola macchina. Hai assunto un secondo cuoco e gli hai dato lo stesso panino. Su Hacker News, uno sviluppatore ha chiesto perché la tabella di Apple utilizzasse un modello Meta a quattro bit accanto a un modello Qwen nella sua precisione nativa. La tabella di Apple indica i formati, quindi leggi le note a piè di pagina prima di fare acquisti. I benchmark delle presentazioni rimangono imbattuti.

1:29 Il parallelismo del tensore taglia invece attraverso ogni strato.

### In che modo Thunderbolt aiuta i Mac a lavorare insieme?

1:32 Più Mac lavorano insieme su parti dello stesso strato, quindi combinano i loro risultati. Ciò può accelerare la generazione, ma le macchine comunicano ripetutamente. Apple utilizza l'accesso alla memoria remota a bassa latenza tramite Thunderbolt. Una mossa di carriera audace per un cavo. Il risultato principale è di oltre trentasei token al secondo da quattro Mac Studio M5 Ultra, con circa ottomila token di contesto. Apple l'ha misurato da sola.

1:55 I prompt più lunghi cambiano la storia. In un test su contesti ampi, due cavi per collegamento hanno ridotto l'attesa per il primo token di circa dieci secondi. Un modello locale ti offre un confine utile attorno ai prompt, a condizione che la tua configurazione effettiva li mantenga locali. Apple non ha fornito un prezzo di pareggio universale rispetto alle API ospitate. Ciò dipende dall'utilizzo e dal modello di cui hai bisogno. Una macchina che risponde a domande occasionali trascorre molto tempo ad essere un

2:17 ornamento da scrivania molto costoso. La scelta di quel modello richiede un test per il tuo lavoro.

### Quale lavoro coprono effettivamente i benchmark AI?

2:21 Mercor ha mappato ventinove benchmark sulla tassonomia dei lavori americani. Il suo indice copre circa novecento attività su quasi diciannovemila. La mappa stima che il novanta percento delle ore lavorative abbia una copertura di benchmark scarsa o nulla. Questo è un gigantesco spazio vuoto sul foglio d'esame. La mappa di Mercor misura la copertura. Un'occupazione vuota ha compiti a malapena testati; la capacità del modello rimane una domanda aperta. La mappatura ha utilizzato un modello AI, con revisione umana su un sottoinsieme dei prompt di benchmark di Mercor.

2:49 I revisori hanno accettato circa tre quarti delle sue prime scelte. Il sistema di valutazione ha bisogno del suo proprio sistema di valutazione, naturalmente. Quindi, se sei preoccupato per il tuo lavoro, una classifica non può risolvere la discussione. Se stai acquistando un assistente alla codifica, riproduci un compito reale con i tuoi controlli di accettazione. Il lavoro utile include le parti scomode dopo la demo. Nessuno viene promosso perché il chatbot ha completato con sicurezza il foglio di calcolo sbagliato. Il che ci porta all'aggiornamento notturno.

### Chi dice OpenCode sia stato colpito durante la notte?

3:13 OpenCode afferma che una violazione della sicurezza ha colpito l'uno virgola quattro percento degli utenti della Console. L'avviso modificato lo restringe a un sottoinsieme con fornitori esterni collegati e afferma che gli utenti interessati sono stati avvisati via email. Lo chiama un attacco di distillazione su larga scala e afferma che l'incidente è in corso. Una causa radice pubblica deve ancora arrivare. Le risposte includono persone che segnalano la scomparsa del credito del provider, che è il loro resoconto degli eventi. L'avviso non stabilisce le perdite o il risarcimento di ciascuna persona.

3:38 Apple aveva appena mostrato come connettere OpenCode all'inferenza locale, e ora il suo nome è accanto a un avviso di sicurezza. Il nome del prodotto copre diversi confini di fiducia. Gli utenti della console dovrebbero leggere l'avviso ufficiale e controllare l'utilizzo del provider. Se sei interessato, segui le istruzioni di riparazione e rivedi le credenziali connesse. Questo avviso ci fornisce un ambito specifico della Console ospitata. Non fornisce alcuna prova qui di una compromissione in ogni installazione locale.

### Cosa mette sotto il tuo controllo l'inferenza locale?

4:02 Ecco la connessione. L'articolo di Apple nomina OpenCode come client per il suo server di modelli locali. La stessa interfaccia di codifica può trovarsi di fronte a infrastrutture molto diverse. Ciò risponde a cosa comprano quattro Mac. Capacità e un confine di inferenza che puoi amministrare. I servizi attorno a quel confine meritano ancora la loro revisione. La mia regola di acquisto è semplice. Dimostra che il modello si adatta, misura l'intero compito e controlla ogni servizio che detiene una

4:23 credenziale. Il risultato di Apple rende l'inferenza locale di grandi dimensioni più pratica, mentre il test della pipeline spiega perché l'aggiunta di hardware può deludere. Il tuo test di accettazione appartiene accanto all'ordine di acquisto. Se preferisci leggere questo piuttosto che sentirmi dirlo, il "diff" arriva nella tua casella di posta ogni mattina, gratuitamente su thedailydiff.dev, link qui sotto.

### Comprerei il cluster di quattro Mac?

4:40 Quindi il verdetto di oggi è "NEEDS REVIEW" (DA REVISIONARE). Misurerei il mio carico di lavoro reale prima di acquistare il cluster. Iscriviti, premi la campanella e dimmi nei commenti se l'avresti timbrato diversamente. E questo è il "diff" per oggi. Sono Niko di Axrisi. Fondi responsabilmente.

## Fonti

- [Local and Distributed Large LLM Inference with MLX and RDMA on Mac Studio](https://machinelearning.apple.com/research/mlx-distributed-inference) — Apple Machine Learning Research
- [A benchmark map of the US economy](https://www.mercor.com/research/labor-index/benchmark-map/) — Mercor
- [Benchmark Map methodology and expert review](https://www.mercor.com/research/labor-index/benchmark-map/methodology/) — Mercor
- [Edited security-breach notice with Console scope](https://x.com/opencode/status/2111519637049319818) — OpenCode
- [Reader questions mixed benchmark precision formats](https://news.ycombinator.com/item?id=50119761) — Hacker News · peri-cl (reader opinion)
- [User reports vanished provider credit (unverified loss claim)](https://x.com/KingOKings/status/2111517723109015607) — Amruth Pillai on X