# Inferența distribuită MLX de la Apple: capacitate model, viteză și limite de încredere

Published: 2026-10-18

Cercetarea Apple din 15 octombrie arată că Muse Spark Open rulează pe patru Mac Studio-uri și explică de ce paralelismul de pipeline și de tensor au efecte diferite asupra vitezei de generare. Această ediție din 17 octombrie, publicată pe 18 octombrie, examinează, de asemenea, harta de acoperire a benchmark-urilor Mercor și o actualizare de securitate a OpenCode Console din 18 octombrie, ora GMT+7, etichetată explicit. Măsurătorile furnizorilor, acoperirea indicilor selectați și rapoartele neverificate ale utilizatorilor privind pierderile își păstrează avertismentele separate.

Canonical: https://thedailydiff.dev/ro/video/2026-10-17-apple-mac-cluster/

## Ce acoperă acest videoclip

- Atât greutățile modelului, cât și spațiul de lucru pentru inferență consumă memorie; amprenta de greutate a modelului singură poate subestima capacitatea necesară.
- Paralelismul de pipeline distribuie straturile succesive, în timp ce paralelismul de tensor împarte munca în interiorul fiecărui strat și necesită o comunicare frecventă cu latență scăzută.
- Apple raportează peste 36 de tokeni pe secundă pe patru Mac Studio-uri M5 Ultra cu un context de 8.192 de tokeni; comparația cablurilor se referă la timpul de așteptare pentru primul token la un context de 65.536 de tokeni.
- Constatarea Mercor privind 90% din orele de lucru descrie o acoperire mică sau inexistentă în indicele său de benchmark selectat. Nu stabilește o rată de eșec a modelului de 90%.
- Notificarea editată a OpenCode descrie un subgrup de utilizatori Console cu furnizori externi conectați. Notificarea publică nu stabilește compromiterea fiecărei instalări locale.
- Testați sarcina de lucru reală și examinați serviciile care conțin credențiale înainte de a trata o configurație de model local ca o soluție completă de confidențialitate sau costuri.

## Capitole

- 0:00 De ce două Mac-uri pot rămâne la aceeași viteză?
- 0:41 De ce modelul are nevoie de mai mult de un Mac?
- 1:30 Cum ajută Thunderbolt Mac-urile să lucreze împreună?
- 2:19 Ce acoperă de fapt benchmark-urile AI?
- 3:11 Cine spune OpenCode că a fost afectat peste noapte?
- 4:02 Ce pune sub controlul tău inferența locală?
- 4:40 Aș cumpăra clusterul cu patru Mac-uri?

## Transcrierea tradusă

Tradus din narațiunea originală în engleză. Audio-ul și subtitrările disponibile sunt controlate de YouTube.

### De ce două Mac-uri pot rămâne la aceeași viteză?

0:00 Te-ai aștepta ca două Mac-uri să-ți facă AI-ul de două ori mai rapid. Propriile teste ale Apple arată că viteza de generare poate rămâne aproape neschimbată. În acest videoclip, ce cumpără patru Mac-uri? Ce ratează benchmark-urile? Un instrument de codificare conectează hardware-ul la o breșă peste noapte. Vom reveni la asta. Pentru sâmbătă, șaptesprezece octombrie, acesta este The Daily Diff. MLX este framework-ul open source de la Apple pentru învățarea automată pe siliciu Apple.

0:22 Noul său test rulează Muse Spark Open de la Meta pe patru Mac Studio-uri. Utilizează memorie unificată, pe care CPU-ul și GPU-ul o partajează. Apple a publicat asta pe cincisprezece octombrie. Mercor a mapat munca pe care benchmark-urile AI abia o măsoară. Acoperim ediția din șaptesprezece octombrie, cu o actualizare peste noapte din optsprezece octombrie despre OpenCode Console.

### De ce modelul are nevoie de mai mult de un Mac?

0:41 Să începem cu partea incomodă. Testul Muse Spark Open de la Apple utilizează aproximativ cinci sute de gigabytes doar pentru modelul pe patru biți. Un singur Mac Studio atinge maxim cinci sute doisprezece gigabytes, iar inferența necesită și memorie de lucru. Greutățile aproape umplu valiza înainte de a fi împachetat un singur șosete. Mai multe mașini fac ca modelul să se potrivească. Paralelismul de pipeline taie modelul prin straturile sale. Mac A face straturile anterioare, apoi transmite rezultatul intermediar către Mac B pentru

1:05 straturile ulterioare. Pentru un token generat, acești pași se întâmplă tot în secvență. Măsurătorile Apple arată că viteza de decodare rămâne foarte similară cu o singură mașină. Ai angajat un al doilea bucătar și i-ai dat același sandvici. Pe Hacker News, un dezvoltator a pus la îndoială de ce tabelul Apple a folosit un model Meta pe patru biți alături de un model Qwen la precizia sa nativă. Tabelul Apple precizează formatele, așa că citiți notele de subsol înainte de a cumpăra. Benchmark-urile din prezentări rămân neînvinsă.

1:29 Paralelismul de tensor taie în schimb fiecare strat.

### Cum ajută Thunderbolt Mac-urile să lucreze împreună?

1:32 Mai multe Mac-uri lucrează împreună la fragmente din același strat, apoi combină rezultatele. Acest lucru poate accelera generarea, dar mașinile comunică în mod repetat. Apple utilizează acces la memorie la distanță cu latență scăzută prin Thunderbolt. O mișcare de carieră îndrăzneață pentru un cablu. Rezultatul principal este de peste treizeci și șase de tokeni pe secundă de la patru Mac Studio-uri M5 Ultra, cu aproximativ opt mii de tokeni de context. Apple a măsurat-o singură.

1:55 Solicitările mai lungi schimbă povestea. Într-un test de context mare, două cabluri pe legătură au redus așteptarea primului token cu aproximativ zece secunde. Un model local îți oferă o limită utilă în jurul prompturilor, cu condiția ca configurația ta reală să le mențină locale. Apple nu a furnizat un preț universal de prag de rentabilitate față de API-urile găzduite. Asta depinde de utilizare și de modelul de care ai nevoie. O mașină care răspunde la întrebări ocazionale petrece mult timp fiind un ornament de birou foarte

2:17 scump. Alegerea acelui model necesită un test pentru munca ta.

### Ce acoperă de fapt benchmark-urile AI?

2:21 Mercor a mapat douăzeci și nouă de benchmark-uri pe taxonomia de joburi americană. Indicele său acoperă aproximativ nouă sute de sarcini din aproape nouăsprezece mii. Harta estimează că nouăzeci la sută din orele de lucru au o acoperire mică sau inexistentă a benchmark-urilor. Este un spațiu gol uriaș pe foaia de examen. Harta Mercor măsoară acoperirea. O ocupație goală are sarcini abia testate; capacitatea modelului rămâne o întrebare deschisă. Maparea a utilizat un model AI, cu revizuire umană pe un subset de propriile prompturi de benchmark ale Mercor.

2:49 Recenzenții au acceptat aproximativ trei sferturi din primele sale alegeri. Sistemul de notare are nevoie de propriul său sistem de notare, natural. Deci, dacă ești îngrijorat de jobul tău, un clasament nu poate rezolva argumentul. Dacă cumperi un asistent de codificare, reia o sarcină reală cu propriile tale verificări de acceptare. Munca utilă include și aspectele mai puțin plăcute de după demonstrație. Nimeni nu este promovat pentru că chatbot-ul a terminat cu încredere foaia de calcul greșită. Ceea ce ne aduce la actualizarea de peste noapte.

### Cine spune OpenCode că a fost afectat peste noapte?

3:13 OpenCode spune că o breșă de securitate a afectat un punct patru la sută din utilizatorii Console. Notificarea sa editată restrânge asta la un subset cu furnizori externi conectați și spune că utilizatorii afectați au fost notificați prin e-mail. Aceasta numește acest lucru un atac de distilare la scară largă și spune că incidentul este în desfășurare. O cauză rădăcină publică nu a fost încă anunțată. Răspunsurile includ persoane care raportează credite de furnizor dispărute, care este relatarea lor a evenimentelor. Notificarea nu stabilește pierderile sau compensațiile fiecărei persoane.

3:38 Apple tocmai arătase cum să conectezi OpenCode la inferența locală, și acum numele său este lângă un avertisment de securitate. Numele produsului acoperă mai multe limite de încredere diferite. Utilizatorii Console ar trebui să citească notificarea oficială și să verifice utilizarea furnizorului. Dacă ești afectat, urmează instrucțiunile de remediere și revizuiește credențialele conectate. Această notificare ne oferă un domeniu de aplicare specific pentru Console găzduit. Nu oferă aici nicio dovadă a unei compromiteri în fiecare instalare locală.

### Ce pune sub controlul tău inferența locală?

4:02 Iată conexiunea. Articolul Apple numește OpenCode un client pentru serverul său de modele locale. Aceeași interfață de codificare poate sta în fața unei infrastructuri foarte diferite. Asta răspunde la ce cumpără patru Mac-uri. Capacitate și o limită de inferență pe care o poți administra. Serviciile din jurul acestei limite merită totuși propria lor revizuire. Regula mea de cumpărare este simplă. Dovedește că modelul se potrivește, măsoară întreaga sarcină și verifică fiecare serviciu care deține un

4:23 credential. Rezultatul Apple face inferența locală mare mai practică, în timp ce testul de pipeline explică de ce adăugarea de hardware poate dezamăgi. Testul tău de acceptare aparține lângă bonul de comandă. Dacă preferi să citești asta decât să mă auzi spunând-o, "the diff" îți ajunge în căsuța de e-mail în fiecare dimineață, gratuit la thedailyff dot dev, link mai jos.

### Aș cumpăra clusterul cu patru Mac-uri?

4:40 Așadar, verdictul de azi este "NEEDS REVIEW" (NECESITĂ REVIZUIRE). Aș măsura sarcina mea de lucru reală înainte de a cumpăra clusterul. Abonați-vă, apăsați clopoțelul și spuneți-mi în comentarii dacă ați fi ștampilat-o diferit. Și asta e diferența pentru astăzi. Sunt Niko de la Axrisi. Fuzionați responsabil.

## Surse

- [Local and Distributed Large LLM Inference with MLX and RDMA on Mac Studio](https://machinelearning.apple.com/research/mlx-distributed-inference) — Apple Machine Learning Research
- [A benchmark map of the US economy](https://www.mercor.com/research/labor-index/benchmark-map/) — Mercor
- [Benchmark Map methodology and expert review](https://www.mercor.com/research/labor-index/benchmark-map/methodology/) — Mercor
- [Edited security-breach notice with Console scope](https://x.com/opencode/status/2111519637049319818) — OpenCode
- [Reader questions mixed benchmark precision formats](https://news.ycombinator.com/item?id=50119761) — Hacker News · peri-cl (reader opinion)
- [User reports vanished provider credit (unverified loss claim)](https://x.com/KingOKings/status/2111517723109015607) — Amruth Pillai on X