# Apple MLX distribuovaná inferencia: kapacita modelu, rýchlosť a hranice dôvery

Published: 2026-10-18

Spoločnosť Apple spustila Muse Spark Open na štyroch počítačoch Mac Studio. Výskum spoločnosti Apple z 15. októbra ukazuje Muse Spark Open bežiaci na štyroch Mac Studiách a vysvetľuje, prečo paralelné spracovanie pipeline a tenzorov má rôzne účinky na rýchlosť generovania. Toto vydanie z 17. októbra, publikované 18. októbra, tiež skúma mapu pokrytia benchmarkov spoločnosti Mercor a explicitne označenú bezpečnostnú aktualizáciu OpenCode Console z 18. októbra GMT+7. Merania dodávateľov, pokrytie vybraných indexov a neoverené správy o stratách používateľov si zachovávajú svoje samostatné výhrady.

Canonical: https://thedailydiff.dev/sk/video/2026-10-17-apple-mac-cluster/

## Čo toto video pokrýva

- Váhy modelu a pracovný priestor inferencie spotrebúvajú pamäť; samotná pamäťová náročnosť váh modelu môže podceniť požadovanú kapacitu.
- Pipeline paralelné spracovanie distribuuje následné vrstvy, zatiaľ čo tenzorové paralelné spracovanie delí prácu v rámci každej vrstvy a vyžaduje častú komunikáciu s nízkou latenciou.
- Apple uvádza viac ako 36 tokenov za sekundu na štyroch M5 Ultra Mac Studiách s kontextom 8 192 tokenov; porovnanie káblov sa týka čakania na prvý token pri kontexte 65 536 tokenov.
- Zistenie spoločnosti Mercor o 90 % pracovného času popisuje malé alebo žiadne pokrytie vo vybranom benchmarkovom indexe. Neznamená to 90 % mieru zlyhania modelu.
- Upravené oznámenie spoločnosti OpenCode popisuje podskupinu používateľov konzoly s prepojenými externými poskytovateľmi. Verejné oznámenie nepotvrdzuje kompromitáciu každej lokálnej inštalácie.
- Predtým, než budete považovať lokálne nastavenie modelu za kompletné riešenie súkromia alebo nákladov, otestujte si svoju skutočnú záťaž a preverte služby s povereniami.

## Kapitoly

- 0:00 Prečo môžu dva Macy zostať rovnako rýchle?
- 0:41 Prečo model potrebuje viac ako jeden Mac?
- 1:30 Ako Thunderbolt pomáha Macom spolupracovať?
- 2:19 Akú prácu vlastne pokrývajú AI benchmarky?
- 3:11 Koho podľa OpenCode postihol útok cez noc?
- 4:02 Čo lokálna inferencia dáva pod vašu kontrolu?
- 4:40 Kúpil by som si štyri-Macový klaster?

## Preložený prepis

Preložené z pôvodného anglického rozprávania. Dostupný zvuk a titulky sú kontrolované službou YouTube.

### Prečo môžu dva Macy zostať rovnako rýchle?

0:00 Očakávali by ste, že dva Macy urobia vašu AI dvakrát rýchlejšou. Vlastné testy spoločnosti Apple ukazujú, že rýchlosť generovania môže zostať takmer nezmenená. V tomto videu, čo získate štyrmi Macmi? Čo benchmarky zmeškajú? Jeden kódovací nástroj spája hardvér s nočným únikom dát. Vrátime sa k tomu. Na sobotu, sedemnásty október, toto je The Daily Diff. MLX je open source rámec spoločnosti Apple pre strojové učenie na Apple

0:22 silikóne. Jeho nový test spúšťa Meta's Muse Spark Open na štyroch Mac Studiách. Používa zjednotenú pamäť, ktorú zdieľajú CPU a GPU. Apple to zverejnil pätnásteho októbra. Mercor zmapoval prácu, ktorú AI benchmarky sotva merajú. Pokrývame sedemnásteho októbra vydanie s nočnou aktualizáciou osemnásteho októbra o OpenCode Console.

### Prečo model potrebuje viac ako jeden Mac?

0:41 Začnime s nepríjemnou časťou. Test Apple Muse Spark Open používa asi päťsto gigabajtov len pre štyri bitový model. Jedno Mac Studio má maximálne päťsto dvanásť gigabajtov, a inferencia tiež potrebuje operačnú pamäť. Váhy takmer vyplnia kufor, predtým než si zbalíte jedinú ponožku. Viac strojov umožní, aby sa model zmestil. Pipeline paralelné spracovanie delí model cez jeho vrstvy. Mac A robí skoršie vrstvy, potom odovzdá medzivýsledok Macu B pre

1:05 neskoršie vrstvy. Pre jeden generovaný token sa tieto kroky stále dejú sekvenčne. Merania spoločnosti Apple ukazujú, že rýchlosť dekódovania zostáva veľmi podobná jednému stroju. Najali ste druhého kuchára a dali ste mu ten istý sendvič. Na Hacker News sa jeden vývojár pýtal, prečo tabuľka spoločnosti Apple používala štvôrbitový Meta model popri modeli Qwen v jeho natívnej presnosti. Tabuľka spoločnosti Apple uvádza formáty, takže si pred nákupom prečítajte poznámky pod čiarou. Benchmarky prezentácií zostávajú neporazené.

1:29 Tenzorové paralelné spracovanie namiesto toho delí každú vrstvu.

### Ako Thunderbolt pomáha Macom spolupracovať?

1:32 Viacero Macov pracuje na častiach tej istej vrstvy spoločne, potom kombinujú svoje výsledky. To môže urýchliť generovanie, ale stroje komunikujú opakovane. Apple používa vzdialený prístup k pamäti s nízkou latenciou cez Thunderbolt. Odvážny kariérny krok pre kábel. Hlavný výsledok je viac ako tridsaťšesť tokenov za sekundu zo štyroch M päť Ultra Mac Studí, s približne osemtisíc tokenmi kontextu. Apple to meral sám.

1:55 Dlhšie výzvy menia príbeh. V jednom teste s veľkým kontextom, dva káble na prepojenie skrátili čakanie na prvý token asi o desať sekúnd. Lokálny model vám poskytuje užitočnú hranicu pre výzvy, za predpokladu, že vaše skutočné nastavenie ich udržiava lokálne. Apple nedodal univerzálnu prelomovú cenu oproti hosťovaným API. To závisí od využitia a modelu, ktorý potrebujete. Stroj odpovedajúci na občasné otázky trávi veľa času ako veľmi

2:17 drahá ozdoba stola. Výber tohto modelu vyžaduje test pre vašu prácu.

### Akú prácu vlastne pokrývajú AI benchmarky?

2:21 Mercor zmapoval dvadsaťdeväť benchmarkov na americkú taxonómiu pracovných miest. Jeho index pokrýva približne deväťsto úloh z takmer devätnásťtisíc. Mapa odhaduje, že deväťdesiat percent pracovných hodín má malé alebo žiadne pokrytie benchmarkom. To je obrovská prázdna medzera na skúšobnom papieri. Mercorova mapa meria pokrytie. Prázdna profesia má sotva testované úlohy; schopnosť modelu zostáva otvorenou otázkou. Mapovanie použilo model AI s ľudským hodnotením na podskupine vlastných benchmarkových výziev Mercora.

2:49 Recenzenti prijali približne tri štvrtiny jeho prvých volieb. Systém hodnotenia potrebuje vlastný systém hodnotenia, prirodzene. Takže ak sa obávate o svoju prácu, rebríček nemôže vyriešiť argument. Ak kupujete asistenta na kódovanie, prehrajte si skutočnú úlohu s vlastnými kontrolami prijatia. Užitočná práca zahŕňa aj tie nepríjemné časti po ukážke. Nikto nedostane povýšenie, pretože chatbot s istotou dokončil nesprávnu tabuľku. Čo nás privádza k nočnej aktualizácii.

### Koho podľa OpenCode postihol útok cez noc?

3:13 OpenCode uvádza, že bezpečnostný incident postihol jeden bod štyri percenta používateľov konzoly Používateľov. Jeho upravené oznámenie to zužuje na podskupinu s prepojenými externými poskytovateľmi a uvádza, že postihnutým používateľom boli odoslané e-maily. Nazýva to rozsiahly útok na destiláciu a uvádza, že incident prebieha. Verejná príčina ešte nebola zverejnená. Odpovede zahŕňajú ľudí, ktorí hlásia zmiznuté kredity poskytovateľa, čo je ich popis udalostí. Oznámenie nepotvrdzuje straty ani kompenzácie jednotlivých osôb.

3:38 Apple práve ukázal, ako pripojiť OpenCode k lokálnej inferencii, a teraz je jeho názov vedľa bezpečnostného varovania. Názov produktu pokrýva niekoľko rôznych hraníc dôvery. Používatelia konzoly by si mali prečítať oficiálne oznámenie a skontrolovať využívanie poskytovateľa. Ak ste dotknutí, postupujte podľa pokynov na nápravu a preverte pripojené poverenia. Toto oznámenie nám poskytuje konkrétny rozsah hosťovanej konzoly. Neposkytuje tu žiadne dôkazy o kompromitácii v každej lokálnej inštalácii.

### Čo lokálna inferencia dáva pod vašu kontrolu?

4:02 Tu je spojenie. Článok spoločnosti Apple označuje OpenCode ako klienta pre svoj lokálny modelový server. Rovnaké kódovacie rozhranie môže byť pred veľmi odlišnou infraštruktúrou. To odpovedá na otázku, čo získajú štyri Macy. Kapacitu a hranicu inferencie, ktorú môžete spravovať. Služby okolo tejto hranice si stále zaslúžia vlastné prehodnotenie. Moje pravidlo nákupu je jednoduché. Dokážte, že model sedí, zmerajte celú úlohu a skontrolujte každú službu, ktorá drží

4:23 poverenie. Výsledok spoločnosti Apple robí rozsiahlu lokálnu inferenciu praktickejšou, zatiaľ čo test pipeline vysvetľuje, prečo pridávanie hardvéru môže sklamať. Váš akceptačný test patrí k objednávke. Ak si to radšej prečítate, než by ste ma počuli hovoriť, diff vám pristane v schránke každé ráno, zadarmo na the daily diff dot dev, odkaz nižšie.

### Kúpil by som si štyri-Macový klaster?

4:40 Takže dnešný verdikt je POTREBNÁ KONTROLA. Pred kúpou klastra by som si zmeral svoju skutočnú záťaž. Prihláste sa na odber, stlačte zvonček a povedzte mi v komentároch, či by ste to označili inak. A to je pre dnešok všetko. Som Niko z Axrisi. Zlučujte zodpovedne.

## Zdroje

- [Local and Distributed Large LLM Inference with MLX and RDMA on Mac Studio](https://machinelearning.apple.com/research/mlx-distributed-inference) — Apple Machine Learning Research
- [A benchmark map of the US economy](https://www.mercor.com/research/labor-index/benchmark-map/) — Mercor
- [Benchmark Map methodology and expert review](https://www.mercor.com/research/labor-index/benchmark-map/methodology/) — Mercor
- [Edited security-breach notice with Console scope](https://x.com/opencode/status/2111519637049319818) — OpenCode
- [Reader questions mixed benchmark precision formats](https://news.ycombinator.com/item?id=50119761) — Hacker News · peri-cl (reader opinion)
- [User reports vanished provider credit (unverified loss claim)](https://x.com/KingOKings/status/2111517723109015607) — Amruth Pillai on X