# Apple MLX verspreide inferensie: modelkapasiteit, spoed en vertrouensgrense

Published: 2026-10-18

Apple se navorsing van 15 Oktober toon Muse Spark Open wat op vier Mac Studios loop en verduidelik waarom pyplyn- en tensoriese parallelisme verskillende effekte op generasiespoed het. Hierdie uitgawe van 17 Oktober, gepubliseer op 18 Oktober, ondersoek ook Mercor se maatstaf-dekkingskaart en 'n eksplisiet gemerkte 18 Oktober GMT+7 OpenCode Console-sekuriteitsopdatering. Verskaffer metings, geselekteerde-indeks dekking en onbevestigde gebruiker verlies verslae behou hul aparte voorbehoude.

Canonical: https://thedailydiff.dev/af/video/2026-10-17-apple-mac-cluster/

## Wat hierdie video dek

- Modelgewigte en inferensie-werkruimte verbruik albei geheue; 'n model se gewigsafdruk alleen kan die benodigde kapasiteit onderskat.
- Pyplynparallelisme versprei opeenvolgende lae, terwyl tensoriese parallelisme werk binne elke laag verdeel en gereelde lae-latensie kommunikasie benodig.
- Apple rapporteer meer as 36 tokens per sekonde op vier M5 Ultra Mac Studios met 'n konteks van 8 192 tokens; die kabelvergelyking handel oor die wagtyd vir die eerste token by 'n konteks van 65 536 tokens.
- Mercor se bevinding van 90% werkure beskryf min of geen dekking in sy geselekteerde maatstafindeks. Dit stel nie 'n model mislukkingskoers van 90% vas nie.
- OpenCode se gewysigde kennisgewing beskryf 'n subset van Console-gebruikers met gekoppelde eksterne verskaffers. Die openbare kennisgewing bewys nie kompromittering van elke plaaslike installasie nie.
- Toets jou werklike werklading en hersien geloofsbrief-draende dienste voordat jy 'n plaaslike modelopstelling as 'n volledige privaatheids- of kosteoplossing beskou.

## Hoofstukke

- 0:00 Waarom kan twee Macs dieselfde spoed bly?
- 0:41 Waarom het die model meer as een Mac nodig?
- 1:30 Hoe help Thunderbolt die Macs om saam te werk?
- 2:19 Watter werk dek die AI-maatstawwe eintlik?
- 3:11 Wie sê OpenCode is oornag geraak?
- 4:02 Wat plaas plaaslike inferensie onder jou beheer?
- 4:40 Sou ek die vier-Mac-groep koop?

## Vertaalde transkripsie

Vertaal uit die oorspronklike Engelse vertelling. Beskikbare klank en onderskrifte word deur YouTube beheer.

### Waarom kan twee Macs dieselfde spoed bly?

0:00 Jy sou verwag dat twee Macs jou AI twee keer so vinnig sou maak. Apple se eie toetse toon dat generasiespoed byna onveranderd kan bly. In hierdie video, wat koop vier Macs? Wat mis maatstawwe? Een koderingshulpmiddel verbind die hardeware met 'n oornagse inbreuk. Ons sal daarop terugkom. Vir Saterdag, sewentien Oktober, is dit The Daily Diff. MLX is Apple se oopbron-skikkingraamwerk vir masjienleer op Apple

0:22 silikon. Die nuwe toets laat Meta se Muse Spark Open op vier Mac Studios loop. Dit gebruik verenigde geheue, wat die SVE en GVE deel. Apple het dit op vyftien Oktober gepubliseer. Mercor het die werk wat KI-maatstawwe skaars meet, gekarteer. Ons dek die sewentien Oktober uitgawe, met 'n oornag agtien Oktober opdatering oor OpenCode Console.

### Waarom het die model meer as een Mac nodig?

0:41 Begin met die ongerieflike deel. Apple se Muse Spark Open-toets gebruik ongeveer vyfhonderd gigagrepe net vir die vier bis-model. 'n Enkele Mac Studio bereik 'n maksimum van vyfhonderd twaalf gigagrepe, en inferensie benodig ook werkgeheue. Die gewigte vul byna die tas voordat jy 'n enkele sokkie ingepak het. Meer masjiene laat die model pas. Pyplynparallelisme sny die model deur sy lae. Mac A doen die vroeër lae, en gee dan die tussentydse resultaat aan Mac B vir

1:05 die later lae. Vir een gegenereerde token gebeur daardie stappe steeds in volgorde. Apple se metings toon dat dekodeerspoed baie soortgelyk bly aan 'n enkele masjien. Jy het 'n tweede kok gehuur en vir hulle dieselfde toebroodjie gegee. Op Hacker News het een ontwikkelaar bevraagteken waarom Apple se tabel 'n vier bis Meta model langs 'n Qwen-model in sy oorspronklike presisie gebruik het. Apple se tabel meld die formate, so lees die voetnote voor jy koop. Skyfie-aanbieding maatstawwe bly onoorwonne.

1:29 Tensorparallelisme sny eerder oor elke laag.

### Hoe help Thunderbolt die Macs om saam te werk?

1:32 Veelvuldige Macs werk saam aan dele van dieselfde laag, dan kombineer hulle hul resultate. Dit kan generasie versnel, maar die masjiene kommunikeer herhaaldelik. Apple gebruik lae-latensie afstandgeheue-toegang oor Thunderbolt. ’n Gedurfde loopbaan skuif vir ’n kabel. Die hoofresultaat is meer as ses-en-dertig tokens per sekonde vanaf vier M vyf Ultra Mac Studios, met ongeveer agtduisend tokens konteks. Apple het dit self gemeet.

1:55 Langer opdragte verander die storie. In een groot konteks toets het twee kabels per skakel die wag vir die eerste token met ongeveer tien sekondes verkort. 'n Plaaslike model gee jou 'n nuttige grens rondom opdragte, mits jou werklike opstelling dit plaaslik hou. Apple het nie 'n universele gelykbreekprys teen gehuisde API's verskaf nie. Dit hang af van benutting en die model wat jy benodig. 'n Masjien wat af en toe vrae beantwoord, spandeer baie tyd om 'n baie

2:17 duur lessenaarornament te wees. Die keuse van daardie model vereis 'n toets vir jou werk.

### Watter werk dek die AI-maatstawwe eintlik?

2:21 Mercor het nege-en-twintig maatstawwe gekarteer op die Amerikaanse beroepstaksonomie. Die indeks dek ongeveer negehonderd take uit byna negentien duisend. Die kaart skat dat negentig persent van werkure min of geen maatstafdekking het nie. Dit is 'n reuse leë spasie op die eksamenvraestel. Mercor se kaart meet dekking. 'n Leë beroep het skaars getoetste take; modelvermoë bly 'n ope vraag. Die kartering het 'n KI-model gebruik, met menslike hersiening op 'n subset van Mercor se eie maatstafopdragte.

2:49 Beoordelaars het ongeveer driekwart van sy eerste keuses aanvaar. Die graderingstelsel het sy eie graderingstelsel nodig, natuurlik. So as jy bekommerd is oor jou werk, kan 'n ranglys nie die argument besleg nie. As jy 'n koderingsassistent koop, speel 'n regte taak oor met jou eie aanvaardingskontroles. Nuttige werk sluit die ongemaklike dele ná die demo in. Niemand word bevorder omdat die kletsbot met vertroue die verkeerde sigblad voltooi het nie. Wat ons bring by die oornag-opdatering.

### Wie sê OpenCode is oornag geraak?

3:13 OpenCode sê 'n sekuriteitsinbreuk het een punt vier persent van Console gebruikers geraak. Die geredigeerde kennisgewing beperk dit tot 'n subset met eksterne verskaffers gekoppel, en sê geaffekteerde gebruikers is e-pos gestuur. Dit noem dit 'n grootskaalse distilleer-aanval, en sê die insident is aan die gang. 'n Openbare oorsaak moet nog arriveer. Antwoorde sluit mense in wat berig dat verskaffer krediet verdwyn het, wat hul weergawe van gebeure is. Die kennisgewing stel nie elke persoon se verliese of vergoeding vas nie.

3:38 Apple het pas gewys hoe om OpenCode aan plaaslike inferensie te koppel, en nou is sy naam langs 'n sekuriteitswaarskuwing. Die produknaam dek verskeie verskillende vertrouensgrense. Console-gebruikers moet die amptelike kennisgewing lees en verskaffergebruik nagaan. As jy geraak word, volg die remediëringsinstruksies en hersien gekoppelde geloofsbriewe. Hierdie kennisgewing gee ons 'n spesifieke gehuisde Console-omvang. Dit verskaf hier geen bewyse van 'n kompromis in elke plaaslike installasie nie.

### Wat plaas plaaslike inferensie onder jou beheer?

4:02 Hier is die verbinding. Apple se artikel noem OpenCode as 'n kliënt vir sy plaaslike modelbediener. Dieselfde koderingskoppelvlak kan voor baie verskillende infrastruktuur sit. Dit beantwoord wat vier Macs koop. Kapasiteit, en 'n inferensie grens wat jy kan administreer. Dienste rondom daardie grens verdien steeds hul eie hersiening. My koopreël is eenvoudig. Bewys die model pas, meet die hele taak, en kyk elke diens wat 'n

4:23 geloofsbrief hou. Apple se resultaat maak groot plaaslike inferensie meer prakties, terwyl die pyplyntoets verduidelik waarom die byvoeging van hardeware kan teleurstel. Jou aanvaardingstoets hoort langs die aankooporder. As jy dit eerder wil lees as om my dit te hoor sê, land die verskil in jou inkassie elke oggend, gratis by the daily diff dot dev, skakel hieronder.

### Sou ek die vier-Mac-groep koop?

4:40 So vandag se uitspraak is MOET HERSIEN WORD. Ek sou my werklike werklading meet voordat ek die groep koop. Teken in, druk die klokkie, en vertel my in die kommentaar as jy dit anders sou gestempel het. En dit is die verskil vir vandag. Ek is Niko van Axrisi. Voeg verantwoordelik saam.

## Bronne

- [Local and Distributed Large LLM Inference with MLX and RDMA on Mac Studio](https://machinelearning.apple.com/research/mlx-distributed-inference) — Apple Machine Learning Research
- [A benchmark map of the US economy](https://www.mercor.com/research/labor-index/benchmark-map/) — Mercor
- [Benchmark Map methodology and expert review](https://www.mercor.com/research/labor-index/benchmark-map/methodology/) — Mercor
- [Edited security-breach notice with Console scope](https://x.com/opencode/status/2111519637049319818) — OpenCode
- [Reader questions mixed benchmark precision formats](https://news.ycombinator.com/item?id=50119761) — Hacker News · peri-cl (reader opinion)
- [User reports vanished provider credit (unverified loss claim)](https://x.com/KingOKings/status/2111517723109015607) — Amruth Pillai on X