# Apple MLX distribuerad inferens: modellkapacitet, hastighet och förtroendegränser

Published: 2026-10-18

Apples forskning den 15 oktober visar att Muse Spark Open körs på fyra Mac Studios och förklarar varför pipeline- och tensorparallelism har olika effekter på genereringshastigheten. Denna utgåva från den 17 oktober, publicerad den 18 oktober, undersöker också Mercors benchmark-täckningskarta och en explicit märkt säkerhetsuppdatering för OpenCode Console den 18 oktober GMT+7. Leverantörsmätningar, utvald indextäckning och overifierade användarförlustrapporter behåller sina separata varningar.

Canonical: https://thedailydiff.dev/sv/video/2026-10-17-apple-mac-cluster/

## Vad den här videon täcker

- Modellvikter och inferensarbetsyta förbrukar båda minne; en modells viktsfotavtryck kan ensamt underskatta den nödvändiga kapaciteten.
- Pipelineparallelism distribuerar successiva lager, medan tensorparallelism delar upp arbetet inom varje lager och kräver frekvent kommunikation med låg latens.
- Apple rapporterar över 36 tokens per sekund på fyra M5 Ultra Mac Studios med en 8 192-tokens kontext; kabeljämförelsen gäller väntetid för första token vid en 65 536-tokens kontext.
- Mercors fynd om 90 % arbetstid beskriver liten eller ingen täckning i dess utvalda benchmarkindex. Det fastställer inte en 90 % modellfelrate.
- OpenCodes redigerade meddelande beskriver en delmängd av Console-användare med länkade externa leverantörer. Det offentliga meddelandet fastställer inte att varje lokal installation har komprometterats.
- Testa din faktiska arbetsbelastning och granska tjänster med referenser innan du behandlar en lokal modellinstallation som en komplett integritets- eller kostnadslösning.

## Kapitel

- 0:00 Varför kan två Macar behålla samma hastighet?
- 0:41 Varför behöver modellen mer än en Mac?
- 1:30 Hur hjälper Thunderbolt Macarna att samarbeta?
- 2:19 Vilket arbete täcker AI-benchmarks egentligen?
- 3:11 Vem säger OpenCode blev påverkad under natten?
- 4:02 Vad sätter lokal inferens under din kontroll?
- 4:40 Skulle jag köpa klustret med fyra Macar?

## Översatt transkription

Översatt från den ursprungliga engelska berättelsen. Tillgängligt ljud och undertexter styrs av YouTube.

### Varför kan två Macar behålla samma hastighet?

0:00 Du förväntar dig att två Macar skulle göra din AI dubbelt så snabb. Apples egna tester visar att genereringshastigheten kan förbli nästan oförändrad. I den här videon, vad får du med fyra Macar? Vad missar benchmarks? Ett kodningsverktyg kopplar hårdvaran till ett nattligt intrång. Vi återkommer till det. För lördag den sjuttonde oktober, detta är The Daily Diff. MLX är Apples open source-ramverk för maskininlärning på Apple

0:22 kisel. Dess nya test kör Metas Muse Spark Open över fyra Mac Studios. Den använder enhetligt minne, som CPU och GPU delar. Apple publicerade detta den femtonde oktober. Mercor kartlade det arbete AI-benchmarks knappt mäter. Vi täcker den sjuttonde oktober utgåvan, med en uppdatering under natten den artonde oktober om OpenCode Console.

### Varför behöver modellen mer än en Mac?

0:41 Börja med den obekväma biten. Apples Muse Spark Open-test använder cirka femhundra gigabyte bara för den fyra bitars modellen. En enskild Mac Studio når upp till femhundratolv gigabyte, och inferens behöver också arbetsminne. Vikterna fyller nästan resväskan innan du har packat en enda strumpa. Fler maskiner gör att modellen passar. Pipelineparallelism skär modellen genom dess lager. Mac A gör de tidigare lagren, skickar sedan det mellanliggande resultatet till Mac B för

1:05 de senare lagren. För en genererad token sker dessa steg fortfarande i sekvens. Apples mätningar visar att avkodningshastigheten förblir mycket lik den för en enskild maskin. Du har anställt en andra kock och gett dem samma smörgås. På Hacker News ifrågasatte en utvecklare varför Apples tabell använde en fyra bitars Meta modell bredvid en Qwen-modell med dess ursprungliga precision. Apples tabell anger formaten, så läs fotnoterna innan du handlar. Benchmarkresultat i presentationsbilder är oövervinnliga.

1:29 Tensorparallelism skär istället tvärs över varje lager.

### Hur hjälper Thunderbolt Macarna att samarbeta?

1:32 Flera Macar arbetar tillsammans med delar av samma lager, och kombinerar sedan sina resultat. Detta kan accelerera genereringen, men maskinerna kommunicerar upprepade gånger. Apple använder fjärrminnesåtkomst med låg latens via Thunderbolt. Ett djärvt karriärdrag för en kabel. Rubrikresultatet är över trettiosex tokens per sekund från fyra M fem Ultra Mac Studios, med cirka åttatusen tokens av kontext. Apple mätte det självt.

1:55 Längre prompter ändrar historien. I ett stort kontexttest minskade två kablar per länk väntetiden för den första token med cirka tio sekunder. En lokal modell ger dig en användbar gräns kring prompter, förutsatt att din faktiska installation håller dem lokala. Apple har inte levererat ett universellt break even-pris mot värdbaserade API:er. Det beror på utnyttjandet och vilken modell du behöver. En maskin som svarar på enstaka frågor spenderar mycket tid på att vara en mycket

2:17 dyr skrivbordsprydnad. Att välja den modellen kräver ett test för ditt arbete.

### Vilket arbete täcker AI-benchmarks egentligen?

2:21 Mercor kartlade tjugonio benchmarks mot den amerikanska jobbtaxonomin. Dess index täcker ungefär niohundra uppgifter av nästan nittontusen. Kartan uppskattar att nittio procent av arbetstiden har liten eller ingen benchmarktäckning. Det är en jättestor tom yta på provpappret. Mercors karta mäter täckning. En tom yrkeskategori har knappt testade uppgifter; modellkapaciteten förblir en öppen fråga. Kartläggningen använde en AI-modell, med mänsklig granskning av en delmängd av Mercors egna benchmark-prompter.

2:49 Granskare accepterade ungefär tre fjärdedelar av dess första val. Betygssystemet behöver sitt eget betygssystem, naturligtvis. Så om du är orolig för ditt jobb kan en topplista inte avgöra argumentet. Om du köper en kodningsassistent, spela upp en verklig uppgift med dina egna acceptanskontroller. Användbart arbete inkluderar de besvärliga bitarna efter demon. Ingen blir befordrad för att chatboten självsäkert slutförde fel kalkylblad. Vilket för oss till uppdateringen under natten.

### Vem säger OpenCode blev påverkad under natten?

3:13 OpenCode säger att ett säkerhetsintrång drabbade en komma fyra procent av Console användare. Dess redigerade meddelande begränsar detta till en delmängd med externa leverantörer länkade, och säger att drabbade användare fick e-post. Den kallar detta en storskalig destillationsattack och säger att incidenten fortgår. En offentlig grundorsak har ännu inte kommit. Svar inkluderar personer som rapporterar försvunna leverantörskrediter, vilket är deras redogörelse för händelserna. Meddelandet fastställer inte varje persons förluster eller kompensation.

3:38 Apple hade precis visat hur man kopplar OpenCode till lokal inferens, och nu står dess namn bredvid en säkerhetsvarning. Produktnamnet täcker flera olika förtroendegränser. Console-användare bör läsa det officiella meddelandet och kontrollera leverantörsanvändningen. Om du är drabbad, följ instruktionerna för åtgärder och granska anslutna referenser. Detta meddelande ger oss en specifik värdbaserad Console-omfattning. Det ger inga bevis här för en kompromettering i varje lokal installation.

### Vad sätter lokal inferens under din kontroll?

4:02 Här är kopplingen. Apples artikel namnger OpenCode som en klient för dess lokala modellserver. Samma kodningsgränssnitt kan sitta framför mycket olika infrastruktur. Det svarar på vad fyra Macar köper. Kapacitet, och en inferensgräns du kan administrera. Tjänster kring den gränsen förtjänar fortfarande sin egen granskning. Min köpregel är enkel. Bevisa att modellen passar, mät hela uppgiften och kontrollera varje tjänst som innehar en

4:23 referens. Apples resultat gör stor lokal inferens mer praktisk, medan pipeline-testet förklarar varför att lägga till hårdvara kan göra dig besviken. Ditt acceptanstest hör hemma bredvid inköpsordern. Om du hellre läser detta än hör mig säga det, landar The Daily Diff i din inkorg varje morgon, gratis på the daily diff dot dev, länk nedan.

### Skulle jag köpa klustret med fyra Macar?

4:40 Så dagens dom är NEEDS REVIEW. Jag skulle mäta min verkliga arbetsbelastning innan jag köper klustret. Prenumerera, tryck på klockan och berätta i kommentarerna om du hade stämplat det annorlunda. Och det var The Daily Diff för idag. Jag är Niko från Axrisi. Merge responsibly.

## Källor

- [Local and Distributed Large LLM Inference with MLX and RDMA on Mac Studio](https://machinelearning.apple.com/research/mlx-distributed-inference) — Apple Machine Learning Research
- [A benchmark map of the US economy](https://www.mercor.com/research/labor-index/benchmark-map/) — Mercor
- [Benchmark Map methodology and expert review](https://www.mercor.com/research/labor-index/benchmark-map/methodology/) — Mercor
- [Edited security-breach notice with Console scope](https://x.com/opencode/status/2111519637049319818) — OpenCode
- [Reader questions mixed benchmark precision formats](https://news.ycombinator.com/item?id=50119761) — Hacker News · peri-cl (reader opinion)
- [User reports vanished provider credit (unverified loss claim)](https://x.com/KingOKings/status/2111517723109015607) — Amruth Pillai on X