Apple MLX distribuert inferens: modellkapasitet, hastighet og tillitsgrenser

Hva denne videoen dekker

• Modellvekter og inferensarbeidsområde forbruker begge minne; en modells vektfotavtrykk alene kan undervurdere den nødvendige kapasiteten.
• Pipeline-parallellisme distribuerer etterfølgende lag, mens tensorparallellisme deler opp arbeidet innenfor hvert lag og krever hyppig kommunikasjon med lav latenstid.
• Apple rapporterer over 36 tokener per sekund på fire M5 Ultra Mac Studios med en kontekst på 8192 tokener; kabelsammenligningen gjelder førstetoken-ventetiden ved en kontekst på 65 536 tokener.
• Mercors funn på 90 % arbeidstimer beskriver liten eller ingen dekning i deres utvalgte benchmark-indeks. Det etablerer ikke en 90 % modellfeilrate.
• OpenCodes redigerte melding beskriver en delmengde av Console-brukere med tilknyttede eksterne leverandører. Den offentlige meldingen etablerer ikke kompromittering av hver lokal installasjon.
• Test din faktiske arbeidsbelastning og gjennomgå tjenester som bærer legitimasjon før du behandler et lokalt modelloppsett som en komplett personvern- eller kostnadsløsning.

Oversatt transkripsjon

Oversatt fra den originale engelske fortellingen. Tilgjengelig lyd og undertekster kontrolleres av YouTube.

Hvorfor kan to Mac-er holde samme hastighet?

0:00 Du ville forvente at to Mac-er ville gjøre din AI dobbelt så rask. Apples egne tester viser at generasjonshastigheten kan forbli nesten uendret. I denne videoen, hva får du med fire Mac-er? Hva overser benchmarks? Ett kodingsverktøy kobler maskinvaren til et nattlig brudd. Vi kommer tilbake til det. For lørdag syttende oktober, dette er The Daily Diff. MLX er Apples åpen kildekode array-rammeverk for maskinlæring på Apple

0:22 silisium. Den nye testen kjører Metas Muse Spark Open på fire Mac Studios. Den bruker enhetlig minne, som CPU og GPU deler. Apple publiserte dette den femtende oktober. Mercor kartla arbeidet AI-benchmarks knapt måler. Vi dekker utgaven av syttende oktober, med en nattlig attende oktober oppdatering om OpenCode Console.

Hvorfor trenger modellen mer enn én Mac?

0:41 Start med den ubeleilige delen. Apples Muse Spark Open-test bruker omtrent fem hundre gigabyte bare for den fire bits modellen. En enkelt Mac Studio topper ut på fem hundre tolv gigabyte, og inferens trenger også arbeidsminne. Vektene fyller nesten kofferten før du har pakket en eneste sokk. Flere maskiner gjør at modellen passer. Pipeline-parallellisme kutter modellen gjennom lagene. Mac A utfører de tidligere lagene, og sender deretter det mellomliggende resultatet til Mac B for

1:05 de senere lagene. For en generert token skjer disse trinnene fortsatt i rekkefølge. Apples målinger viser at dekodingshastigheten forblir svært lik en enkelt maskin. Du har ansatt en andre kokk, og gitt dem den samme sandwichen. På Hacker News stilte en utvikler spørsmål ved hvorfor Apples tabell brukte en fire-biters Meta modell ved siden av en Qwen-modell med sin opprinnelige presisjon. Apples tabell oppgir formatene, så les fotnotene før du handler. Lysbildepresentasjons-benchmarks forblir uovervinnelige.

1:29 Tensorparallellisme kutter i stedet over hvert lag.

Hvordan hjelper Thunderbolt Mac-ene med å jobbe sammen?

1:32 Flere Mac-er jobber med deler av det samme laget sammen, og kombinerer deretter resultatene sine. Dette kan akselerere genereringen, men maskinene kommuniserer gjentatte ganger. Apple bruker fjernminnetilgang med lav latenstid over Thunderbolt. Et dristig karriereskritt for en kabel. Hovedresultatet er over trettiseks tokener i sekundet fra fire M fem Ultra Mac Studios, med omtrent åtte tusen tokener kontekst. Apple målte det selv.

1:55 Lengre prompter endrer historien. I en stor kontekst-test reduserte to kabler per kobling ventetiden for det første tokenet med omtrent ti sekunder. En lokal modell gir deg en nyttig grense rundt prompter, forutsatt at ditt faktiske oppsett holder dem lokale. Apple har ikke levert en universell break-even-pris mot hostede API-er. Det avhenger av utnyttelse og modellen du trenger. En maskin som svarer på sporadiske spørsmål bruker mye tid på å være et veldig

2:17 dyrt skrivebordspryd. Valg av den modellen krever en test for ditt arbeid.

Hvilket arbeid dekker AI-benchmarks egentlig?

2:21 Mercor kartla tjueni benchmarks til den amerikanske jobbtaksonomien. Indeksen dekker omtrent ni hundre oppgaver av nesten nitten tusen. Kartet anslår at nitti prosent av arbeidstiden har liten eller ingen benchmark-dekning. Det er et gigantisk blankt felt på eksamensoppgaven. Mercors kart måler dekning. Et blankt yrke har knapt testede oppgaver; modellens evne forblir et åpent spørsmål. Kartleggingen brukte en AI-modell, med menneskelig gjennomgang av en delmengde av Mercors egne benchmark-prompter.

2:49 Anmeldere godtok omtrent tre fjerdedeler av de første valgene. Karaktersystemet trenger sitt eget karaktersystem, naturligvis. Så hvis du er bekymret for jobben din, kan en ledertavle ikke avgjøre argumentet. Hvis du kjøper en koding-assistent, spill av en ekte oppgave med dine egne akseptkontroller. Nyttig arbeid inkluderer de vanskelige delene etter demoen. Ingen blir forfremmet fordi chatboten selvsikkert fullførte feil regneark. Noe som bringer oss til nattens oppdatering.

Hvem sier OpenCode ble berørt over natten?

3:13 OpenCode sier at et sikkerhetsbrudd påvirket 1,4 prosent av Console-brukerne. Den redigerte meldingen begrenser dette til en undergruppe med eksterne leverandører koblet, og sier at berørte brukere ble e-postet. Den kaller dette et storstilt destillasjonsangrep, og sier at hendelsen er pågående. En offentlig årsak har ennå ikke kommet. Svarene inkluderer folk som rapporterer om forsvunnet leverandørkreditt, som er deres beretning om hendelsene. Meldingen fastslår ikke den enkeltes tap eller kompensasjon.

3:38 Apple hadde nettopp vist hvordan man kobler OpenCode til lokal inferens, og nå står navnet deres ved siden av en sikkerhetsadvarsel. Produktnavnet dekker flere forskjellige tillitsgrenser. Konsollbrukere bør lese den offisielle meldingen og sjekke leverandørbruken. Hvis du er berørt, følg utbedringsinstruksjonene og gjennomgå tilknyttede legitimasjoner. Denne meldingen gir oss et spesifikt, hostet Console-omfang. Den gir ingen bevis her for et kompromiss i hver lokal installasjon.

Hva setter lokal inferens under din kontroll?

4:02 Her er koblingen. Apples artikkel navngir OpenCode som en klient for deres lokale modellserver. Det samme kodingsgrensesnittet kan sitte foran veldig forskjellig infrastruktur. Det svarer på hva fire Mac-er kjøper. Kapasitet, og en inferensgrense du kan administrere. Tjenester rundt den grensen fortjener fortsatt sin egen gjennomgang. Min kjøpsregel er enkel. Bevis at modellen passer, mål hele oppgaven, og sjekk hver tjeneste som har en

4:23 legitimasjon. Apples resultat gjør stor lokal inferens mer praktisk, mens pipelinesten forklarer hvorfor tillegg av maskinvare kan skuffe. Din akseptasjonstest hører hjemme ved siden av innkjøpsordren. Hvis du heller vil lese dette enn å høre meg si det, lander diffen i innboksen din hver morgen, gratis på thedailydiff.dev, lenke nedenfor.

Ville jeg kjøpt den fire-Mac-klyngen?

4:40 Så dagens dom er TRENGER VURDERING. Jeg ville målt min virkelige arbeidsbelastning før jeg kjøpte klyngen. Abonner, trykk på bjellen, og fortell meg i kommentarene om du ville ha stemplet det annerledes. Og det var diffen for i dag. Jeg er Niko fra Axrisi. Flett ansvarlig.

Kilder

1. Local and Distributed Large LLM Inference with MLX and RDMA on Mac StudioApple Machine Learning Research
2. A benchmark map of the US economyMercor
3. Benchmark Map methodology and expert reviewMercor
4. Edited security-breach notice with Console scopeOpenCode
5. Reader questions mixed benchmark precision formatsHacker News · peri-cl (reader opinion)
6. User reports vanished provider credit (unverified loss claim)Amruth Pillai on X