Apple MLX distribueret inferens: modelkapacitet, hastighed og tillidsgrænser

Hvad denne video dækker

• Modelvægte og inferensarbejdsområde forbruger begge hukommelse; en models vægtaftryk alene kan undervurdere den krævede kapacitet.
• Pipeline-parallelisme distribuerer successive lag, mens tensorparallelisme fordeler arbejdet inden for hvert lag og kræver hyppig kommunikation med lav latenstid.
• Apple rapporterer over 36 tokens per sekund på fire M5 Ultra Mac Studios med en 8.192-token kontekst; kabelsammenligningen vedrører ventetid for første token ved en 65.536-token kontekst.
• Mercors 90% arbejdstidsfund beskriver ringe eller ingen dækning i dets udvalgte benchmarkindeks. Det fastslår ikke en 90% modelfejlrate.
• OpenCodes redigerede meddelelse beskriver en undergruppe af konsolbrugere med tilknyttede eksterne udbydere. Den offentlige meddelelse fastslår ikke kompromittering af hver lokal installation.
• Test din faktiske arbejdsbyrde, og gennemgå legitimationsbærende tjenester, før du behandler en lokal modelopsætning som en komplet privatlivs- eller omkostningsløsning.

Oversat udskrift

Oversat fra den originale engelske fortælling. Tilgængelig lyd og undertekster styres af YouTube.

Hvorfor kan to Macs bevare samme hastighed?

0:00 Du ville forvente, at to Mac'er ville gøre din AI dobbelt så hurtig. Apples egne tests viser, at generationshastigheden kan forblive næsten uændret. I denne video, hvad får man for fire Mac'er? Hvad overser benchmarks? Et kodningsværktøj forbinder hardwaren til et indbrud natten over. Vi vender tilbage til det. For lørdag den syttende oktober, dette er The Daily Diff. MLX er Apples open source array-framework til maskinlæring på Apple

0:22 silicium. Dens nye test kører Metas Muse Spark Open på fire Mac Studios. Den bruger unified memory, som CPU og GPU deler. Apple udgav dette den femtende oktober. Mercor kortlagde det arbejde, som AI-benchmarks knap måler. Vi dækker udgaven fra syttende oktober, med en opdatering natten over den attende oktober om OpenCode Console.

Hvorfor har modellen brug for mere end én Mac?

0:41 Start med det ubelejlige stykke. Apples Muse Spark Open-test bruger omkring fem hundrede gigabyte bare til fire-bit-modellen. En enkelt Mac Studio topper ved fem hundrede tolv gigabyte, og inferens har også brug for arbejdsram. Vægtene fylder næsten kufferten, før du har pakket en eneste sok. Flere maskiner får modellen til at passe. Pipeline-parallelisme skærer modellen gennem dens lag. Mac A udfører de tidligere lag og sender derefter det mellemliggende resultat til Mac B til

1:05 de senere lag. For et genereret token sker disse trin stadig i sekvens. Apples målinger viser, at afkodningshastigheden forbliver meget lig den for en enkelt maskine. Du har hyret en anden kok og givet dem den samme sandwich. På Hacker News satte en udvikler spørgsmålstegn ved, hvorfor Apples tabel brugte en fire-bit Meta model ved siden af en Qwen-model med dens oprindelige præcision. Apples tabel angiver formaterne, så læs fodnoterne før du handler. Slide deck benchmarks forbliver uovertrufne.

1:29 Tensorparallelisme skærer i stedet på tværs af hvert lag.

Hvordan hjælper Thunderbolt Macs med at arbejde sammen?

1:32 Flere Macs arbejder sammen om dele af det samme lag, og kombinerer derefter deres resultater. Det kan accelerere generation, men maskinerne kommunikerer gentagne gange. Apple bruger lav-latency fjernhukommelsesadgang via Thunderbolt. Et dristigt karrieretræk for et kabel. Hovedresultatet er over seksogtredive tokens i sekundet fra fire M5 Ultra Mac Studios, med omkring otte tusind tokens kontekst. Apple målte det selv.

1:55 Længere prompts ændrer historien. I en stor konteksttest reducerede to kabler per link ventetiden på det første token med cirka ti sekunder. En lokal model giver dig en nyttig grænse omkring prompts, forudsat at din faktiske opsætning holder dem lokale. Apple har ikke leveret en universel break-even-pris i forhold til hostede API'er. Det afhænger af udnyttelse og den model, du har brug for. En maskine, der svarer på lejlighedsvise spørgsmål, bruger masser af tid på at være et meget

2:17 dyrt skrivebordspynt. Valget af den model kræver en test for dit arbejde.

Hvilket arbejde dækker AI-benchmarks faktisk?

2:21 Mercor kortlagde niogtyve benchmarks på den amerikanske jobtaxonomi. Dets indeks dækker cirka ni hundrede opgaver ud af næsten nitten tusind. Kortet estimerer, at halvfems procent af arbejdstiden har ringe eller ingen benchmarkdækning. Det er et kæmpe blankt felt på eksamenspapiret. Mercors kort måler dækning. En blank stilling har knap testede opgaver; modellens kapacitet forbliver et åbent spørgsmål. Kortlægningen brugte en AI-model med menneskelig gennemgang af en undergruppe af Mercors egne benchmark-prompter.

2:49 Anmeldere accepterede cirka tre fjerdedele af dens første valg. Karaktérsystemet har brug for sit eget karaktérsystem, naturligvis. Så hvis du er bekymret for dit job, kan en leaderboard ikke afgøre diskussionen. Hvis du køber en kodningsassistent, afspil en rigtig opgave med dine egne accepttjek. Nyttigt arbejde inkluderer de akavede dele efter demoen. Ingen bliver forfremmet, fordi chatbotten selvsikkert afsluttede det forkerte regneark. Hvilket bringer os til opdateringen natten over.

Hvem siger OpenCode blev påvirket natten over?

3:13 OpenCode siger, at et sikkerhedsbrud har ramt 1,4 procent af konsolbrugerne. Dens redigerede meddelelse indsnævrer dette til en undergruppe med tilknyttede eksterne udbydere og siger, at berørte brugere er blevet e-mailet. Den kalder dette et storstilet destillationsangreb og siger, at hændelsen er igangværende. En offentlig grundårsag er endnu ikke kommet. Svar inkluderer folk, der rapporterer forsvundet udbyderkredit, hvilket er deres beretning om begivenhederne. Meddelelsen fastslår ikke den enkeltes tab eller kompensation.

3:38 Apple havde netop vist, hvordan man forbinder OpenCode til lokal inferens, og nu står dets navn ved siden af en sikkerhedsadvarsel. Produktnavnet dækker over flere forskellige tillidsgrænser. Konsolbrugere bør læse den officielle meddelelse og kontrollere udbyderens brug. Hvis du er berørt, skal du følge udbedringsinstruktionerne og gennemgå tilsluttede legitimationsoplysninger. Denne meddelelse giver os et specifikt hostet konsolområde. Den giver her ingen beviser for et kompromis i hver lokal installation.

Hvad sætter lokal inferens under din kontrol?

4:02 Her er forbindelsen. Apples artikel nævner OpenCode som en klient for dens lokale modelserver. Den samme kodningsgrænseflade kan sidde foran meget forskellig infrastruktur. Det besvarer, hvad fire Macs køber. Kapacitet og en inferensgrænse, du kan administrere. Tjenester omkring denne grænse fortjener stadig deres egen gennemgang. Min købsregel er enkel. Bevis, at modellen passer, mål hele opgaven, og tjek hver tjeneste, der har en

4:23 legitimationsoplysning. Apples resultat gør stor lokal inferens mere praktisk, mens pipelinetesten forklarer, hvorfor tilføjelse af hardware kan skuffe. Din accepttest hører hjemme ved siden af indkøbsordren. Hvis du hellere vil læse dette end høre mig sige det, lander diff'en i din indbakke hver morgen, gratis på the daily diff dot dev, link nedenfor.

Ville jeg købe klyngen med fire Mac'er?

4:40 Så dagens dom er SKAL GENNEMGÅS. Jeg ville måle min virkelige arbejdsbyrde, før jeg købte klyngen. Abonner, tryk på klokken, og fortæl mig i kommentarerne, om du ville have stemplet det anderledes. Og det var diff'en for i dag. Jeg er Niko fra Axrisi. Sammenfør ansvarligt.

Kilder

1. Local and Distributed Large LLM Inference with MLX and RDMA on Mac StudioApple Machine Learning Research
2. A benchmark map of the US economyMercor
3. Benchmark Map methodology and expert reviewMercor
4. Edited security-breach notice with Console scopeOpenCode
5. Reader questions mixed benchmark precision formatsHacker News · peri-cl (reader opinion)
6. User reports vanished provider credit (unverified loss claim)Amruth Pillai on X