Apple MLX gedistribueerde inferentie: modelcapaciteit, snelheid en vertrouwensgrenzen

Wat deze video behandelt

• Modelgewichten en inferentie-werkruimte verbruiken beide geheugen; de gewichtsimpact van een model alleen kan de benodigde capaciteit onderschatten.
• Pipeline-parallellisme verdeelt opeenvolgende lagen, terwijl tensor-parallellisme het werk binnen elke laag verdeelt en frequente communicatie met lage latentie vereist.
• Apple rapporteert meer dan 36 tokens per seconde op vier M5 Ultra Mac Studio's met een context van 8.192 tokens; de kabelvergelijking betreft de wachttijd voor het eerste token bij een context van 65.536 tokens.
• Mercor's bevinding van 90% werktijden beschrijft weinig of geen dekking in zijn geselecteerde benchmarkindex. Het stelt geen 90% modelfoutpercentage vast.
• OpenCode's bewerkte mededeling beschrijft een subset van Console-gebruikers met gekoppelde externe providers. De openbare mededeling stelt geen compromis van elke lokale installatie vast.
• Test uw daadwerkelijke werklast en controleer diensten die inloggegevens bevatten voordat u een lokale modelconfiguratie behandelt als een complete privacy- of kostenoplossing.

Vertaald transcript

Vertaald vanuit de originele Engelse gesproken tekst. Beschikbare audio en ondertiteling worden beheerd door YouTube.

Waarom kunnen twee Macs dezelfde snelheid behouden?

0:00 Je zou verwachten dat twee Macs je AI twee keer zo snel maken. Apple's eigen tests tonen aan dat de generatiesnelheid vrijwel onveranderd kan blijven. Wat kopen vier Macs in deze video? Wat missen benchmarks? Eén codetool verbindt de hardware met een nachtelijke inbreuk. We komen erop terug. Voor zaterdag zeventien oktober is dit The Daily Diff. MLX is Apple's open source array-framework voor machine learning op Apple

0:22 silicium. De nieuwe test draait Meta's Muse Spark Open op vier Mac Studio's. Het gebruikt verenigd geheugen, dat de CPU en GPU delen. Apple publiceerde dit op vijftien oktober. Mercor bracht het werk in kaart dat AI-benchmarks nauwelijks meten. We behandelen de zeventien oktober editie, met een nachtelijke achttien oktober update over OpenCode Console.

Waarom heeft het model meer dan één Mac nodig?

0:41 Begin met het ongemakkelijke deel. Apple's Muse Spark Open-test gebruikt ongeveer vijfhonderd gigabyte alleen al voor het vier bit-model. Een enkele Mac Studio gaat tot vijfhonderdtwaalf gigabyte, en inferentie heeft ook werkgeheugen nodig. De gewichten vullen de koffer bijna voordat je een enkele sok hebt ingepakt. Meer machines zorgen ervoor dat het model past. Pipeline-parallellisme snijdt het model door zijn lagen. Mac A doet de eerdere lagen, en geeft het tussenresultaat dan door aan Mac B voor

1:05 de latere lagen. Voor één gegenereerd token vinden die stappen nog steeds sequentieel plaats. Apple's metingen tonen aan dat de decodeersnelheid zeer vergelijkbaar blijft met een enkele machine. Je hebt een tweede kok aangenomen en hem dezelfde sandwich gegeven. Op Hacker News vroeg een ontwikkelaar waarom Apple's tabel een vier bit Meta model gebruikte naast een Qwen-model in zijn native precisie. Apple's tabel vermeldt de formaten, dus lees de voetnoten voordat je gaat winkelen. Benchmarkdia's blijven ongeslagen.

1:29 Tensor-parallellisme snijdt daarentegen dwars door elke laag.

Hoe helpt Thunderbolt de Macs samen te werken?

1:32 Meerdere Macs werken samen aan delen van dezelfde laag, en combineren dan hun resultaten. Dat kan de generatie versnellen, maar de machines communiceren herhaaldelijk. Apple gebruikt remote memory access met lage latentie via Thunderbolt. Een gedurfde carrièrestap voor een kabel. Het belangrijkste resultaat is meer dan zesendertig tokens per seconde van vier M5 Ultra Mac Studio's, met ongeveer achtduizend tokens aan context. Apple heeft het zelf gemeten.

1:55 Langere prompts veranderen het verhaal. In een grote contexttest verminderden twee kabels per verbinding de wachttijd voor het eerste token met ongeveer tien seconden. Een lokaal model geeft je een nuttige grens rond prompts, mits je daadwerkelijke configuratie ze lokaal houdt. Apple heeft geen universele break-evenprijs geleverd tegen gehoste API's. Dat hangt af van het gebruik en het model dat je nodig hebt. Een machine die af en toe vragen beantwoordt, brengt veel tijd door als een zeer

2:17 duur bureaubladornament. Het kiezen van dat model vereist een test voor jouw werk.

Welk werk dekken de AI-benchmarks eigenlijk?

2:21 Mercor bracht negenentwintig benchmarks in kaart op de Amerikaanse banentaxonomie. De index omvat ruwweg negenhonderd taken van bijna negentienduizend. De kaart schat dat negentig procent van de werktijden weinig of geen benchmarkdekking heeft. Dat is een gigantische lege plek op het examenpapier. Mercor's kaart meet de dekking. Een blanco beroep heeft nauwelijks geteste taken; modelcapaciteit blijft een open vraag. De mapping gebruikte een AI-model, met menselijke beoordeling op een subset van Mercor's eigen benchmarkprompts.

2:49 Beoordelaars accepteerden ruwweg driekwart van de eerste keuzes. Het beoordelingssysteem heeft zijn eigen beoordelingssysteem nodig, natuurlijk. Dus als je je zorgen maakt over je baan, kan een leaderboard het argument niet beslechten. Als je een code-assistent koopt, speel een echte taak opnieuw af met je eigen acceptatiecontroles. Nuttig werk omvat de ongemakkelijke stukjes na de demo. Niemand wordt gepromoveerd omdat de chatbot vol vertrouwen de verkeerde spreadsheet heeft afgemaakt. Wat ons bij de nachtelijke update brengt.

Wie zegt OpenCode dat er vannacht getroffen is?

3:13 OpenCode zegt dat een beveiligingsinbreuk één punt vier procent van de Console- gebruikers heeft getroffen. De bewerkte mededeling beperkt dat tot een subset met gekoppelde externe providers, en zegt dat getroffen gebruikers een e-mail hebben ontvangen. Het noemt dit een grootschalige destillatieaanval, en zegt dat het incident voortduurt. Een openbare hoofdoorzaak moet nog komen. Reacties omvatten mensen die verdwenen providerkrediet melden, wat hun weergave van de gebeurtenissen is. De mededeling stelt niet de verliezen of compensatie van elke persoon vast.

3:38 Apple had net laten zien hoe OpenCode te verbinden met lokale inferentie, en nu staat zijn naam naast een beveiligingswaarschuwing. De productnaam omvat verschillende vertrouwensgrenzen. Console-gebruikers moeten de officiële mededeling lezen en het providergebruik controleren. Als je getroffen bent, volg dan de herstelinstructies en controleer de gekoppelde inloggegevens. Deze mededeling geeft ons een specifieke gehoste Console-scope. Het levert hier geen bewijs van een compromis in elke lokale installatie.

Wat stelt lokale inferentie onder jouw controle?

4:02 Hier is de verbinding. Apple's artikel noemt OpenCode als een client voor zijn lokale modelserver. Dezelfde code-interface kan voor zeer verschillende infrastructuren staan. Dat beantwoordt wat vier Macs kopen. Capaciteit, en een inferentiegrens die je kunt beheren. Diensten rond die grens verdienen nog steeds hun eigen beoordeling. Mijn koopregel is eenvoudig. Bewijs dat het model past, meet de hele taak, en controleer elke dienst die een

4:23 referentie bevat. Apple's resultaat maakt grote lokale inferentie praktischer, terwijl de pijplijntest uitlegt waarom het toevoegen van hardware kan teleurstellen. Je acceptatietest hoort bij de inkooporder. Als je dit liever leest dan mij het hoort zeggen, dan landt de diff elke ochtend gratis in je inbox op thedailydiff.dev, link hieronder.

Zou ik het vier-Mac-cluster kopen?

4:40 Dus het oordeel van vandaag is NEEDS REVIEW. Ik zou mijn echte werklast meten voordat ik het cluster kocht. Abonneer, druk op de bel, en vertel me in de reacties of je het anders gestempeld zou hebben. En dat is de diff voor vandaag. Ik ben Niko van Axrisi. Verantwoord samenvoegen.

Bronnen

1. Local and Distributed Large LLM Inference with MLX and RDMA on Mac StudioApple Machine Learning Research
2. A benchmark map of the US economyMercor
3. Benchmark Map methodology and expert reviewMercor
4. Edited security-breach notice with Console scopeOpenCode
5. Reader questions mixed benchmark precision formatsHacker News · peri-cl (reader opinion)
6. User reports vanished provider credit (unverified loss claim)Amruth Pillai on X