Apple MLX distribuované odvozování: kapacita modelu, rychlost a hranice důvěry

Co toto video pokrývá

• Hmotnosti modelu i pracovní prostor odvozování spotřebovávají paměť; samotná velikost hmotnosti modelu může podceňovat požadovanou kapacitu.
• Paralelismus potrubí distribuuje po sobě jdoucí vrstvy, zatímco tenzorový paralelismus rozděluje práci uvnitř každé vrstvy a potřebuje častou komunikaci s nízkou latencí.
• Apple uvádí více než 36 tokenů za sekundu na čtyřech M5 Ultra Mac Studiích s kontextem 8 192 tokenů; srovnání kabelů se týká čekání na první token v kontextu 65 536 tokenů.
• Zjištění Mercoru o 90 % pracovní doby popisuje malé nebo žádné pokrytí ve vybraném indexu benchmarků. Neznamená to 90% míru selhání modelu.
• Upravené oznámení OpenCode popisuje podmnožinu uživatelů konzole s propojenými externími poskytovateli. Veřejné oznámení neznamená kompromitaci každé lokální instalace.
• Otestujte svou skutečnou zátěž a zkontrolujte služby s pověřeními, než budete považovat místní nastavení modelu za kompletní řešení ochrany soukromí nebo nákladů.

Přeložený přepis

Přeloženo z původního anglického vyprávění. Dostupné audio a titulky jsou řízeny YouTube.

Proč mohou dva Macy zůstat stejně rychlé?

0:00 Očekávali byste, že dva Macy udělají vaši AI dvakrát rychlejší. Vlastní testy Apple ukazují, že rychlost generování může zůstat téměř nezměněna. V tomto videu, co koupí čtyři Macy? Co benchmarky opomíjejí? Jeden kódovací nástroj spojuje hardware s nočním narušením. Vrátíme se k tomu. Pro sobotu, sedmnáctého října, toto je The Daily Diff. MLX je open source rámec polí Apple pro strojové učení na Apple

0:22 křemíku. Jeho nový test spouští Meta's Muse Spark Open napříč čtyřmi Mac Studii. Používá jednotnou paměť, kterou sdílí CPU a GPU. Apple to zveřejnil patnáctého října. Mercor zmapoval práci, kterou AI benchmarky sotva měří. Pokrýváme edici ze sedmnáctého října, s noční aktualizací z osmnáctého října o OpenCode Console.

Proč model potřebuje více než jeden Mac?

0:41 Začněme tou nepříjemnou částí. Test Apple Muse Spark Open používá asi pět set gigabajtů jen pro čtyřbitový model. Jeden Mac Studio má maximálně pět set dvanáct gigabajtů, a odvozování také potřebuje pracovní paměť. Hmotnosti téměř zaplní kufr, než sbalíte jedinou ponožku. Více strojů zajistí, že se model vejde. Paralelismus potrubí řeže model napříč jeho vrstvami. Mac A provádí dřívější vrstvy, poté předá mezilehlý výsledek Macu B pro

1:05 pozdější vrstvy. Pro jeden vygenerovaný token se tyto kroky stále dějí v sekvenci. Měření Apple ukazují, že rychlost dekódování zůstává velmi podobná rychlosti jednoho stroje. Najali jste druhého kuchaře a dali mu stejný sendvič. Na Hacker News se jeden vývojář ptal, proč Apple ve své tabulce použil čtyřbitový model Meta vedle modelu Qwen v jeho nativní přesnosti. Tabulka Apple uvádí formáty, takže si před nákupem přečtěte poznámky pod čarou. Benchmarky v prezentacích zůstávají nepřekonané.

1:29 Tenzorový paralelismus místo toho řeže napříč každou vrstvou.

Jak Thunderbolt pomáhá Macům spolupracovat?

1:32 Více Maců pracuje společně na částech stejné vrstvy, poté zkombinují své výsledky. To může urychlit generování, ale stroje opakovaně komunikují. Apple používá nízko latencí vzdálený přístup k paměti přes Thunderbolt. Odvážný kariérní krok pro kabel. Hlavní výsledek je přes třicet šest tokenů za sekundu ze čtyř M5 Ultra Mac Studií, s kontextem asi osmi tisíc tokenů. Apple to změřil sám.

1:55 Delší výzvy mění příběh. V jednom velkém kontextovém testu dva kabely na spojení zkrátily čekání na první token asi o deset sekund. Lokální model vám poskytuje užitečnou hranici kolem výzev, za předpokladu, že vaše skutečné nastavení je udržuje lokální. Apple neposkytl univerzální bod zvratu proti hostovaným API. To závisí na využití a modelu, který potřebujete. Stroj odpovídající na občasné otázky tráví spoustu času jako velmi

2:17 drahý ozdobný předmět na stole. Výběr tohoto modelu vyžaduje test pro vaši práci.

Jakou práci skutečně pokrývají AI benchmarky?

2:21 Mercor zmapoval dvacet devět benchmarků na americkou taxonomii pracovních míst. Jeho index pokrývá zhruba devět set úloh z téměř devatenácti tisíc. Mapa odhaduje, že devadesát procent pracovní doby má malé nebo žádné pokrytí benchmarky. To je obrovský prázdný prostor na zkušebním papíře. Mapa Mercoru měří pokrytí. Prázdné povolání má sotva testované úkoly; schopnost modelu zůstává otevřenou otázkou. Mapování použilo model AI s lidským přezkumem podmnožiny vlastních benchmarkových výzev Mercoru.

2:49 Recenzenti přijali zhruba tři čtvrtiny jejích prvních voleb. Systém hodnocení potřebuje svůj vlastní systém hodnocení, přirozeně. Takže pokud se obáváte o svou práci, žebříček nemůže spor vyřešit. Pokud si kupujete kódovacího asistenta, přehrajte skutečný úkol s vlastními kontrolami přijatelnosti. Užitečná práce zahrnuje ty nepříjemné kousky po demo. Nikdo není povýšen, protože chatbot s jistotou dokončil špatnou tabulku. Což nás přivádí k noční aktualizaci.

Kdo byl podle OpenCode přes noc zasažen?

3:13 OpenCode uvádí, že bezpečnostní narušení postihlo jedno celé čtyři procenta uživatelů Console. Jeho upravené oznámení to zužuje na podmnožinu s propojenými externími poskytovateli a uvádí, že dotčeným uživatelům byly zaslány e-maily. Nazývá to rozsáhlým destilačním útokem a uvádí, že incident probíhá. Veřejná příčina ještě nebyla zveřejněna. Odpovědi zahrnují lidi, kteří hlásí zmizelé kredity poskytovatele, což je jejich popis událostí. Oznámení nestanovuje ztráty ani odškodnění každé osoby.

3:38 Apple právě ukázal, jak propojit OpenCode s lokálním odvozováním, a nyní je jeho jméno vedle bezpečnostního varování. Název produktu pokrývá několik různých hranic důvěry. Uživatelé Console by si měli přečíst oficiální oznámení a zkontrolovat využití poskytovatele. Pokud jste dotčeni, postupujte podle pokynů k nápravě a zkontrolujte připojené pověření. Toto oznámení nám dává konkrétní rozsah hostované konzole. Neposkytuje zde žádné důkazy o kompromitaci každé lokální instalace.

Co místní odvozování dává pod vaši kontrolu?

4:02 Zde je spojení. Článek Apple jmenuje OpenCode jako klienta pro svůj lokální modelový server. Stejné kódovací rozhraní může být před velmi odlišnou infrastrukturou. To odpovídá na otázku, co koupí čtyři Macy. Kapacita a hranice odvozování, kterou můžete spravovat. Služby kolem této hranice si stále zaslouží vlastní přezkum. Moje pravidlo nákupu je jednoduché. Ověřte, že se model hodí, změřte celý úkol a zkontrolujte každou službu, která má

4:23 pověření. Výsledek Apple činí velké lokální odvozování praktičtějším, zatímco test potrubí vysvětluje, proč přidání hardwaru může zklamat. Váš akceptační test patří vedle nákupní objednávky. Pokud si to raději přečtete, než abyste to ode mě slyšeli, rozdíl vám přistane ve schránce každé ráno, zdarma na the daily diff dot dev, odkaz níže.

Koupil bych si čtyř-macový cluster?

4:40 Dnešní verdikt je tedy NEEDS REVIEW. Změřil bych svou skutečnou zátěž, než bych koupil cluster. Přihlaste se k odběru, stiskněte zvoneček a řekněte mi v komentářích, zda byste to označili jinak. A to je dnešní rozdíl. Jsem Niko z Axrisi. Sloučit zodpovědně.

Zdroje

1. Local and Distributed Large LLM Inference with MLX and RDMA on Mac StudioApple Machine Learning Research
2. A benchmark map of the US economyMercor
3. Benchmark Map methodology and expert reviewMercor
4. Edited security-breach notice with Console scopeOpenCode
5. Reader questions mixed benchmark precision formatsHacker News · peri-cl (reader opinion)
6. User reports vanished provider credit (unverified loss claim)Amruth Pillai on X