Apple MLX elosztott következtetés: modellkapacitás, sebesség és megbízhatósági határok

Amit ez a videó tartalmaz

• A modell súlyai és a következtetési munkaterület egyaránt memóriát fogyasztanak; egy modell súlylenyomata önmagában alulbecsülheti a szükséges kapacitást.
• A pipeline párhuzamosság egymást követő rétegeket oszt szét, míg a tenzor párhuzamosság az egyes rétegeken belüli munkát osztja fel, és gyakori, alacsony késleltetésű kommunikációt igényel.
• Az Apple több mint 36 tokent jelent másodpercenként négy M5 Ultra Mac Studio gépen, 8192 token kontextussal; a kábel összehasonlítás az első tokenre való várakozásra vonatkozik 65 536 token kontextus esetén.
• A Mercor 90%-os munkaidőre vonatkozó megállapítása csekély vagy egyáltalán nem létező lefedettséget ír le a kiválasztott benchmark indexében. Ez nem jelent 90%-os modellhibát.
• Az OpenCode szerkesztett értesítése a Console felhasználók azon részhalmazát írja le, akik külső szolgáltatókkal rendelkeznek. A nyilvános értesítés nem igazolja minden helyi telepítés kompromittálását.
• Tesztelje a tényleges terhelését, és vizsgálja felül a hitelesítő adatokkal rendelkező szolgáltatásokat, mielőtt a helyi modellbeállítást teljes adatvédelmi vagy költségmegoldásnak tekintené.

Lefordított átirat

Az eredeti angol narrációból fordítva. A rendelkezésre álló hangot és feliratokat a YouTube vezérli.

Miért maradhat két Mac azonos sebességgel?

0:00 Elvárná, hogy két Mac kétszer gyorsabbá tegye az AI-ját. Az Apple saját tesztjei azt mutatják, hogy a generálási sebesség szinte változatlan maradhat. Ebben a videóban mit is vásárol négy Mac? Mit hagynak ki a benchmarkok? Egy kódoló eszköz köti össze a hardvert egy éjszakai biztonsági réssel. Visszatérünk rá. Október tizenhetedikén, szombaton ez a The Daily Diff. Az MLX az Apple nyílt forráskódú tömb keretrendszere a gépi tanuláshoz Apple

0:22 szilíciumon. Az új teszt a Meta Muse Spark Open-t futtatja négy Mac Studio gépen. Unifikált memóriát használ, amelyet a CPU és a GPU megoszt. Az Apple ezt október tizenötödikén publikálta. A Mercor feltérképezte azt a munkát, amit az AI benchmarkok alig mérnek. Az október tizenhetedikét dolgozzuk fel, egy éjszakai október tizennyolcadikai frissítéssel az OpenCode Console-ról.

Miért van szüksége a modellnek egynél több Mac-re?

0:41 Kezdjük a kényelmetlen résszel. Az Apple Muse Spark Open tesztje körülbelül ötszáz gigabájtot használ csak a négy bites modellhez. Egyetlen Mac Studio maximum ötszáz tizenkét gigabájt, és a következtetéshez munkamemória is kell. A súlyok majdnem kitöltik a bőröndöt, mielőtt egyetlen zoknit is bepakolt volna. Több gép teszi a modellt illeszkedővé. A pipeline párhuzamosság a modell rétegein keresztül vágja át. Az A Mac az korábbi rétegeket végzi, majd az közbenső eredményt átadja a B Mac-nek a

1:05 későbbi rétegekhez. Egy generált token esetén ezek a lépések még mindig sorban történnek. Az Apple mérései szerint a dekódolási sebesség nagyon hasonló marad egyetlen gépéhez. Felvett egy második szakácsot, és ugyanazt a szendvicset adta neki. A Hacker News-on egy fejlesztő megkérdőjelezte, hogy az Apple táblázata miért egy négybites Meta modellt használt egy Qwen modell mellett annak natív precíziójával. Az Apple táblázata tartalmazza a formátumokat, ezért vásárlás előtt olvassa el a lábjegyzeteket. A diavetítés benchmarkok verhetetlenek maradnak.

1:29 A tenzor párhuzamosság ehelyett minden rétegen keresztül vág.

Hogyan segíti a Thunderbolt a Mac-ek együttműködését?

1:32 Több Mac dolgozik együtt ugyanazon réteg darabjain, majd egyesítik az eredményeiket. Ez felgyorsíthatja a generálást, de a gépek ismételten kommunikálnak. Az Apple alacsony késleltetésű távoli memória hozzáférést használ Thunderbolt-on keresztül. Merész karrier lépés egy kábel számára. A fő eredmény több mint harminchat token másodpercenként négy M öt Ultra Mac Studio-ból, körülbelül nyolcezer token kontextussal. Az Apple maga mérte.

1:55 A hosszabb promptok megváltoztatják a történetet. Egy nagy kontextusú tesztben, két kábel linkenként körülbelül tíz másodperccel csökkentette az első tokenre való várakozást. Egy helyi modell hasznos határt biztosít a promptok köré, feltéve, hogy az aktuális beállítása helyben tartja azokat. Az Apple nem adott meg univerzális megtérülési árat a hosztolt API-kkal szemben. Ez a kihasználtságtól és a szükséges modelltől függ. Egy gép, amely alkalmi kérdésekre válaszol, rengeteg időt tölt azzal, hogy egy nagyon drága asztali dísz.

2:17 Az adott modell kiválasztása megköveteli a munka tesztelését. A Mercor huszonkilenc benchmarkot térképezett fel az amerikai foglalkozási taxonómiára.

Milyen munkát fednek le valójában az AI benchmarkok?

2:21 Indexe körülbelül kilencszáz feladatot fed le közel tizenkilencezerből. A térkép becslése szerint a munkaórák kilencven százaléka csekély vagy egyáltalán nem rendelkezik benchmark lefedettséggel. Ez egy hatalmas üres hely a vizsgadolgozaton. A Mercor térképe a lefedettséget méri. Egy üres foglalkozás alig tesztelt feladatokkal rendelkezik; a modell képessége nyitott kérdés marad. A feltérképezés AI modellt használt, emberi felülvizsgálattal a Mercor saját benchmark promptjainak részhalmazán. A felülvizsgálók nagyjából háromnegyedét fogadták el az első választásoknak.

2:49 A osztályozási rendszernek szüksége van saját osztályozási rendszerre, természetesen. Tehát ha aggódik a munkája miatt, egy ranglista nem tudja eldönteni az vitát. Ha kódolási asszisztenst vásárol, játssza le újra egy valós feladatot a saját elfogadási ellenőrzéseivel. A hasznos munka magában foglalja a kínos részeket a bemutató után. Senki sem kap előléptetést azért, mert a chatbot magabiztosan rossz táblázatot fejezett be. Ami elvezet minket az éjszakai frissítéshez. Az OpenCode szerint egy biztonsági rés a Console felhasználók egy egész pont négy százalékát

Ki szerint érintett az OpenCode az éjszakai incidensben?

3:13 érintette. A szerkesztett értesítés ezt a külső szolgáltatókkal összekapcsolt részhalmazra szűkíti, és azt mondja, hogy az érintett felhasználókat e-mailben értesítették. Ezt nagyszabású desztillációs támadásnak nevezi, és azt mondja, hogy az incidens folyamatban van. A nyilvános ok még nem érkezett meg. A válaszok között szerepelnek olyanok, akik eltűnt szolgáltatói hitelt jelentenek, ami az ő eseménybeszámolójuk. Az értesítés nem állapítja meg az egyes személyek veszteségeit vagy kártérítését. Az Apple épp most mutatta be, hogyan kell az OpenCode-ot helyi következtetéshez csatlakoztatni,

3:38 és most a neve egy biztonsági figyelmeztetés mellett szerepel. A terméknév több különböző megbízhatósági határt fed le. A Console felhasználóknak el kell olvasniuk a hivatalos értesítést és ellenőrizniük kell a szolgáltatói használatot. Ha érintett, kövesse a javítási utasításokat és vizsgálja felül a csatlakoztatott hitelesítő adatokat. Ez az értesítés egy specifikus, hosztolt Console hatókört ad. Nem nyújt itt bizonyítékot minden helyi telepítés kompromittálására. Itt a kapcsolat.

Mit ad a helyi következtetés az Ön irányítása alá?

4:02 Az Apple cikke az OpenCode-ot nevezi meg kliensként a helyi modell szerveréhez. Ugyanaz a kódoló felület nagyon eltérő infrastruktúrák előtt állhat. Ez válaszol arra, hogy mit vásárol négy Mac. Kapacitást, és egy következtetési határt, amit kezelni tud. Az ezen a határon kívüli szolgáltatások még mindig megérdemlik a saját felülvizsgálatukat. Az én vásárlási szabályom egyszerű. Bizonyítsa be, hogy a modell illeszkedik, mérje meg a teljes feladatot, és ellenőrizzen minden szolgáltatást, amely hitelesítő adatot tart. Az Apple eredménye praktikusabbá teszi a nagy helyi következtetést,

4:23 míg a pipeline teszt elmagyarázza, miért okozhat csalódást a hardver hozzáadása. Az Ön elfogadási tesztje a megrendelés mellett legyen. Ha inkább elolvasná ezt, mint hallaná tőlem, a diff minden reggel megérkezik a postafiókjába, ingyenesen a thedailydiff.dev címen, link alább. Szóval a mai ítélet: FELÜLVIZSGÁLATRA SZORUL.

Megvenném a négy Mac-es klasztert?

4:40 Megmérném a valós terhelésemet, mielőtt megvenném a klasztert. Iratkozz fel, nyomd meg a csengőt, és mondd el kommentben, ha másképp bélyegezted volna meg. És ennyi a mai diff. Niko vagyok az Axrisiből. Felelősségteljesen egyesítsen. Felelősségteljesen egyesítsen.

Források

1. Local and Distributed Large LLM Inference with MLX and RDMA on Mac StudioApple Machine Learning Research
2. A benchmark map of the US economyMercor
3. Benchmark Map methodology and expert reviewMercor
4. Edited security-breach notice with Console scopeOpenCode
5. Reader questions mixed benchmark precision formatsHacker News · peri-cl (reader opinion)
6. User reports vanished provider credit (unverified loss claim)Amruth Pillai on X