Inferència distribuïda MLX d'Apple: capacitat del model, velocitat i límits de confiança

Què cobreix aquest vídeo

• Tant els pesos del model com l'espai de treball d'inferència consumeixen memòria; la petjada de pes d'un model per si sola pot subestimar la capacitat requerida.
• El paral·lelisme de pipeline distribueix capes successives, mentre que el paral·lelisme de tensors divideix el treball dins de cada capa i necessita una comunicació freqüent de baixa latència.
• Apple informa de més de 36 tokens per segon en quatre Mac Studios M5 Ultra amb un context de 8.192 tokens; la comparació de cables fa referència a l'espera del primer token en un context de 65.536 tokens.
• La troballa del 90% d'hores de treball de Mercor descriu poca o cap cobertura en el seu índex de referència seleccionat. No estableix una taxa de fallada del model del 90%.
• L'avís editat d'OpenCode descriu un subconjunt d'usuaris de Console amb proveïdors externs enllaçats. L'avís públic no estableix el compromís de cada instal·lació local.
• Prova la teva càrrega de treball real i revisa els serveis que contenen credencials abans de tractar una configuració de model local com una solució completa de privadesa o cost.

Transcripció traduïda

Traduït de la narració original en anglès. L'àudio i els subtítols disponibles estan controlats per YouTube.

Per què dos Mac poden mantenir la mateixa velocitat?

0:00 Esperaries que dos Mac fessin la teva IA el doble de ràpid. Les pròpies proves d'Apple mostren que la velocitat de generació pot romandre gairebé inalterada. En aquest vídeo, què ofereixen quatre Mac? Què es perden els benchmarks? Una eina de codificació connecta el maquinari a una bretxa nocturna. Hi tornarem. Per dissabte, disset d'octubre, això és The Daily Diff. MLX és el framework de matrius de codi obert d'Apple per a l'aprenentatge automàtic en silici

0:22 d'Apple. La seva nova prova executa Meta's Muse Spark Open en quatre Mac Studios. Utilitza memòria unificada, que la CPU i la GPU comparteixen. Apple va publicar això el quinze d'octubre. Mercor va mapejar el treball que els benchmarks d'IA amb prou feines mesuren. Estem cobrint l'edició del disset d'octubre, amb una actualització nocturna del divuit d'octubre sobre OpenCode Console.

Per què el model necessita més d'un Mac?

0:41 Comencem per la part incòmoda. La prova Muse Spark Open d'Apple utilitza uns cinc-cents gigabytes només per al model de quatre bits. Un sol Mac Studio arriba a cinc-cents dotze gigabytes, i la inferència també necessita memòria de treball. Els pesos gairebé omplen la maleta abans que hagis empaquetat un sol mitjó. Més màquines fan que el model s'ajusti. El paral·lelisme de pipeline talla el model a través de les seves capes. El Mac A fa les capes anteriors, i després passa el resultat intermedi al Mac B per a

1:05 les capes posteriors. Per a un token generat, aquests passos encara es produeixen en seqüència. Les mesures d'Apple mostren que la velocitat de descodificació es manté molt similar a la d'una sola màquina. Has contractat un segon cuiner i li has donat el mateix entrepà. A Hacker News, un desenvolupador va qüestionar per què la taula d'Apple utilitzava un model Meta de quatre bits al costat d'un model Qwen amb la seva precisió nativa. La taula d'Apple indica els formats, així que llegeix les notes al peu abans de comprar. Els benchmarks de la presentació de diapositives segueixen imbatuts.

1:29 El paral·lelisme de tensors talla cada capa en lloc d'això.

Com ajuda Thunderbolt els Mac a treballar junts?

1:32 Diversos Mac treballen junts en parts de la mateixa capa, i després combinen els seus resultats. Això pot accelerar la generació, però les màquines es comuniquen repetidament. Apple utilitza accés a memòria remota de baixa latència a través de Thunderbolt. Un moviment de carrera audaç per a un cable. El resultat principal és de més de trenta-sis tokens per segon de quatre Mac Studios M5 Ultra, amb uns vuit mil tokens de context. Apple ho va mesurar ella mateixa.

1:55 Les indicacions més llargues canvien la història. En una prova de context gran, dos cables per enllaç van reduir l'espera del primer token uns deu segons. Un model local et dona un límit útil al voltant de les indicacions, sempre que la teva configuració real les mantingui locals. Apple no ha proporcionat un preu d'equilibri universal respecte a les API allotjades. Això depèn de la utilització i del model que necessitis. Una màquina que respon preguntes ocasionals passa molt de temps sent un adorn de

2:17 escriptori molt car. Triar aquest model requereix una prova per a la teva feina.

Quina feina cobreixen realment els benchmarks d'IA?

2:21 Mercor va mapejar vint-i-nou benchmarks a la taxonomia de feines americanes. El seu índex cobreix aproximadament nou-centes tasques de gairebé dinou mil. El mapa estima que el noranta per cent de les hores de treball tenen poca o cap cobertura de benchmark. Això és un espai en blanc gegant en l'examen. El mapa de Mercor mesura la cobertura. Una ocupació en blanc té tasques amb prou feines provades; la capacitat del model segueix sent una pregunta oberta. El mapeig va utilitzar un model d'IA, amb revisió humana en un subconjunt de les pròpies indicacions de benchmark de Mercor.

2:49 Els revisors van acceptar aproximadament tres quartes parts de les seves primeres opcions. El sistema de qualificació necessita el seu propi sistema de qualificació, naturalment. Així que si et preocupa la teva feina, una classificació no pot resoldre l'argument. Si estàs comprant un assistent de codificació, reprodueix una tasca real amb les teves pròpies comprovacions d'acceptació. La feina útil inclou les parts incòmodes després de la demostració. Ningú ascendeix perquè el chatbot va acabar amb confiança el full de càlcul equivocat. El que ens porta a l'actualització nocturna.

Qui diu OpenCode que es va veure afectat durant la nit?

3:13 OpenCode diu que una bretxa de seguretat va afectar l'u coma quatre per cent dels usuaris de Console. El seu avís editat ho restringeix a un subconjunt amb proveïdors externs enllaçats, i diu que els usuaris afectats van ser contactats per correu electrònic. Anomena això un atac de destil·lació a gran escala, i diu que l'incident està en curs. Encara no ha arribat una causa arrel pública. Les respostes inclouen persones que informen de crèdits de proveïdor desapareguts, que és el seu relat dels esdeveniments. L'avís no estableix les pèrdues o compensacions de cada persona.

3:38 Apple acabava de mostrar com connectar OpenCode a la inferència local, i ara el seu nom està al costat d'una advertència de seguretat. El nom del producte cobreix diversos límits de confiança diferents. Els usuaris de Console haurien de llegir l'avís oficial i comprovar l'ús del proveïdor. Si estàs afectat, segueix les instruccions de reparació i revisa les credencials connectades. Aquest avís ens dona un abast específic de Console allotjat. No proporciona cap evidència aquí d'un compromís en cada instal·lació local.

Què posa sota el teu control la inferència local?

4:02 Aquí teniu la connexió. L'article d'Apple anomena OpenCode com a client per al seu servidor de models locals. La mateixa interfície de codificació pot situar-se davant d'infraestructures molt diferents. Això respon el que ofereixen quatre Mac. Capacitat, i un límit d'inferència que pots administrar. Els serveis al voltant d'aquest límit encara mereixen la seva pròpia revisió. La meva regla de compra és senzilla. Demostra que el model s'ajusta, mesura la tasca completa i comprova cada servei que té una

4:23 credencial. El resultat d'Apple fa que la inferència local gran sigui més pràctica, mentre que la prova de pipeline explica per què afegir maquinari pot decebre. La teva prova d'acceptació pertany al costat de la comanda de compra. Si prefereixes llegir això que escoltar-me dir-ho, el 'diff' arriba a la teva safata d'entrada cada matí, gratuïtament a thedailydiff.dev, enllaç a continuació.

Compraria el clúster de quatre Mac?

4:40 Així que el veredicte d'avui és CAL REVISAR. Mesuraria la meva càrrega de treball real abans de comprar el clúster. Subscriu-te, fes clic a la campana i digues-me als comentaris si l'hauries segellat de manera diferent. I això és el 'diff' d'avui. Sóc Niko d'Axrisi. Fes la fusió amb responsabilitat.

Fonts

1. Local and Distributed Large LLM Inference with MLX and RDMA on Mac StudioApple Machine Learning Research
2. A benchmark map of the US economyMercor
3. Benchmark Map methodology and expert reviewMercor
4. Edited security-breach notice with Console scopeOpenCode
5. Reader questions mixed benchmark precision formatsHacker News · peri-cl (reader opinion)
6. User reports vanished provider credit (unverified loss claim)Amruth Pillai on X