Inferen cia distribuída de Apple MLX: capacidade do modelo, velocidade e límites de confianza

Que abrangue este vídeo

• Tanto os pesos do modelo coma o espazo de traballo de inferencia consumen memoria; a pegada de peso dun modelo por si soa pode subestimar a capacidade requirida.
• O paralelismo de canalización distribúe capas sucesivas, mentres que o paralelismo de tensor divide o traballo dentro de cada capa e necesita comunicacións frecuentes de baixa latencia.
• Apple informa de máis de 36 tokens por segundo en catro Mac Studios M5 Ultra cun contexto de 8.192 tokens; a comparación de cables refírese á espera do primeiro token nun contexto de 65.536 tokens.
• O descubrimento do 90% das horas laborais de Mercor describe pouca ou ningunha cobertura no seu índice de referencia seleccionado. Non establece unha taxa de fallo do modelo do 90%.
• O aviso editado de OpenCode describe un subconxunto de usuarios da Consola con provedores externos vinculados. O aviso público non establece o compromiso de cada instalación local.
• Proba a túa carga de traballo real e revisa os servizos que conteñen credenciais antes de tratar unha configuración de modelo local como unha solución completa de privacidade ou custo.

Transcrición traducida

Traducido da narración orixinal en inglés. O audio e os subtítulos dispoñibles son controlados por YouTube.

Por que dous Mac poden manter a mesma velocidade?

0:00 Esperarías que dous Mac fixesen a túa IA o dobre de rápida. As probas propias de Apple mostran que a velocidade de xeración pode permanecer case inalterada. Neste vídeo, que conseguen catro Mac? Que non teñen en conta os puntos de referencia? Unha ferramenta de codificación conecta o hardware a unha violación nocturna. Volveremos a iso. Para o sábado, dezasete de outubro, isto é The Daily Diff. MLX é o framework de arrays de código aberto de Apple para aprendizaxe automática en Apple

0:22 silicon. A súa nova proba executa Meta's Muse Spark Open en catro Mac Studios. Utiliza memoria unificada, que comparten a CPU e a GPU. Apple publicou isto o quince de outubro. Mercor mapeou o traballo que os puntos de referencia da IA apenas miden. Estamos cubrindo a edición do dezasete de outubro con unha actualización nocturna do dezaoito de outubro sobre OpenCode Console.

Por que o modelo necesita máis dun Mac?

0:41 Comecemos pola parte inconveniente. A proba Muse Spark Open de Apple usa uns cincocentos gigabytes só para o modelo de catro bits. Un único Mac Studio alcanza un máximo de cincocentos doce gigabytes, e a inferencia tamén necesita memoria de traballo. Os pesos case enchen a maleta antes de que empaques un só calcetín. Máis máquinas fan que o modelo encaixe. O paralelismo de canalización divide o modelo a través das súas capas. O Mac A fai as capas anteriores e logo pasa o resultado intermedio ao Mac B para

1:05 as capas posteriores. Para un token xerado, eses pasos aínda ocorren en secuencia. As medicións de Apple mostran que a velocidade de decodificación segue sendo moi similar á dunha única máquina. Contrataches un segundo cociñeiro e decheslle o mesmo sándwich. En Hacker News, un desenvolvedor cuestionou por que a táboa de Apple usaba un modelo Meta de catro bits xunto a un modelo Qwen na súa precisión nativa. A táboa de Apple indica os formatos, así que lea as notas a rodapé antes de comprar. Os puntos de referencia das presentacións de diapositivas seguen invictos.

1:29 O paralelismo de tensor corta cada capa en vez diso.

Como axuda Thunderbolt aos Mac a traballar xuntos?

1:32 Varios Mac traballan xuntos en anacos da mesma capa, e logo combinan os seus resultados. Iso pode acelerar a xeración, pero as máquinas comunícanse repetidamente. Apple usa acceso remoto de memoria de baixa latencia a través de Thunderbolt. Un movemento audaz na carreira dun cable. O resultado principal é de máis de trinta e seis tokens por segundo de catro Mac Studios M5 Ultra, cun contexto de aproximadamente oito mil tokens. Apple medíuno ela mesma.

1:55 As solicitudes máis longas cambian a historia. Nunha proba de contexto grande, dous cables por enlace reduciron a espera do primeiro token uns dez segundos. Un modelo local ofrécelle un límite útil para as solicitudes, sempre que a súa configuración real os manteña locais. Apple non proporcionou un prezo de equilibrio universal fronte ás API aloxadas. Iso depende da utilización e do modelo que precise. Unha máquina que responde preguntas ocasionais pasa moito tempo sendo un ornamento de escritorio moi

2:17 caro. Escoller ese modelo require unha proba para o seu traballo.

Que traballo cobren realmente os puntos de referencia da IA?

2:21 Mercor mapeou vinte e nove puntos de referencia na taxonomía de traballos estadounidense. O seu índice abrangue aproximadamente novecentas tarefas de case dezanove mil. O mapa estima que o noventa por cento das horas de traballo teñen pouca ou ningunha cobertura de puntos de referencia. É un espazo en branco xigante no exame. O mapa de Mercor mide a cobertura. Unha ocupación en branco ten tarefas apenas probadas; a capacidade do modelo segue sendo unha pregunta aberta. O mapeo utilizou un modelo de IA, con revisión humana nun subconxunto de as propias solicitudes de puntos de referencia de Mercor.

2:49 Os revisores aceptaron aproximadamente tres cuartas partes das súas primeiras opcións. O sistema de cualificación necesita o seu propio sistema de cualificación, naturalmente. Entón, se está preocupado polo seu traballo, unha táboa de clasificación non pode resolver a disputa. Se está a mercar un asistente de codificación, reproduza unha tarefa real coas súas propias comprobacións de aceptación. O traballo útil inclúe os anacos incómodos despois da demostración. Ninguén ascende porque o chatbot terminou con confianza a folla de cálculo equivocada. O que nos leva á actualización nocturna.

Quen di OpenCode que se viu afectado durante a noite?

3:13 OpenCode di que unha violación de seguridade afectou ao un coma catro por cento dos usuarios da Consola. O seu aviso editado restrínxeo a un subconxunto con provedores externos vinculados, e di que os usuarios afectados recibiron un correo electrónico. Chama a isto un ataque de destilación a gran escala e di que o incidente está en curso. Aínda non chegou unha causa raíz pública. As respostas inclúen persoas que informan de crédito de provedor desaparecido, que é o seu relato dos acontecementos. O aviso non establece as perdas ou compensacións de cada persoa.

3:38 Apple acababa de mostrar como conectar OpenCode á inferencia local, e agora o seu nome está xunto a unha advertencia de seguridade. O nome do produto abarca varias fronteiras de confianza diferentes. Os usuarios da consola deben ler o aviso oficial e comprobar o uso do provedor. Se está afectado, siga as instrucións de remediación e revise as credenciais conectadas. Este aviso dános un alcance específico da consola aloxada. Non proporciona aquí ningunha proba dun compromiso en todas as instalacións locais.

Que pon a inferencia local baixo o teu control?

4:02 Aquí está a conexión. O artigo de Apple nomea a OpenCode como cliente para o seu servidor de modelos local. A mesma interface de codificación pode situarse diante dunha infraestrutura moi diferente. Iso responde a que conseguen catro Mac. Capacidade e un límite de inferencia que pode administrar. Os servizos ao redor dese límite aínda merecen a súa propia revisión. A miña regra de compra é sinxela. Demostre que o modelo encaixa, mida toda a tarefa e verifique cada servizo que posúe unha

4:23 credencial. O resultado de Apple fai que a inferencia local grande sexa máis práctica, mentres que a proba de canalización explica por que engadir hardware pode decepcionar. A súa proba de aceptación pertence xunto á orde de compra. Se prefire ler isto en lugar de escoitarme dicilo, o diff chega á súa caixa de entrada cada mañá, de balde en the daily diff dot dev, ligazón a continuación.

Mercaría o clúster de catro Mac?

4:40 Así que o veredicto de hoxe é NECESITA REVISIÓN. Mediría a miña carga de traballo real antes de comprar o clúster. Subscríbete, preme na campá e dime nos comentarios se o terías selado de forma diferente. E ese é o diff de hoxe. Son Niko de Axrisi. Fusión con responsabilidade.

Fontes

1. Local and Distributed Large LLM Inference with MLX and RDMA on Mac StudioApple Machine Learning Research
2. A benchmark map of the US economyMercor
3. Benchmark Map methodology and expert reviewMercor
4. Edited security-breach notice with Console scopeOpenCode
5. Reader questions mixed benchmark precision formatsHacker News · peri-cl (reader opinion)
6. User reports vanished provider credit (unverified loss claim)Amruth Pillai on X