Inferência distribuída MLX da Apple: capacidade do modelo, velocidade e limites de confiança

O que este vídeo aborda

• Tanto os pesos do modelo quanto o espaço de trabalho de inferência consomem memória; a pegada de peso de um modelo sozinha pode subestimar a capacidade necessária.
• O paralelismo de pipeline distribui camadas sucessivas, enquanto o paralelismo de tensor divide o trabalho dentro de cada camada e precisa de comunicação frequente de baixa latência.
• A Apple relata mais de 36 tokens por segundo em quatro Mac Studios M5 Ultra com um contexto de 8.192 tokens; a comparação do cabo diz respeito à espera do primeiro token em um contexto de 65.536 tokens.
• A descoberta de 90% das horas de trabalho do Mercor descreve pouca ou nenhuma cobertura em seu índice de benchmark selecionado. Não estabelece uma taxa de falha de modelo de 90%.
• O aviso editado do OpenCode descreve um subconjunto de usuários do Console com provedores externos vinculados. O aviso público não estabelece o comprometimento de todas as instalações locais.
• Teste sua carga de trabalho real e revise os serviços que carregam credenciais antes de tratar uma configuração de modelo local como uma solução completa de privacidade ou custo.

Transcrição traduzida

Traduzido da narração original em inglês. Áudio e legendas disponíveis são controlados pelo YouTube.

Por que dois Macs podem manter a mesma velocidade?

0:00 Você esperaria que dois Macs tornassem sua IA duas vezes mais rápida. Os próprios testes da Apple mostram que a velocidade de geração pode permanecer quase inalterada. Neste vídeo, o que quatro Macs compram? O que os benchmarks perdem? Uma ferramenta de codificação conecta o hardware a uma violação durante a noite. Voltaremos a isso. Para sábado, dezessete de outubro, este é o The Daily Diff. MLX é a estrutura de array de código aberto da Apple para aprendizado de máquina no Apple

0:22 silício. Seu novo teste executa o Muse Spark Open da Meta em quatro Mac Studios. Ele usa memória unificada, que a CPU e a GPU compartilham. A Apple publicou isso em quinze de outubro. Mercor mapeou o trabalho que os benchmarks de IA mal medem. Estamos cobrindo a edição de dezessete de outubro, com uma atualização de dezoito de outubro durante a noite sobre o OpenCode Console.

Por que o modelo precisa de mais de um Mac?

0:41 Comece pela parte inconveniente. O teste Muse Spark Open da Apple usa cerca de quinhentos gigabytes apenas para o modelo de quatro bits. Um único Mac Studio atinge o máximo de quinhentos e doze gigabytes, e a inferência também precisa de memória de trabalho. Os pesos quase enchem a mala antes de você ter embalado uma única meia. Mais máquinas fazem o modelo caber. O paralelismo de pipeline corta o modelo através de suas camadas. O Mac A faz as camadas anteriores, depois passa o resultado intermediário para o Mac B para

1:05 as camadas posteriores. Para um token gerado, essas etapas ainda acontecem em sequência. As medições da Apple mostram que a velocidade de decodificação permanece muito semelhante a uma única máquina. Você contratou um segundo cozinheiro e deu a ele o mesmo sanduíche. No Hacker News, um desenvolvedor questionou por que a tabela da Apple usava um modelo Meta de quatro bits ao lado de um modelo Qwen em sua precisão nativa. A tabela da Apple indica os formatos, então leia as notas de rodapé antes de comprar. Os benchmarks de slides permanecem invictos.

1:29 O paralelismo de tensor corta cada camada em vez disso.

Como o Thunderbolt ajuda os Macs a trabalharem juntos?

1:32 Vários Macs trabalham em partes da mesma camada juntos, depois combinam seus resultados. Isso pode acelerar a geração, mas as máquinas se comunicam repetidamente. A Apple usa acesso remoto à memória de baixa latência via Thunderbolt. Uma jogada de carreira ousada para um cabo. O resultado principal é mais de trinta e seis tokens por segundo de quatro M cinco Ultra Mac Studios, com cerca de oito mil tokens de contexto. A Apple mediu-o por si mesma.

1:55 Prompts mais longos mudam a história. Em um grande teste de contexto, dois cabos por link cortaram a espera pelo primeiro token em cerca de dez segundos. Um modelo local oferece um limite útil em torno de prompts, desde que sua configuração real os mantenha locais. A Apple não forneceu um preço de equilíbrio universal contra APIs hospedadas. Isso depende da utilização e do modelo que você precisa. Uma máquina respondendo a perguntas ocasionais passa muito tempo sendo um ornamento de mesa muito

2:17 caro. Escolher esse modelo requer um teste para o seu trabalho.

Que trabalho os benchmarks de IA realmente cobrem?

2:21 Mercor mapeou vinte e nove benchmarks para a taxonomia de empregos americana. Seu índice abrange aproximadamente novecentas tarefas de quase dezenove mil. O mapa estima que noventa por cento das horas de trabalho têm pouca ou nenhuma cobertura de benchmark. Isso é um espaço em branco gigante na prova. O mapa do Mercor mede a cobertura. Uma ocupação em branco tem tarefas mal testadas; a capacidade do modelo continua sendo uma questão em aberto. O mapeamento usou um modelo de IA, com revisão humana em um subconjunto dos próprios prompts de benchmark do Mercor.

2:49 Os revisores aceitaram aproximadamente três quartos de suas primeiras escolhas. O sistema de classificação precisa de seu próprio sistema de classificação, naturalmente. Então, se você está preocupado com seu trabalho, uma tabela de classificação não pode resolver a discussão. Se você está comprando um assistente de codificação, repita uma tarefa real com suas próprias verificações de aceitação. O trabalho útil inclui as partes incômodas após a demonstração. Ninguém é promovido porque o chatbot terminou com confiança a planilha errada. O que nos leva à atualização noturna.

Quem o OpenCode diz ter sido afetado durante a noite?

3:13 O OpenCode diz que uma violação de segurança afetou um vírgula quatro por cento dos usuários do Console. Seu aviso editado restringe isso a um subconjunto com provedores externos vinculados, e diz que os usuários afetados foram notificados por e-mail. Ele chama isso de um ataque de destilação em larga escala e diz que o incidente está em andamento. Uma causa raiz pública ainda não chegou. As respostas incluem pessoas relatando crédito de provedor desaparecido, que é o relato delas sobre os eventos. O aviso não estabelece as perdas ou compensações de cada pessoa.

3:38 A Apple tinha acabado de mostrar como conectar o OpenCode à inferência local, e agora seu nome está ao lado de um aviso de segurança. O nome do produto abrange vários limites de confiança diferentes. Os usuários do Console devem ler o aviso oficial e verificar o uso do provedor. Se você for afetado, siga as instruções de remediação e revise as credenciais conectadas. Este aviso nos dá um escopo específico do Console hospedado. Não há evidências aqui de um comprometimento em todas as instalações locais.

O que a inferência local coloca sob seu controle?

4:02 Aqui está a conexão. O artigo da Apple nomeia o OpenCode como um cliente para seu servidor de modelo local. A mesma interface de codificação pode estar na frente de infraestruturas muito diferentes. Isso responde ao que quatro Macs compram. Capacidade e um limite de inferência que você pode administrar. Os serviços em torno desse limite ainda merecem sua própria revisão. Minha regra de compra é simples. Prove que o modelo se encaixa, meça a tarefa inteira e verifique cada serviço que contém uma

4:23 credencial. O resultado da Apple torna a inferência local em larga escala mais prática, enquanto o teste de pipeline explica por que adicionar hardware pode decepcionar. Seu teste de aceitação pertence ao lado do pedido de compra. Se você preferir ler isso a me ouvir dizer, o diff chega à sua caixa de entrada todas as manhãs, gratuitamente em the daily diff dot dev, link abaixo.

Eu compraria o cluster de quatro Macs?

4:40 Então o veredito de hoje é NECESSITA REVISÃO. Eu mediria minha carga de trabalho real antes de comprar o cluster. Assine, clique no sino e me diga nos comentários se você o teria carimbado de forma diferente. E esse é o diff de hoje. Eu sou o Niko da Axrisi. Faça a fusão com responsabilidade.

Fontes

1. Local and Distributed Large LLM Inference with MLX and RDMA on Mac StudioApple Machine Learning Research
2. A benchmark map of the US economyMercor
3. Benchmark Map methodology and expert reviewMercor
4. Edited security-breach notice with Console scopeOpenCode
5. Reader questions mixed benchmark precision formatsHacker News · peri-cl (reader opinion)
6. User reports vanished provider credit (unverified loss claim)Amruth Pillai on X