Inférence distribuée Apple MLX: capacité du modèle, vitesse et limites de confiance

Ce que cette vidéo couvre

• Les poids du modèle et l'espace de travail d'inférence consomment de la mémoire; l'empreinte de poids d'un modèle peut à elle seule sous-estimer la capacité requise.
• Le parallélisme de pipeline distribue les couches successives, tandis que le parallélisme de tenseur divise le travail à l'intérieur de chaque couche et nécessite une communication fréquente à faible latence.
• Apple rapporte plus de 36 jetons par seconde sur quatre Mac Studio M5 Ultra avec un contexte de 8 192 jetons; la comparaison des câbles concerne le temps d'attente du premier jeton dans un contexte de 65 536 jetons.
• La constatation de Mercor de 90% des heures de travail décrit une couverture faible ou nulle dans son indice de référence sélectionné. Elle n'établit pas un taux d'échec de 90% du modèle.
• L'avis modifié d'OpenCode décrit un sous-ensemble d'utilisateurs de la Console avec des fournisseurs externes liés. L'avis public n'établit pas de compromission de chaque installation locale.
• Testez votre charge de travail réelle et examinez les services détenant des informations d'identification avant de considérer une configuration de modèle local comme une solution complète de confidentialité ou de coût.

Transcription traduite

Traduit de la narration originale en anglais. L'audio et les sous-titres disponibles sont contrôlés par YouTube.

Pourquoi deux Mac peuvent-ils conserver la même vitesse?

0:00 Vous vous attendez à ce que deux Mac rendent votre IA deux fois plus rapide. Les propres tests d'Apple montrent que la vitesse de génération peut rester quasiment inchangée. Dans cette vidéo, qu'est-ce que quatre Mac apportent? Que manquent les benchmarks? Un outil de codage relie le matériel à une faille survenue pendant la nuit. Nous y reviendrons. Pour le samedi dix-sept octobre, ceci est The Daily Diff. MLX est le framework de tableau open source d'Apple pour l'apprentissage automatique sur le

0:22 silicium d'Apple. Son nouveau test exécute Muse Spark Open de Meta sur quatre Mac Studio. Il utilise la mémoire unifiée, que le CPU et le GPU partagent. Apple a publié ceci le quinze octobre. Mercor a cartographié le travail que les benchmarks d'IA mesurent à peine. Nous couvrons l'édition du dix-sept octobre, avec une mise à jour nocturne du dix-huit octobre concernant OpenCode Console.

Pourquoi le modèle a-t-il besoin de plus d'un Mac?

0:41 Commençons par le point gênant. Le test Muse Spark Open d'Apple utilise environ cinq cents gigaoctets juste pour le modèle de quatre bits. Un seul Mac Studio atteint cinq cent douze gigaoctets, et l'inférence a également besoin de mémoire de travail. Les poids remplissent presque la valise avant même d'avoir emballé une seule chaussette. Plus de machines permettent au modèle de s'adapter. Le parallélisme de pipeline coupe le modèle à travers ses couches. Le Mac A effectue les premières couches, puis transmet le résultat intermédiaire au Mac B pour

1:05 les couches ultérieures. Pour un jeton généré, ces étapes se produisent toujours en séquence. Les mesures d'Apple montrent que la vitesse de décodage reste très similaire à celle d'une seule machine. Vous avez engagé un deuxième cuisinier, et lui avez donné le même sandwich. Sur Hacker News, un développeur s'est interrogé sur la raison pour laquelle le tableau d'Apple utilisait un modèle Meta de quatre bits à côté d'un modèle Qwen à sa précision native. Le tableau d'Apple indique les formats, alors lisez les notes de bas de page avant d'acheter. Les benchmarks de diapositive restent invaincus.

1:29 Le parallélisme de tenseur coupe chaque couche à la place.

Comment Thunderbolt aide-t-il les Mac à travailler ensemble?

1:32 Plusieurs Mac travaillent ensemble sur des parties de la même couche, puis combinent leurs résultats. Cela peut accélérer la génération, mais les machines communiquent de manière répétée. Apple utilise l'accès à la mémoire à distance à faible latence via Thunderbolt. Une décision de carrière audacieuse pour un câble. Le résultat principal est de plus de trente-six jetons par seconde sur quatre Mac Studio M5 Ultra, avec environ huit mille jetons de contexte. Apple l'a mesuré elle-même.

1:55 Les invites plus longues changent l'histoire. Dans un test de grand contexte, deux câbles par liaison ont réduit le temps d'attente du premier jeton d'environ dix secondes. Un modèle local vous donne une limite utile autour des invites, à condition que votre configuration réelle les maintienne locales. Apple n'a pas fourni de prix universel de seuil de rentabilité par rapport aux API hébergées. Cela dépend de l'utilisation et du modèle dont vous avez besoin. Une machine répondant à des questions occasionnelles passe beaucoup de temps à être un

2:17 ornement de bureau très coûteux. Le choix de ce modèle nécessite un test pour votre travail.

Quel travail les benchmarks d'IA couvrent-ils réellement?

2:21 Mercor a cartographié vingt-neuf benchmarks sur la taxonomie des emplois américains. Son indice couvre environ neuf cents tâches sur près de dix-neuf mille. La carte estime que quatre-vingt-dix pour cent des heures de travail ont une couverture de benchmark faible ou inexistante. C'est un énorme espace vide sur le bulletin d'examen. La carte de Mercor mesure la couverture. Une occupation vide a des tâches à peine testées; la capacité du modèle reste une question ouverte. La cartographie a utilisé un modèle d'IA, avec une révision humaine sur un sous-ensemble des propres invites de benchmark de Mercor.

2:49 Les évaluateurs ont accepté environ les trois quarts de ses premiers choix. Le système de notation a besoin de son propre système de notation, naturellement. Donc, si vous êtes inquiet pour votre emploi, un classement ne peut pas régler l'argument. Si vous achetez un assistant de codage, rejouez une tâche réelle avec vos propres vérifications d'acceptation. Le travail utile inclut les parties délicates après la démo. Personne n'est promu parce que le chatbot a terminé avec confiance la mauvaise feuille de calcul. Ce qui nous amène à la mise à jour de la nuit.

Qui OpenCode dit-il avoir été affecté pendant la nuit?

3:13 OpenCode annonce une faille de sécurité qui a affecté un virgule quatre pour cent des utilisateurs de la Console. Son avis modifié restreint cela à un sous-ensemble avec des fournisseurs externes liés, et dit que les utilisateurs concernés ont été avertis par courriel. Il qualifie cela d'attaque de distillation à grande échelle et indique que l'incident est en cours. Une cause fondamentale publique n'a pas encore été annoncée. Les réponses incluent des personnes signalant un crédit de fournisseur disparu, ce qui est leur version des faits. L'avis n'établit pas les pertes ou la compensation de chaque personne.

3:38 Apple venait de montrer comment connecter OpenCode à l'inférence locale, et maintenant son nom est à côté d'un avertissement de sécurité. Le nom du produit couvre plusieurs limites de confiance différentes. Les utilisateurs de la Console doivent lire l'avis officiel et vérifier l'utilisation du fournisseur. Si vous êtes concerné, suivez les instructions de correction et examinez les informations d'identification connectées. Cet avis nous donne une portée spécifique de la Console hébergée. Il ne fournit aucune preuve ici d'une compromission dans chaque installation locale.

Qu'est-ce que l'inférence locale met sous votre contrôle?

4:02 Voici la connexion. L'article d'Apple nomme OpenCode comme un client pour son serveur de modèles local. La même interface de codage peut se trouver devant des infrastructures très différentes. Cela répond à ce que quatre Mac apportent. Capacité, et une limite d'inférence que vous pouvez administrer. Les services autour de cette limite méritent toujours leur propre examen. Ma règle d'achat est simple. Prouvez que le modèle convient, mesurez la tâche entière et vérifiez chaque service détenant une

4:23 information d'identification. Le résultat d'Apple rend l'inférence locale à grande échelle plus pratique, tandis que le test de pipeline explique pourquoi l'ajout de matériel peut décevoir. Votre test d'acceptation appartient à côté du bon de commande. Si vous préférez lire ceci plutôt que de m'entendre le dire, le diff arrive dans votre boîte de réception tous les matins, gratuitement sur the daily diff dot dev, lien ci-dessous.

Achèterais-je le cluster de quatre Mac?

4:40 Le verdict d'aujourd'hui est donc NEEDS REVIEW. Je mesurerais ma charge de travail réelle avant d'acheter le cluster. Abonnez-vous, appuyez sur la cloche et dites-moi dans les commentaires si vous l'auriez estampillé différemment. Et c'est le diff pour aujourd'hui. Je suis Niko d'Axrisi. Fusionnez de manière responsable.

Sources

1. Local and Distributed Large LLM Inference with MLX and RDMA on Mac StudioApple Machine Learning Research
2. A benchmark map of the US economyMercor
3. Benchmark Map methodology and expert reviewMercor
4. Edited security-breach notice with Console scopeOpenCode
5. Reader questions mixed benchmark precision formatsHacker News · peri-cl (reader opinion)
6. User reports vanished provider credit (unverified loss claim)Amruth Pillai on X