# Apple MLX verteilte Inferenz: Modellkapazität, Geschwindigkeit und Vertrauensgrenzen

Published: 2026-10-18

Apple führte Muse Spark Open auf vier Mac Studios aus. Apples Forschung vom 15. Oktober zeigt Muse Spark Open, das auf vier Mac Studios läuft, und erklärt, warum Pipeline- und Tensor-Parallelität unterschiedliche Auswirkungen auf die Generierungsgeschwindigkeit haben. Diese Ausgabe vom 17. Oktober, veröffentlicht am 18. Oktober, untersucht auch Mercors Benchmark-Abdeckungskarte und ein explizit als 18. Oktober GMT+7 gekennzeichnetes Sicherheitsupdate für die OpenCode Console. Herstellerangaben, die Abdeckung ausgewählter Indizes und unbestätigte Berichte über Benutzerverluste behalten ihre separaten Vorbehalte.

Canonical: https://thedailydiff.dev/de/video/2026-10-17-apple-mac-cluster/

## Was dieses Video behandelt

- Modellgewichte und Inferenz-Arbeitsbereich verbrauchen beide Speicher; der Gewichts-Footprint eines Modells allein kann die erforderliche Kapazität unterschätzen.
- Pipeline-Parallelität verteilt aufeinanderfolgende Schichten, während Tensor-Parallelität die Arbeit innerhalb jeder Schicht aufteilt und häufige Kommunikation mit geringer Latenz erfordert.
- Apple meldet über 36 Tokens pro Sekunde auf vier M5 Ultra Mac Studios mit einem Kontext von 8.192 Tokens; der Kabelvergleich betrifft die Wartezeit des ersten Tokens bei einem Kontext von 65.536 Tokens.
- Mercors Feststellung von 90% der Arbeitsstunden beschreibt eine geringe oder gar keine Abdeckung in seinem ausgewählten Benchmark-Index. Es wird keine 90%ige Modellausfallrate festgestellt.
- Die bearbeitete Mitteilung von OpenCode beschreibt eine Untergruppe von Console-Benutzern mit verknüpften externen Anbietern. Die öffentliche Mitteilung stellt keine Kompromittierung jeder lokalen Installation fest.
- Testen Sie Ihre tatsächliche Arbeitslast und überprüfen Sie Dienste, die Anmeldeinformationen enthalten, bevor Sie ein lokales Modell-Setup als vollständige Datenschutz- oder Kostenlösung betrachten.

## Kapitel

- 0:00 Warum können zwei Macs gleich schnell bleiben?
- 0:41 Warum benötigt das Modell mehr als einen Mac?
- 1:30 Wie hilft Thunderbolt den Macs bei der Zusammenarbeit?
- 2:19 Welche Arbeit decken die KI-Benchmarks tatsächlich ab?
- 3:11 Wen hat OpenCode über Nacht als betroffen genannt?
- 4:02 Was ermöglicht Ihnen die lokale Inferenz?
- 4:40 Würde ich den Vier-Mac-Cluster kaufen?

## Übersetztes Transkript

Aus der englischen Originalerzählung übersetzt. Verfügbare Audio- und Untertitel werden von YouTube gesteuert.

### Warum können zwei Macs gleich schnell bleiben?

0:00 Man würde erwarten, dass zwei Macs Ihre KI doppelt so schnell machen. Apples eigene Tests zeigen, dass die Generierungsgeschwindigkeit fast unverändert bleiben kann. Was bringen vier Macs in diesem Video? Was übersehen Benchmarks? Ein Codierungstool verbindet die Hardware mit einer Übernacht-Verletzung. Wir kommen darauf zurück. Für Samstag, siebzehnter Oktober, ist dies The Daily Diff. MLX ist Apples Open-Source-Array-Framework für maschinelles Lernen auf Apple

0:22 Silizium. Sein neuer Test führt Metas Muse Spark Open auf vier Mac Studios aus. Es verwendet Unified Memory, den CPU und GPU teilen. Apple hat dies am fünfzehnten Oktober veröffentlicht. Mercor hat die Arbeit abgebildet, die KI-Benchmarks kaum messen. Wir behandeln die Ausgabe vom siebzehnten Oktober mit einem Übernacht-Update vom achtzehnten Oktober über OpenCode Console.

### Warum benötigt das Modell mehr als einen Mac?

0:41 Beginnen wir mit dem unbequemen Teil. Apples Muse Spark Open Test verwendet etwa fünfhundert Gigabyte nur für das Vier-Bit-Modell. Ein einzelner Mac Studio erreicht maximal fünfhundertzwölf Gigabyte, und Inferenz benötigt auch Arbeitsspeicher. Die Gewichte füllen den Koffer fast, bevor Sie eine einzige Socke eingepackt haben. Mehr Maschinen sorgen dafür, dass das Modell passt. Pipeline-Parallelität schneidet das Modell durch seine Schichten. Mac A erledigt die früheren Schichten und übergibt dann das Zwischenergebnis an Mac B für

1:05 die späteren Schichten. Für ein generiertes Token erfolgen diese Schritte immer noch nacheinander. Apples Messungen zeigen, dass die Decodierungsgeschwindigkeit einem einzelnen Computer sehr ähnlich bleibt. Sie haben einen zweiten Koch eingestellt und ihm das gleiche Sandwich gegeben. Auf Hacker News stellte ein Entwickler die Frage, warum Apples Tabelle ein Vier-Bit-Meta-Modell neben einem Qwen-Modell in seiner nativen Präzision verwendete. Apples Tabelle gibt die Formate an, lesen Sie also die Fußnoten, bevor Sie einkaufen. Die Benchmarks der Präsentationen bleiben ungeschlagen.

1:29 Tensor-Parallelität schneidet stattdessen quer durch jede Schicht.

### Wie hilft Thunderbolt den Macs bei der Zusammenarbeit?

1:32 Mehrere Macs arbeiten gemeinsam an Teilen derselben Schicht, und kombinieren dann ihre Ergebnisse. Das kann die Generierung beschleunigen, aber die Maschinen kommunizieren wiederholt. Apple verwendet den Fernzugriff auf den Speicher mit geringer Latenz über Thunderbolt. Ein mutiger Karriereschritt für ein Kabel. Das Schlagzeilenergebnis sind über sechsunddreißig Tokens pro Sekunde von vier M5 Ultra Mac Studios, mit etwa achttausend Tokens Kontext. Apple hat es selbst gemessen.

1:55 Längere Prompts ändern die Geschichte. In einem großen Kontexttest reduzierten zwei Kabel pro Verbindung die Wartezeit für das erste Token um etwa zehn Sekunden. Ein lokales Modell gibt Ihnen eine nützliche Grenze um Prompts, vorausgesetzt, Ihr aktuelles Setup hält sie lokal. Apple hat keinen universellen Break-Even-Preis gegenüber gehosteten APIs angegeben. Das hängt von der Auslastung und dem benötigten Modell ab. Eine Maschine, die gelegentlich Fragen beantwortet, verbringt viel Zeit damit, ein sehr

2:17 teures Schreibtischornament zu sein. Die Wahl dieses Modells erfordert einen Test für Ihre Arbeit.

### Welche Arbeit decken die KI-Benchmarks tatsächlich ab?

2:21 Mercor ordnete neunundzwanzig Benchmarks der amerikanischen Jobtaxonomie zu. Sein Index deckt ungefähr neunhundert Aufgaben von fast neunzehntausend ab. Die Karte schätzt, dass neunzig Prozent der Arbeitsstunden wenig oder keine Benchmark-Abdeckung haben. Das ist ein riesiger leerer Bereich auf dem Prüfungsblatt. Mercors Karte misst die Abdeckung. Eine leere Berufsbezeichnung hat kaum getestete Aufgaben; die Modellfähigkeit bleibt eine offene Frage. Die Zuordnung verwendete ein KI-Modell mit menschlicher Überprüfung einer Untergruppe von Mercors eigenen Benchmark-Prompts.

2:49 Die Prüfer akzeptierten ungefähr drei Viertel ihrer ersten Entscheidungen. Das Bewertungssystem braucht sein eigenes Bewertungssystem, natürlich. Wenn Sie sich also Sorgen um Ihren Job machen, kann eine Rangliste das Argument nicht klären. Wenn Sie einen Codierungsassistenten kaufen, wiederholen Sie eine reale Aufgabe mit Ihren eigenen Akzeptanzprüfungen. Nützliche Arbeit beinhaltet die unangenehmen Teile nach der Demo. Niemand wird befördert, weil der Chatbot souverän die falsche Tabelle fertiggestellt hat. Was uns zum Übernacht-Update bringt.

### Wen hat OpenCode über Nacht als betroffen genannt?

3:13 OpenCode sagt, dass eine Sicherheitsverletzung 1,4 Prozent der Console-Benutzer betroffen hat. Die bearbeitete Mitteilung beschränkt dies auf eine Untergruppe mit verknüpften externen Anbietern und sagt, dass betroffene Benutzer per E-Mail benachrichtigt wurden. Es nennt dies einen groß angelegten Destillationsangriff und sagt, dass der Vorfall andauert. Eine öffentliche Ursache muss noch bekannt gegeben werden. Antworten enthalten Berichte von Personen, die verschwundene Anbieterguthaben melden, was ihre Darstellung der Ereignisse ist. Die Mitteilung stellt nicht die Verluste oder Entschädigungen jeder Person fest.

3:38 Apple hatte gerade gezeigt, wie man OpenCode mit lokaler Inferenz verbindet, und jetzt steht sein Name neben einer Sicherheitswarnung. Der Produktname deckt mehrere verschiedene Vertrauensgrenzen ab. Console-Benutzer sollten die offizielle Mitteilung lesen und die Anbieter-Nutzung überprüfen. Wenn Sie betroffen sind, befolgen Sie die Anweisungen zur Problembehebung und überprüfen Sie die verbundenen Anmeldeinformationen. Diese Mitteilung gibt uns einen spezifischen gehosteten Console-Umfang. Sie liefert hier keinen Beweis für eine Kompromittierung in jeder lokalen Installation.

### Was ermöglicht Ihnen die lokale Inferenz?

4:02 Hier ist die Verbindung. Apples Artikel nennt OpenCode als Client für seinen lokalen Modellserver. Dieselbe Codierungsschnittstelle kann vor sehr unterschiedlichen Infrastrukturen sitzen. Das beantwortet, was vier Macs bringen. Kapazität und eine Inferenzgrenze, die Sie selbst verwalten können. Dienste um diese Grenze herum verdienen immer noch eine eigene Überprüfung. Meine Kaufregel ist einfach. Stellen Sie sicher, dass das Modell passt, messen Sie die gesamte Aufgabe und überprüfen Sie jeden Dienst, der eine

4:23 Anmeldeinformationen enthält. Apples Ergebnis macht große lokale Inferenz praktischer, während der Pipeline-Test erklärt, warum das Hinzufügen von Hardware enttäuschen kann. Ihr Abnahmetest gehört neben die Bestellung. Wenn Sie dies lieber lesen als mich es sagen zu hören, landet der Diff jeden Morgen kostenlos in Ihrem Posteingang unter the daily diff dot dev, Link unten.

### Würde ich den Vier-Mac-Cluster kaufen?

4:40 Das heutige Urteil lautet also NEEDS REVIEW. Ich würde meine tatsächliche Arbeitslast messen, bevor ich den Cluster kaufe. Abonnieren Sie, klicken Sie auf die Glocke und sagen Sie mir in den Kommentaren, ob Sie es anders gestempelt hätten. Und das ist der Diff für heute. Ich bin Niko von Axrisi. Verantwortungsbewusst zusammenführen.

## Quellen

- [Local and Distributed Large LLM Inference with MLX and RDMA on Mac Studio](https://machinelearning.apple.com/research/mlx-distributed-inference) — Apple Machine Learning Research
- [A benchmark map of the US economy](https://www.mercor.com/research/labor-index/benchmark-map/) — Mercor
- [Benchmark Map methodology and expert review](https://www.mercor.com/research/labor-index/benchmark-map/methodology/) — Mercor
- [Edited security-breach notice with Console scope](https://x.com/opencode/status/2111519637049319818) — OpenCode
- [Reader questions mixed benchmark precision formats](https://news.ycombinator.com/item?id=50119761) — Hacker News · peri-cl (reader opinion)
- [User reports vanished provider credit (unverified loss claim)](https://x.com/KingOKings/status/2111517723109015607) — Amruth Pillai on X