# Inferenca e shpërndarë e Apple MLX: kapaciteti i modelit, shpejtësia dhe kufijtë e besimit

Published: 2026-10-18

Hulumtimi i Apple i 15 tetorit tregon Muse Spark Open duke funksionuar në katër Mac Studio dhe shpjegon pse paralelizmi i tubacionit dhe i tensorit kanë efekte të ndryshme në shpejtësinë e gjenerimit. Ky botim i 17 tetorit, i publikuar më 18 tetor, shqyrton gjithashtu hartën e mbulimit të standardeve të Mercor dhe një përditësim të sigurisë së OpenCode Console të etiketuar shprehimisht më 18 tetor GMT+7. Matjet e shitësit, mbulimi i indekseve të përzgjedhura dhe raportet e paverifikuara të humbjeve të përdoruesve ruajnë paralajmërimet e tyre të veçanta.

Canonical: https://thedailydiff.dev/sq/video/2026-10-17-apple-mac-cluster/

## Çfarë mbulon kjo video

- Peshat e modelit dhe hapësira e punës së inferencës konsumojnë memorie; vetëm gjurmë e peshës së një modeli mund të nënvlerësojë kapacitetin e kërkuar.
- Paralelizmi i tubacionit shpërndan shtresa të njëpasnjëshme, ndërsa paralelizmi i tensorit ndan punën brenda çdo shtrese dhe ka nevojë për komunikim të shpeshtë me vonesë të ulët.
- Apple raporton mbi 36 shenja në sekondë në katër M5 Ultra Mac Studio me një kontekst prej 8,192 shenjash; krahasimi i kabllove lidhet me pritjen e shenjës së parë në një kontekst prej 65,536 shenjash.
- Gjetja e Mercor për 90% të orëve të punës përshkruan mbulim të vogël ose aspak në indeksin e saj të përzgjedhur të standardeve. Ajo nuk vendos një shkallë dështimi të modelit prej 90%.
- Njoftimi i redaktuar i OpenCode përshkruan një nëngrup të përdoruesve të Console me ofrues të jashtëm të lidhur. Njoftimi publik nuk vërteton komprometimin e çdo instalimi lokal.
- Testoni ngarkesën tuaj aktuale të punës dhe rishikoni shërbimet që mbajnë kredenciale përpara se të trajtoni një konfigurim modeli lokal si një zgjidhje të plotë të privatësisë ose të kostos.

## Kapitujt

- 0:00 Pse dy Mac mund të ruajnë të njëjtën shpejtësi?
- 0:41 Pse modeli ka nevojë për më shumë se një Mac?
- 1:30 Si ndihmon Thunderbolt që Mac-at të punojnë së bashku?
- 2:19 Çfarë pune mbulojnë në të vërtetë standardet e AI?
- 3:11 Kush thotë OpenCode se u prek gjatë natës?
- 4:02 Çfarë vë nën kontrollin tuaj inferenca lokale?
- 4:40 A do ta blija unë grupin e katër Mac-ave?

## Transkript i përkthyer

Përkthyer nga tregimi origjinal në anglisht. Audio dhe titrat e disponueshme kontrollohen nga YouTube.

### Pse dy Mac mund të ruajnë të njëjtën shpejtësi?

0:00 Do të prisnit që dy Mac t'ju bënin AI-në dy herë më të shpejtë. Testet e Apple tregojnë se shpejtësia e gjenerimit mund të mbetet pothuajse e pandryshuar. Në këtë video, çfarë blejnë katër Mac? Çfarë u mungon standardeve? Një mjet kodimi lidh harduerin me një shkelje të sigurisë gjatë natës. Do t'i kthehemi. Për të shtunën, shtatëmbëdhjetë tetor, ky është The Daily Diff. MLX është kuadri i grupeve me burim të hapur i Apple për mësimin e makinerive në Apple

0:22 silicon. Testi i tij i ri ekzekuton Muse Spark Open të Metës në katër Mac Studio. Përdor memorie të unifikuar, të cilën e ndajnë CPU dhe GPU. Apple e publikoi këtë më pesëmbëdhjetë tetor. Mercor hartoi punën që standardet e AI mezi e masin. Ne po mbulojmë shtatëmbëdhjetë tetorin botimin, me një përditësim të njëmbëdhjetë tetorit për OpenCode Console.

### Pse modeli ka nevojë për më shumë se një Mac?

0:41 Filloni me pjesën e papërshtatshme. Testi Muse Spark Open i Apple përdor rreth pesëqind gigabyte vetëm për të katër modelin bit. Një Mac Studio i vetëm arrin deri në pesëqind e dymbëdhjetë gigabyte, dhe inferenca ka nevojë edhe për memorie pune. Peshat pothuajse e mbushin valixhen para se të keni paketuar një çorape të vetme. Më shumë makina e bëjnë modelin të përshtatet. Paralelizmi i tubacionit e pret modelin nëpër shtresat e tij. Mac A bën shtresat e hershme, pastaj i kalon rezultatin e ndërmjetëm Mac B për

1:05 shtresat e mëvonshme. Për një shenjë të gjeneruar, këto hapa ndodhin ende në sekuencë. Matjet e Apple tregojnë se shpejtësia e dekodimit mbetet shumë e ngjashme me një makinë të vetme. Keni punësuar një kuzhinier të dytë dhe i keni dhënë atij të njëjtin sanduiç. Në Hacker News, një zhvillues vuri në pikëpyetje pse tabela e Apple përdorte një Meta me katër bit modelin pranë një modeli Qwen në saktësinë e tij origjinale. Tabela e Apple thotë formatet, prandaj lexoni shënimet e poshtme para se të blini. Standardet e prezantimeve mbeten të pamposhtura.

1:29 Paralelizmi i tensorit kalon nëpër çdo shtresë në vend të kësaj.

### Si ndihmon Thunderbolt që Mac-at të punojnë së bashku?

1:32 Disa Mac punojnë në pjesë të së njëjtës shtresë së bashku, pastaj bashkojnë rezultatet e tyre. Kjo mund të përshpejtojë gjenerimin, por makinat komunikojnë vazhdimisht. Apple përdor qasje në memorie në distancë me vonesë të ulët mbi Thunderbolt. Një lëvizje e guximshme karriere për një kabllo. Rezultati kryesor është mbi tridhjetë e gjashtë shenja në sekondë nga katër M5 Ultra Mac Studio, me rreth tetë mijë shenja konteksti. Apple e mati vetë.

1:55 Kërkesat më të gjata e ndryshojnë historinë. Në një test të madh konteksti, dy kabllo për lidhje shkurtuan pritjen për shenjën e parë me rreth dhjetë sekonda. Një model lokal ju jep një kufi të dobishëm rreth kërkesave, me kusht që konfigurimi juaj aktual t'i mbajë ato lokale. Apple nuk ka dhënë një çmim universal të barazimit kundrejt API-ve të hostuara. Kjo varet nga përdorimi dhe modeli që ju nevojitet. Një makinë që u përgjigjet pyetjeve të rastësishme kalon shumë kohë duke qenë një

2:17 zbukurim tavoline shumë i shtrenjtë. Zgjedhja e atij modeli kërkon një test për punën tuaj.

### Çfarë pune mbulojnë në të vërtetë standardet e AI?

2:21 Mercor hartoi njëzet e nëntë standarde në taksonominë amerikane të vendeve të punës. Indeksi i tij mbulon afërsisht nëntëqind detyra nga pothuajse nëntëmbëdhjetë mijë. Harta vlerëson se nëntëdhjetë për qind e orëve të punës kanë pak ose aspak mbulim standard. Kjo është një hapësirë e madhe bosh në fletën e provimit. Harta e Mercor mat mbulimin. Një profesion bosh ka detyra mezi të testuara; aftësia e modelit mbetet një pyetje e hapur. Hartimi përdori një model AI, me rishikim njerëzor në një nëngrup të kërkesave të standardeve të Mercor.

2:49 Rishikuesit pranuan rreth tre të katërtat e zgjedhjeve të tij të para. Sistemi i vlerësimit ka nevojë për sistemin e vet të vlerësimit, natyrisht. Pra, nëse jeni të shqetësuar për punën tuaj, një tabelë drejtuese nuk mund ta zgjidhë argumentin. Nëse po blini një asistent kodimi, riprodhoni një detyrë reale me tuajin kontrollin e pranimit. Puna e dobishme përfshin pjesët e vështira pas demonstrimit. Askush nuk promovohet sepse chatboti përfundoi me siguri fletëllogaritësin e gabuar. Gjë që na çon te përditësimi gjatë natës.

### Kush thotë OpenCode se u prek gjatë natës?

3:13 OpenCode thotë se një shkelje e sigurisë preku një pikë katër për qind të përdoruesve të Console. Njoftimi i tij i redaktuar e ngushton këtë në një nëngrup me ofrues të jashtëm të lidhur, dhe thotë se përdoruesit e prekur u njoftuan me email. E quan këtë një sulm distilimi në shkallë të gjerë dhe thotë se incidenti është në vazhdim. Një shkak rrënjësor publik ende nuk ka mbërritur. Përgjigjet përfshijnë njerëz që raportojnë zhdukjen e kreditit të ofruesit, që është llogaria e tyre e ngjarjeve. Njoftimi nuk vendos humbjet ose kompensimin e çdo personi.

3:38 Apple sapo kishte treguar si të lidhte OpenCode me inferencën lokale, dhe tani emri i tij është pranë një paralajmërimi sigurie. Emri i produktit mbulon disa kufij të ndryshëm besimi. Përdoruesit e Console duhet të lexojnë njoftimin zyrtar dhe të kontrollojnë përdorimin e ofruesit. Nëse jeni prekur, ndiqni udhëzimet e korrigjimit dhe rishikoni kredencialet e lidhura. Ky njoftim na jep një fushëveprim specifik të Console të hostuar. Ai nuk jep këtu asnjë dëshmi të një komprometimi në çdo instalim lokal.

### Çfarë vë nën kontrollin tuaj inferenca lokale?

4:02 Ja lidhja. Artikulli i Apple emëron OpenCode si një klient për serverin e tij të modelit lokal. I njëjti ndërfaqe kodimi mund të qëndrojë përpara infrastrukturave shumë të ndryshme. Kjo përgjigjet çfarë blejnë katër Mac. Kapacitet, dhe një kufi inference që mund ta administroni. Shërbimet rreth atij kufiri ende meritojnë rishikimin e tyre. Rregulli im i blerjes është i thjeshtë. Provojeni që modeli përshtatet, masni të gjithë detyrën dhe kontrolloni çdo shërbim që mban një

4:23 kredencial. Rezultati i Apple e bën inferencën e madhe lokale më praktike, ndërsa testi i tubacionit shpjegon pse shtimi i harduerit mund të zhgënjejë. Testi juaj i pranimit duhet të jetë pranë urdhrit të blerjes. Nëse preferoni ta lexoni këtë sesa të më dëgjoni duke e thënë, dallimi ju vjen në postë çdo mëngjes, falas në thedailydiff.dev, lidhja më poshtë.

### A do ta blija unë grupin e katër Mac-ave?

4:40 Pra, vendimi i sotëm është NEEDS REVIEW. Do të matja ngarkesën time reale të punës përpara se të blija grupin. Abonohuni, shtypni zilen dhe më tregoni në komente nëse do ta kishit vulosur ndryshe. Dhe ky është dallimi për sot. Unë jam Niko nga Axrisi. Bashkohuni me përgjegjësi.

## Burimet

- [Local and Distributed Large LLM Inference with MLX and RDMA on Mac Studio](https://machinelearning.apple.com/research/mlx-distributed-inference) — Apple Machine Learning Research
- [A benchmark map of the US economy](https://www.mercor.com/research/labor-index/benchmark-map/) — Mercor
- [Benchmark Map methodology and expert review](https://www.mercor.com/research/labor-index/benchmark-map/methodology/) — Mercor
- [Edited security-breach notice with Console scope](https://x.com/opencode/status/2111519637049319818) — OpenCode
- [Reader questions mixed benchmark precision formats](https://news.ycombinator.com/item?id=50119761) — Hacker News · peri-cl (reader opinion)
- [User reports vanished provider credit (unverified loss claim)](https://x.com/KingOKings/status/2111517723109015607) — Amruth Pillai on X