# Размеркаванае выснова Apple MLX: ёмістасць мадэлі, хуткасць і межы даверу

Published: 2026-10-18

Даследаванне Apple ад 15 кастрычніка паказвае працу Muse Spark Open на чатырох Mac Studios і тлумачыць, чаму паралелізм канвеера і тэнзарны паралелізм па-рознаму ўплываюць на хуткасць генерацыі. Гэта выданне ад 17 кастрычніка, апублікаванае 18 кастрычніка, таксама разглядае карту пакрыцця бенчмаркаў Mercor і відавочна пазначанае абнаўленне бяспекі OpenCode Console ад 18 кастрычніка па GMT+7. Вымярэнні пастаўшчыкоў, пакрыццё выбраных індэксаў і неправераныя паведамленні карыстальнікаў аб стратах захоўваюць свае асобныя папярэджанні.

Canonical: https://thedailydiff.dev/be/video/2026-10-17-apple-mac-cluster/

## Што ахоплівае гэта відэа

- Вага мадэлі і працоўная прастора высновы спажываюць памяць; адзін толькі вагавы след мадэлі можа недаацэньваць неабходную ёмістасць.
- Паралелізм канвеера размяркоўвае паслядоўныя слаі, у той час як тэнзарны паралелізм дзеліць працу ўнутры кожнага слая і патрабуе частай сувязі з нізкай затрымкай.
- Apple паведамляе пра больш чым 36 токенаў у секунду на чатырох Mac Studios M5 Ultra з кантэкстам 8192 токенаў; параўнанне кабеляў датычыцца чакання першага токена ў кантэксце 65536 токенаў.
- Вынік Mercor у 90% працоўнага часу апісвае мала або зусім адсутнае пакрыццё ў яго выбраным індэксе бенчмаркаў. Гэта не ўстанаўлівае 90% частату збояў мадэлі.
- Адрэдагаванае паведамленне OpenCode апісвае падмноства карыстальнікаў Console са звязанымі знешнімі правайдэрамі. Публічнае паведамленне не ўстанаўлівае кампраметацыю кожнай лакальнай устаноўкі.
- Праверце вашу фактычную нагрузку і праглядзіце сэрвісы, якія змяшчаюць уліковыя даныя, перш чым разглядаць лакальную наладу мадэлі як поўнае рашэнне для прыватнасці або кошту.

## Раздзелы

- 0:00 Чаму два Mac могуць заставацца на той жа хуткасці?
- 0:41 Чаму мадэлі патрэбна больш за адзін Mac?
- 1:30 Як Thunderbolt дапамагае Mac працаваць разам?
- 2:19 Якую працу насамрэч ахопліваюць AI-бенчмаркі?
- 3:11 Каго OpenCode паведамляе, што пацярпеў за ноч?
- 4:02 Што лакальнае выснова дае вам пад кантроль?
- 4:40 Ці купіў бы я кластар з чатырох Mac?

## Перакладзеная стэнаграма

Перакладзена з арыгінальнай англійскай агучкі. Даступнае аўдыя і субтытры кантралююцца YouTube.

### Чаму два Mac могуць заставацца на той жа хуткасці?

0:00 Вы чакаеце, што два Mac зробяць ваш AI ўдвая хутчэй. Уласныя тэсты Apple паказваюць, што хуткасць генерацыі можа заставацца амаль нязменнай. У гэтым відэа, што даюць чатыры Mac? Што прапускаюць бенчмаркі? Адзін інструмент для кадавання злучае апаратнае забеспячэнне з начным парушэннем. Мы вернемся да гэтага. За суботу, сямнаццатага кастрычніка, гэта The Daily Diff. MLX - гэта адкрытая архітэктура масіваў Apple для машыннага навучання на Apple

0:22 крэмніі. Яго новы тэст запускае Meta's Muse Spark Open на чатырох Mac Studios. Ён выкарыстоўвае адзіную памяць, якую падзяляюць CPU і GPU. Apple апублікавала гэта пятнаццатага кастрычніка. Mercor адлюстраваў працу, якую AI-бенчмаркі ледзь вымяраюць. Мы асвятляем выданне ад сямнаццатага кастрычніка з начным абнаўленнем васемнаццатага кастрычніка пра OpenCode Console.

### Чаму мадэлі патрэбна больш за адзін Mac?

0:41 Пачнем з нязручнай часткі. Тэст Apple Muse Spark Open выкарыстоўвае каля пяцісот гігабайт толькі для чатырох- бітнай мадэлі. Адзін Mac Studio максімальна павялічваецца да пяцісот дванаццаці гігабайт, а выснове таксама патрэбна працоўная памяць. Вага амаль запаўняе чамадан, перш чым вы спакавалі адзін шкарпэтку. Большая колькасць машын дазваляе мадэлі змясціцца. Паралелізм канвеера разбівае мадэль па яе слаях. Mac A выконвае раннія слаі, затым перадае прамежкавы вынік Mac B для

1:05 позніх слаёў. Для аднаго згенераванага токена гэтыя крокі ўсё роўна адбываюцца паслядоўна. Вымярэнні Apple паказваюць, што хуткасць дэкадавання застаецца вельмі падобнай да адной машыны. Вы нанялі другога кухара і далі яму той жа бутэрброд. На Hacker News адзін распрацоўшчык паставіў пад сумнеў, чаму ў табліцы Apple выкарыстоўвалася чатырохбітная мадэль Meta побач з мадэллю Qwen у яе роднай дакладнасці. Табліца Apple паказвае фарматы, таму прачытайце зноскі перад пакупкамі. Бенчмаркі слайд-шоў застаюцца непераможнымі.

1:29 Тэнзарны паралелізм замест гэтага праходзіць праз кожны слой.

### Як Thunderbolt дапамагае Mac працаваць разам?

1:32 Некалькі Mac працуюць над часткамі аднаго і таго ж слоя разам, затым аб'ядноўваюць свае вынікі. Гэта можа паскорыць генерацыю, але машыны шматразова ўзаемадзейнічаюць. Apple выкарыстоўвае доступ да выдаленай памяці з нізкай затрымкай праз Thunderbolt. Смелы кар'ерны крок для кабеля. Галоўны вынік - больш за трыццаць шэсць токенаў у секунду з чатырох Mac Studios M5 Ultra, з кантэкстам каля васьмі тысяч токенаў. Apple вымерала гэта сама.

1:55 Больш доўгія падказкі мяняюць гісторыю. У адным тэсце вялікага кантэксту два кабелі на злучэнне скарацілі чаканне першага токена прыкладна на дзесяць секунд. Лакальная мадэль дае вам карысную мяжу вакол падказак, пры ўмове, што ваша фактычная налада захоўвае іх лакальна. Apple не прадставіла ўніверсальны бясстратны кошт у параўнанні з размешчанымі API. Гэта залежыць ад выкарыстання і мадэлі, якая вам патрэбна. Машына, якая адказвае на выпадковыя пытанні, траціць шмат часу на тое, каб быць вельмі

2:17 дарагім настольным упрыгожваннем. Выбар гэтай мадэлі патрабуе тэставання для вашай працы.

### Якую працу насамрэч ахопліваюць AI-бенчмаркі?

2:21 Mercor адлюстраваў дваццаць дзевяць бенчмаркаў на амерыканскую таксанамію працоўных месцаў. Яго індэкс ахоплівае прыблізна дзевяцьсот задач з амаль дзевятнаццаці тысяч. Карта ацэньвае, што дзевяноста працэнтаў працоўнага часу мае мала або зусім адсутнае пакрыццё бенчмаркаў. Гэта гіганцкае пустое месца на экзаменацыйным лісце. Карта Mercor вымярае пакрыццё. Пустая прафесія мае ледзь пратэставаныя задачы; магчымасці мадэлі застаюцца адкрытым пытаннем. Для адлюстравання выкарыстоўвалася мадэль AI, з ручным праглядам падмноства уласных запытаў бенчмаркаў Mercor.

2:49 Рэцэнзенты прынялі прыблізна тры чвэрці яе першых выбараў. Сістэма ацэнкі мае патрэбу ў сваёй уласнай сістэме ацэнкі, натуральна. Таму, калі вы турбуецеся пра сваю працу, табліца лідэраў не можа вырашыць спрэчку. Калі вы купляеце памочніка для кадавання, прайграйце рэальную задачу з уласнымі праверкамі прыняцця. Карысная праца ўключае ў сябе нязручныя моманты пасля дэма. Ніхто не атрымлівае павышэння, таму што чат-бот упэўнена скончыў няправільную табліцу. Што прыводзіць нас да начнога абнаўлення.

### Каго OpenCode паведамляе, што пацярпеў за ноч?

3:13 OpenCode паведамляе, што парушэнне бяспекі закранула адзін і чатыры дзесятыя працэнта карыстальнікаў Console. Яго адрэдагаванае паведамленне звужае гэта да падмноства з звязанымі знешнімі правайдэрамі і паведамляе, што пацярпелым карыстальнікам былі адпраўлены электронныя лісты. Ён называе гэта маштабнай атакай дыстыляцыі і кажа, што інцыдэнт працягваецца. Публічная прычына пакуль не з'явілася. Адказы ўключаюць людзей, якія паведамляюць пра зніклы крэдыт правайдэра, што з'яўляецца іх апісаннем падзей. Паведамленне не ўстанаўлівае страты або кампенсацыю кожнага чалавека.

3:38 Apple толькі што паказала, як падключыць OpenCode да лакальнага высновы, і цяпер яго назва стаіць побач з папярэджаннем аб бяспецы. Назва прадукту ахоплівае некалькі розных меж даверу. Карыстальнікі Console павінны прачытаць афіцыйнае паведамленне і праверыць выкарыстанне правайдэра. Калі вы пацярпелі, выконвайце інструкцыі па ліквідацыі і праглядзіце падключаныя уліковыя даныя. Гэта паведамленне дае нам канкрэтную вобласць дзеяння размешчанай Console. Яно не дае тут доказаў кампраметацыі кожнай лакальнай устаноўкі.

### Што лакальнае выснова дае вам пад кантроль?

4:02 Вось сувязь. Артыкул Apple называе OpenCode кліентам для свайго лакальнага мадэльнага сервера. Той жа інтэрфейс кадавання можа стаяць перад вельмі рознай інфраструктурай. Гэта адказвае на пытанне, што даюць чатыры Mac. Ёмістасць і мяжа высновы, якую вы можаце адміністраваць. Сэрвісы вакол гэтай мяжы ўсё роўна заслугоўваюць уласнага прагляду. Маё правіла пакупкі простае. Дакажыце, што мадэль падыходзіць, вымерайце ўсю задачу і праверце кожны сэрвіс, які трымае

4:23 уліковыя даныя. Вынік Apple робіць вялікую лакальную выснову больш практычнай, у той час як тэст канвеера тлумачыць, чаму даданне абсталявання можа расчараваць. Ваш тэст прыёмкі належыць побач з заказам на пакупку. Калі вы аддаеце перавагу чытаць гэта, чым чуць, як я гэта кажу, дыф трапляе ў вашу паштовую скрыню кожную раніцу, бясплатна на thedailydiff.dev, спасылка ніжэй.

### Ці купіў бы я кластар з чатырох Mac?

4:40 Такім чынам, сённяшні вердыкт - NEEDS REVIEW. Я б вымераў сваю рэальную нагрузку, перш чым купляць кластар. Падпішыцеся, націсніце званочак і скажыце мне ў каментарах, ці паставілі б вы гэта інакш. І гэта ўсё на сёння. Я Ніка з Axrisi. Аб'ядноўвайце адказна.

## Крыніцы

- [Local and Distributed Large LLM Inference with MLX and RDMA on Mac Studio](https://machinelearning.apple.com/research/mlx-distributed-inference) — Apple Machine Learning Research
- [A benchmark map of the US economy](https://www.mercor.com/research/labor-index/benchmark-map/) — Mercor
- [Benchmark Map methodology and expert review](https://www.mercor.com/research/labor-index/benchmark-map/methodology/) — Mercor
- [Edited security-breach notice with Console scope](https://x.com/opencode/status/2111519637049319818) — OpenCode
- [Reader questions mixed benchmark precision formats](https://news.ycombinator.com/item?id=50119761) — Hacker News · peri-cl (reader opinion)
- [User reports vanished provider credit (unverified loss claim)](https://x.com/KingOKings/status/2111517723109015607) — Amruth Pillai on X