# Apple MLX бөлүштүрүлгөн инференциясы: моделдин кубаттуулугу, ылдамдыгы жана ишеним чек аралары

Published: 2026-10-18

Apple компаниясынын 15-октябрдагы изилдөөсү Muse Spark Open программасы төрт Mac Studio компьютеринде иштеп жатканын көрсөтүп, конвейердик жана тензордук параллелизмдин генерация ылдамдыгына ар кандай таасир этишинин себебин түшүндүрөт. 17-октябрдагы, 18-октябрда жарыяланган бул чыгарылышта Mercor компаниясынын эталондук камтуу картасы жана ачык белгиленген 18-октябрь GMT+7 OpenCode Console коопсуздук жаңыртуусу да каралат. Сатуучунун өлчөөлөрү, тандалган индекс камтуусу жана текшерилбеген колдонуучулардын жоготуулары тууралуу билдирүүлөр өзүнчө эскертүүлөрдү сактап калат.

Canonical: https://thedailydiff.dev/ky/video/2026-10-17-apple-mac-cluster/

## Бул видео эмнелерди камтыйт

- Модель салмактары жана инференция жумушчу мейкиндиги экөө тең эстутумду сарптайт; моделдин салмагы гана талап кылынган кубаттуулукту төмөндөтүп көрсөтүшү мүмкүн.
- Конвейердик параллелизм ырааттуу катмарларды бөлүштүрөт, ал эми тензордук параллелизм ар бир катмардын ичиндеги ишти бөлүп, тез-тез, аз күтүү убактысы бар байланышты талап кылат.
- Apple 8,192 токендик контекст менен төрт M5 Ultra Mac Studio компьютеринде секундасына 36 токенден ашык ылдамдыкты билдирди; кабелдик салыштыруу 65,536 токендик контекстте биринчи токенди күтүүгө байланыштуу.
- Mercor компаниясынын 90% жумуш убактысы тууралуу табылгасы, анын тандалган эталондук индексинде аз же такыр камтуу жоктугун сүрөттөйт. Ал 90% моделдин иштебей калуу ылдамдыгын белгилебейт.
- OpenCode'дун редакцияланган билдирүүсү тышкы провайдерлер менен байланышкан Console колдонуучуларынын бир бөлүгүн сүрөттөйт. Коомдук билдирүү ар бир жергиликтүү орнотуунун бузулганын белгилебейт.
- Жергиликтүү моделди купуялуулук же чыгым чечими катары кабыл алуудан мурун, иш жүгүңүздү сынап көрүңүз жана маалыматтары бар кызматтарды карап чыгыңыз.

## Бөлүмдөр

- 0:00 Эмне үчүн эки Mac бирдей ылдамдыкта иштей берет?
- 0:41 Эмне үчүн моделге бир нече Mac керек?
- 1:30 Thunderbolt Mac компьютерлеринин чогуу иштешине кантип жардам берет?
- 2:19 AI эталондору иш жүзүндө кандай ишти камтыйт?
- 3:11 OpenCode кимдер түнү менен жабыркаганын айтат?
- 4:02 Жергиликтүү инференция эмнени сиздин көзөмөлүңүзгө коет?
- 4:40 Төрт Mac кластерин сатып алат белем?

## Котормо стенограмма

Англис тилиндеги баштапкы баяндамадан которулган. Жеткиликтүү аудио жана коштомо жазуулар YouTube тарабынан көзөмөлдөнөт.

### Эмне үчүн эки Mac бирдей ылдамдыкта иштей берет?

0:00 Сиз эки Mac сиздин AI'ыңызды эки эсе тездетет деп күтсөңүз болот. Apple'дын өзүнүн тесттери генерация ылдамдыгы дээрлик өзгөрүүсүз калаарын көрсөтөт. Бул видеодо төрт Mac эмнеге арзыйт? Эталондор эмнени өткөрүп жиберет? Бир коддоо куралы аппараттык жабдыкты түн ичиндеги бузууга туташтырат. Биз буга кайтып келебиз. Ишемби, 17-октябрь үчүн, бул The Daily Diff. MLX - бул Apple'дын Apple Silicon'до машина үйрөнүү үчүн ачык булактуу массив алкагы.

0:22 Анын жаңы тести Meta'нын Muse Spark Open программасын төрт Mac Studio компьютеринде иштетет. Ал CPU жана GPU бөлүшкөн бирдиктүү эстутумду колдонот. Apple муну 15-октябрда жарыялаган. Mercor AI эталондору араң өлчөгөн ишти картага түшүрдү. Биз 17-октябрдагы чыгарылышты, 18-октябрдагы түн ичиндеги OpenCode Console тууралуу жаңыртуу менен камтып жатабыз.

### Эмне үчүн моделге бир нече Mac керек?

0:41 Ыңгайсыз бөлүгүнөн баштайлы. Apple'дын Muse Spark Open тести төрт биттик модель үчүн эле болжол менен беш жүз гигабайтты колдонот. Бир Mac Studio беш жүз он эки гигабайт менен чектелет, ал эми инференцияга да жумушчу эстутум керек. Салмактар бир да байпакты сала электе чемоданды дээрлик толтурат. Көбүрөөк машиналар моделдин батышына шарт түзөт. Конвейердик параллелизм моделди анын катмарлары аркылуу кесет. Mac A алгачкы катмарларды аткарат, андан кийин ортодогу натыйжаны Mac B'ге кийинки катмарлар үчүн өткөрөт. Бир генерацияланган токен үчүн, бул кадамдар дагы эле ырааттуу түрдө болот.

1:05 Apple'дын өлчөөлөрү декоддоо ылдамдыгы бир машинага абдан окшош бойдон калаарын көрсөтөт. Сиз экинчи ашпозчуну жалдадыңыз, жана аларга ошол эле бутербродду бердиңиз. Hacker News'те бир иштеп чыгуучу Apple'дын таблицасы эмне үчүн Qwen моделинин өзүнүн тактыгындагы моделинин жанында төрт биттик Meta моделин колдонгонуна шек келтирген. Apple'дын таблицасы форматтарды көрсөтөт, андыктан сатып алуудан мурун шилтемелерди окуңуз. Слайд презентациясынын эталондору жеңилгис бойдон калууда. Теңзордук параллелизм ар бир катмарды кесип өтөт. Бир нече Mac бир катмардын бөлүктөрү боюнча чогуу иштешет, андан кийин натыйжаларын бириктирет. Бул генерацияны тездетүүгө жардам берет, бирок машиналар кайра-кайра байланышат.

1:29 Apple Thunderbolt аркылуу аз күтүү убактысы бар алыскы эстутумга кирүүнү колдонот.

### Thunderbolt Mac компьютерлеринин чогуу иштешине кантип жардам берет?

1:32 Кабель үчүн тайманбас карьералык кадам. Негизги натыйжа төрт M5 Ultra Mac Studio компьютеринен секундасына отуз алты токенден ашык, болжол менен сегиз миң токен контекст менен. Apple аны өзү өлчөгөн. Узак сунуштар окуяны өзгөртөт. Бир чоң контексттик тестте, ар бир шилтемеге эки кабель биринчи токенди күтүү убактысын он секундага кыскартты. Жергиликтүү модель сунуштардын тегерегинде пайдалуу чек берет, эгерде сиздин учурдагы жөндөөлөрүңүз аларды жергиликтүү сактаса. Apple хосттолгон API'ларга каршы универсалдуу чыгым чегин берген жок. Бул колдонууга жана сизге керектүү моделге жараша болот.

1:55 Кээде суроолорго жооп берген машина абдан кымбат стол жасалгасы болууга көп убакыт коротот. Бул моделди тандоо сиздин ишиңиз үчүн тестти талап кылат. Mercor жыйырма тогуз эталонду Американын жумуш классификациясына картага түшүрдү. Анын индекси он тогуз миңден ашык тапшырманын тогуз жүзгө жакынын камтыйт. Карта жумуш убактысынын токсон пайызында эталондук камтуу аз же такыр жок деп болжолдойт. Бул сынак кагазындагы гиганттык бош орун. Mercor'дун картасы камтууну өлчөйт. Бош кесипте араң текшерилген тапшырмалар бар; моделдин мүмкүнчүлүгү ачык суроо бойдон калууда. Картага түшүрүү AI моделин колдонгон, Mercor'дун өзүнүн эталондук сунуштарынын бир бөлүгүндө адамдык текшерүү менен. Текшерүүчүлөр анын биринчи тандоолорунун болжол менен төрттөн үч бөлүгүн кабыл алышкан.

2:17 Баалоо системасына өзүнүн баалоо системасы керек, албетте. Андыктан, эгер сиз жумушуңуз үчүн тынчсызданып жатсаңыз, лидер тактасы талашты чече албайт.

### AI эталондору иш жүзүндө кандай ишти камтыйт?

2:21 Эгер сиз коддоо жардамчысын сатып алып жатсаңыз, өзүңүздүн кабыл алуу текшерүүлөрүңүз менен чыныгы тапшырманы кайра ойнотуңуз. Пайдалуу иш демодон кийинки ыңгайсыз бөлүктөрдү камтыйт. Чатбот туура эмес электрондук таблицаны ишенимдүү түрдө бүтүргөндүктөн эч ким кызматтан көтөрүлбөйт. Бул бизди түн ичиндеги жаңыртууга алып келет. OpenCode коопсуздук бузулушу Console колдонуучуларынын бир чекит төрт пайызына таасир этти дейт. Анын редакцияланган билдирүүсү муну тышкы провайдерлери байланыштырылган бир бөлүгүнө чейин тарытып, жабыркаган колдонуучуларга электрондук кат жөнөтүлгөнүн айтат. Бул чоң масштабдуу дистилляция чабуулу деп атап, инцидент уланып жатканын айтат.

2:49 Коомдук түпкү себеби азырынча келе элек. Жооптор провайдердин кредити жоголгондугун билдирген адамдарды камтыйт, бул алардын окуялар тууралуу эсеби. Билдирүү ар бир адамдын жоготууларын же компенсациясын белгилебейт. Apple OpenCode'ду жергиликтүү инференцияга кантип туташтырууну көрсөткөн, жана азыр анын аталышы коопсуздук эскертүүсүнүн жанында турат. Продукттун аталышы бир нече ар кандай ишеним чек араларын камтыйт. Console колдонуучулары расмий билдирүүнү окуп, провайдердин колдонулушун текшериши керек. Эгер сиз жабыркасаңыз, оңдоо нускамаларын аткарып, байланышкан маалыматтарды карап чыгыңыз. Бул билдирүү бизге конкреттүү хосттолгон Console чөйрөсүн берет.

### OpenCode кимдер түнү менен жабыркаганын айтат?

3:13 Бул жерде ар бир жергиликтүү орнотууда компромисс болгондугуна далил жок. Мына байланыш. Apple'дын макаласы OpenCode'ду өзүнүн жергиликтүү модель сервери үчүн кардар катары атайт. Ошол эле коддоо интерфейси абдан ар кандай инфраструктуранын алдында отура алат. Бул төрт Mac эмнеге арзыйт деген суроого жооп берет. Кубаттуулук жана сиз башкара ала турган инференция чеги. Бул чек аранын айланасындагы кызматтар дагы деле өзүнчө карап чыгууга татыктуу. Менин сатып алуу эрежесим жөнөкөй.

3:38 Модельдин туура келгенин далилдеңиз, бүт тапшырманы өлчөңүз жана маалыматтарды камтыган ар бир кызматты текшериңиз. Apple'дын натыйжасы чоң жергиликтүү инференцияны практикалык кылат, ал эми конвейердик тест аппараттык жабдыкты кошуу эмне үчүн көңүлдү калтырарын түшүндүрөт. Сиздин кабыл алуу тестиңиз сатып алуу заказынын жанында болушу керек. Эгер сиз муну мен айткандан көрө окуганды кааласаңыз, diff күн сайын эртең менен сиздин почтаңызга келет, daily diff dot dev дарегинде акысыз, шилтеме ылдыйда. Ошентип, бүгүнкү өкүм NEEDS REVIEW. Кластерди сатып алуудан мурун мен өзүмдүн чыныгы иш жүгүмдү өлчөп көрмөкмүн. Жазылыңыз, коңгуроону басыңыз жана эгер сиз башкача мөөр басат белеңиз, комментарийлерде айтыңыз.

### Жергиликтүү инференция эмнени сиздин көзөмөлүңүзгө коет?

4:02 Бүгүнкү diff ушул. Мен Axrisi'ден Нико. Жоопкерчиликтүү бириктириңиз. Apple'дын Muse Spark Open тести төрт биттик модель үчүн эле болжол менен беш жүз гигабайтты колдонот. Бир Mac Studio беш жүз он эки гигабайт менен чектелет, ал эми инференцияга да жумушчу эстутум керек. Салмактар бир да байпакты сала электе чемоданды дээрлик толтурат. Көбүрөөк машиналар моделдин батышына шарт түзөт. Конвейердик параллелизм моделди анын катмарлары аркылуу кесет.

4:23 Mac A алгачкы катмарларды аткарат, андан кийин ортодогу натыйжаны Mac B'ге кийинки катмарлар үчүн өткөрөт. Бир генерацияланган токен үчүн, бул кадамдар дагы эле ырааттуу түрдө болот. Apple'дын өлчөөлөрү декоддоо ылдамдыгы бир машинага абдан окшош бойдон калаарын көрсөтөт. Сиз экинчи ашпозчуну жалдадыңыз, жана аларга ошол эле бутербродду бердиңиз. Hacker News'те бир иштеп чыгуучу Apple'дын таблицасы эмне үчүн Qwen моделинин өзүнүн тактыгындагы моделинин жанында төрт биттик Meta моделин колдонгонуна шек келтирген.

### Төрт Mac кластерин сатып алат белем?

4:40 Apple'дын таблицасы форматтарды көрсөтөт, андыктан сатып алуудан мурун шилтемелерди окуңуз. Слайд презентациясынын эталондору жеңилгис бойдон калууда. Теңзордук параллелизм ар бир катмарды кесип өтөт. Бир нече Mac бир катмардын бөлүктөрү боюнча чогуу иштешет, андан кийин натыйжаларын бириктирет. Бул генерацияны тездетүүгө жардам берет, бирок машиналар кайра-кайра байланышат. Apple Thunderbolt аркылуу аз күтүү убактысы бар алыскы эстутумга кирүүнү колдонот. Кабель үчүн тайманбас карьералык кадам.

## Булактар

- [Local and Distributed Large LLM Inference with MLX and RDMA on Mac Studio](https://machinelearning.apple.com/research/mlx-distributed-inference) — Apple Machine Learning Research
- [A benchmark map of the US economy](https://www.mercor.com/research/labor-index/benchmark-map/) — Mercor
- [Benchmark Map methodology and expert review](https://www.mercor.com/research/labor-index/benchmark-map/methodology/) — Mercor
- [Edited security-breach notice with Console scope](https://x.com/opencode/status/2111519637049319818) — OpenCode
- [Reader questions mixed benchmark precision formats](https://news.ycombinator.com/item?id=50119761) — Hacker News · peri-cl (reader opinion)
- [User reports vanished provider credit (unverified loss claim)](https://x.com/KingOKings/status/2111517723109015607) — Amruth Pillai on X