Apple MLX дистрибуирано закључивање: капацитет модела, брзина и границе поузданости

Шта овај видео покрива

• Тежине модела и радни простор за закључивање троше меморију; само меморијски отисак тежина модела може потценити потребан капацитет.
• Паралелизам цевовода дистрибуира узастопне слојеве, док тензорски паралелизам дели рад унутар сваког слоја и захтева честу комуникацију са малим кашњењем.
• Apple извештава о преко 36 токена у секунди на четири M5 Ultra Mac Studios уређаја са контекстом од 8.192 токена; поређење каблова се односи на чекање првог токена у контексту од 65.536 токена.
• Mercor-ов налаз о 90% радног времена описује малу или никакву покривеност у његовом одабраном индексу референтних вредности. Он не утврђује 90% стопу отказа модела.
• OpenCode-ово измењено обавештење описује подскуп корисника конзоле са повезаним екстерним добављачима. Јавно обавештење не утврђује компромитовање сваке локалне инсталације.
• Тестирајте своје стварно радно оптерећење и прегледајте услуге које носе акредитиве пре него што локално подешавање модела третирате као комплетно решење за приватност или трошкове.

Преведени транскрипт

Преведено са оригиналне енглеске нарације. Доступни аудио и титлови контролисани су од стране YouTube-а.

Зашто два Mac-а могу да остану исте брзине?

0:00 Очекивали бисте да ће вам два Mac-а удвостручити брзину АИ. Тестови компаније Apple показују да брзина генерисања може остати готово непромењена. У овом видеу, шта добијате са четири Mac-а? Шта бенчмарци пропуштају? Један алат за кодирање повезује хардвер са пробијањем преко ноћи. Вратићемо се на то. За суботу, седамнаести октобар, ово је The Daily Diff. MLX је Apple-ов open source оквир за низове за машинско учење на Apple

0:22 силикону. Његов нови тест покреће Meta-ин Muse Spark Open на четири Mac Studios уређаја. Користи унифицирану меморију, коју деле CPU и GPU. Apple је ово објавио петнаестог октобра. Mercor је мапирао рад који АИ бенчмарци једва мере. Покривамо издање од седамнаестог октобра, са ноћним ажурирањем од осамнаестог октобра о OpenCode Console-у.

Зашто моделу треба више од једног Mac-а?

0:41 Почнимо са незгодним делом. Apple-ов Muse Spark Open тест користи око петсто гигабајта само за четворо битни модел. Један Mac Studio има максимално петсто дванаест гигабајта, а закључивање такође захтева радну меморију. Тежине скоро испуњавају кофер пре него што спакујете и једну чарапу. Више машина омогућава моделу да стане. Паралелизам цевовода сече модел кроз његове слојеве. Mac A ради раније слојеве, затим прослеђује међурезултат Mac-у B за

1:05 касније слојеве. За један генерисани токен, ти кораци се и даље дешавају у низу. Мерења компаније Apple показују да брзина декодирања остаје веома слична брзини једне машине. Ангажовали сте другог кувара и дали му исти сендвич. На Hacker News-у, један програмер је довео у питање зашто је Apple-ова табела користила четворобитни Meta модел поред Qwen модела у његовој изворној прецизности. Apple-ова табела наводи формате, па прочитајте фусноте пре куповине. Бенчмарци са слајд презентација остају непобедиви.

1:29 Тензорски паралелизам уместо тога сече кроз сваки слој.

Како Thunderbolt помаже Mac-овима да раде заједно?

1:32 Више Mac-ова ради заједно на деловима истог слоја, затим комбинују своје резултате. То може убрзати генерисање, али машине комуницирају више пута. Apple користи приступ удаљеној меморији са ниским кашњењем преко Thunderbolt-а. Одлучан потез у каријери за кабл. Насловни резултат је преко тридесет шест токена у секунди са четири M5 Ultra Mac Studios, са око осам хиљада токена контекста. Apple га је сам измерио.

1:55 Дужи упити мењају причу. У једном тесту великог контекста, два кабла по вези су скратила чекање на први токен за око десет секунди. Локални модел вам даје корисну границу око упита, под условом да ваше стварно подешавање их држи локалним. Apple није обезбедио универзалну цену рентабилности у односу на хостоване АПИ-је. То зависи од искоришћености и модела који вам је потребан. Машина која одговара на повремена питања проводи доста времена као веома

2:17 скуп украс за сто. Одабир тог модела захтева тест за ваш рад.

Који посао заправо покривају AI бенчмарци?

2:21 Mercor је мапирао двадесет девет бенчмарка на америчку таксономију послова. Његов индекс покрива отприлике деветсто задатака од скоро деветнаест хиљада. Мапа процењује да деведесет процената радног времена има малу или никакву покривеност бенчмарком. То је огромна празнина на испитном листу. Mercor-ова мапа мери покривеност. Празно занимање има једва тестиране задатке; способност модела остаје отворено питање. Мапирање је користило АИ модел, са људским прегледом на подскупу Mercor-ових сопствених бенчмарк упита.

2:49 Рецензенти су прихватили отприлике три четвртине његових првих избора. Систем оцењивања треба сопствени систем оцењивања, наравно. Дакле, ако сте забринути за свој посао, табела не може решити расправу. Ако купујете помоћника за кодирање, поновите стварни задатак са сопственим проверама прихватања. Користан рад укључује и незгодне делове након демоа. Нико не добија унапређење зато што је чет-бот самоуверено завршио погрешну табелу. Што нас доводи до ноћног ажурирања.

Ко је, по OpenCode-у, био погођен преко ноћи?

3:13 OpenCode каже да је безбедносни пропуст погодио 1,4 процента корисника конзоле. Његово измењено обавештење то сужава на подскуп са повезаним екстерним добављачима, и каже да су погођеним корисницима послати мејлови. Ово назива великим нападом дистилације и каже да је инцидент у току. Јавни основни узрок још није стигао. Одговори укључују људе који пријављују нестали кредит добављача, што је њихов опис догађаја. Обавештење не утврђује губитке или компензацију сваке особе.

3:38 Apple је управо показао како да повеже OpenCode са локалним закључивањем, а сада је његово име поред безбедносног упозорења. Назив производа покрива неколико различитих граница поузданости. Корисници конзоле треба да прочитају званично обавештење и провере употребу добављача. Ако сте погођени, следите упутства за отклањање проблема и прегледајте повезане акредитиве. Ово обавештење нам даје специфичан опсег хостоване конзоле. Овде не пружа доказе о компромитовању сваке локалне инсталације.

Шта локално закључивање ставља под вашу контролу?

4:02 Ево везе. Apple-ов чланак наводи OpenCode као клијента за свој локални модел сервера. Исти интерфејс за кодирање може се налазити испред веома различите инфраструктуре. То одговара на питање шта купују четири Mac-а. Капацитет и граница закључивања коју можете администрирати. Услуге око те границе и даље заслужују сопствени преглед. Моје правило куповине је једноставно. Докажите да модел одговара, измерите цео задатак и проверите сваку услугу која поседује

4:23 акредитиве. Apple-ов резултат чини велико локално закључивање практичнијим, док тест цевовода објашњава зашто додавање хардвера може разочарати. Ваш тест прихватања припада поред наруџбенице. Ако више волите да ово прочитате него да ме чујете како то говорим, дифф вам стиже у инбокс сваког јутра, бесплатно на daily diff dot dev, линк испод.

Да ли бих купио кластер од четири Mac-а?

4:40 Дакле, данашња пресуда је NEEDS REVIEW. Измерио бих своје стварно радно оптерећење пре куповине кластера. Претплатите се, притисните звоно и реците ми у коментарима да ли бисте га означили другачије. И то је дифф за данас. Ја сам Нико из Axrisi-ја. Спајајте одговорно.

Извори

1. Local and Distributed Large LLM Inference with MLX and RDMA on Mac StudioApple Machine Learning Research
2. A benchmark map of the US economyMercor
3. Benchmark Map methodology and expert reviewMercor
4. Edited security-breach notice with Console scopeOpenCode
5. Reader questions mixed benchmark precision formatsHacker News · peri-cl (reader opinion)
6. User reports vanished provider credit (unverified loss claim)Amruth Pillai on X