Дистрибуирана инференција на Apple MLX: капацитет на моделот, брзина и граници на доверба

Што покрива ова видео

• Тежините на моделот и работниот простор за инференција трошат меморија; само отпечатокот на тежината на моделот може да го потцени потребниот капацитет.
• Паралелизмот на цевководот дистрибуира последователни слоеви, додека тензорскиот паралелизам ја дели работата во секој слој и има потреба од честа комуникација со мала латентност.
• Apple известува за над 36 токени во секунда на четири M5 Ultra Mac Studio со контекст од 8.192 токени; споредбата на кабелот се однесува на чекање на првиот токен во контекст од 65.536 токени.
• Наодот на Mercor за 90% работно време опишува мала или никаква покриеност во неговиот избран бенчмарк индекс. Тоа не воспоставува стапка на неуспех на моделот од 90%.
• Уредената објава на OpenCode опишува подгрупа корисници на Console со поврзани надворешни провајдери. Јавната објава не воспоставува компромис на секоја локална инсталација.
• Тестирајте го вашето вистинско оптоварување и прегледајте ги услугите што носат акредитиви пред да ја третирате локалната поставеност на моделот како комплетно решение за приватност или трошоци.

Преведен транскрипт

Преведено од оригиналната англиска нарација. Достапното аудио и наслови се контролирани од YouTube.

Зошто два Mac-а можат да останат со иста брзина?

0:00 Би очекувале два Mac-а да ја направат вашата вештачка интелигенција двојно побрза. Сопствените тестови на Apple покажуваат дека брзината на генерирање може да остане речиси непроменета. Во ова видео, што добивате со четири Mac-а? Што пропуштаат бенчмарковите? Една алатка за кодирање го поврзува хардверот со прекуноќно прекршување. Ќе се вратиме на тоа. За сабота, седумнаесетти октомври, ова е The Daily Diff. MLX е open source рамка за низи на Apple за машинско учење на Apple

0:22 силикон. Неговиот нов тест го извршува Meta's Muse Spark Open преку четири Mac Studio. Користи унифицирана меморија, која ја делат процесорот и графичкиот процесор. Apple го објави ова на петнаесетти октомври. Mercor ја мапираше работата што AI бенчмарковите едвај ја мерат. Ја покриваме седумнаесеттата октомври издание, со прекуноќно осумнаесетти октомври ажурирање за OpenCode Console.

Зошто моделот има потреба од повеќе од еден Mac?

0:41 Започнете со незгодниот дел. Тестот Muse Spark Open на Apple користи околу петстотини гигабајти само за четири битен модел. Еден Mac Studio достигнува максимум петстотини дванаесет гигабајти, а инференцијата исто така има потреба од работна меморија. Тежините речиси го исполнуваат куферот пред да спакувате ниту еден чорап. Повеќе машини го прават моделот да се вклопи. Паралелизмот на цевководот го пресекува моделот низ неговите слоеви. Mac A ги прави претходните слоеви, потоа го предава средниот резултат на Mac B за

1:05 подоцнежните слоеви. За еден генериран токен, тие чекори сè уште се случуваат последователно. Мерењата на Apple покажуваат дека брзината на декодирање останува многу слична на една машина. Ангажиравте втор готвач и му го дадовте истиот сендвич. На Hacker News, еден развивач праша зошто табелата на Apple користела четири битен Meta модел покрај модел Qwen со неговата изворна прецизност. Табелата на Apple ги наведува форматите, затоа прочитајте ги фуснотите пред да купувате. Бенчмарковите на презентацијата остануваат непоразени.

1:29 Наместо тоа, тензорскиот паралелизам се пресекува низ секој слој.

Како Thunderbolt им помага на Mac-овите да работат заедно?

1:32 Повеќе Mac-а работат на делови од истиот слој заедно, потоа ги комбинираат своите резултати. Тоа може да го забрза генерирањето, но машините комуницираат постојано. Apple користи далечински пристап до меморија со мала латентност преку Thunderbolt. Смел потег во кариерата за кабел. Главниот резултат е над триесет и шест токени во секунда од четири M пет Ultra Mac Studios, со околу осум илјади токени контекст. Apple сам го измери тоа.

1:55 Подолгите барања ја менуваат приказната. Во еден голем контекст тест, два кабли по врска го намалија чекањето за првиот токен за околу десет секунди. Локалниот модел ви дава корисна граница околу барањата, под услов вашата вистинска поставеност да ги чува локални. Apple не обезбеди универзална пресметковна цена наспроти хостирани API. Тоа зависи од искористеноста и моделот што ви е потребен. Машина што одговара на повремени прашања поминува многу време како многу

2:17 скап украс за биро. Изборот на тој модел бара тест за вашата работа.

Каква работа всушност покриваат AI бенчмарковите?

2:21 Mercor мапираше дваесет и девет бенчмаркови на американската таксономија на работни места. Неговиот индекс опфаќа приближно деветстотини задачи од речиси деветнаесет илјади. Картата проценува дека деведесет проценти од работното време имаат мала или никаква покриеност со бенчмарк. Тоа е огромен празен простор на испитниот лист. Картата на Mercor ја мери покриеноста. Празното занимање има едвај тестирани задачи; способноста на моделот останува отворена прашање. Мапирањето користеше AI модел, со човечки преглед на подгрупа на сопствени бенчмарк барања на Mercor.

2:49 Прегледувачите прифатија приближно три четвртини од неговите први избори. Системот за оценување има потреба од сопствен систем за оценување, секако. Значи, ако сте загрижени за вашата работа, таблата со резултати не може да ја реши расправијата. Ако купувате асистент за кодирање, повторете вистинска задача со свои проверки за прифаќање. Корисната работа ги вклучува незгодните делови по демото. Никој не добива унапредување затоа што четботот самоуверено ја завршил погрешната табела. Што нè доведува до прекуноќното ажурирање.

Кому OpenCode вели дека е погоден преку ноќ?

3:13 OpenCode вели дека безбедносно прекршување погодило еден точка четири проценти од корисниците на Console Неговата уредена објава го стеснува тоа на подгрупа со поврзани надворешни провајдери и вели дека на погодените корисници им биле испратени е-пошта. Ова го нарекува напад за дестилација од големи размери и вели дека инцидентот е во тек. Јавна основна причина допрва треба да пристигне. Одговорите вклучуваат луѓе кои пријавуваат исчезнат кредит од провајдер, што е нивното објаснување за настаните. Објавата не ги утврдува загубите или компензацијата на секое лице.

3:38 Apple штотуку покажа како да се поврзе OpenCode со локалната инференција, а сега неговото име е покрај безбедносно предупредување. Името на производот опфаќа неколку различни граници на доверба. Корисниците на Console треба да ја прочитаат официјалната објава и да ја проверат употребата на провајдерот. Ако сте погодени, следете ги упатствата за санација и прегледајте ги поврзаните акредитиви. Ова известување ни дава специфичен опсег на хостирана конзола. Овде не дава докази за компромис во секоја локална инсталација.

Што става локалната инференција под ваша контрола?

4:02 Еве ја врската. Написот на Apple го именува OpenCode како клиент за неговиот локален сервер на модели. Истиот интерфејс за кодирање може да стои пред многу различна инфраструктура. Тоа одговара на она што го купуваат четири Mac-а. Капацитет и граница за инференција што можете да ја администрирате. Услугите околу таа граница сè уште заслужуваат свој преглед. Моето правило за купување е едноставно. Докажете дека моделот одговара, измерете ја целата задача и проверете ја секоја услуга што поседува

4:23 акредитиви. Резултатот на Apple ја прави големата локална инференција попрактична, додека тестот на цевководот објаснува зошто додавањето хардвер може да разочара. Вашиот тест за прифаќање припаѓа покрај нарачката за купување. Ако повеќе сакате да го прочитате ова отколку да ме слушнете како го кажувам, дифузијата пристигнува во вашето сандаче секое утро, бесплатно на the daily diff dot dev, линк подолу.

Дали би го купил кластерот со четири Mac-а?

4:40 Така што денешната пресуда е ПОТРЕБЕН ПРЕГЛЕД. Би го измерил моето вистинско оптоварување пред да го купам кластерот. Претплатете се, притиснете го ѕвончето и кажете ми во коментарите дали би го запечатиле поинаку. И тоа е разликата за денес. Јас сум Нико од Axrisi. Спојувајте одговорно.

Извори

1. Local and Distributed Large LLM Inference with MLX and RDMA on Mac StudioApple Machine Learning Research
2. A benchmark map of the US economyMercor
3. Benchmark Map methodology and expert reviewMercor
4. Edited security-breach notice with Console scopeOpenCode
5. Reader questions mixed benchmark precision formatsHacker News · peri-cl (reader opinion)
6. User reports vanished provider credit (unverified loss claim)Amruth Pillai on X