Разпределен извод на Apple MLX: капацитет на модела, скорост и граници на доверие

Какво обхваща този видеоклип

• Тежестите на модела и работното пространство за извод консумират памет; само отпечатъкът на теглото на модела може да подцени необходимия капацитет.
• Паралелизмът на тръбопровода разпределя последователни слоеве, докато тензорният паралелизъм разделя работата във всеки слой и се нуждае от честа комуникация с ниска латентност.
• Apple съобщава за над 36 токена в секунда на четири M5 Ultra Mac Studios с контекст от 8192 токена; сравнението на кабелите се отнася до изчакване на първия токен при контекст от 65536 токена.
• Констатацията на Mercor за 90% от работното време описва малко или никакво покритие в избрания от нея бенчмарк индекс. Тя не установява 90% степен на отказ на модела.
• Редактираното известие на OpenCode описва подмножество от потребители на Console с свързани външни доставчици. Публичното известие не установява компрометиране на всяка локална инсталация.
• Тествайте действителното си натоварване и прегледайте услугите, съдържащи идентификационни данни, преди да третирате локална настройка на модела като пълно решение за поверителност или разходи.

Преведен препис

Преведено от оригиналния английски разказ. Наличните аудио и субтитри се контролират от YouTube.

Защо два Mac-а могат да останат със същата скорост?

0:00 Очаквате два Mac-а да направят вашия AI два пъти по-бърз. Собствените тестове на Apple показват, че скоростта на генериране може да остане почти непроменена. В това видео, какво купуват четири Mac-а? Какво пропускат бенчмарковете? Един инструмент за кодиране свързва хардуера с нощно нарушение. Ще се върнем към него. За събота, седемнадесети октомври, това е The Daily Diff. MLX е отворената рамка за масиви на Apple за машинно обучение на Apple

0:22 силиций. Новият му тест стартира Muse Spark Open на Meta на четири Mac Studios. Използва унифицирана памет, която CPU и GPU споделят. Apple публикува това на петнадесети октомври. Mercor картографира работата, която AI бенчмарковете едва измерват. Покриваме изданието от седемнадесети октомври, с нощна актуализация от осемнадесети октомври относно OpenCode Console.

Защо моделът се нуждае от повече от един Mac?

0:41 Започнете с неудобната част. Тестът Muse Spark Open на Apple използва около петстотин гигабайта само за четири битовия модел. Един Mac Studio достига максимум петстотин дванадесет гигабайта, а изводът се нуждае и от работна памет. Тежестите почти пълнят куфара, преди да сте опаковали един чорап. Повече машини правят модела да се побере. Паралелизмът на тръбопровода разделя модела през неговите слоеве. Mac A прави по-ранните слоеве, след което предава междинния резултат на Mac B за

1:05 по-късните слоеве. За един генериран токен, тези стъпки все още се случват последователно. Измерванията на Apple показват, че скоростта на декодиране остава много подобна на една машина. Наели сте втори готвач и сте му дали същия сандвич. В Hacker News един разработчик попита защо таблицата на Apple използва четири битов модел на Meta до модел Qwen с неговата естествена точност. Таблицата на Apple посочва форматите, така че прочетете бележките под линия, преди да пазарувате. Бенчмарковете на слайдове остават ненадминати.

1:29 Тензорният паралелизъм пресича всеки слой вместо това.

Как Thunderbolt помага на Mac-овете да работят заедно?

1:32 Множество Mac-ове работят върху части от един и същ слой заедно, след това комбинират резултатите си. Това може да ускори генерирането, но машините комуникират многократно. Apple използва достъп до отдалечена памет с ниска латентност през Thunderbolt. Смела кариерна стъпка за кабел. Водещият резултат е над тридесет и шест токена в секунда от четири M5 Ultra Mac Studios, с около осем хиляди токена контекст. Apple го измери сама.

1:55 По-дългите подкани променят историята. В един голям тест за контекст, два кабела на връзка намаляват изчакването за първия токен с около десет секунди. Локалният модел ви дава полезна граница около подканите, при условие че действителната ви настройка ги държи локални. Apple не е предоставила универсална цена на рентабилност спрямо хостваните API. Това зависи от използването и модела, от който се нуждаете. Машина, отговаряща на случайни въпроси, прекарва много време като много

2:17 скъп настолен орнамент. Изборът на този модел изисква тест за вашата работа.

Каква работа всъщност покриват AI бенчмарковете?

2:21 Mercor картографира двадесет и девет бенчмарка към американската таксономия на работни места. Нейният индекс покрива приблизително деветстотин задачи от почти деветнадесет хиляди. Картата изчислява, че деветдесет процента от работното време имат малко или никакво покритие на бенчмарк. Това е огромно празно място на изпитния лист. Картата на Mercor измерва покритието. Една празна професия има едва тествани задачи; възможностите на модела остават отворен въпрос. Картографирането използва AI модел, с човешки преглед на подмножество от собствените бенчмарк подкани на Mercor.

2:49 Рецензентите приеха приблизително три четвърти от първите му избори. Системата за оценяване се нуждае от собствена система за оценяване, естествено. Така че, ако се притеснявате за работата си, една класация не може да реши спора. Ако купувате помощник за кодиране, повторете истинска задача със собствените си проверки за приемане. Полезната работа включва неудобните части след демонстрацията. Никой не получава повишение, защото чатботът уверено е завършил грешната таблица. Което ни води до нощната актуализация.

Кой според OpenCode е бил засегнат през нощта?

3:13 OpenCode казва, че нарушение на сигурността е засегнало 1,4 процента от потребителите на Console. Неговото редактирано известие стеснява това до подмножество с външни доставчици свързани, и казва, че засегнатите потребители са били уведомени по имейл. Нарича това широкомащабна атака за дестилация и казва, че инцидентът е продължаващ. Публична основна причина все още не е пристигнала. Отговорите включват хора, които съобщават за изчезнал кредит на доставчик, което е тяхното описание на събитията. Известието не установява загубите или компенсациите на всяко лице.

3:38 Apple току-що беше показала как да свърже OpenCode с локален извод, и сега името му е до предупреждение за сигурност. Името на продукта покрива няколко различни граници на доверие. Потребителите на Console трябва да прочетат официалното известие и да проверят използването на доставчик. Ако сте засегнати, следвайте инструкциите за възстановяване и прегледайте свързаните идентификационни данни. Това известие ни дава конкретен обхват на хостваната Console. То не предоставя доказателства тук за компрометиране във всяка локална инсталация.

Какво поставя под ваш контрол локалният извод?

4:02 Ето връзката. Статията на Apple назовава OpenCode като клиент за своя локален сървър за модели. Същият интерфейс за кодиране може да стои пред много различна инфраструктура. Това отговаря какво купуват четири Mac-а. Капацитет и граница за извод, която можете да администрирате. Услугите около тази граница все още заслужават собствен преглед. Моето правило за покупка е просто. Докажете, че моделът пасва, измерете цялата задача и проверете всяка услуга, съдържаща

4:23 идентификационни данни. Резултатът на Apple прави големия локален извод по-практичен, докато тестът на тръбопровода обяснява защо добавянето на хардуер може да разочарова. Вашият тест за приемане принадлежи до поръчката за покупка. Ако предпочитате да прочетете това, отколкото да ме чуете да го казвам, diff-ът пристига във входящата ви кутия всяка сутрин, безплатно на the daily diff dot dev, линк по-долу.

Бих ли купил клъстера от четири Mac-а?

4:40 Така че днешната присъда е НУЖДА ОТ ПРЕГЛЕД. Бих измерил реалното си натоварване, преди да купя клъстера. Абонирайте се, натиснете камбанката и ми кажете в коментарите дали бихте го подпечатали по различен начин. И това е diff-ът за днес. Аз съм Нико от Axrisi. Сливайте отговорно.

Източници

1. Local and Distributed Large LLM Inference with MLX and RDMA on Mac StudioApple Machine Learning Research
2. A benchmark map of the US economyMercor
3. Benchmark Map methodology and expert reviewMercor
4. Edited security-breach notice with Console scopeOpenCode
5. Reader questions mixed benchmark precision formatsHacker News · peri-cl (reader opinion)
6. User reports vanished provider credit (unverified loss claim)Amruth Pillai on X