Apple MLX hajutatud järeldamine: mudeli maht, kiirus ja usalduspiirid

Mida see video hõlmab

• Mudeli kaalud ja järeldamise tööruum tarbivad mõlemad mälu; mudeli kaalujälg üksi võib alahinnata vajalikku mahtu.
• Torujuhtme paralleelsus jaotab järjestikuseid kihte, samal ajal kui tensori paralleelsus jagab tööd iga kihi sees ja vajab sagedast madala latentsusega suhtlust.
• Apple teatab neljal M5 Ultra Mac Studioul üle 36 märgi sekundis 8192-märgise kontekstiga; kaabli võrdlus puudutab esimese märgi ootamist 65536-märgise kontekstiga.
• Mercori 90% tööaja leid kirjeldab vähest või puuduvat katvust selle valitud võrdlusuuringute indeksis. See ei tuvasta 90% mudeli ebaõnnestumise määra.
• OpenCode'i muudetud teade kirjeldab "Console'i" kasutajate alamhulka, kellel on lingitud välised pakkujad. Avalik teade ei kinnita iga kohaliku installatsiooni kompromiteerimist.
• Testige oma tegelikku töökoormust ja vaadake üle mandaate sisaldavad teenused enne, kui käsitlete kohalikku mudeli seadistust täieliku privaatsus- või kululahendusena.

Tõlgitud transkriptsioon

Tõlgitud ingliskeelsest originaaljutustusest. Saadaolevat heli ja subtiitreid kontrollib YouTube.

Miks saavad kaks Maci jääda sama kiirusega?

0:00 Eeldaksid, et kaks Maci teevad su AI kaks korda kiiremaks. Apple'i enda testid näitavad, et genereerimiskiirus võib jääda peaaegu muutumatuks. Mida neli Maci selles videos annavad? Mida võrdlusuuringud unustavad? Üks kooditööriist ühendab riistvara öö läbi toimunud rikkumisega. Tuleme selle juurde tagasi. Laupäeval, seitsmeteistkümnendal oktoobril, see on The Daily Diff. MLX on Apple'i avatud lähtekoodiga massiivraamistik masinõppeks Apple'i

0:22 räniplatvormidel. Selle uus test käitab Meta Muse Spark Openi neljal Mac Studioul. See kasutab ühtset mälu, mida CPU ja GPU jagavad. Apple avaldas selle 15. oktoobril. Mercor kaardistas töö, mida AI võrdlusuuringud vaevalt mõõdavad. Me käsitleme seitsmeteistkümnenda oktoobri väljaannet, koos öise kaheksateistkümnenda oktoobri värskendusega OpenCode Console'i kohta.

Miks mudel vajab rohkem kui ühte Maci?

0:41 Alustame ebamugava osaga. Apple'i Muse Spark Open test kasutab umbes viissada gigabaiti ainult nelja bitise mudeli jaoks. Üks Mac Studio suudab kuni viissada kaksteist gigabaiti, ja järeldamiseks on vaja ka töömälu. Kaalud peaaegu täidavad kohvri enne, kui oled ühtegi sokki pakkida jõudnud. Rohkem masinaid panevad mudeli mahtuma. Torujuhtme paralleelsus lõikab mudeli läbi selle kihtide. Mac A teeb varasemad kihid, seejärel annab vahetulemuse Mac B-le

1:05 hiljem kihtideks. Ühe genereeritud märgi jaoks toimuvad need sammud ikka järjestikku. Apple'i mõõtmised näitavad, et dekodeerimiskiirus jääb väga sarnaseks ühe masina omaga. Olete palganud teise koka ja andnud neile sama võileiva. Hacker Newsis kahtles üks arendaja, miks Apple'i tabelis kasutati neljabitist Meta mudelit Qwen mudeli kõrval selle algupärases täpsuses. Apple'i tabelis on vormingud märgitud, nii et lugege enne ostlemist joonealuseid märkusi. Slaidipaki võrdlusuuringud jäävad ületamatuks.

1:29 Tensori paralleelsus lõikab iga kihi asemel läbi.

Kuidas Thunderbolt aitab Macidel koos töötada?

1:32 Mitu Maci töötavad koos sama kihi osade kallal, seejärel ühendavad oma tulemused. See võib kiirendada genereerimist, kuid masinad suhtlevad korduvalt. Apple kasutab Thunderbolt'i kaudu madala latentsusega kaugmälu ligipääsu. Julge karjääriliigutus kaabli jaoks. Peamine tulemus on üle kolmekümne kuue märgi sekundis neljalt M viie Ultra Mac Studiost, umbes kaheksa tuhande märgi kontekstiga. Apple mõõtis seda ise.

1:55 Pikemad viiped muudavad lugu. Ühes suures kontekstitestis vähendasid kaks kaablit lingi kohta esimese märgi ooteaega umbes kümne sekundi võrra. Kohalik mudel annab teile viipade ümber kasuliku piiri, eeldusel, et teie tegelik seadistus hoiab need kohalikena. Apple pole esitanud universaalset tasuvushinda majutatud API-de vastu. See sõltub kasutusest ja mudelist, mida vajate. Masin, mis vastab aeg-ajalt küsimustele, veedab palju aega olles väga

2:17 kallis laua kaunistus. Selle mudeli valimiseks on vaja teie töö jaoks testi.

Millist tööd AI võrdlusuuringud tegelikult katavad?

2:21 Mercor kaardistas kakskümmend üheksa võrdlusuuringut Ameerika töökohtade taksonoomiale. Selle indeks hõlmab ligikaudu üheksasada ülesannet peaaegu üheksateistkümnest tuhandest. Kaart hindab, et üheksakümmend protsenti töötundidest on vähe või üldse mitte võrdlusuuringu katvust. See on hiiglaslik tühimik eksamipaberil. Mercori kaart mõõdab katvust. Tühjal ametikohal on vaevalt testitud ülesanded; mudeli võimekus jääb lahtiseks küsimuseks. Kaardistamisel kasutati tehisintellekti mudelit, mille alamhulka Mercori enda võrdlusuuringute viipeid vaatas üle inimene.

2:49 Ülevaatajad aktsepteerisid umbes kolmveerand selle esimesest valikust. Hinde süsteem vajab oma hinde süsteemi, loomulikult. Nii et kui te olete oma töö pärast mures, ei saa edetabel vaidlust lahendada. Kui ostate kodeerimisassistenti, esitage oma tegelik ülesanne uuesti koos oma aktsepteerimiskontrollidega. Kasulik töö hõlmab ebamugavaid osi pärast demo. Kedagi ei edutata, sest vestlusrobot lõpetas enesekindlalt vale tabeli. Mis toob meid öise uuenduse juurde.

Kes OpenCode'i sõnul öösel mõjutatud oli?

3:13 OpenCode ütleb, et turvarikkumine mõjutas ühte koma nelja protsenti Console'i kasutajatest. Selle muudetud teade piirab seda alamhulgaga, kellel on lingitud välised pakkujad, ja ütleb, et mõjutatud kasutajatele saadeti e-kiri. Nad nimetavad seda ulatuslikuks destilleerimisrünnakuks ja ütlevad, et intsident on käimas. Avalikku algpõhjust pole veel saabunud. Vastused hõlmavad inimesi, kes teatavad kadunud pakkuja krediidist, mis on nende versioon sündmustest. Teade ei kinnita iga inimese kahjusid ega hüvitist.

3:38 Apple oli just näidanud, kuidas ühendada OpenCode kohaliku järeldamisega, ja nüüd on selle nimi turvahoiatuse kõrval. Toote nimi hõlmab mitmeid erinevaid usalduspiire. Console'i kasutajad peaksid lugema ametlikku teadet ja kontrollima pakkuja kasutust. Kui teid on mõjutatud, järgige parandamise juhiseid ja vaadake üle ühendatud mandaadid. See teade annab meile konkreetse majutatud Console'i ulatuse. See ei anna siin tõendeid iga kohaliku installatsiooni kompromiteerimise kohta.

Mida annab kohalik järeldamine teie kontrolli alla?

4:02 Siin on ühendus. Apple'i artikkel nimetab OpenCode'i oma kohaliku mudeliserveri kliendiks. Sama kodeerimisliides võib asuda väga erinevate infrastruktuuride ees. See vastab küsimusele, mida neli Maci ostavad. Võimsus ja järelduspiir, mida saate hallata. Selle piiri ümber olevad teenused väärivad siiski oma ülevaatamist. Minu ostureegel on lihtne. Tõestage mudeli sobivust, mõõtke kogu ülesannet ja kontrollige iga teenust, mis hoiab

4:23 mandaati. Apple'i tulemus muudab suure kohaliku järeldamise praktilisemaks, samas kui torujuhtme test selgitab, miks riistvara lisamine võib pettumust valmistada. Teie aktsepteerimistest kuulub ostutellimuse kõrvale. Kui soovite seda lugeda, mitte kuulda minu suust, siis diff saabub teie postkasti igal hommikul, tasuta saidil thedaily.dev, link allpool.

Kas ma ostaksin nelja Maci klastri?

4:40 Nii et tänane otsus on VAJAB ÜLEVAATAMIST. Mõõdaksin oma tegelikku töökoormust enne klastri ostmist. Tellige, vajutage kella ja öelge mulle kommentaarides, kui oleksite sellele erinevalt templi pannud. Ja see on tänaseks diff. Olen Niko Axrisist. Ühendage vastutustundlikult.

Allikad

1. Local and Distributed Large LLM Inference with MLX and RDMA on Mac StudioApple Machine Learning Research
2. A benchmark map of the US economyMercor
3. Benchmark Map methodology and expert reviewMercor
4. Edited security-breach notice with Console scopeOpenCode
5. Reader questions mixed benchmark precision formatsHacker News · peri-cl (reader opinion)
6. User reports vanished provider credit (unverified loss claim)Amruth Pillai on X