Apple MLX paskirstyta išvada: modelio talpa, greitis ir patikimumo ribos

Kas aptariama šiame vaizdo įraše

• Modelio svoriai ir išvadų darbo vieta vartoja atmintį; vien modelio svorio pėdsakas gali nepakankamai įvertinti reikiamą talpą.
• Konvejerinis lygiagretumas paskirsto nuoseklius sluoksnius, o tenzorinis lygiagretumas dalija darbą kiekviename sluoksnyje ir reikalauja dažnos, mažos delsos komunikacijos.
• „Apple“ praneša, kad keturi „M5 Ultra Mac Studio“ kompiuteriai su 8 192 žetonų kontekstu generuoja daugiau nei 36 žetonus per sekundę; kabelio palyginimas susijęs su pirmo žetono laukimu 65 536 žetonų kontekste.
• „Mercor“ 90 % darbo valandų išvada apibūdina mažą arba jokios aprėpties jos pasirinktame etaloniniame indekse. Tai nenustato 90 % modelio gedimo lygio.
• „OpenCode“ redaguotas pranešimas apibūdina „Console“ vartotojų pogrupį su susietais išoriniais teikėjais. Viešasis pranešimas nenustato kiekvieno vietinio įdiegimo kompromiso.
• Prieš traktuodami vietinio modelio nustatymą kaip išsamų privatumo ar sąnaudų sprendimą, išbandykite savo faktinį darbo krūvį ir peržiūrėkite kredencialius turinčias paslaugas.

Išverstas transkriptas

Išversta iš originalo anglų kalbos. Galimas garso ir subtitrų valdymas per YouTube.

Kodėl du „Mac“ gali išlaikyti tą patį greitį?

0:00 Tikėtumėtės, kad du „Mac“ kompiuteriai padidins jūsų AI greitį dvigubai. „Apple“ atlikti testai rodo, kad generavimo greitis gali likti beveik nepakitęs. Šiame vaizdo įraše, ką duoda keturi „Mac“? Ko trūksta etalonuose? Vienas kodavimo įrankis sujungia aparatinę įrangą su naktiniu pažeidimu. Grįšime prie to. Šeštadienį, spalio septynioliktąją, tai yra „The Daily Diff“. MLX yra „Apple“ atvirojo kodo masyvo sistema, skirta mašininiam mokymuisi „Apple“

0:22 silicio. Jo naujas testas paleidžia „Meta Muse Spark Open“ per keturis „Mac Studio“ kompiuterius. Jis naudoja vieningą atmintį, kurią dalijasi CPU ir GPU. „Apple“ tai paskelbė spalio penkioliktąją. „Mercor“ sudarė darbo, kurį AI etalonai vos išmatuoja, žemėlapį. Mes apžvelgiame spalio septynioliktosios leidimą su naktiniu spalio aštuonioliktosios atnaujinimu apie „OpenCode Console“.

Kodėl modeliui reikia daugiau nei vieno „Mac“?

0:41 Pradėkime nuo nepatogios dalies. „Apple“ „Muse Spark Open“ testas naudoja apie penkis šimtus gigabaitų tik keturių bitų modeliui. Vienas „Mac Studio“ viršija penkis šimtus dvylika gigabaitų, o išvadai reikalinga ir darbinė atmintis. Svoriai beveik užpildo lagaminą, kol dar nesupakavote nė vienos kojinės. Daugiau mašinų leidžia modeliui tilpti. Konvejerinis lygiagretumas perpjauja modelį per jo sluoksnius. „Mac A“ atlieka ankstesnius sluoksnius, tada perduoda tarpinį rezultatą „Mac B“

1:05 vėlesniems sluoksniams. Vienam sugeneruotam žetonui šie veiksmai vis tiek vyksta nuosekliai. „Apple“ matavimai rodo, kad dekodavimo greitis išlieka labai panašus į vienos mašinos. Pasamdėte antrą virėją ir davėte jam tą patį sumuštinį. „Hacker News“ vienas kūrėjas paklausė, kodėl „Apple“ lentelėje buvo naudojamas keturių bitų „Meta“ modelis šalia „Qwen“ modelio jo natūraliu tikslumu. „Apple“ lentelėje nurodyti formatai, todėl prieš pirkdami perskaitykite išnašas. Skaidrių etalonai išlieka nenugalėti.

1:29 Tenzorinis lygiagretumas vietoj to kerta kiekvieną sluoksnį.

Kaip „Thunderbolt“ padeda „Mac“ kompiuteriams dirbti kartu?

1:32 Keli „Mac“ kompiuteriai dirba su tos pačios sluoksnio dalimis kartu, tada sujungia savo rezultatus. Tai gali pagreitinti generavimą, tačiau mašinos nuolat bendrauja. „Apple“ naudoja mažos delsos nuotolinę atminties prieigą per „Thunderbolt“. Drąsus karjeros žingsnis kabeliui. Pagrindinis rezultatas yra daugiau nei trisdešimt šeši žetonai per sekundę iš keturių „M5 Ultra“ „Mac Studio“ kompiuterių, su maždaug aštuoniais tūkstančiais žetonų konteksto. „Apple“ tai išmatavo pati.

1:55 Ilgesnės užklausos keičia istoriją. Viename didelio konteksto teste, du kabeliai vienam ryšiui sutrumpino pirmo žetono laukimą apie dešimt sekundžių. Vietinis modelis suteikia naudingą ribą aplink užklausas, su sąlyga, kad jūsų faktinė sąranka juos išlaiko vietinius. „Apple“ nepateikė universalios atsipirkimo kainos, palyginti su prieglobos API. Tai priklauso nuo naudojimo ir jums reikalingo modelio. Mašina, atsakanti į retus klausimus, praleidžia daug laiko būdama labai

2:17 brangus stalo ornamentas. Pasirinkus tą modelį, reikia išbandyti jį jūsų darbui.

Kokį darbą iš tikrųjų apima AI etalonai?

2:21 „Mercor“ suskirstė dvidešimt devynis etalonus į Amerikos darbo taksonomiją. Jos indeksas apima maždaug devynis šimtus užduočių iš beveik devyniolikos tūkstančių. Žemėlapis rodo, kad devyniasdešimt procentų darbo valandų turi mažai arba jokios etaloninio aprėpties. Tai didelis tuščias lapas egzamino lape. „Mercor“ žemėlapis matuoja aprėptį. Tuščia profesija turi vos išbandytas užduotis; modelio galimybė išlieka atviras klausimas. Žemėlapis buvo sudarytas naudojant AI modelį, su žmonių peržiūra pogrupyje „Mercor“ etaloninių užklausų.

2:49 Apžvalgininkai priėmė maždaug tris ketvirtadalius jo pirminių pasirinkimų. Vertinimo sistemai natūraliai reikia savo vertinimo sistemos. Taigi, jei nerimaujate dėl savo darbo, lyderių lenta negali išspręsti ginčo. Jei perkate kodavimo asistentą, pakartokite tikrą užduotį su savo priėmimo patikrinimais. Naudingas darbas apima nepatogias dalis po demonstracijos. Niekas nepakyla pareigose, nes pokalbių robotas užtikrintai baigė neteisingą skaičiuoklę. Tai atveda mus prie naktinio atnaujinimo.

Kas, „OpenCode“ teigimu, nukentėjo per naktį?

3:13 „OpenCode“ teigia, kad saugumo pažeidimas paveikė 1,4 procento „Console“ naudotojų. Jo redaguotame pranešime tai susiaurinama iki pogrupio su susietais išoriniais teikėjais ir teigiama, kad paveiktiems vartotojams buvo išsiųsti el. laiškai. Tai vadinama didelio masto distiliavimo ataka ir teigiama, kad incidentas tęsiasi. Vieša pagrindinė priežastis dar nepaskelbta. Atsakymuose yra žmonių, pranešančių apie dingusį teikėjo kreditą, kas yra jų įvykių ataskaita. Pranešimas nenustato kiekvieno asmens nuostolių ar kompensacijos.

3:38 „Apple“ ką tik parodė, kaip prijungti „OpenCode“ prie vietinės išvados, ir dabar jo pavadinimas yra šalia saugumo įspėjimo. Produkto pavadinimas apima kelias skirtingas patikimumo ribas. „Console“ vartotojai turėtų perskaityti oficialų pranešimą ir patikrinti teikėjo naudojimą. Jei esate paveikti, vykdykite taisymo instrukcijas ir peržiūrėkite susietus kredencialus. Šis pranešimas mums suteikia konkretų prieglobos konsolės aprėpties lauką. Jis nepateikia įrodymų apie kompromisą kiekviename vietiniame įdiegime.

Ką vietinė išvada suteikia jums kontroliuoti?

4:02 Štai ryšys. „Apple“ straipsnis pavadina „OpenCode“ savo vietinio modelio serverio klientu. Ta pati kodavimo sąsaja gali būti naudojama su labai skirtingomis infrastruktūromis. Tai atsako, ką duoda keturi „Mac“. Talpa ir išvadų riba, kurią galite administruoti. Paslaugos, susijusios su ta riba, vis dar nusipelno savo peržiūros. Mano pirkimo taisyklė paprasta. Įrodykite, kad modelis tinka, išmatuokite visą užduotį ir patikrinkite kiekvieną paslaugą, turinčią

4:23 kredencialus. „Apple“ rezultatas daro dideles vietines išvadas praktiškesnėmis, o konvejerio testas paaiškina, kodėl aparatinės įrangos pridėjimas gali nuvilti. Jūsų priėmimo testas priklauso nuo pirkimo užsakymo. Jei norėtumėte tai perskaityti, o ne išgirsti iš manęs, „The Daily Diff“ kas rytą patenka į jūsų pašto dėžutę nemokamai adresu thedailydiff.dev, nuoroda žemiau.

Ar pirkčiau keturių „Mac“ klasterį?

4:40 Taigi, šiandienos verdiktas yra REIKALINGAS PERŽIŪRA. Aš išmatučiau savo realų darbo krūvį prieš pirkdamas klasterį. Prenumeruokite, paspauskite varpelį ir parašykite komentaruose, jei būtumėte įvertinę tai kitaip. Ir tai yra šiandienos skirtumas. Aš esu Niko iš Axrisi. Sujunkite atsakingai.

Šaltiniai

1. Local and Distributed Large LLM Inference with MLX and RDMA on Mac StudioApple Machine Learning Research
2. A benchmark map of the US economyMercor
3. Benchmark Map methodology and expert reviewMercor
4. Edited security-breach notice with Console scopeOpenCode
5. Reader questions mixed benchmark precision formatsHacker News · peri-cl (reader opinion)
6. User reports vanished provider credit (unverified loss claim)Amruth Pillai on X