Apple MLX izplatītā secinājumu iegūšana: modeļa jauda, ātrums un uzticamības robežas

Ko aptver šis video

• Modeļa svars un secinājumu iegūšanas darba telpa abi patērē atmiņu; tikai modeļa svara nospiedums var nenovērtēt nepieciešamo jaudu.
• Cauruļvada paralēlisms sadala secīgus slāņus, savukārt tenzoru paralēlisms sadala darbu katrā slānī un prasa biežu saziņu ar zemu latentumu.
• Apple ziņo par vairāk nekā 36 žetoniem sekundē uz četriem M5 Ultra Mac Studio ar 8192 žetonu kontekstu; kabeļa salīdzinājums attiecas uz pirmā žetona gaidīšanu pie 65536 žetonu konteksta.
• Mercor 90% darba stundu atklājums apraksta nelielu vai nekādu pārklājumu tā atlasītajā veiktspējas salīdzinājumu indeksā. Tas nenorāda uz 90% modeļa kļūmju līmeni.
• OpenCode rediģētais paziņojums apraksta Console lietotāju apakškopu ar saistītiem ārējiem pakalpojumu sniedzējiem. Publiskais paziņojums nenorāda uz katras lokālās instalācijas kompromitāciju.
• Pirms lokālās modeļa iestatīšanas uzskatīšanas par pilnīgu privātuma vai izmaksu risinājumu pārbaudiet savu faktisko darba slodzi un pārskatiet pakalpojumus, kas satur akreditācijas datus.

Tulkotais transkripts

Tulkojums no oriģinālā angļu stāstījuma. Pieejamais audio un subtitri tiek kontrolēti no YouTube.

Kāpēc divi Mac var saglabāt vienādu ātrumu?

0:00 Jūs sagaidītu, ka divi Mac datoru padarīs jūsu AI divreiz ātrāku. Apple pašu testi rāda, ka ģenerēšanas ātrums var palikt gandrīz nemainīgs. Šajā video, ko iegūst četras Mac datoru ierīces? Ko palaiž garām veiktspējas salīdzinājumi? Viens kodēšanas rīks savieno aparatūru ar nakts pārkāpumu. Mēs pie tā atgriezīsimies. Sestdien, septiņpadsmitajā oktobrī, tas ir The Daily Diff. MLX ir Apple atvērtā koda masīvu ietvars mašīnmācībai uz Apple

0:22 silīcija. Tā jaunais tests vada Meta Muse Spark Open pāri četriem Mac Studio. Tas izmanto vienotu atmiņu, ko CPU un GPU koplieto. Apple to publicēja piecpadsmitajā oktobrī. Mercor kartēja darbu, ko AI veiktspējas salīdzinājumi gandrīz nemēra. Mēs aptveram septiņpadsmito oktobri izdevumu, ar nakts astoņpadsmitā oktobra atjauninājumu par OpenCode Console.

Kāpēc modelim vajag vairāk nekā vienu Mac?

0:41 Sāksim ar neērtāko daļu. Apple Muse Spark Open tests izmanto apmēram piecsimt gigabaitus tikai četriem bitu modelim. Viens Mac Studio sasniedz piecsimt divpadsmit gigabaitus, un secinājumu iegūšanai ir nepieciešama arī darba atmiņa. Svari gandrīz aizpilda koferi, pirms esat iesaiņojis pat vienu zeķi. Vairāk mašīnu ļauj modelim ietilpt. Cauruļvada paralēlisms sagriež modeli caur tā slāņiem. Mac A veic agrākos slāņus, pēc tam nodod starpresultātu Mac B

1:05 vēlākiem slāņiem. Vienam ģenerētam žetonam šie soļi joprojām notiek secīgi. Apple mērījumi rāda, ka dekodēšanas ātrums paliek ļoti līdzīgs vienai mašīnai. Jūs esat pieņēmis darbā otru pavāru un devis viņam to pašu sviestmaizi. Hacker News viens izstrādātājs jautāja, kāpēc Apple tabulā tika izmantots četru bitu Meta modelis blakus Qwen modelim tā dabiskajā precizitātē. Apple tabulā ir norādīti formāti, tāpēc pirms iepirkšanās izlasiet zemsvītras piezīmes. Prezentāciju veiktspējas salīdzinājumi joprojām ir nepārspēti.

1:29 Tenzoru paralēlisms katrā slānī sagriež šķērsām.

Kā Thunderbolt palīdz Mac datoriem strādāt kopā?

1:32 Vairāki Mac datori kopā strādā pie viena slāņa daļām, pēc tam apvieno savus rezultātus. Tas var paātrināt ģenerēšanu, bet mašīnas atkārtoti sazinās. Apple izmanto zema latentuma attālinātu atmiņas piekļuvi, izmantojot Thunderbolt. Drosmīgs kabeļa karjeras gājiens. Galvenais rezultāts ir vairāk nekā trīsdesmit seši žetoni sekundē no četriem M pieci Ultra Mac Studio, ar aptuveni astoņiem tūkstošiem žetonu kontekstu. Apple to izmērīja pats.

1:55 Garākas uzvednes maina stāstu. Vienā liela konteksta testā divi kabeļi uz saiti samazināja gaidīšanu uz pirmo žetonu par aptuveni desmit sekundēm. Vietējais modelis dod jums noderīgu robežu ap uzvednēm, ar nosacījumu, ka jūsu faktiskā iestatīšana tos saglabā lokāli. Apple nav nodrošinājis universālu līdzsvara cenu pret mitinātajiem API. Tas ir atkarīgs no izmantošanas un modeļa, kas jums nepieciešams. Mašīna, kas atbild uz neregulāriem jautājumiem, daudz laika pavada, būdama ļoti

2:17 dārgs galda ornaments. Šī modeļa izvēle prasa jūsu darba pārbaudi.

Kādu darbu patiesībā aptver AI veiktspējas salīdzinājumi?

2:21 Mercor kartēja divdesmit deviņus veiktspējas salīdzinājumus Amerikas darba taksonomijā. Tā indekss aptver aptuveni deviņsimt uzdevumus no gandrīz deviņpadsmit tūkstošiem. Karte lēš, ka deviņdesmit procentiem darba stundu ir mazs vai nav nekāda veiktspējas salīdzinājumu pārklājuma. Tas ir milzīgs tukšs laukums eksāmena lapā. Mercor karte mēra pārklājumu. Tukšā profesijā ir tikko pārbaudīti uzdevumi; modeļa spēja paliek atklāts jautājums. Kartēšanā tika izmantots AI modelis ar cilvēka pārskatīšanu daļā no Mercor pašu veiktspējas salīdzinājumu uzvednēm.

2:49 Recenzenti pieņēma aptuveni trīs ceturtdaļas no tā pirmajām izvēlēm. Vērtēšanas sistēmai, protams, ir nepieciešama sava vērtēšanas sistēma. Protams. Tātad, ja jūs uztraucaties par savu darbu, līderu tabula nevar izšķirt strīdu. Ja jūs pērkat kodēšanas asistentu, atkārtojiet reālu uzdevumu ar savām pieņemšanas pārbaudēm. Noderīgs darbs ietver neērtās detaļas pēc demonstrācijas. Neviens netiek paaugstināts amatā, jo tērzēšanas robots pārliecinoši pabeidza nepareizo izklājlapu. Kas mūs noved pie nakts atjauninājuma.

Kurš, pēc OpenCode teiktā, tika ietekmēts pa nakti?

3:13 OpenCode ziņo, ka drošības pārkāpums skāris 1,4 procentus Console lietotāju. Tā rediģētais paziņojums to sašaurina līdz apakškopai ar ārējiem pakalpojumu sniedzējiem, kas ir saistīti, un saka, ka ietekmētajiem lietotājiem tika nosūtīts e-pasts. Tas to sauc par liela mēroga destilācijas uzbrukumu un saka, ka incidents turpinās. Publiskais cēlonis vēl nav nonācis. Atbildes ietver cilvēkus, kas ziņo par pazudušu pakalpojumu sniedzēja kredītu, kas ir viņu notikumu apraksts. Paziņojumā nav noteikti katras personas zaudējumi vai kompensācija.

3:38 Apple tikko bija parādījis, kā savienot OpenCode ar lokālo secinājumu iegūšanu, un tagad tā nosaukums ir blakus drošības brīdinājumam. Produkta nosaukums aptver vairākas atšķirīgas uzticamības robežas. Konsoles lietotājiem ir jāizlasa oficiālais paziņojums un jāpārbauda pakalpojumu sniedzēja lietojums. Ja esat ietekmēts, sekojiet labošanas norādījumiem un pārskatiet saistītos akreditācijas datus. Šis paziņojums mums dod konkrētu mitinātās konsoles darbības jomu. Tas šeit nesniedz nekādus pierādījumus par kompromitāciju katrā lokālajā instalācijā.

Ko vietējā secinājumu iegūšana nodod jūsu kontrolē?

4:02 Šeit ir savienojums. Apple rakstā OpenCode ir nosaukts par klientu tā lokālajam modeļa serverim. Vienāda kodēšanas saskarne var atrasties ļoti atšķirīgas infrastruktūras priekšā. Tas atbild uz jautājumu, ko iegādājas četri Mac datori. Jauda un secinājumu iegūšanas robeža, ko varat administrēt. Pakalpojumi ap šo robežu joprojām ir pelnījuši savu pārskatīšanu. Mans pirkšanas noteikums ir vienkāršs. Pierādiet, ka modelis der, izmēriet visu uzdevumu un pārbaudiet katru pakalpojumu, kas glabā

4:23 akreditācijas datus. Apple rezultāts padara lielu lokālo secinājumu iegūšanu praktiskāku, savukārt cauruļvada tests paskaidro, kāpēc aparatūras pievienošana var sagādāt vilšanos. Jūsu pieņemšanas pārbaude pieder pie pirkuma pasūtījuma. Ja vēlaties to izlasīt, nevis dzirdēt, kā es to saku, atšķirība nonāk jūsu iesūtnē katru rītu, bez maksas vietnē the daily diff dot dev, saite zemāk.

Vai es pirktu četru Mac klasteri?

4:40 Tātad šodienas spriedums ir NEPIECIEŠAMA PĀRSKATĪŠANA. Es izmērītu savu reālo darba slodzi pirms klastera iegādes. Abonējiet, noklikšķiniet uz zvana un komentāros pastāstiet, vai jūs to būtu apzīmogojis citādi. Un tas ir šodienas atšķirība. Esmu Niko no Axrisi. Apvienojiet atbildīgi.

Avoti

1. Local and Distributed Large LLM Inference with MLX and RDMA on Mac StudioApple Machine Learning Research
2. A benchmark map of the US economyMercor
3. Benchmark Map methodology and expert reviewMercor
4. Edited security-breach notice with Console scopeOpenCode
5. Reader questions mixed benchmark precision formatsHacker News · peri-cl (reader opinion)
6. User reports vanished provider credit (unverified loss claim)Amruth Pillai on X