Apple MLX distribuirano zaključivanje: kapacitet modela, brzina i granice poverenja

Šta ovaj video pokriva

• Težine modela i radni prostor za zaključivanje troše memoriju; samo otisak težine modela može potceniti potreban kapacitet.
• Paralelizam cevi distribuira uzastopne slojeve, dok paralelizam tenzora deli rad unutar svakog sloja i zahteva čestu komunikaciju niske latencije.
• Apple izveštava o preko 36 tokena u sekundi na četiri M5 Ultra Mac Studija sa kontekstom od 8.192 tokena; poređenje kablova se odnosi na čekanje prvog tokena u kontekstu od 65.536 tokena.
• Mercorov nalaz od 90% radnog vremena opisuje malu ili nikakvu pokrivenost u njegovom odabranom indeksu referentnih vrednosti. Ne utvrđuje stopu neuspeha modela od 90%.
• Izmenjeno obaveštenje OpenCode-a opisuje podskup korisnika Console-a sa povezanim eksternim provajderima. Javno obaveštenje ne utvrđuje kompromitaciju svake lokalne instalacije.
• Testirajte svoje stvarno opterećenje i pregledajte usluge koje nose akreditive pre nego što lokalno podešavanje modela tretirate kao potpuno rešenje za privatnost ili troškove.

Preveden transkript

Prevedeno sa originalne engleske naracije. Dostupan audio i titlovi kontrolisani su od strane YouTube-a.

Zašto dva Maca mogu ostati iste brzine?

0:00 Očekivali biste da dva Maca učine vaš AI dvostruko bržim. Sopstveni testovi kompanije Apple pokazuju da brzina generisanja može ostati gotovo nepromenjena. U ovom videu, šta kupuju četiri Maca? Šta referentne vrednosti propuštaju? Jedan alat za kodiranje povezuje hardver sa noćnim probojem. Vratićemo se na to. Za subotu, sedamnaesti oktobar, ovo je The Daily Diff. MLX je Apple-ov open source okvir za nizove za mašinsko učenje na Apple

0:22 silikonu. Njegov novi test pokreće Meta-ov Muse Spark Open na četiri Mac Studija. Koristi objedinjenú memoriju, koju dele CPU i GPU. Apple je ovo objavio petnaestog oktobra. Mercor je mapirao rad koji AI referentne vrednosti jedva mere. Pokrivamo izdanje od sedamnaestog oktobra, sa ažuriranjem preko noći osamnaestog oktobra o OpenCode Console-u.

Zašto modelu treba više od jednog Maca?

0:41 Počnimo sa nezgodnim delom. Apple-ov Muse Spark Open test koristi oko petsto gigabajta samo za četvorobitni model. Jedan Mac Studio dostiže maksimum od petsto dvanaest gigabajta, a zaključivanje zahteva i radnu memoriju. Težine gotovo popunjavaju kofer pre nego što ste spakovali ijednu čarapu. Više mašina omogućava da model stane. Paralelizam cevi deli model kroz njegove slojeve. Mac A radi ranije slojeve, zatim prosleđuje srednji rezultat Mac-u B za

1:05 kasnije slojeve. Za jedan generisani token, ti koraci se i dalje dešavaju sekvencijalno. Apple-ova merenja pokazuju da brzina dekodiranja ostaje vrlo slična brzini jedne mašine. Unajmili ste drugog kuvara i dali mu isti sendvič. Na Hacker News-u, jedan programer je doveo u pitanje zašto je Apple-ova tabela koristila četvorobitni Meta model pored Qwen modela u njegovoj izvornoj preciznosti. Apple-ova tabela navodi formate, pa pročitajte fusnote pre kupovine. Referentne vrednosti slajdova ostaju nepobedive.

1:29 Paralelizam tenzora se umesto toga preseca kroz svaki sloj.

Kako Thunderbolt pomaže Macovima da rade zajedno?

1:32 Više Macova radi na delovima istog sloja zajedno, zatim kombinuju svoje rezultate. To može ubrzati generisanje, ali mašine komuniciraju više puta. Apple koristi pristup udaljenoj memoriji niske latencije preko Thunderbolta. Hrabar potez u karijeri za kabl. Glavni rezultat je preko trideset šest tokena u sekundi sa četiri M5 Ultra Mac Studija, sa oko osam hiljada tokena konteksta. Apple je to sam izmerio.

1:55 Duži upiti menjaju priču. U jednom testu sa velikim kontekstom, dva kabla po vezi su smanjila čekanje na prvi token za oko deset sekundi. Lokalni model vam daje korisnu granicu oko upita, pod uslovom da ih vaša stvarna postavka čuva lokalno. Apple nije obezbedio univerzalnu cenu rentabilnosti u odnosu na hostovane API-je. To zavisi od iskorišćenosti i modela koji vam je potreban. Mašina koja povremeno odgovara na pitanja provodi mnogo vremena kao veoma

2:17 skup ukras na stolu. Izbor tog modela zahteva test za vaš rad.

Koji posao zapravo pokrivaju AI referentne vrednosti?

2:21 Mercor je mapirao dvadeset devet referentnih vrednosti na američku taksonomiju poslova. Njegov indeks pokriva otprilike devetsto zadataka od skoro devetnaest hiljada. Mapa procenjuje da devedeset posto radnih sati ima malu ili nikakvu pokrivenost referentnim vrednostima. To je ogroman prazan prostor na ispitnom listu. Mercorova mapa meri pokrivenost. Prazna profesija ima jedva testirane zadatke; sposobnost modela ostaje otvoreno pitanje. Mapiranje je koristilo AI model, uz ljudsku reviziju podskupa Mercorovih sopstvenih referentnih upita.

2:49 Recenzenti su prihvatili otprilike tri četvrtine njegovih prvih izbora. Sistem ocenjivanja treba sopstveni sistem ocenjivanja, naravno. Dakle, ako ste zabrinuti za svoj posao, tabela lidera ne može rešiti raspravu. Ako kupujete asistenta za kodiranje, ponovite stvarni zadatak sa sopstvenim proverama prihvatanja. Korisni rad uključuje nezgodne delove nakon demonstracije. Niko ne dobija unapređenje zato što je chatbot samouvereno završio pogrešnu tabelu. Što nas dovodi do noćnog ažuriranja.

Ko je, prema OpenCode-u, bio pogođen preko noći?

3:13 OpenCode kaže da je bezbednosni proboj pogodio jedan zarez četiri posto korisnika Console-a. Njegovo izmenjeno obaveštenje to sužava na podskup sa povezanim eksternim provajderima, i kaže da su pogođeni korisnici dobili mejlove. Ovo naziva velikim napadom destilacije i kaže da je incident u toku. Javni uzrok još uvek nije stigao. Odgovori uključuju ljude koji prijavljuju nestanak kredita provajdera, što je njihova verzija događaja. Obaveštenje ne utvrđuje gubitke ili nadoknadu svake osobe.

3:38 Apple je upravo pokazao kako da poveže OpenCode sa lokalnim zaključivanjem, a sada je njegovo ime pored bezbednosnog upozorenja. Naziv proizvoda pokriva nekoliko različitih granica poverenja. Korisnici Console-a treba da pročitaju zvanično obaveštenje i provere korišćenje provajdera. Ako ste pogođeni, pratite uputstva za sanaciju i pregledajte povezane akreditive. Ovo obaveštenje nam daje specifičan opseg hostovane Console-a. Ovde ne pruža dokaze o kompromitaciji svake lokalne instalacije.

Šta lokalno zaključivanje stavlja pod vašu kontrolu?

4:02 Evo veze. Apple-ov članak imenuje OpenCode kao klijenta za njegov lokalni serverski model. Isti interfejs za kodiranje može se nalaziti ispred veoma različite infrastrukture. To odgovara na pitanje šta kupuju četiri Maca. Kapacitet i granica zaključivanja koju možete administrirati. Usluge oko te granice i dalje zaslužuju sopstvenu reviziju. Moje pravilo kupovine je jednostavno. Dokažite da model odgovara, izmerite ceo zadatak i proverite svaku uslugu koja poseduje

4:23 akreditiv. Apple-ov rezultat čini veliko lokalno zaključivanje praktičnijim, dok test cevi objašnjava zašto dodavanje hardvera može razočarati. Vaš test prihvatanja pripada pored narudžbenice. Ako biste ovo radije pročitali nego da me čujete kako govorim, "diff" stiže u vaš inbox svakog jutra, besplatno na thedailydiff.dev, link ispod.

Da li bih kupio klaster od četiri Maca?

4:40 Dakle, današnja presuda je POTREBNA REVIZIJA. Izmerio bih svoje stvarno opterećenje pre kupovine klastera. Pretplatite se, pritisnite zvono i recite mi u komentarima da li biste ga drugačije označili. I to je "diff" za danas. Ja sam Niko iz Axrisi. Odgovorno spajajte.

Izvori

1. Local and Distributed Large LLM Inference with MLX and RDMA on Mac StudioApple Machine Learning Research
2. A benchmark map of the US economyMercor
3. Benchmark Map methodology and expert reviewMercor
4. Edited security-breach notice with Console scopeOpenCode
5. Reader questions mixed benchmark precision formatsHacker News · peri-cl (reader opinion)
6. User reports vanished provider credit (unverified loss claim)Amruth Pillai on X