Apple MLX distribuirano zaključivanje: kapacitet modela, brzina i granice pouzdanosti

Šta ovaj video pokriva

• Težine modela i radni prostor za zaključivanje troše memoriju; samo težina modela može potcijeniti potreban kapacitet.
• Paralelizam cjevovoda distribuira uzastopne slojeve, dok tenzorski paralelizam dijeli rad unutar svakog sloja i zahtijeva čestu komunikaciju niske latencije.
• Apple izvještava o preko 36 tokena u sekundi na četiri M5 Ultra Mac Studija sa kontekstom od 8.192 tokena; poređenje kablova se odnosi na čekanje prvog tokena u kontekstu od 65.536 tokena.
• Mercor-ov nalaz o 90% radnog vremena opisuje malu ili nikakvu pokrivenost u njegovom odabranom indeksu benchmark-ova. To ne utvrđuje stopu kvara modela od 90%.
• Izmijenjena obavijest OpenCode-a opisuje podskup korisnika konzole sa povezanim vanjskim provajderima. Javna obavijest ne utvrđuje kompromitaciju svake lokalne instalacije.
• Testirajte svoje stvarno opterećenje i pregledajte usluge koje sadrže akreditive prije nego što lokalno podešavanje modela tretirate kao potpuno rješenje za privatnost ili troškove.

Prevedeni transkript

Prevedeno iz originalne engleske naracije. Dostupan zvuk i titlovi kontroliše YouTube.

Zašto dva Mac-a mogu ostati iste brzine?

0:00 Očekivali biste da će dva Mac-a učiniti vaš AI dvostruko bržim. Appleovi vlastiti testovi pokazuju da brzina generisanja može ostati gotovo nepromijenjena. U ovom videu, šta kupuju četiri Mac-a? Šta benchmarkovi propuštaju? Jedan alat za kodiranje povezuje hardver sa noćnim probojem. Vratićemo se na to. Za subotu, sedamnaesti oktobar, ovo je The Daily Diff. MLX je Appleov otvoreni izvorni okvir za nizove za mašinsko učenje na Apple

0:22 silikonu. Njegov novi test pokreće Meta Muse Spark Open na četiri Mac Studija. Koristi objedinjenu memoriju, koju dijele CPU i GPU. Apple je ovo objavio petnaestog oktobra. Mercor je mapirao rad koji AI benchmarkovi jedva mjere. Pokrivamo izdanje od sedamnaestog oktobra, sa ažuriranjem preko noći osamnaestog oktobra o OpenCode Console-u.

Zašto modelu treba više od jednog Mac-a?

0:41 Počnimo sa nezgodnim dijelom. Appleov Muse Spark Open test koristi oko petsto gigabajta samo za četverobitni model. Jedan Mac Studio dostiže maksimum od petsto dvanaest gigabajta, a zaključivanje također zahtijeva radnu memoriju. Težine gotovo popunjavaju kofer prije nego što ste spakovali i jednu čarapu. Više mašina omogućava da model stane. Paralelizam cjevovoda siječe model kroz njegove slojeve. Mac A radi ranije slojeve, a zatim prosljeđuje među-rezultat Mac B-u za

1:05 kasnije slojeve. Za jedan generisani token, ti koraci se i dalje dešavaju sekvencijalno. Appleova mjerenja pokazuju da brzina dekodiranja ostaje vrlo slična brzini jedne mašine. Unajmili ste drugog kuhara i dali mu isti sendvič. Na Hacker News-u, jedan programer je pitao zašto je Appleova tabela koristila četverobitni Meta model pored Qwen modela u njegovoj izvornoj preciznosti. Appleova tabela navodi formate, pa pročitajte fusnote prije kupovine. Benchmarkovi prezentacija ostaju nepobjedivi.

1:29 Tenzorski paralelizam siječe kroz svaki sloj umjesto toga.

Kako Thunderbolt pomaže Mac-ovima da rade zajedno?

1:32 Više Mac-ova radi na dijelovima istog sloja zajedno, zatim kombinuju svoje rezultate. To može ubrzati generisanje, ali mašine komuniciraju više puta. Apple koristi udaljeni pristup memoriji niske latencije preko Thunderbolta. Hrabar potez u karijeri za kabl. Glavni rezultat je preko trideset šest tokena u sekundi sa četiri M5 Ultra Mac Studija, sa oko osam hiljada tokena konteksta. Apple ga je sam izmjerio.

1:55 Duži upiti mijenjaju priču. U jednom testu sa velikim kontekstom, dva kabla po linku skratila su čekanje na prvi token za oko deset sekundi. Lokalni model vam daje korisnu granicu oko upita, pod uslovom da ga vaša stvarna postavka drži lokalnim. Apple nije dao univerzalnu cijenu isplativosti u odnosu na hostovane API-je. To zavisi od iskorištenosti i modela koji vam je potreban. Mašina koja povremeno odgovara na pitanja provodi mnogo vremena kao vrlo

2:17 skup ukras za sto. Odabir tog modela zahtijeva test za vaš rad.

Koji posao AI benchmarkovi zapravo pokrivaju?

2:21 Mercor je mapirao dvadeset devet benchmark-ova na američku taksonomiju poslova. Njegov indeks pokriva otprilike devet stotina zadataka od skoro devetnaest hiljada. Mapa procjenjuje da devedeset posto radnog vremena ima malu ili nikakvu pokrivenost benchmark-ovima. To je ogroman prazan prostor na ispitnom listu. Mercor-ova mapa mjeri pokrivenost. Prazna profesija ima jedva testirane zadatke; sposobnost modela ostaje otvoreno pitanje. Mapiranje je koristilo AI model, uz ljudsku provjeru podskupa Mercorovih vlastitih benchmark upita.

2:49 Recenzenti su prihvatili otprilike tri četvrtine njegovih prvih izbora. Sistem ocjenjivanja treba svoj vlastiti sistem ocjenjivanja, naravno. Dakle, ako ste zabrinuti za svoj posao, ljestvica ne može riješiti raspravu. Ako kupujete asistenta za kodiranje, ponovite stvarni zadatak sa vlastitim provjerama prihvatanja. Koristan rad uključuje nezgodne dijelove nakon demonstracije. Niko ne dobija unapređenje jer je chatbot samouvjereno završio pogrešnu tabelu. Što nas dovodi do noćnog ažuriranja.

Koga OpenCode kaže da je zahvaćeno preko noći?

3:13 OpenCode kaže da je sigurnosni proboj pogodio 1,4 posto korisnika Konzole. Njegovo izmijenjeno obavještenje to sužava na podskup sa povezanim vanjskim provajderima i kaže da su pogođenim korisnicima poslate e-poruke. Ovo nazivaju napadom destilacije velikih razmjera i kažu da je incident u toku. Javni uzrok još nije stigao. Odgovori uključuju ljude koji prijavljuju nestali kredit provajdera, što je njihov prikaz događaja. Obavještenje ne utvrđuje gubitke ili kompenzaciju svake osobe.

3:38 Apple je upravo pokazao kako povezati OpenCode sa lokalnim zaključivanjem, a sada je njegovo ime pored sigurnosnog upozorenja. Naziv proizvoda pokriva nekoliko različitih granica povjerenja. Korisnici konzole trebaju pročitati zvaničnu obavijest i provjeriti korištenje provajdera. Ako ste pogođeni, slijedite upute za otklanjanje problema i pregledajte povezane akreditive. Ova obavijest nam daje specifičan opseg hostovane konzole. Ovdje ne pruža dokaz o kompromitaciji u svakoj lokalnoj instalaciji.

Šta vam lokalno zaključivanje daje pod kontrolu?

4:02 Evo veze. Appleov članak navodi OpenCode kao klijenta za njegov lokalni serverski model. Isto sučelje za kodiranje može se nalaziti ispred vrlo različite infrastrukture. To odgovara na pitanje šta kupuju četiri Mac-a. Kapacitet i granicu zaključivanja koju možete administrirati. Usluge oko te granice i dalje zaslužuju vlastiti pregled. Moje pravilo kupovine je jednostavno. Dokažite da model odgovara, izmjerite cijeli zadatak i provjerite svaku uslugu koja drži

4:23 akreditiv. Appleov rezultat čini veliko lokalno zaključivanje praktičnijim, dok test cjevovoda objašnjava zašto dodavanje hardvera može razočarati. Vaš test prihvatanja pripada pored narudžbenice. Ako ovo radije pročitate nego da me čujete kako govorim, diff stiže u vaš inbox svako jutro, besplatno na the daily diff dot dev, link ispod.

Da li bih kupio klaster od četiri Mac-a?

4:40 Dakle, današnja presuda je POTREBNA RECENZIJA. Izmjerio bih svoje stvarno opterećenje prije kupovine klastera. Pretplatite se, pritisnite zvono i recite mi u komentarima da li biste ga označili drugačije. I to je diff za danas. Ja sam Niko iz Axrisi. Odgovorno spajanje.

Izvori

1. Local and Distributed Large LLM Inference with MLX and RDMA on Mac StudioApple Machine Learning Research
2. A benchmark map of the US economyMercor
3. Benchmark Map methodology and expert reviewMercor
4. Edited security-breach notice with Console scopeOpenCode
5. Reader questions mixed benchmark precision formatsHacker News · peri-cl (reader opinion)
6. User reports vanished provider credit (unverified loss claim)Amruth Pillai on X