Apple MLX distribuirano zaključivanje: kapacitet modela, brzina i granice pouzdanosti

Što ovaj video pokriva

• Težine modela i radni prostor za zaključivanje troše memoriju; samo zauzeće memorije modela može podcijeniti potrebni kapacitet.
• Cjevovodna paralelizacija distribuira uzastopne slojeve, dok tenzorska paralelizacija dijeli rad unutar svakog sloja i zahtijeva čestu komunikaciju s malom latencijom.
• Apple izvještava o više od 36 tokena u sekundi na četiri M5 Ultra Mac Studija s kontekstom od 8.192 tokena; usporedba kabela odnosi se na čekanje prvog tokena pri kontekstu od 65.536 tokena.
• Mercorov nalaz o 90% radnog vremena opisuje malu ili nikakvu pokrivenost u njegovom odabranom benchmark indeksu. Ne utvrđuje stopu neuspjeha modela od 90%.
• OpenCodeova uređena obavijest opisuje podskup korisnika konzole s povezanim vanjskim pružateljima. Javna obavijest ne utvrđuje kompromitaciju svake lokalne instalacije.
• Testirajte svoje stvarno radno opterećenje i pregledajte usluge koje sadrže vjerodajnice prije nego što postavku lokalnog modela tretirate kao potpuno rješenje za privatnost ili troškove.

Prevedeni transkript

Prevedeno iz izvornog engleskog pripovijedanja. Dostupni zvuk i titlovi kontroliraju se putem YouTubea.

Zašto dva Maca mogu ostati iste brzine?

0:00 Očekivali biste da će vam dva Maca učiniti AI dvostruko bržim. Appleovi vlastiti testovi pokazuju da brzina generiranja može ostati gotovo nepromijenjena. U ovom videu, što kupuju četiri Maca? Što benchmarkovi propuštaju? Jedan alat za kodiranje povezuje hardver s noćnim probojem. Vratit ćemo se na to. Za subotu, sedamnaesti listopad, ovo je The Daily Diff. MLX je Appleov otvoreni izvorni okvir za strojno učenje na Apple

0:22 silikonu. Njegov novi test pokreće Metin Muse Spark Open na četiri Mac Studija. Koristi objedinjenu memoriju koju dijele CPU i GPU. Apple je to objavio petnaestog listopada. Mercor je mapirao rad koji AI benchmarkovi jedva mjere. Pokrivamo izdanje od sedamnaestog listopada, s noćnim ažuriranjem od osamnaestog listopada o OpenCode konzoli.

Zašto modelu treba više od jednog Maca?

0:41 Započnimo s nezgodnim dijelom. Appleov Muse Spark Open test koristi oko petsto gigabajta samo za četverobitni model. Jedan Mac Studio dostiže petsto dvanaest gigabajta, a zaključivanje također treba radnu memoriju. Težine gotovo popunjavaju kovčeg prije nego što ste spakirali ijednu čarapu. Više strojeva omogućuje da model stane. Cjevovodna paralelizacija siječe model kroz njegove slojeve. Mac A radi ranije slojeve, zatim prosljeđuje srednji rezultat Macu B za

1:05 kasnije slojeve. Za jedan generirani token, ti koraci se i dalje odvijaju u nizu. Appleova mjerenja pokazuju da brzina dekodiranja ostaje vrlo slična onoj na jednom stroju. Unajmili ste drugog kuhara i dali mu isti sendvič. Na Hacker Newsu, jedan programer je doveo u pitanje zašto je Appleova tablica koristila četverobitni Meta model pored Qwen modela u njegovoj izvornoj preciznosti. Appleova tablica navodi formate, pa prije kupnje pročitajte fusnote. Benchmarkovi s prezentacija ostaju nepobjedivi.

1:29 Tenzorska paralelizacija siječe svaki sloj umjesto toga.

Kako Thunderbolt pomaže Macovima da rade zajedno?

1:32 Više Macova zajedno radi na dijelovima istog sloja, zatim kombiniraju svoje rezultate. To može ubrzati generiranje, ali strojevi komuniciraju više puta. Apple koristi udaljeni pristup memoriji niske latencije putem Thunderbolta. Hrabar potez u karijeri za kabel. Naslovni rezultat je preko trideset šest tokena u sekundi s četiri M5 Ultra Mac Studija, s oko osam tisuća tokena konteksta. Apple ga je sam izmjerio.

1:55 Duži upiti mijenjaju priču. U jednom velikom kontekstnom testu, dva kabela po vezi skratila su čekanje na prvi token za oko deset sekundi. Lokalni model vam daje korisnu granicu oko upita, pod uvjetom da ih vaša stvarna postavka drži lokalnima. Apple nije dao univerzalnu cijenu rentabilnosti u odnosu na hostane API-je. To ovisi o iskorištenosti i modelu koji vam je potreban. Stroj koji povremeno odgovara na pitanja provodi puno vremena kao vrlo

2:17 skup ukras za stol. Odabir tog modela zahtijeva test za vaš rad.

Što zapravo pokrivaju AI benchmarkovi?

2:21 Mercor je mapirao dvadeset devet benchmarkova na američku taksonomiju poslova. Njegov indeks pokriva otprilike devet stotina zadataka od gotovo devetnaest tisuća. Karta procjenjuje da devedeset posto radnog vremena ima malu ili nikakvu pokrivenost benchmarkom. To je ogroman prazan prostor na ispitnom listu. Mercorova karta mjeri pokrivenost. Prazna profesija ima jedva testirane zadatke; sposobnost modela ostaje otvoreno pitanje. Mapiranje je koristilo AI model, s ljudskim pregledom na podskupu Mercorovih vlastitih benchmark upita.

2:49 Recenzenti su prihvatili otprilike tri četvrtine njegovih prvih izbora. Sustav ocjenjivanja treba svoj vlastiti sustav ocjenjivanja, naravno. Dakle, ako ste zabrinuti za svoj posao, ljestvica ne može riješiti raspravu. Ako kupujete pomoćnika za kodiranje, ponovno odigrajte stvarni zadatak sa svojim vlastitim provjerama prihvaćanja. Koristan rad uključuje neugodne dijelove nakon demo prezentacije. Nitko ne dobiva promaknuće jer je chatbot samouvjereno završio pogrešnu proračunsku tablicu. Što nas dovodi do noćnog ažuriranja.

Koga OpenCode kaže da je zahvaćeno preko noći?

3:13 OpenCode kaže da je sigurnosni proboj zahvatio jedan zarez četiri posto korisnika konzole. Njegova uređena obavijest sužava to na podskup s povezanim vanjskim pružateljima i kaže da su zahvaćeni korisnici primili e-poštu. Naziva ovo napadom destilacije velikih razmjera i kaže da je incident u tijeku. Javni uzrok još nije objavljen. Odgovori uključuju ljude koji izvještavaju o nestalom kreditu pružatelja, što je njihov opis događaja. Obavijest ne utvrđuje gubitke ili naknadu svake osobe.

3:38 Apple je upravo pokazao kako povezati OpenCode s lokalnim zaključivanjem, a sada je njegovo ime uz sigurnosno upozorenje. Naziv proizvoda pokriva nekoliko različitih granica pouzdanosti. Korisnici konzole trebaju pročitati službenu obavijest i provjeriti upotrebu pružatelja. Ako ste pogođeni, slijedite upute za sanaciju i pregledajte povezane vjerodajnice. Ova obavijest nam daje specifični hostani opseg konzole. Ovdje ne pruža dokaze o kompromitaciji u svakoj lokalnoj instalaciji.

Što lokalno zaključivanje stavlja pod vašu kontrolu?

4:02 Evo veze. Appleov članak imenuje OpenCode kao klijenta za svoj lokalni poslužitelj modela. Isto sučelje za kodiranje može se nalaziti ispred vrlo različite infrastrukture. To odgovara na pitanje što kupuju četiri Maca. Kapacitet i granica zaključivanja koju možete administrirati. Usluge oko te granice i dalje zaslužuju vlastiti pregled. Moje pravilo kupnje je jednostavno. Dokažite da model odgovara, izmjerite cijeli zadatak i provjerite svaku uslugu koja sadrži

4:23 vjerodajnicu. Appleov rezultat čini veliko lokalno zaključivanje praktičnijim, dok test cjevovoda objašnjava zašto dodavanje hardvera može razočarati. Vaš test prihvaćanja pripada uz narudžbenicu. Ako biste ovo radije pročitali nego čuli, diff vam stiže u inbox svako jutro, besplatno na the daily diff dot dev, poveznica ispod.

Bi li kupio klaster od četiri Maca?

4:40 Dakle, današnja presuda je POTREBNA RECENZIJA. Izmjerio bih svoje stvarno radno opterećenje prije kupnje klastera. Pretplatite se, pritisnite zvonce i recite mi u komentarima biste li to drugačije ocijenili. I to je diff za danas. Ja sam Niko iz Axrisija. Odgovorno spajajte.

Izvori

1. Local and Distributed Large LLM Inference with MLX and RDMA on Mac StudioApple Machine Learning Research
2. A benchmark map of the US economyMercor
3. Benchmark Map methodology and expert reviewMercor
4. Edited security-breach notice with Console scopeOpenCode
5. Reader questions mixed benchmark precision formatsHacker News · peri-cl (reader opinion)
6. User reports vanished provider credit (unverified loss claim)Amruth Pillai on X