Apple MLX inferentzia banatua: modeloaren ahalmena, abiadura eta konfiantza-mugak

Bideo honek zer jorratzen duen

• Modeloaren pisuak eta inferentziaren lan-eremuak memoria kontsumitzen dute; modeloaren pisuaren aztarnak bakarrik behar den ahalmena gutxietsi dezake.
• Pipeline paralelismoak geruza jarraian banatzen ditu, eta tensor paralelismoak, berriz, geruza bakoitzaren barruan banatzen du lana eta maiztasun baxuko komunikazioa behar du.
• Applek 36 token baino gehiago segundo bakoitzeko jakinarazten ditu lau M5 Ultra Mac Studioren gainean 8.192 tokeneko testuinguruarekin; kableen konparazioak lehen tokenaren itxaronaldiari buruzkoa da 65.536 tokeneko testuinguru batean.
• Mercorren %90eko lan-orduen aurkikuntzak estaldura gutxi edo batere ez duela deskribatzen du bere hautatutako benchmark-indizean. Ez du %90eko modeloaren hutsegite tasa ezartzen.
• OpenCoderen jakinarazpen editatuak kanpoko hornitzaileak lotuta dituzten Console erabiltzaileen azpimultzo bat deskribatzen du. Jakinarazpen publikoak ez du tokiko instalazio bakoitzaren konpromisoa ezartzen.
• Probatu zure benetako lan-karga eta berrikusi kredentzialak dituzten zerbitzuak, tokiko modelo baten konfigurazioa pribatutasun edo kostu irtenbide oso gisa hartu aurretik.

Itzulitako transkripzioa

Jatorrizko ingelesezko narraziotik itzulia. Eskuragarri dauden audioa eta azpitituluak YouTube-k kontrolatzen ditu.

Zergatik mantendu daitezke bi Mac abiadura berean?

0:00 Bi Mac-ek zure AI bikoitza azkarrago egingo dutela espero zenuke. Appleren probek erakusten dute sorkuntza-abiadura ia aldatu gabe gera daitekeela. Bideo honetan, zer erosten dute lau Mac-ek? Zer galtzen dute benchmarkek? Kodeketako tresna batek hardwarea gaueko urraketa batera konektatzen du. Bueltatu egingo gara horretara. Urriaren hamazazpia, larunbata, hau The Daily Diff da. MLX Appleren kode irekiko array-esparrua da Appleko ikasketa automatikorako

0:22 silizioan. Bere proba berriak Metaren Muse Spark Open exekutatzen du lau Mac Studioren bidez. Memoria bateratua erabiltzen du, CPUak eta GPUak partekatzen dutena. Applek hau urriaren hamabostean argitaratu zuen. Mercorrek AI benchmarkek neurtzen duten lana mapa egin zuen. Urriaren hamazazpiko edizioa estaltzen ari gara, gaueko urriaren hamazortziko eguneratze batekin OpenCode Console-ri buruz.

Zergatik behar du ereduak Mac bat baino gehiago?

0:41 Hasi zati deserosoarekin. Appleren Muse Spark Open probak bostehun gigabyte inguru erabiltzen ditu lau bit-eko modelorako bakarrik. Mac Studio bakar batek bostehun eta hamabi gigabyterekin du muga, eta inferentziak lan-memoria ere behar du. Pisuak ia maleta betetzen du galtzerdi bakar bat ere paketeatu aurretik. Makina gehiagok eredua sartzen dute. Pipeline paralelismoak eredua bere geruzen bidez mozten du. Mac A-k lehen geruzak egiten ditu, eta gero tarteko emaitza Mac B-ri pasatzen dio

1:05 geroagoko geruzetarako. Sortutako token bakar baterako, urrats horiek sekuentzian gertatzen dira oraindik. Appleren neurketek erakusten dute deskodeketa-abiadura oso antzekoa dela makina bakar batenarekin. Bigarren sukaldari bat kontratatu duzu, eta sandwich bera eman diozu. Hacker News-en, garatzaile batek galdetu zuen zergatik Appleren taulak lau biteko Meta eredu bat erabiltzen zuen Qwen eredu baten ondoan bere jatorrizko zehaztasunean. Appleren taulan formatuak adierazten dira, beraz, irakurri oin-oharrak erosi aurretik. Diapositiba-sortaren benchmarkak garaitu gabe daude.

1:29 Tensor paralelismoak geruza bakoitzaren zehar mozten du horren ordez.

Nola laguntzen du Thunderboltek Mac-ek elkarrekin lan egiten?

1:32 Mac anitzek geruza beraren zatietan lan egiten dute elkarrekin, eta gero beren emaitzak konbinatzen dituzte. Horrek sorkuntza azkartu dezake, baina makinek behin eta berriz komunikatzen dira. Applek latentzia baxuko urruneko memoria sarbidea erabiltzen du Thunderbolt bidez. Kable baten karrera mugimendu ausarta. Titularraren emaitza hogeita hamasei token baino gehiago da segundoko lau M bost Ultra Mac Studioren bidez, zortzi mila token inguruko testuinguruarekin. Applek berak neurtu zuen.

1:55 Gonbidapen luzeagoek istorioa aldatzen dute. Testuinguru handiko proba batean, lotura bakoitzeko bi kablek lehen tokenaren itxaronaldia hamar segundo inguru murriztu zuten. Tokiko eredu batek muga erabilgarri bat ematen dizu gonbidapenen inguruan, baldin eta zure benetako konfigurazioak tokian tokiko mantentzen baditu. Applek ez du API ostalarien aurkako hautsi-preziorik eman. Horrek erabilera eta behar duzun modeloaren araberakoa da. Noizbehinkako galderei erantzuten dien makina batek denbora asko ematen du

2:17 mahai-ornamentu oso garestia izaten. Eredu hori aukeratzeko, zure lanerako proba bat behar da.

Zer lan estaltzen dute AI benchmarkek?

2:21 Mercorrek hogeita bederatzi benchmark mapatu zituen Amerikako lanen taxonomiaren gainean. Bere indizeak hemeretzi mila zeregin ia bederatziehun inguru estaltzen ditu. Mapak kalkulatzen du lan-orduen ehuneko laurogeita hamarrek benchmark-estaldura gutxi edo batere ez dutela. Horrek hutsune handi bat suposatzen du azterketa-paperean. Mercorren mapak estaldura neurtzen du. Lanbide huts batek ia probatu gabeko zereginak ditu; modeloaren gaitasuna galdera ireki bat izaten jarraitzen du. Mapak AI eredu bat erabili zuen, gizakiak aztertu zuen Mercorren beraren benchmark-gonbidapenen azpimultzo batean. Berrikusleek bere lehen aukeren hiru laurden inguru onartu zituzten.

2:49 Kalifikazio sistemak bere kalifikazio sistema behar du, naturala. Beraz, zure lanpostuaz kezkatuta bazaude, sailkapen-taula batek ezin du argudioa konpondu. Kodeketa-laguntzaile bat erosten ari bazara, erreproduzitu benetako zeregin bat zure onartzeko egiaztapenekin. Lan erabilgarriak demoaren ondorengo zati deserosoak barne hartzen ditu. Inor ez da sustatzen chatbotak okerreko kalkulu-orria konfiantzaz amaitu zuelako. Horrek gaueko eguneratzearen gaia dakar. OpenCode-k dio segurtasun-urraketa batek Console erabiltzaileen ehuneko bat koma lau kaltetatu zituela.

Nork dio OpenCodek gauean kaltetua izan zela?

3:13 Bere jakinarazpen editatuak kanpoko hornitzaileekin lotuta dauden azpimultzo batera mugatzen du hori, eta dio kaltetutako erabiltzaileei mezu elektronikoa bidali zitzaiela. Honi eskala handiko destilazio-eraso bat deitzen dio, eta dio gertakaria martxan dela. Kausa nagusi publiko bat oraindik ez da iritsi. Erantzunek hornitzailearen kreditu desagertua jakinarazi duten pertsonak barne hartzen dituzte, hori da gertaeren beren kontua. Jakinarazpenak ez ditu pertsona bakoitzaren galerak edo kalte-ordainak ezartzen. Applek OpenCode tokiko inferentziara nola konektatu erakutsi berri zuen,

3:38 eta orain bere izena segurtasun-abisu baten ondoan dago. Produktuaren izenak konfiantza-muga desberdin batzuk estaltzen ditu. Console erabiltzaileek jakinarazpen ofiziala irakurri eta hornitzailearen erabilera egiaztatu beharko lukete. Kaltetuta bazaude, jarraitu zuzenketa-argibideak eta berrikusi konektatutako kredentzialak. Jakinarazpen honek hosted Console esparru espezifiko bat ematen digu. Ez du hemen tokiko instalazio bakoitzean konpromisoaren frogarik ematen. Hona hemen konexioa.

Zer jartzen du tokiko inferentziak zure kontrolpean?

4:02 Appleren artikuluak OpenCode izendatzen du bere tokiko modelo-zerbitzariaren bezero gisa. Kodeketa-interfaze berak azpiegitura oso desberdinen aurrean egon daiteke. Horrek erantzuten du zer erosten duten lau Mac-ek. Ahalmena, eta kudeatu dezakezun inferentzia-muga bat. Muga horren inguruko zerbitzuek beren berrikuspena merezi dute oraindik ere. Nire erosketa-araua sinplea da. Egiaztatu ereduak egokitzen duela, neurtu zeregin osoa, eta egiaztatu zerbitzu bakoitzak kredentzial bat duela. Appleren emaitzak tokiko inferentzia handia praktikoagoa bihurtzen du,

4:23 pipeline probak hardwarea gehitzeak zergatik huts egin dezakeen azaltzen duen bitartean. Zure onarpen-proba erosketa-eskaeraren ondoan egon behar da. Hau irakurtzea nahiago baduzu entzutea baino, diffa zure sarrera-ontzian iristen da goizero, doan the daily diff dot dev-en, beheko esteka. Beraz, gaurko epaia "NEEDS REVIEW" da.

Erosiko al nuke lau Mac-eko klusterra?

4:40 Nire benetako lan-karga neurtuko nuke klusterra erosi aurretik. Harpidetu, sakatu kanpaia, eta esan iruzkinetan desberdin zigilatuko bazenu. Eta hori da gaurko diffa. Niko naiz, Axrisikoa. Fusioa arduraz. Niko naiz, Axrisikoa. Fusioa arduraz.

Iturriak

1. Local and Distributed Large LLM Inference with MLX and RDMA on Mac StudioApple Machine Learning Research
2. A benchmark map of the US economyMercor
3. Benchmark Map methodology and expert reviewMercor
4. Edited security-breach notice with Console scopeOpenCode
5. Reader questions mixed benchmark precision formatsHacker News · peri-cl (reader opinion)
6. User reports vanished provider credit (unverified loss claim)Amruth Pillai on X