Dreifð ályktun Apple MLX: gerðargeta, hraði og traustamörk

Það sem þetta myndband fjallar um

• Gerðarþyngdir og vinnurými fyrir ályktun eyða báðar minni; þyngdargerðin ein og sér getur vanmetið nauðsynlega getu.
• Samsíða vinnsluleiðir dreifa successive lögum, á meðan tensor-samsíða vinnslur deila vinnunni innan hvers lags og þurfa tíðar, litla töfar samskipti.
• Apple greinir frá yfir 36 táknum á sekúndu á fjórum M5 Ultra Mac Studio tölvum með 8.192 tákna samhengi; samanburður á kaplinum snýst um bið eftir fyrsta tákninu við 65.536 tákna samhengi.
• Niðurstaða Mercor um 90% vinnustunda lýsir lítilli eða engri umfjöllun í valinni viðmiðunarvísitölu. Hún staðfestir ekki 90% bilanatíðni líkana.
• Breytt tilkynning OpenCode lýsir undirmengi Console notenda með tengda ytri þjónustuaðila. Opinber tilkynning staðfestir ekki öryggisbrot á hverri staðbundinni uppsetningu.
• Prófaðu raunverulega vinnuálagið þitt og farðu yfir þjónustu sem heldur auðkennum áður en þú meðhöndlar staðbundna gerðaruppsetningu sem fullkomna lausn á persónuvernd eða kostnaði.

Þýtt afrit

Þýtt úr upprunalegri enskri frásögn. Tiltækt hljóð og textar eru stjórnaðir af YouTube.

Hvers vegna geta tvær Mac tölvur haldið sama hraða?

0:00 Þú myndir búast við því að tvær Mac tölvur myndu gera gervigreindina þína tvöfalt hraðari. Eigin prófanir Apple sýna að framleiðsluhraði getur nánast haldist óbreyttur. Í þessu myndbandi, hvað fá fjórar Mac tölvur? Hvað missa viðmiðin af? Eitt kóðunartól tengir vélbúnaðinn við brot sem varð yfir nótt. Við munum koma aftur að því. Fyrir laugardaginn sautjánda október, þetta er The Daily Diff. MLX er opinn hugbúnaðarrammi Apple fyrir vélanám á Apple

0:22 kísil. Nýja prófið keyrir Muse Spark Open frá Meta á fjórum Mac Studio tölvum. Það notar sameinað minni, sem örgjörvi og skjákort deila. Apple birti þetta 15. október. Mercor kortlagði vinnuna sem gervigreindarviðmið mæla varla. Við erum að fjalla um útgáfuna frá 17. október, með uppfærslu yfir nótt þann 18. október um OpenCode Console.

Hvers vegna þarf líkanið meira en eina Mac tölvu?

0:41 Byrjum á óþægilega bitanum. Prófun Apple á Muse Spark Open notar um fimm hundruð gígabæti bara fyrir fjögurra bita líkanið. Ein Mac Studio nær hámarki í fimm hundruð tólf gígabætum, og ályktun þarf líka vinnsluminni. Þyngdin fyllir nánast ferðatöskuna áður en þú hefur pakkað einum sokk. Fleiri vélar láta líkanið passa. Samsíða vinnsluleiðir skera líkanið í gegnum lög þess. Mac A gerir fyrri lögin, fer síðan með milliniðurstöðuna til Mac B fyrir

1:05 seinni lögin. Fyrir eitt framleitt tákn gerast þessi skref enn í röð. Mælingar Apple sýna að afkóðunarhraði helst mjög svipaður og á einni vél. Þú hefur ráðið annan kokk og gefið honum sama samlokuna. Á Hacker News spurði einn þróunaraðili hvers vegna tafla Apple notaði fjögurra bita Meta líkan við hlið Qwen líkans í sinni upprunalegu nákvæmni. Tafla Apple gefur upp sniðin, svo lestu neðanmálsgreinarnar áður en þú verslar. Viðmið kynningarblaða eru enn ósigrandi.

1:29 Tensor-samsíða vinnslu sker í gegnum hvert lag í staðinn.

Hvernig hjálpar Thunderbolt Mac tölvunum að vinna saman?

1:32 Margir Mac tölvur vinna að hlutum sama lags saman, sameina síðan niðurstöður sínar. Það getur flýtt fyrir framleiðslu, en vélarnar eiga samskipti ítrekað. Apple notar lágþýðu fjartengt minnisaðgang yfir Thunderbolt. Djarft ferilskref fyrir snúru. Helsta niðurstaðan er yfir þrjátíu og sex tákn á sekúndu frá fjórum M5 Ultra Mac Studio tölvum, með um átta þúsund táknum í samhengi. Apple mældi það sjálft.

1:55 Lengri hvatir breyta sögunni. Í einni stórri samhengisprófun skáru tvær snúrur á hvern tengil biðtíma eftir fyrsta tákninu um tíu sekúndur. Staðbundið líkan gefur þér gagnlegt mörk í kringum hvatir, að því gefnu að raunveruleg uppsetning þín haldi þeim staðbundnum. Apple hefur ekki gefið upp alhliða jafnvægisverð gegn hýstum API. Það fer eftir nýtingu og líkaninu sem þú þarft. Vél sem svarar einstaka spurningum eyðir miklum tíma í að vera mjög

2:17 dýr skrifborðsskraut. Að velja það líkan krefst prófunar fyrir vinnu þína.

Hvaða vinnu ná gervigreindarviðmiðin raunverulega yfir?

2:21 Mercor kortlagði tuttugu og níu viðmið á bandaríska atvinnuflokkunarkerfið. Vísitala þess nær yfir um níu hundruð verkefni af næstum nítján þúsund. Kortið metur að nítíu prósent vinnustunda hafa litla eða enga umfjöllun um viðmið. Það er risastórt autt svæði á prófblaðinu. Kort Mercor mælir umfjöllun. Autt starf hefur varla prófað verkefni; getu líkansins er enn opin spurning. Kortlagningin notaði gervigreindarlíkan, með mannlegri endurskoðun á undirmengi eigin viðmiðunarhvatum Mercor.

2:49 Endurskoðendur samþykktu um þrjá fjórðu af fyrstu valkostum þess. Einkunnakerfið þarf sitt eigið einkunnakerfi, eðlilega. Svo ef þú hefur áhyggjur af starfi þínu, getur stigatafla ekki leyst deiluna. Ef þú ert að kaupa kóðunaraðstoðarmann, spilaðu raunverulegt verkefni aftur með eigin samþykkisathugunum. Gagnleg vinna felur í sér erfiðu bitana eftir kynningu. Enginn fær stöðuhækkun vegna þess að spjallbotninn kláraði rangt töflureikni af öryggi. Sem leiðir okkur að uppfærslunni yfir nótt.

Hver segir OpenCode að hafi orðið fyrir áhrifum yfir nótt?

3:13 OpenCode segir að öryggisbrot hafi haft áhrif á 1,4 prósent Console notenda. Breytt tilkynning þess þrengir þetta að undirmengi með tengdum ytri þjónustuaðilum, og segir að tölvupóstur hafi verið sendur til viðkomandi notenda. Það kallar þetta stórfellda eimunarárás og segir að atvikið sé í gangi. Opinber orsök hefur enn ekki borist. Svör innihalda fólk sem greinir frá hvarfi þjónustuaðilakredit, sem er þeirra útgáfa af atburðum. Tilkynningin staðfestir ekki tap eða bætur hvers einstaklings.

3:38 Apple hafði nýlega sýnt hvernig á að tengja OpenCode við staðbundna ályktun, og nú er nafn þess við hlið öryggisviðvörunar. Vöruheitið nær yfir nokkur mismunandi traustamörk. Console notendur ættu að lesa opinbera tilkynningu og athuga notkun þjónustuaðila. Ef þú hefur orðið fyrir áhrifum, fylgdu leiðbeiningum um úrbætur og farðu yfir tengd auðkenni. Þessi tilkynning gefur okkur tiltekið hýst Console umfang. Hún veitir engar sannanir hér fyrir öryggisbroti í hverri staðbundinni uppsetningu.

Hvað setur staðbundin ályktun undir þína stjórn?

4:02 Hér er tengingin. Grein Apple nefnir OpenCode sem viðskiptavin fyrir staðbundinn líkanþjón sinn. Sama kóðunarviðmótið getur setið fyrir framan mjög mismunandi innviði. Það svarar því hvað fjórar Mac tölvur kaupa. Getu og ályktunarmörk sem þú getur stjórnað. Þjónusta í kringum þau mörk á samt skilið eigin endurskoðun. Kaupreglan mín er einföld. Sannaðu að líkanið passi, mældu allt verkefnið og athugaðu alla þjónustu sem heldur

4:23 auðkenni. Niðurstaða Apple gerir stóra staðbundna ályktun verðhagnýtari, á meðan leiðsluprófið útskýrir hvers vegna bæting á vélbúnaði getur valdið vonbrigðum. Samþykkisprófið þitt á heima við hlið innkaupapöntunarinnar. Ef þú vilt frekar lesa þetta en heyra mig segja það, þá lendir diffið í pósthólfinu þínu á hverjum morgni, ókeypis á the daily diff dot dev, tengill hér að neðan.

Myndi ég kaupa fjögurra Mac tölvu klasann?

4:40 Svo dómur dagsins er ÞARF AÐ ENDURSKOÐA. Ég myndi mæla raunverulega vinnuálagið mitt áður en ég keypti klasann. Gerast áskrifandi, ýttu á bjölluna og segðu mér í athugasemdum ef þú hefðir stimplað það öðruvísi. Og það er diffið fyrir daginn. Ég er Niko frá Axrisi. Sameinaðu ábyrglega.

Heimildir

1. Local and Distributed Large LLM Inference with MLX and RDMA on Mac StudioApple Machine Learning Research
2. A benchmark map of the US economyMercor
3. Benchmark Map methodology and expert reviewMercor
4. Edited security-breach notice with Console scopeOpenCode
5. Reader questions mixed benchmark precision formatsHacker News · peri-cl (reader opinion)
6. User reports vanished provider credit (unverified loss claim)Amruth Pillai on X