Utoaji usio na kikomo wa Apple MLX: uwezo wa mfumo, kasi na mipaka ya uaminifu

Nini video hii inashughulikia

• Uzito wa mfumo na nafasi ya kazi ya utoaji hutumia kumbukumbu; uzito wa mfumo pekee unaweza kupunguza uwezo unaohitajika.
• Ulinganifu wa bomba husambaza tabaka mfululizo, wakati ulinganifu wa tensor hugawanya kazi ndani ya kila safu na unahitaji mawasiliano ya mara kwa mara ya latency ya chini.
• Apple inaripoti zaidi ya tokeni 36 kwa sekunde kwenye Mac Studios nne za M5 Ultra na muktadha wa tokeni 8,192; kulinganisha kwa cable kunahusu kusubiri kwa tokeni ya kwanza katika muktadha wa tokeni 65,536.
• Matokeo ya Mercor ya asilimia 90 ya saa za kazi yanaeleza chanjo ndogo au hakuna kabisa katika index yake ya benchmark iliyochaguliwa. Haimaanishi kiwango cha asilimia 90 cha kushindwa kwa mfumo.
• Taarifa iliyohaririwa ya OpenCode inaeleza subset ya watumiaji wa Console walio na watoa huduma wa nje waliounganishwa. Taarifa ya umma haithibitishi ukiukaji wa kila usakinishaji wa ndani.
• Jaribu mzigo wako halisi wa kazi na kagua huduma zenye sifa kabla ya kuchukulia usanidi wa mfumo wa ndani kama suluhisho kamili la faragha au gharama.

Nakala iliyotafsiriwa

Imetafsiriwa kutoka simulizi asili ya Kiingereza. Sauti na manukuu yanayopatikana yanadhibitiwa na YouTube.

Kwa nini Mac mbili zinaweza kukaa kwa kasi ileile?

0:00 Ungetarajia Mac mbili kufanya AI yako iwe haraka mara mbili. Majaribio ya Apple yenyewe yanaonyesha kasi ya uzalishaji inaweza kubaki karibu sawa. Katika video hii, Mac nne zinanunua nini? Ni nini ambacho vigezo vinakosa? Chombo kimoja cha usimbaji huunganisha vifaa na uvunjifu wa usiku kucha. Tutarudi hapo. Kwa Jumamosi, Oktoba kumi na saba, hii ni The Daily Diff. MLX ni mfumo wa wazi wa Apple wa safu kwa ajili ya kujifunza kwa mashine kwenye Apple

0:22 silicon. Jaribio lake jipya linaendesha Meta's Muse Spark Open kwenye Mac Studios nne. Inatumia kumbukumbu iliyounganishwa, ambayo CPU na GPU hushiriki. Apple ilichapisha hii mnamo Oktoba kumi na tano. Mercor ilipanga kazi ambayo vigezo vya AI hupima kwa shida. Tunashughulikia toleo la Oktoba kumi na saba na sasisho la usiku kucha la Oktoba kumi na nane kuhusu OpenCode Console.

Kwa nini mfumo unahitaji Mac zaidi ya moja?

0:41 Anza na sehemu isiyofaa. Jaribio la Apple la Muse Spark Open linatumia takriban gigabaiti mia tano tu kwa mfumo wa bit nne. Mac Studio moja inafikia gigabaiti mia tano kumi na mbili, na utoaji unahitaji kumbukumbu ya kazi pia. na utoaji unahitaji kumbukumbu ya kazi pia. Uzito unakaribia kujaza sanduku kabla hujapakia soksi hata moja. Mashine zaidi hufanya mfumo kutoshea. Ulinganifu wa bomba hukata mfumo kupitia tabaka zake. Mac A inafanya tabaka za awali, kisha hupitisha matokeo ya kati kwa Mac B kwa

1:05 tabaka za baadaye. Kwa tokeni moja iliyozalishwa, hatua hizo bado hutokea kwa mfuatano. Vipimo vya Apple vinaonyesha kasi ya decode inabaki sawa na mashine moja. Umeajiri mpishi wa pili, na umempa sandwich ileile. Kwenye Hacker News, msanidi programu mmoja alihoji kwa nini jedwali la Apple lilitumia mfumo wa Meta wa bit nne kando ya mfumo wa Qwen kwa usahihi wake halisi. mfumo wa Meta wa bit nne kando ya mfumo wa Qwen kwa usahihi wake halisi. Jedwali la Apple linasema muundo, kwa hivyo soma maelezo ya chini kabla ya kununua. Vigezo vya slaidi hubaki bila kushindwa.

1:29 Ulinganifu wa tensor hukata kila safu badala yake.

Thunderbolt inasaidiaje Mac kufanya kazi pamoja?

1:32 Mac nyingi hufanya kazi kwenye vipande vya safu moja pamoja, kisha kuunganisha matokeo yao. Hiyo inaweza kuharakisha uzalishaji, lakini mashine huwasiliana mara kwa mara. Apple inatumia ufikiaji wa kumbukumbu ya mbali ya latency ya chini kupitia Thunderbolt. Hatua ya ujasiri ya kazi kwa cable. Matokeo ya kichwa ni zaidi ya tokeni thelathini na sita kwa sekunde kutoka kwa M tano Ultra nne Mac Studios, na takriban tokeni elfu nane za muktadha. Apple ilipima yenyewe.

1:55 Prompts ndefu hubadilisha hadithi. Katika jaribio moja kubwa la muktadha, nyaya mbili kwa kila kiungo zilipunguza kusubiri kwa tokeni ya kwanza kwa takriban sekunde kumi. Mfumo wa ndani hukupa mpaka muhimu karibu na prompts, mradi usanidi wako halisi unawaweka ndani. Apple haijatoa bei ya mapumziko ya ulimwengu wote dhidi ya API zilizopangishwa. Hiyo inategemea matumizi na mfumo unaohitaji. Mashine inayojibu maswali ya mara kwa mara hutumia muda mwingi kuwa

2:17 mapambo ya bei ghali sana ya dawati. Kuchagua mfumo huo kunahitaji jaribio kwa kazi yako.

Je, vigezo vya AI vinajumuisha kazi gani hasa?

2:21 Mercor ilipanga vigezo ishirini na tisa kwenye taksonomia ya kazi za Kimarekani. Index yake inashughulikia takriban kazi mia tisa kati ya karibu kumi na tisa elfu. Ramani inakadiriwa kuwa asilimia tisini ya saa za kazi zina chanjo ndogo au hakuna chanjo ya benchmark. Huo ni nafasi kubwa tupu kwenye karatasi ya mtihani. Ramani ya Mercor inapima chanjo. Kazi tupu ina kazi ambazo zimejaribiwa kwa shida; uwezo wa mfumo unabaki kuwa swali wazi. Ramani ilitumia mfumo wa AI, na ukaguzi wa binadamu kwenye subset ya prompts za benchmark za Mercor mwenyewe.

2:49 Wakaguzi walikubali takriban robo tatu ya chaguzi zake za kwanza. Mfumo wa ukadiriaji unahitaji mfumo wake wa ukadiriaji, kwa kawaida. Kwa hivyo ikiwa una wasiwasi juu ya kazi yako, ubao wa wanaoongoza hauwezi kusuluhisha hoja. Ikiwa unanunua msaidizi wa usimbaji, cheza tena kazi halisi na ukaguzi wako wa kukubalika. Kazi muhimu inajumuisha sehemu zisizofaa baada ya onyesho. Hakuna anayepandishwa cheo kwa sababu chatbot ilimaliza kwa ujasiri jedwali la makosa. Ambalo linatuleta kwenye sasisho la usiku kucha.

OpenCode inasema nani aliathirika usiku kucha?

3:13 OpenCode inasema uvunjifu wa usalama uliathiri asilimia moja nukta nne ya watumiaji wa Console. Taarifa yake iliyohaririwa inapunguza hilo kwa subset yenye watoa huduma wa nje waliounganishwa, na inasema watumiaji walioathirika waliandikiwa barua pepe. Inaita hii mashambulizi makubwa ya distillation, na inasema tukio hilo linaendelea. Sababu ya mizizi ya umma bado haijafika. Majibu yanajumuisha watu wanaoripoti mikopo ya mtoa huduma iliyotoweka, ambayo ni akaunti yao ya matukio. Taarifa hiyo haithibitishi hasara au fidia ya kila mtu.

3:38 Apple ilikuwa imeshaonyesha jinsi ya kuunganisha OpenCode na utoaji wa ndani, na sasa jina lake liko kando ya onyo la usalama. Jina la bidhaa linashughulikia mipaka kadhaa tofauti ya uaminifu. Watumiaji wa Console wanapaswa kusoma taarifa rasmi na kuangalia matumizi ya mtoa huduma. Ikiwa umeathirika, fuata maagizo ya kurekebisha na kagua sifa zilizounganishwa. Taarifa hii inatupa wigo maalum wa Console iliyopangishwa. Haioneshi ushahidi hapa wa ukiukaji katika kila usakinishaji wa ndani.

Utoaji wa ndani unatia nini chini ya udhibiti wako?

4:02 Hii hapa ndiyo uhusiano. Nakala ya Apple inataja OpenCode kama mteja wa seva yake ya mfumo wa ndani. Kiolesura hicho cha usimbaji kinaweza kukaa mbele ya miundombinu tofauti sana. Hiyo inajibu nini Mac nne zinanunua. Uwezo, na mpaka wa utoaji unaoweza kusimamia. Huduma karibu na mpaka huo bado zinastahili ukaguzi wao wenyewe. Kanuni yangu ya ununuzi ni rahisi. Thibitisha mfumo unatoshea, pima kazi nzima, na uangalie kila huduma inayoshikilia

4:23 sifa. Matokeo ya Apple yanafanya utoaji mkubwa wa ndani uwezekane zaidi, wakati jaribio la bomba linaeleza kwa nini kuongeza vifaa kunaweza kukatisha tamaa. Jaribio lako la kukubalika linapaswa kuwa kando ya agizo la ununuzi. Ikiwa ungependa kusoma hii badala ya kunisikia nikisema, diff inatua kwenye kikasha chako kila asubuhi, bila malipo kwenye the daily diff dot dev, kiungo hapa chini.

Je, ningenunua kundi la Mac nne?

4:40 Kwa hivyo uamuzi wa leo ni NEEDS REVIEW. Ningepima mzigo wangu halisi wa kazi kabla ya kununua kundi hilo. Jisajili, bonyeza kengele, na uniambie katika maoni ikiwa ungekuwa umeifunga tofauti. Na hiyo ndiyo diff kwa leo. Mimi ni Niko kutoka Axrisi. Unganisha kwa uwajibikaji.

Vyanzo

1. Local and Distributed Large LLM Inference with MLX and RDMA on Mac StudioApple Machine Learning Research
2. A benchmark map of the US economyMercor
3. Benchmark Map methodology and expert reviewMercor
4. Edited security-breach notice with Console scopeOpenCode
5. Reader questions mixed benchmark precision formatsHacker News · peri-cl (reader opinion)
6. User reports vanished provider credit (unverified loss claim)Amruth Pillai on X