Apple MLX distributed inference: kapasidad ng modelo, bilis, at hangganan ng tiwala

Ang sakop ng video na ito

• Ang mga bigat ng modelo at workspace ng inference ay kumukunsumo ng memorya; ang bakas ng bigat ng modelo lamang ay maaaring hindi makatugon sa kinakailangang kapasidad.
• Ipinamahagi ng pipeline parallelism ang sunud-sunod na mga layer, habang hinahati ng tensor parallelism ang trabaho sa loob ng bawat layer at nangangailangan ng madalas na low-latency na komunikasyon.
• Nag-uulat ang Apple ng higit sa 36 na token bawat segundo sa apat na M5 Ultra Mac Studios na may 8,192-token na konteksto; ang paghahambing ng cable ay tungkol sa paghihintay ng unang token sa isang 65,536-token na konteksto.
• Inilarawan ng 90% working-hours na pagtuklas ng Mercor ang kaunti o walang saklaw sa napili nitong benchmark index. Hindi nito itinatatag ang 90% failure rate ng modelo.
• Inilarawan ng inedit na paunawa ng OpenCode ang isang subset ng mga user ng Console na may nakakonektang panlabas na provider. Hindi itinatatag ng pampublikong paunawa ang kompromiso ng bawat lokal na instalasyon.
• Subukan ang iyong aktwal na workload at suriin ang mga serbisyong nagtataglay ng kredensyal bago ituring ang isang lokal na setup ng modelo bilang isang kumpletong solusyon sa privacy o gastos.

Isinaling transcript

Isinalin mula sa orihinal na salaysay sa English. Ang available na audio at mga caption ay kinokontrol ng YouTube.

Bakit mananatiling pareho ang bilis ng dalawang Mac?

0:00 Asahan mong gagawin ng dalawang Mac ang iyong AI nang dalawang beses nang mas mabilis. Ang sariling mga pagsubok ng Apple ay nagpapakita na ang bilis ng henerasyon ay maaaring manatiling halos hindi nagbabago. Sa video na ito, ano ang mabibili ng apat na Mac? Ano ang namimiss ng mga benchmark? Isang coding tool ang nagkokonekta sa hardware sa isang paglabag magdamag. Babalikan natin iyan. Para sa Sabado, Oktubre disisyete, ito ang The Daily Diff. Ang MLX ay ang open source array framework ng Apple para sa machine learning sa Apple

0:22 silicon. Ang bago nitong pagsubok ay nagpapatakbo ng Muse Spark Open ng Meta sa apat na Mac Studios. Gumagamit ito ng pinag-isang memorya, na ibinabahagi ng CPU at GPU. Inilathala ito ng Apple noong Oktubre kinse. Iminapa ng Mercor ang trabaho na halos hindi masusukat ng mga benchmark ng AI. Sinasaklaw namin ang edisyong Oktubre disisyete, na may update noong Oktubre disi-otso tungkol sa OpenCode Console.

Bakit kailangan ng modelo ng higit sa isang Mac?

0:41 Simulan natin sa nakakainis na bahagi. Ang Muse Spark Open test ng Apple ay gumagamit ng humigit-kumulang limang daang gigabytes para sa apat bit model lamang. Ang isang Mac Studio ay may maximum na limang daan at labindalawang gigabytes, at kailangan din ng inference ng working memory. Halos mapupuno ng mga bigat ang maleta bago ka magbalot ng isang medyas. Mas maraming makina ang nagpapagkasya sa modelo. Ang pipeline parallelism ay pinuputol ang modelo sa pamamagitan ng mga layer nito. Ginagawa ng Mac A ang mas naunang mga layer, pagkatapos ay ipinapasa ang intermediate na resulta sa Mac B para sa

1:05 mas huling mga layer. Para sa isang nabuong token, ang mga hakbang na iyon ay nangyayari pa rin nang sunud-sunod. Ipinapakita ng mga sukat ng Apple na ang bilis ng pag-decode ay nananatiling halos kapareho ng sa isang solong makina. Umuupa ka ng pangalawang tagaluto, at binigyan mo sila ng parehong sandwich. Sa Hacker News, kinuwestiyon ng isang developer kung bakit gumamit ang talahanayan ng Apple ng apat na bit na Meta modelo sa tabi ng isang Qwen model sa native nitong precision. Sinasabi ng talahanayan ng Apple ang mga format, kaya basahin ang mga footnote bago mamili. Ang mga benchmark ng slide deck ay nananatiling hindi natalo.

1:29 Sa halip, ang tensor parallelism ay nagpuputol sa bawat layer.

Paano nakakatulong ang Thunderbolt sa mga Mac na magtulungan?

1:32 Maraming Mac ang nagtatrabaho sa mga bahagi ng parehong layer nang magkasama, pagkatapos ay pagsamahin ang kanilang mga resulta. Iyan ay maaaring magpabilis ng henerasyon, ngunit ang mga makina ay patuloy na nakikipag-ugnayan. Gumagamit ang Apple ng low latency remote memory access sa Thunderbolt. Isang matapang na hakbang sa karera para sa isang cable. Ang headline na resulta ay mahigit tatlumpu't anim na token bawat segundo mula sa apat na M five Ultra Mac Studios, na may humigit-kumulang walong libong token ng konteksto. Sinukat mismo ng Apple ito.

1:55 Nagbabago ang kwento sa mas mahabang prompts. Sa isang malaking context test, dalawang cable bawat link ang nagpababa ng paghihintay para sa unang token ng humigit-kumulang sampung segundo. Nagbibigay sa iyo ang isang lokal na modelo ng isang kapaki-pakinabang na hangganan sa paligid ng mga prompts, sa kondisyon na ang iyong aktwal na setup ay nagpapanatili sa kanila na lokal. Hindi nagbigay ang Apple ng isang universal break-even price laban sa mga hosted API. Iyan ay depende sa paggamit at sa modelong kailangan mo. Ang isang makina na sumasagot ng paminsan-minsang tanong ay gumugugol ng maraming oras sa pagiging isang napakamahal na dekorasyon sa mesa.

2:17 mahal na palamuti sa mesa. Ang pagpili ng modelong iyon ay nangangailangan ng pagsubok para sa iyong trabaho.

Anong trabaho ang talagang sinasaklaw ng mga benchmark ng AI?

2:21 Iminapa ng Mercor ang dalawampu't siyam na benchmark sa taxonomy ng mga trabaho sa Amerika. Sinasaklaw ng index nito ang humigit-kumulang siyam na raang gawain mula sa halos labing siyam na libo. Tinataya ng mapa na siyamnapung porsyento ng oras ng pagtatrabaho ay may kaunti o walang saklaw ng benchmark. Iyan ay isang malaking blangko na espasyo sa papel ng pagsusulit. Sinusukat ng mapa ng Mercor ang saklaw. Ang isang blangko na okupasyon ay halos hindi nasubok na mga gawain; ang kakayahan ng modelo ay nananatiling isang bukas na tanong. Gumamit ang pagmamapa ng AI model, na may pagsusuri ng tao sa isang subset ng sariling mga prompt ng benchmark ng Mercor.

2:49 Tinanggap ng mga reviewer ang humigit-kumulang tatlong-kapat ng mga unang pinili nito. Kailangan ng grading system nito ang sariling grading system, natural. Kaya kung nag-aalala ka sa iyong trabaho, hindi kayang tapusin ng isang leaderboard ang argumento. Kung bibili ka ng coding assistant, i-replay ang isang tunay na gawain gamit ang sarili mong acceptance checks. Kasama sa kapaki-pakinabang na trabaho ang mga awkward na bahagi pagkatapos ng demo. Walang napo-promote dahil may kumpiyansang tinapos ng chatbot ang maling spreadsheet. Na nagdadala sa atin sa overnight update.

Sino ang sinasabi ng OpenCode na apektado magdamag?

3:13 Sinasabi ng OpenCode na isang security breach ang nakaapekto sa 1.4 porsyento ng mga user ng Console. Ang inedit nitong paunawa ay nagpapaliit nito sa isang subset na may nakakonektang panlabas na provider at sinasabing ang mga apektadong user ay na-email. Tinatawag itong malawakang distillation attack, at sinasabing ang insidente ay nagpapatuloy. Wala pa ring pampublikong root cause. Kasama sa mga reply ang mga tao na nag-uulat ng nawawalang kredito ng provider, na kanilang kuwento ng mga pangyayari. Hindi itinatatag ng paunawa ang mga pagkalugi o kompensasyon ng bawat tao.

3:38 Ipinakita lang ng Apple kung paano ikonekta ang OpenCode sa lokal na inference, at ngayon ang pangalan nito ay nasa tabi ng isang babala sa seguridad. Sinasaklaw ng pangalan ng produkto ang ilang iba't ibang hangganan ng tiwala. Dapat basahin ng mga user ng Console ang opisyal na paunawa at suriin ang paggamit ng provider. Kung apektado ka, sundin ang mga tagubilin sa remediation at suriin ang mga nakakonektang kredensyal. Ang paunawa na ito ay nagbibigay sa atin ng isang partikular na saklaw ng hosted Console. Wala itong ibinibigay na ebidensya dito ng kompromiso sa bawat lokal na instalasyon.

Ano ang inilalagay ng lokal na inference sa ilalim ng iyong kontrol?

4:02 Narito ang koneksyon. Pinangalanan ng artikulo ng Apple ang OpenCode bilang isang client para sa lokal na model server nito. Ang parehong coding interface ay maaaring umupo sa harap ng napaka-ibang imprastraktura. Iyan ang sumasagot kung ano ang mabibili ng apat na Mac. Kapasidad, at isang hangganan ng inference na maaari mong pangasiwaan. Ang mga serbisyo sa paligid ng hangganan na iyon ay nararapat pa ring suriin. Ang aking panuntunan sa pagbili ay simple. Patunayan na magkasya ang modelo, sukatin ang buong gawain, at suriin ang bawat serbisyo na mayroong

4:23 kredensyal. Ginagawang mas praktikal ng resulta ng Apple ang malaking lokal na inference, habang ipinapaliwanag ng pipeline test kung bakit maaaring makadismaya ang pagdaragdag ng hardware. Ang iyong acceptance test ay nabibilang sa tabi ng purchase order. Kung mas gusto mong basahin ito kaysa pakinggan akong sabihin, ang diff ay dumarating sa iyong inbox tuwing umaga, libre sa the daily diff dot dev, link sa ibaba.

Bibili ba ako ng four-Mac cluster?

4:40 Kaya ang hatol ngayon ay NEEDS REVIEW. Susukatin ko ang aking tunay na workload bago bilhin ang cluster. Mag-subscribe, pindutin ang bell, at sabihin sa akin sa mga komento kung naiiba mo itong tatatakan. naiiba. At iyan ang diff para sa ngayon. Ako si Niko mula sa Axrisi. Merge nang responsable.

Mga Pinagmulan

1. Local and Distributed Large LLM Inference with MLX and RDMA on Mac StudioApple Machine Learning Research
2. A benchmark map of the US economyMercor
3. Benchmark Map methodology and expert reviewMercor
4. Edited security-breach notice with Console scopeOpenCode
5. Reader questions mixed benchmark precision formatsHacker News · peri-cl (reader opinion)
6. User reports vanished provider credit (unverified loss claim)Amruth Pillai on X