# ऍपल एमएलएक्स डिस्ट्रिब्युटेड इन्फरन्स: मॉडेल क्षमता, वेग आणि विश्वास मर्यादा

Published: 2026-10-18

ऍपलचे १५ ऑक्टोबरचे संशोधन चार मॅक स्टुडिओवर म्युझ स्पार्क ओपन चालू असल्याचे दर्शवते आणि पाईपलाईन आणि टेन्सर पॅरललिझमचा जनरेशन स्पीडवर वेगवेगळा परिणाम का होतो हे स्पष्ट करते. १८ ऑक्टोबर रोजी प्रकाशित झालेली ही १७ ऑक्टोबरची आवृत्ती, मर्कॉरच्या बेंचमार्क-कव्हरेज नकाशाची आणि १८ ऑक्टोबर जीएमटी+७ ओपनकोड कन्सोल सुरक्षा अद्यतनाची देखील तपासणी करते, जे स्पष्टपणे लेबल केलेले आहे. विक्रेता मापन, निवडक-निर्देशांक कव्हरेज आणि पडताळणी न झालेल्या वापरकर्त्यांच्या नुकसानीच्या अहवालांची स्वतंत्र खबरदारी कायम आहे.

Canonical: https://thedailydiff.dev/mr/video/2026-10-17-apple-mac-cluster/

## या व्हिडिओमध्ये काय समाविष्ट आहे

- मॉडेल वेट्स आणि इन्फरन्स वर्कस्पेस दोन्ही मेमरी वापरतात; केवळ मॉडेलच्या वेट फुटप्रिंटमुळे आवश्यक क्षमता कमी पडू शकते.
- पाईपलाईन पॅरललिझम लागोपाठच्या स्तरांचे वितरण करते, तर टेन्सर पॅरललिझम प्रत्येक स्तरामध्ये कामाची विभागणी करते आणि वारंवार कमी-विलंब संप्रेषणाची आवश्यकता असते.
- ऍपल चार M5 अल्ट्रा मॅक स्टुडिओवर ८,१९२-टोकन संदर्भामध्ये प्रति सेकंद ३६ पेक्षा जास्त टोकन नोंदवते; केबल तुलना ६५,५३६-टोकन संदर्भामध्ये पहिल्या-टोकनच्या प्रतीक्षेबद्दल आहे.
- मर्कॉरच्या ९०% कामाच्या तासांच्या निष्कर्षात त्याच्या निवडक बेंचमार्क निर्देशांकात कमी किंवा कोणतेही कव्हरेज नाही असे वर्णन केले आहे. यामुळे ९०% मॉडेल अयशस्वी दर स्थापित होत नाही.
- ओपनकोडच्या संपादित सूचनेत लिंक केलेल्या बाह्य प्रदात्यांसह कन्सोल वापरकर्त्यांचा एक उपसंच वर्णन केला आहे. सार्वजनिक सूचना प्रत्येक स्थानिक इंस्टॉलेशनच्या हॅकची पुष्टी करत नाही.
- स्थानिक मॉडेल सेटअपला संपूर्ण गोपनीयता किंवा खर्च उपाय मानण्यापूर्वी तुमचा वास्तविक वर्कलोड तपासा आणि क्रेडेंशियल-असलेल्या सेवांचे पुनरावलोकन करा.

## धडे

- 0:00 दोन मॅक समान वेग का राखू शकतात?
- 0:41 मॉडेलला एकापेक्षा जास्त मॅकची गरज का आहे?
- 1:30 थंडरबोल्ट मॅक्सना एकत्र काम करण्यास कशी मदत करते?
- 2:19 एआय बेंचमार्क प्रत्यक्षात कोणते काम कव्हर करतात?
- 3:11 ओपनकोडने रात्रीतून कोणाला प्रभावित केले असे म्हटले आहे?
- 4:02 स्थानिक इन्फरन्स तुमच्या नियंत्रणाखाली काय आणते?
- 4:40 मी चार-मॅक क्लस्टर खरेदी करेन का?

## अनुवादित प्रतिलेख

मूळ इंग्रजी निवेदनातून अनुवादित. उपलब्ध ऑडिओ आणि मथळे YouTube द्वारे नियंत्रित आहेत.

### दोन मॅक समान वेग का राखू शकतात?

0:00 तुम्हाला वाटेल की दोन मॅक तुमची एआय दुप्पट वेगाने करतील. ऍपलच्या स्वतःच्या चाचण्यांमध्ये जनरेशनचा वेग जवळपास सारखाच राहू शकतो असे दिसते. या व्हिडिओमध्ये, चार मॅक काय देतात? बेंचमार्क कशाला चुकवतात? एक कोडिंग टूल हार्डवेअरला एका रात्रीच्या उल्लंघनाशी जोडते. आम्ही त्यावर परत येऊ. शनिवार, सतरा ऑक्टोबरसाठी, हे आहे The Daily Diff. MLX हे ऍपल सिलिकॉनवर मशीन लर्निंगसाठी ऍपलचे मुक्त स्रोत अॅरे फ्रेमवर्क आहे.

0:22 त्याची नवीन चाचणी चार मॅक स्टुडिओवर मेटाचे म्यूझ स्पार्क ओपन चालवते. हे युनिफाइड मेमरी वापरते, जी सीपीयू आणि जीपीयू सामायिक करतात. ऍपलने हे पंधरा ऑक्टोबर रोजी प्रकाशित केले. मर्कॉरने एआय बेंचमार्क क्वचितच मोजतात त्या कामाचा नकाशा तयार केला. आम्ही सतरा ऑक्टोबरची आवृत्ती कव्हर करत आहोत, ओपनकोड कन्सोलबद्दलच्या रात्रीच्या अठरा ऑक्टोबरच्या अपडेटसह. गैरसोयीच्या भागापासून सुरुवात करूया.

### मॉडेलला एकापेक्षा जास्त मॅकची गरज का आहे?

0:41 ऍपलच्या म्यूझ स्पार्क ओपन चाचणीसाठी फक्त चार-बिट मॉडेलसाठी सुमारे पाचशे गिगाबाईट्स लागतात. एकच मॅक स्टुडिओ पाचशे बारा गिगाबाईट्सपर्यंत पोहोचतो, आणि इन्फरन्सला वर्किंग मेमरीचीही गरज असते. तुम्ही एकही सॉक्स पॅक करण्यापूर्वी वजन जवळपास सुटकेस भरते. जास्त मशीन्स मॉडेलला फिट करतात. पाईपलाईन पॅरललिझम मॉडेलला त्याच्या लेयर्समधून कापते. मॅक ए आधीचे लेयर्स करतो, नंतर मध्यवर्ती परिणाम मॅक बीला नंतरच्या लेयर्ससाठी पास करतो. एका जनरेट केलेल्या टोकनसाठी, ते टप्पे अजूनही क्रमाक्रमाने घडतात.

1:05 ऍपलच्या मोजमापानुसार डीकोडचा वेग एका मशीनसारखाच राहतो. तुम्ही दुसऱ्या कुकला कामावर ठेवले आहे आणि त्यांना तेच सँडविच दिले आहे. हॅकर न्यूजवर, एका डेव्हलपरने ऍपलच्या टेबलमध्ये चार-बिट मेटा मॉडेल त्याच्या मूळ अचूकतेतील क्वेन मॉडेलच्या शेजारी का वापरले यावर प्रश्नचिन्ह उपस्थित केले. ऍपलच्या टेबलमध्ये फॉरमॅट्स नमूद केले आहेत, त्यामुळे खरेदी करण्यापूर्वी तळटीपा वाचा. स्लाईड डेक बेंचमार्क अजूनही अपराजित आहेत. त्याऐवजी टेन्सर पॅरललिझम प्रत्येक स्तरामध्ये कट करते. एकाच लेयरच्या भागांवर अनेक मॅक एकत्र काम करतात, नंतर त्यांचे परिणाम एकत्र करतात.

1:29 हे जनरेशनला गती देऊ शकते, परंतु मशीन्स वारंवार संवाद साधतात.

### थंडरबोल्ट मॅक्सना एकत्र काम करण्यास कशी मदत करते?

1:32 ऍपल थंडरबोल्टवर कमी-विलंब रिमोट मेमरी ऍक्सेस वापरते. केबलसाठी एक धाडसी करिअर चाल. मुख्य परिणाम चार M5 अल्ट्रा मॅक स्टुडिओमधून प्रति सेकंद छत्तीस टोकनपेक्षा जास्त आहे, सुमारे आठ हजार टोकन संदर्भामध्ये. ऍपलने ते स्वतः मोजले. दीर्घ प्रॉम्प्ट्स कथा बदलतात. एका मोठ्या संदर्भ चाचणीत, प्रति लिंक दोन केबल्सने पहिल्या टोकनची प्रतीक्षा सुमारे दहा सेकंदांनी कमी केली. स्थानिक मॉडेल तुम्हाला प्रॉम्प्ट्सभोवती एक उपयुक्त सीमा देते, जोपर्यंत तुमची वास्तविक सेटअप त्यांना स्थानिक ठेवते.

1:55 ऍपलने होस्ट केलेल्या एपीआयच्या विरोधात सार्वत्रिक ब्रेक-इव्हन किंमत दिलेली नाही. ते उपयोगिता आणि तुम्हाला आवश्यक असलेल्या मॉडेलवर अवलंबून असते. क्वचितच प्रश्नांची उत्तरे देणारी मशीन खूप महागडी डेस्क सजावट म्हणून बराच वेळ घालवते. ते मॉडेल निवडण्यासाठी तुमच्या कामासाठी एक चाचणी आवश्यक आहे. मर्कॉरने एकोणतीस बेंचमार्क अमेरिकन नोकऱ्यांच्या वर्गीकरणावर मॅप केले. त्याचा निर्देशांक जवळपास एकोणीस हजारपैकी सुमारे नऊशे कार्यांना कव्हर करतो. नकाशा अंदाजे असे दर्शवतो की ९०% कामाच्या तासांमध्ये कमी किंवा कोणतेही बेंचमार्क कव्हरेज नाही. ही परीक्षेच्या पेपरवर एक मोठी रिकामी जागा आहे. मर्कॉरचा नकाशा कव्हरेज मोजतो.

2:17 रिकाम्या व्यवसायात क्वचितच तपासलेली कार्ये असतात; मॉडेलची क्षमता एक खुला प्रश्न राहते. मॅपिंगसाठी एआय मॉडेल वापरले गेले, मर्कॉरच्या स्वतःच्या बेंचमार्क प्रॉम्प्ट्सच्या उपसंचावर मानवी पुनरावलोकनासह. पुनरावलोकनकर्त्यांनी त्याच्या पहिल्या निवडीपैकी सुमारे तीन चतुर्थांश स्वीकारले.

### एआय बेंचमार्क प्रत्यक्षात कोणते काम कव्हर करतात?

2:21 ग्रेडिंग प्रणालीला स्वतःच्या ग्रेडिंग प्रणालीची गरज आहे, नैसर्गिकरित्या. त्यामुळे जर तुम्हाला तुमच्या नोकरीबद्दल काळजी वाटत असेल, तर लीडरबोर्ड युक्तिवाद मिटवू शकत नाही. जर तुम्ही कोडिंग असिस्टंट खरेदी करत असाल, तर तुमच्या स्वतःच्या स्वीकृती तपासणीसह वास्तविक कार्य पुन्हा प्ले करा. उपयुक्त कामामध्ये डेमो नंतरचे अवघड भाग समाविष्ट आहेत. चॅटबॉटने चुकीचे स्प्रेडशीट आत्मविश्वासाने पूर्ण केले म्हणून कोणालाही पदोन्नती मिळत नाही. ज्यामुळे आपण रात्रीच्या अपडेटवर येतो. ओपनकोड म्हणते की एका सुरक्षा उल्लंघनाने १.४% कन्सोल वापरकर्त्यांना प्रभावित केले. त्याची संपादित सूचना बाह्य प्रदात्यांशी लिंक केलेल्या उपसंचापुरती मर्यादित करते आणि म्हणते की प्रभावित वापरकर्त्यांना ईमेल केले गेले. याला मोठ्या प्रमाणात डिस्टिलेशन हल्ला असे म्हणतात आणि घटना अजूनही चालू असल्याचे म्हटले आहे. सार्वजनिक मूळ कारण अद्याप आलेले नाही. प्रत्युत्तरांमध्ये लोकांना गायब झालेल्या प्रदात्याच्या क्रेडिटची तक्रार करताना दिसले,

2:49 जी त्यांच्या घटनांची नोंद आहे. सूचना प्रत्येक व्यक्तीचे नुकसान किंवा भरपाई स्थापित करत नाही. ऍपलने नुकतेच ओपनकोडला स्थानिक इन्फरन्सशी कसे जोडायचे ते दाखवले होते, आणि आता त्याचे नाव सुरक्षा चेतावणीच्या शेजारी आहे. उत्पादनाचे नाव अनेक भिन्न विश्वास मर्यादा कव्हर करते. कन्सोल वापरकर्त्यांनी अधिकृत सूचना वाचावी आणि प्रदात्याचा वापर तपासावा. जर तुम्ही प्रभावित असाल, तर दुरुस्ती सूचनांचे पालन करा आणि कनेक्टेड क्रेडेंशियल्सचे पुनरावलोकन करा. ही सूचना आपल्याला एक विशिष्ट होस्ट केलेला कन्सोल स्कोप देते. प्रत्येक स्थानिक इंस्टॉलेशनमध्ये हॅक झाल्याचा कोणताही पुरावा येथे दिलेला नाही.

### ओपनकोडने रात्रीतून कोणाला प्रभावित केले असे म्हटले आहे?

3:13 येथे कनेक्शन आहे. ऍपलच्या लेखात ओपनकोडला त्याच्या स्थानिक मॉडेल सर्व्हरसाठी क्लायंट म्हणून नाव दिले आहे. तेच कोडिंग इंटरफेस खूप भिन्न इन्फ्रास्ट्रक्चरच्या समोर असू शकते. हे चार मॅक काय देतात यावर उत्तर देते. क्षमता आणि तुम्ही प्रशासकीय नियंत्रण करू शकता अशी इन्फरन्स सीमा. त्या सीमेभोवतीच्या सेवांना अजूनही स्वतःच्या पुनरावलोकनाची आवश्यकता आहे. माझा खरेदीचा नियम सोपा आहे. मॉडेल फिट होते हे सिद्ध करा, संपूर्ण कार्य मोजा आणि क्रेडेंशियल असलेल्या प्रत्येक सेवेची तपासणी करा. ऍपलचा निकाल मोठ्या स्थानिक इन्फरन्सला अधिक व्यावहारिक बनवतो,

3:38 तर पाईपलाईन चाचणी स्पष्ट करते की हार्डवेअर जोडल्याने निराशा का होऊ शकते. तुमची स्वीकृती चाचणी खरेदी ऑर्डरच्या शेजारी असावी. तुम्हाला हे ऐकण्याऐवजी वाचायला आवडत असेल, तर द डेली डिफ तुमच्या इनबॉक्समध्ये दररोज सकाळी मोफत येते, daily diff dot dev वर, लिंक खाली आहे. तर आजचा निकाल NEEDS REVIEW आहे. क्लस्टर खरेदी करण्यापूर्वी मी माझा वास्तविक वर्कलोड मोजेन. सबस्क्राईब करा, बेल दाबा आणि तुम्ही याला वेगळ्या पद्धतीने शिक्का मारला असता का ते मला कमेंट्समध्ये सांगा.

### स्थानिक इन्फरन्स तुमच्या नियंत्रणाखाली काय आणते?

4:02 आणि आजसाठी एवढेच. मी ऍक्सरिसीमधून निको आहे. जबाबदारीने विलीन करा. That answers what four Macs buy. Capacity, and an inference boundary you can administer. Services around that boundary still deserve their own review. My buying rule is simple. Prove the model fits, measure the whole task, and check every service holding a

4:23 credential. Apple's result makes large local inference more practical, while the pipeline test explains why adding hardware can disappoint. Your acceptance test belongs beside the purchase order. If you'd rather read this than hear me say it, the diff lands in your inbox every morning, free at the daily diff dot dev, link below.

### मी चार-मॅक क्लस्टर खरेदी करेन का?

4:40 So today's verdict is NEEDS REVIEW. I'd measure my real workload before buying the cluster. Subscribe, hit the bell, and tell me in the comments if you'd have stamped it differently. And that's the diff for today. I'm Niko from Axrisi. Merge responsibly.

## स्रोत

- [Local and Distributed Large LLM Inference with MLX and RDMA on Mac Studio](https://machinelearning.apple.com/research/mlx-distributed-inference) — Apple Machine Learning Research
- [A benchmark map of the US economy](https://www.mercor.com/research/labor-index/benchmark-map/) — Mercor
- [Benchmark Map methodology and expert review](https://www.mercor.com/research/labor-index/benchmark-map/methodology/) — Mercor
- [Edited security-breach notice with Console scope](https://x.com/opencode/status/2111519637049319818) — OpenCode
- [Reader questions mixed benchmark precision formats](https://news.ycombinator.com/item?id=50119761) — Hacker News · peri-cl (reader opinion)
- [User reports vanished provider credit (unverified loss claim)](https://x.com/KingOKings/status/2111517723109015607) — Amruth Pillai on X