Apple MLX वितरित अनुमान: मॉडल क्षमता, गति और विश्वास सीमाएं

इस वीडियो में क्या शामिल है

• मॉडल वेट और अनुमान कार्यक्षेत्र दोनों मेमोरी का उपभोग करते हैं; अकेले मॉडल का वेट फुटप्रिंट आवश्यक क्षमता को कम करके आंक सकता है।
• पाइपलाइन समानांतरता लगातार परतों को वितरित करती है, जबकि टेंसर समानांतरता प्रत्येक परत के भीतर काम को विभाजित करती है और लगातार कम-विलंबता संचार की आवश्यकता होती है।
• Apple 8,192-टोकन संदर्भ के साथ चार M5 Ultra Mac Studio पर प्रति सेकंड 36 से अधिक टोकन की रिपोर्ट करता है; केबल तुलना 65,536-टोकन संदर्भ पर पहले-टोकन के इंतजार से संबंधित है।
• Mercor का 90% कार्य-घंटों का निष्कर्ष इसके चयनित बेंचमार्क सूचकांक में बहुत कम या कोई कवरेज नहीं होने का वर्णन करता है। यह 90% मॉडल विफलता दर स्थापित नहीं करता है।
• OpenCode की संपादित सूचना बाहरी प्रदाताओं से जुड़े कंसोल उपयोगकर्ताओं के एक उपसमुच्चय का वर्णन करती है। सार्वजनिक सूचना प्रत्येक स्थानीय स्थापना के समझौते को स्थापित नहीं करती है।
• स्थानीय मॉडल सेटअप को पूर्ण गोपनीयता या लागत समाधान मानने से पहले अपने वास्तविक कार्यभार का परीक्षण करें और क्रेडेंशियल-धारक सेवाओं की समीक्षा करें।

अनुवादित प्रतिलेख

मूल अंग्रेजी कथन से अनुवादित। उपलब्ध ऑडियो और कैप्शन YouTube द्वारा नियंत्रित होते हैं।

दो Macs एक ही गति पर क्यों रह सकते हैं?

0:00 आपको उम्मीद होगी कि दो Macs आपकी AI को दोगुनी तेजी से बना देंगे। Apple के अपने परीक्षण दिखाते हैं कि जनरेशन की गति लगभग अपरिवर्तित रह सकती है। इस वीडियो में, चार Macs क्या खरीदते हैं? बेंचमार्क क्या छूट जाते हैं? एक कोडिंग टूल हार्डवेयर को रातोंरात उल्लंघन से जोड़ता है। हम इस पर वापस आएंगे। शनिवार, सत्रह अक्टूबर के लिए, यह The Daily Diff है। MLX Apple सिलिकॉन पर मशीन लर्निंग के लिए Apple का ओपन सोर्स ऐरे फ्रेमवर्क है।

0:22 इसका नया परीक्षण चार Mac Studio पर मेटा के Muse Spark Open को चलाता है। यह एकीकृत मेमोरी का उपयोग करता है, जिसे CPU और GPU साझा करते हैं। Apple ने इसे पंद्रह अक्टूबर को प्रकाशित किया था। Mercor ने AI बेंचमार्क मुश्किल से मापते काम को मैप किया। हम सत्रह अक्टूबर संस्करण को कवर कर रहे हैं, OpenCode Console के बारे में रातोंरात अठारह अक्टूबर अपडेट के साथ। असुविधाजनक बात से शुरू करते हैं।

मॉडल को एक से अधिक Mac की आवश्यकता क्यों है?

0:41 Apple का Muse Spark Open परीक्षण केवल चार-बिट मॉडल के लिए लगभग पांच सौ गीगाबाइट का उपयोग करता है। एक सिंगल Mac Studio पांच सौ बारह गीगाबाइट पर शीर्ष पर आता है, और अनुमान को भी काम करने वाली मेमोरी की आवश्यकता होती है। आपकी एक भी जुराब पैक करने से पहले ही वजन लगभग सूटकेस भर देता है। अधिक मशीनें मॉडल को फिट करती हैं। पाइपलाइन समानांतरता मॉडल को इसकी परतों के माध्यम से काटती है। Mac A शुरुआती परतें करता है, फिर बाद की परतों के लिए मध्यवर्ती परिणाम Mac B को भेजता है। एक उत्पन्न टोकन के लिए, वे कदम अभी भी क्रम में होते हैं। Apple के माप दिखाते हैं कि डीकोड की गति एक ही मशीन के समान ही रहती है।

1:05 आपने एक दूसरा रसोइया रखा है, और उन्हें वही सैंडविच दिया है। Hacker News पर, एक डेवलपर ने सवाल उठाया कि Apple की तालिका ने Qwen मॉडल के साथ चार-बिट मेटा मॉडल का उपयोग क्यों किया, जबकि Qwen मॉडल अपनी मूल सटीकता पर था। Apple की तालिका स्वरूपों को बताती है, इसलिए खरीदारी करने से पहले फुटनोट पढ़ें। स्लाइड डेक बेंचमार्क अजेय रहते हैं। टेंसर समानांतरता इसके बजाय प्रत्येक परत में कटौती करती है। कई Macs एक साथ एक ही परत के टुकड़ों पर काम करते हैं, फिर अपने परिणामों को जोड़ते हैं। यह जनरेशन को तेज कर सकता है, लेकिन मशीनें बार-बार संवाद करती हैं। Apple Thunderbolt पर कम विलंबता रिमोट मेमोरी एक्सेस का उपयोग करता है।

1:29 एक केबल के लिए एक साहसिक कैरियर चाल।

Thunderbolt Macs को एक साथ काम करने में कैसे मदद करता है?

1:32 सुर्खियों में रहने वाला परिणाम चार M5 Ultra Mac Studio से प्रति सेकंड छत्तीस टोकन से अधिक है, जिसमें लगभग आठ हजार टोकन का संदर्भ है। Apple ने इसे स्वयं मापा। लंबे संकेत कहानी बदल देते हैं। एक बड़े संदर्भ परीक्षण में, प्रति लिंक दो केबलों ने पहले टोकन के इंतजार को लगभग दस सेकंड कम कर दिया। एक स्थानीय मॉडल आपको संकेतों के आसपास एक उपयोगी सीमा देता है, बशर्ते आपका वास्तविक सेटअप उन्हें स्थानीय रखता हो। Apple ने होस्ट किए गए API के खिलाफ एक सार्वभौमिक ब्रेक-ईवन मूल्य प्रदान नहीं किया है। यह उपयोग और आपको आवश्यक मॉडल पर निर्भर करता है। कभी-कभार सवालों का जवाब देने वाली मशीन एक बहुत महंगा डेस्क आभूषण होने में बहुत समय बिताती है।

1:55 उस मॉडल को चुनना आपके काम के लिए एक परीक्षण की आवश्यकता है। Mercor ने अमेरिकी नौकरियों की वर्गीकरण पर उनतीस बेंचमार्क को मैप किया। इसका सूचकांक लगभग उन्नीस हजार में से लगभग नौ सौ कार्यों को कवर करता है। मैप का अनुमान है कि नब्बे प्रतिशत कार्य-घंटों में बहुत कम या कोई बेंचमार्क कवरेज नहीं है। यह परीक्षा पत्र पर एक विशाल खाली जगह है। Mercor का नक्शा कवरेज को मापता है। एक खाली व्यवसाय में मुश्किल से परीक्षण किए गए कार्य होते हैं; मॉडल क्षमता एक खुला प्रश्न बनी हुई है। मैपिंग ने Mercor के अपने बेंचमार्क संकेतों के एक उपसमुच्चय पर मानव समीक्षा के साथ एक AI मॉडल का उपयोग किया।

2:17 समीक्षकों ने इसके पहले विकल्पों के लगभग तीन-चौथाई स्वीकार किए। ग्रेडिंग प्रणाली को अपनी ग्रेडिंग प्रणाली की आवश्यकता है, स्वाभाविक रूप से।

AI बेंचमार्क वास्तव में किस काम को कवर करते हैं?

2:21 तो अगर आप अपनी नौकरी के बारे में चिंतित हैं, तो एक लीडरबोर्ड तर्क को सुलझा नहीं सकता है। यदि आप एक कोडिंग सहायक खरीद रहे हैं, तो अपने स्वयं के स्वीकृति जांच के साथ एक वास्तविक कार्य को फिर से चलाएं। उपयोगी काम में डेमो के बाद अजीबोगरीब बिट्स शामिल हैं। कोई भी इसलिए पदोन्नत नहीं होता क्योंकि चैटबॉट ने गलत स्प्रेडशीट आत्मविश्वास से पूरी कर ली थी। जो हमें रातोंरात अपडेट पर लाता है। OpenCode का कहना है कि एक सुरक्षा उल्लंघन ने कंसोल उपयोगकर्ताओं के एक दशमलव चार प्रतिशत को प्रभावित किया। इसकी संपादित सूचना इसे बाहरी प्रदाताओं से जुड़े एक उपसमुच्चय तक सीमित करती है, और कहती है कि प्रभावित उपयोगकर्ताओं को ईमेल किया गया था। यह इसे एक बड़े पैमाने पर आसवन हमला कहता है, और कहता है कि घटना जारी है।

2:49 एक सार्वजनिक मूल कारण अभी तक नहीं आया है। जवाबों में ऐसे लोग शामिल हैं जो गायब प्रदाता क्रेडिट की रिपोर्ट कर रहे हैं, जो घटनाओं का उनका खाता है। सूचना प्रत्येक व्यक्ति के नुकसान या मुआवजे को स्थापित नहीं करती है। Apple ने अभी-अभी दिखाया था कि OpenCode को स्थानीय अनुमान से कैसे जोड़ा जाए, और अब इसका नाम एक सुरक्षा चेतावनी के बगल में है। उत्पाद का नाम कई अलग-अलग विश्वास सीमाओं को कवर करता है। कंसोल उपयोगकर्ताओं को आधिकारिक सूचना पढ़नी चाहिए और प्रदाता उपयोग की जांच करनी चाहिए। यदि आप प्रभावित हैं, तो उपचारात्मक निर्देशों का पालन करें और जुड़े हुए क्रेडेंशियल्स की समीक्षा करें। यह सूचना हमें एक विशिष्ट होस्टेड कंसोल स्कोप देती है।

OpenCode किसके बारे में कहता है कि रातोंरात प्रभावित हुए?

3:13 यह यहां प्रत्येक स्थानीय स्थापना में समझौते का कोई सबूत प्रदान नहीं करता है। यहां कनेक्शन है। Apple का लेख OpenCode को अपने स्थानीय मॉडल सर्वर के लिए एक क्लाइंट के रूप में नाम देता है। वही कोडिंग इंटरफेस बहुत अलग बुनियादी ढांचे के सामने बैठ सकता है। यह जवाब देता है कि चार Macs क्या खरीदते हैं। क्षमता, और एक अनुमान सीमा जिसे आप प्रशासित कर सकते हैं। उस सीमा के आसपास की सेवाएं अभी भी अपनी समीक्षा के लायक हैं। मेरा खरीदने का नियम सरल है।

3:38 साबित करें कि मॉडल फिट बैठता है, पूरे कार्य को मापें, और एक क्रेडेंशियल रखने वाली हर सेवा की जांच करें। Apple का परिणाम बड़े स्थानीय अनुमान को अधिक व्यावहारिक बनाता है, जबकि पाइपलाइन परीक्षण बताता है कि हार्डवेयर जोड़ने से निराशा क्यों हो सकती है। आपकी स्वीकृति परीक्षा खरीद आदेश के बगल में है। यदि आप मुझे यह कहते हुए सुनने के बजाय इसे पढ़ना पसंद करते हैं, तो diff हर सुबह आपके इनबॉक्स में आता है, daily diff dot dev पर मुफ्त में, लिंक नीचे है। तो आज का फैसला NEEDS REVIEW है। मैं क्लस्टर खरीदने से पहले अपने वास्तविक कार्यभार को मापूंगा। सदस्यता लें, घंटी दबाएं, और मुझे टिप्पणियों में बताएं कि क्या आपने इसे अलग तरह से मुहर लगाया होगा।

स्थानीय अनुमान आपके नियंत्रण में क्या रखता है?

4:02 और आज के लिए यही diff है। मैं Axrisi से निको हूँ। जिम्मेदारी से विलय करें। आपको उम्मीद होगी कि दो Macs आपकी AI को दोगुनी तेजी से बना देंगे। Apple के अपने परीक्षण दिखाते हैं कि जनरेशन की गति लगभग अपरिवर्तित रह सकती है। इस वीडियो में, चार Macs क्या खरीदते हैं? बेंचमार्क क्या छूट जाते हैं? एक कोडिंग टूल हार्डवेयर को रातोंरात उल्लंघन से जोड़ता है।

4:23 हम इस पर वापस आएंगे। शनिवार, सत्रह अक्टूबर के लिए, यह The Daily Diff है। MLX Apple सिलिकॉन पर मशीन लर्निंग के लिए Apple का ओपन सोर्स ऐरे फ्रेमवर्क है। इसका नया परीक्षण चार Mac Studio पर मेटा के Muse Spark Open को चलाता है। यह एकीकृत मेमोरी का उपयोग करता है, जिसे CPU और GPU साझा करते हैं।

क्या मैं चार-Mac क्लस्टर खरीदूंगा?

4:40 Apple ने इसे पंद्रह अक्टूबर को प्रकाशित किया था। Mercor ने AI बेंचमार्क मुश्किल से मापते काम को मैप किया। हम सत्रह अक्टूबर संस्करण को कवर कर रहे हैं, OpenCode Console के बारे में रातोंरात अठारह अक्टूबर अपडेट के साथ। असुविधाजनक बात से शुरू करते हैं। Apple का Muse Spark Open परीक्षण केवल चार-बिट मॉडल के लिए लगभग पांच सौ गीगाबाइट का उपयोग करता है। एक सिंगल Mac Studio पांच सौ बारह गीगाबाइट पर शीर्ष पर आता है, और अनुमान को भी काम करने वाली मेमोरी की आवश्यकता होती है।

स्रोत

1. Local and Distributed Large LLM Inference with MLX and RDMA on Mac StudioApple Machine Learning Research
2. A benchmark map of the US economyMercor
3. Benchmark Map methodology and expert reviewMercor
4. Edited security-breach notice with Console scopeOpenCode
5. Reader questions mixed benchmark precision formatsHacker News · peri-cl (reader opinion)
6. User reports vanished provider credit (unverified loss claim)Amruth Pillai on X