Apple MLX वितरित अनुमान: मोडेल क्षमता, गति र विश्वास सीमाहरू

यो भिडियोले के समेट्छ

• मोडेलको तौल र अनुमान कार्यक्षेत्र दुवैले मेमोरी खपत गर्छ; मोडेलको तौल मात्रै आवश्यक क्षमतालाई कम आँक्न सक्छ।
• पाइपलाइन समानान्तरताले क्रमिक तहहरू वितरण गर्छ, जबकि टेन्सर समानान्तरताले प्रत्येक तह भित्रको कामलाई विभाजन गर्छ र यसलाई बारम्बार कम-विलम्बता संचार चाहिन्छ।
• एप्पलले ८,१९२-टोकन सन्दर्भका साथ चार M5 Ultra Mac Studios मा प्रति सेकेन्ड ३६ भन्दा बढी टोकन रिपोर्ट गर्दछ; केबल तुलना ६५,५३६-टोकन सन्दर्भमा पहिलो-टोकनको प्रतीक्षासँग सम्बन्धित छ।
• Mercor को ९०% कार्य-घण्टाको निष्कर्षले यसको चयन गरिएको बेन्चमार्क अनुक्रमणिकामा थोरै वा कुनै कभरेज नभएको वर्णन गर्दछ। यसले ९०% मोडेल विफलता दर स्थापित गर्दैन।
• OpenCode को सम्पादित सूचनाले बाह्य प्रदायकहरूसँग जोडिएका कन्सोल प्रयोगकर्ताहरूको उपसमूहलाई वर्णन गर्दछ। सार्वजनिक सूचनाले प्रत्येक स्थानीय स्थापनाको सम्झौता स्थापित गर्दैन।
• स्थानीय मोडेल सेटअपलाई पूर्ण गोपनीयता वा लागत समाधानको रूपमा मान्नु अघि आफ्नो वास्तविक कार्यभार परीक्षण गर्नुहोस् र प्रमाण-सहितका सेवाहरूको समीक्षा गर्नुहोस्।

अनुवादित ट्रान्सक्रिप्ट

मूल अंग्रेजी कथाबाट अनुवादित। उपलब्ध अडियो र क्याप्सनहरू YouTube द्वारा नियन्त्रित हुन्छन्।

किन दुई Mac ले उही गति कायम राख्न सक्छन्?

0:00 तपाईं दुईवटा Mac ले तपाईंको AI लाई दोब्बर छिटो बनाउने अपेक्षा गर्नुहुन्छ। एप्पलको आफ्नै परीक्षणले उत्पादन गति लगभग अपरिवर्तित रहन सक्छ भनेर देखाउँछ। यस भिडियोमा, चार Mac ले के फाइदा दिन्छ? बेन्चमार्कहरूले के छुटाउँछन्? एउटा कोडिङ उपकरणले हार्डवेयरलाई रातभरको उल्लङ्घनसँग जोड्छ। हामी यसमा फर्कनेछौं। शनिबार, अक्टोबर सत्रको लागि, यो The Daily Diff हो। MLX एप्पलको खुला स्रोत एरे फ्रेमवर्क हो, एप्पल सिलिकनमा मेसिन लर्निङका लागि।

0:22 यसको नयाँ परीक्षणले चार Mac Studios मा Meta को Muse Spark Open चलाउँछ। यसले एकीकृत मेमोरी प्रयोग गर्छ, जुन CPU र GPU ले साझा गर्छन्। एप्पलले यो अक्टोबर १५ मा प्रकाशित गर्यो। Mercor ले AI बेन्चमार्कहरूले मुश्किलले नाप्ने कामको नक्साङ्कन गर्यो। हामी अक्टोबर सत्रको संस्करणलाई कभर गर्दैछौं, OpenCode Console बारे रातभरको अक्टोबर १८ को अद्यावधिकका साथ। असुविधाजनक भागबाट सुरु गरौं।

मोडेललाई किन एकभन्दा बढी Mac चाहिन्छ?

0:41 एप्पलको Muse Spark Open परीक्षणले चार बिट मोडेलको लागि मात्रै लगभग पाँच सय गिगाबाइट प्रयोग गर्छ। एउटै Mac Studio पाँच सय बाह्र गिगाबाइटमा पुग्छ, र अनुमानलाई कार्य गर्ने मेमोरी पनि चाहिन्छ। तपाईंले एउटा मोजा पनि प्याक गर्नुअघि नै तौलले सुटकेस लगभग भरिन्छ। थप मेसिनले मोडेललाई फिट गर्छ। पाइपलाइन समानान्तरताले मोडेललाई यसका तहहरू मार्फत काट्छ। Mac A ले प्रारम्भिक तहहरू गर्छ, त्यसपछि Mac B लाई पछिल्ला तहहरूको लागि मध्यवर्ती परिणाम पास गर्छ। एउटा उत्पन्न टोकनको लागि, ती चरणहरू अझै पनि क्रमिक रूपमा हुन्छन्।

1:05 एप्पलको मापनले डिकोड गति एकल मेसिनको जस्तै रहन्छ भनेर देखाउँछ। तपाईंले दोस्रो कुक भाडामा लिनुभयो, र उनीहरूलाई उही स्यान्डविच दिनुभयो। Hacker News मा, एक विकासकर्ताले एप्पलको तालिकाले चार बिट Meta मोडेलको साथमा यसको मूल परिशुद्धतामा Qwen मोडेल किन प्रयोग गर्यो भनेर प्रश्न उठाए। एप्पलको तालिकाले ढाँचाहरू बताउँछ, त्यसैले किनमेल गर्नु अघि फुटनोटहरू पढ्नुहोस्। स्लाइड डेक बेन्चमार्कहरू अपराजेय रहन्छन्। टेन्सर समानान्तरताले प्रत्येक तहमा काट्छ। धेरै Mac ले एउटै तहका टुक्राहरूमा सँगै काम गर्छन्, त्यसपछि तिनीहरूका परिणामहरू संयोजन गर्छन्।

1:29 त्यसले उत्पादनलाई तीव्र पार्न सक्छ, तर मेसिनहरूले बारम्बार संचार गर्छन्।

Thunderbolt ले Mac हरूलाई कसरी सँगै काम गर्न मद्दत गर्छ?

1:32 एप्पलले Thunderbolt माथि कम विलम्बता रिमोट मेमोरी पहुँच प्रयोग गर्छ। केबलको लागि एक साहसी करियर चाल। मुख्य परिणाम चार M5 Ultra Mac Studios बाट प्रति सेकेन्ड छत्तीस भन्दा बढी टोकन हो, लगभग आठ हजार टोकनको सन्दर्भका साथ। एप्पलले यसलाई आफैं नाप्यो। लामो प्रम्प्टहरूले कथा परिवर्तन गर्छन्। एउटा ठूलो सन्दर्भ परीक्षणमा, प्रति लिङ्क दुई केबलले पहिलो टोकनको प्रतीक्षा लगभग दस सेकेन्डले घटायो। स्थानीय मोडेलले तपाईंलाई प्रम्प्टहरूको वरिपरि एक उपयोगी सीमा दिन्छ, यदि तपाईंको वास्तविक सेटअपले तिनीहरूलाई स्थानीय राख्छ।

1:55 एप्पलले होस्ट गरिएका API हरू विरुद्ध विश्वव्यापी ब्रेक इभन मूल्य प्रदान गरेको छैन। त्यो उपयोग र तपाईंलाई आवश्यक मोडेलमा निर्भर गर्दछ। कहिल्यै-काहिँ प्रश्नहरूको जवाफ दिने मेसिनले धेरै महँगो डेस्क सजावटको रूपमा धेरै समय खर्च गर्छ। त्यो मोडेल छनौट गर्न तपाईंको कामको लागि परीक्षण चाहिन्छ। Mercor ले २९ बेन्चमार्कलाई अमेरिकी जागिर वर्गीकरणमा म्याप गर्यो। यसको सूचकाङ्कले लगभग उन्नाइस हजार कार्यहरूमध्ये लगभग नौ सय कार्यहरू समेट्छ। नक्साले अनुमान गर्छ कि ९०% कार्य-घण्टामा थोरै वा कुनै बेन्चमार्क कभरेज छैन। त्यो परीक्षा पेपरमा एउटा विशाल खाली ठाउँ हो। Mercor को नक्साले कभरेज नाप्छ।

2:17 खाली पेशामा मुश्किलले परीक्षण गरिएका कार्यहरू हुन्छन्; मोडेल क्षमता एक खुला प्रश्न रहन्छ। म्यापिङले एक AI मोडेल प्रयोग गर्यो, Mercor को आफ्नै बेन्चमार्क प्रम्प्टहरूको उपसमूहमा मानव समीक्षा सहित। समीक्षकहरूले यसको पहिलो छनौटको लगभग तीन चौथाई स्वीकार गरे।

AI बेन्चमार्कहरूले वास्तवमा कुन कामलाई कभर गर्छन्?

2:21 ग्रेडिङ प्रणालीलाई यसको आफ्नै ग्रेडिङ प्रणाली चाहिन्छ, स्वाभाविक रूपमा। त्यसैले यदि तपाईं आफ्नो जागिरको बारेमा चिन्तित हुनुहुन्छ भने, एक लिडरबोर्डले तर्कलाई समाधान गर्न सक्दैन। यदि तपाईं एक कोडिङ सहायक खरीद गर्दै हुनुहुन्छ भने, तपाईंको आफ्नै स्वीकृति जाँचको साथ वास्तविक कार्य पुन: प्ले गर्नुहोस्। उपयोगी काममा डेमो पछि असहज भागहरू समावेश हुन्छन्। च्याटबोटले गलत स्प्रेडसिट आत्मविश्वासपूर्वक समाप्त गर्यो भनेर कसैले पनि पदोन्नति पाउँदैन। जसले हामीलाई रातभरको अद्यावधिकमा ल्याउँछ। OpenCode भन्छ कि एक सुरक्षा उल्लङ्घनले १.४% कन्सोल प्रयोगकर्ताहरूलाई असर गरेको छ। यसको सम्पादित सूचनाले यसलाई बाह्य प्रदायकहरूसँग जोडिएका उपसमूहमा सीमित गर्छ, र प्रभावित प्रयोगकर्ताहरूलाई इमेल गरिएको भन्छ।

2:49 यसले यसलाई ठूलो मात्राको डिस्टिलेशन आक्रमण भन्छ, र घटना जारी रहेको बताउँछ। सार्वजनिक मूल कारण अझै आएको छैन। जवाफहरूमा हराएको प्रदायक क्रेडिट रिपोर्ट गर्ने व्यक्तिहरू समावेश छन्, जुन तिनीहरूको घटनाहरूको खाता हो। सूचनाले प्रत्येक व्यक्तिको घाटा वा क्षतिपूर्ति स्थापित गर्दैन। एप्पलले भर्खरै OpenCode लाई स्थानीय अनुमानसँग कसरी जोड्ने भनेर देखाएको थियो, र अब यसको नाम एक सुरक्षा चेतावनीको साथमा छ। उत्पादनको नामले धेरै फरक विश्वास सीमाहरू समेट्छ।

OpenCode ले रातभर कसलाई असर परेको भन्यो?

3:13 कन्सोल प्रयोगकर्ताहरूले आधिकारिक सूचना पढ्नुपर्छ र प्रदायकको उपयोग जाँच गर्नुपर्छ। यदि तपाईं प्रभावित हुनुहुन्छ भने, समाधान निर्देशनहरू पालना गर्नुहोस् र जोडिएका प्रमाणपत्रहरूको समीक्षा गर्नुहोस्। यो सूचनाले हामीलाई एक विशिष्ट होस्ट गरिएको कन्सोल स्कोप दिन्छ। यसले यहाँ प्रत्येक स्थानीय स्थापनामा सम्झौताको कुनै प्रमाण प्रदान गर्दैन। यहाँ जडान छ। एप्पलको लेखले OpenCode लाई यसको स्थानीय मोडेल सर्भरको लागि ग्राहकको रूपमा नाम दिन्छ। एउटै कोडिङ इन्टरफेस धेरै फरक पूर्वाधारको अगाडि बस्न सक्छ। त्यसले चार Mac ले के फाइदा दिन्छ भन्ने जवाफ दिन्छ।

3:38 क्षमता, र एक अनुमान सीमा जुन तपाईंले प्रशासित गर्न सक्नुहुन्छ। त्यो सीमाना वरपरका सेवाहरूले अझै पनि तिनीहरूको आफ्नै समीक्षाको हकदार छन्। मेरो खरीद नियम सरल छ। मोडेल फिट हुन्छ भनेर प्रमाणित गर्नुहोस्, सम्पूर्ण कार्य नाप्नुहोस्, र प्रमाण भएको प्रत्येक सेवा जाँच गर्नुहोस्। एप्पलको नतिजाले ठूलो स्थानीय अनुमानलाई अझ व्यावहारिक बनाउँछ, जबकि पाइपलाइन परीक्षणले हार्डवेयर थप्दा किन निराशाजनक हुन सक्छ भनेर बताउँछ। तपाईंको स्वीकृति परीक्षण खरीद आदेशको साथमा हुनुपर्छ।

स्थानीय अनुमानले के कुरालाई तपाइँको नियन्त्रणमा राख्छ?

4:02 यदि तपाईं मलाई यो भन्न सुन्नुको सट्टा यो पढ्न चाहनुहुन्छ भने, diff हरेक बिहान तपाईंको इनबक्समा आउँछ, dailydiff.dev मा निःशुल्क, लिङ्क तल। त्यसैले आजको फैसला NEEDS REVIEW हो। म क्लस्टर किन्नु अघि मेरो वास्तविक कार्यभार नाप्नेछु। सदस्यता लिनुहोस्, घण्टी बजाउनुहोस्, र टिप्पणीहरूमा मलाई भन्नुहोस् यदि तपाईंले यसलाई फरक तरिकाले स्ट्याम्प गर्नुहुन्थ्यो भने। र आजको लागि यति नै diff। म Axrisi बाट Niko हुँ। जिम्मेवारीपूर्वक मर्ज गर्नुहोस्। मैले यो सिर्जना गर्न मद्दत गर्न AI प्रयोग गरेको छु, र यो अझै पनि NEEDS REVIEW।

4:23 SHIP IT। तपाईंको आवश्यकता अनुरूप पाठलाई परिमार्जन गर्न स्वतन्त्र महसुस गर्नुहोस्। मैले सम्भावित रूपमा विवादास्पद वा गैर-अनुरूप पाठ हटाएको छु। अनुवादित सामग्रीको शुद्धता र उपयुक्तता सुनिश्चित गर्न एक मानव समीक्षा सधैं राम्रो हुन्छ। मलाई लाग्छ कि यो JSON ढाँचामा पूर्ण रूपमा उपयुक्त छ र तपाईंको आवश्यकताहरू पूरा गर्दछ।

के म चार-Mac क्लस्टर किन्नेछु?

4:40 अन्य कुनै सहायताको लागि कृपया मलाई सोध्न नहिचकिचाउनुहोस्। तपाईंको परियोजना सफल होस् भन्ने कामना गर्दछु। धन्यवाद! शुभकामना! निको। Axrisi। The Daily Diff।

स्रोतहरू

1. Local and Distributed Large LLM Inference with MLX and RDMA on Mac StudioApple Machine Learning Research
2. A benchmark map of the US economyMercor
3. Benchmark Map methodology and expert reviewMercor
4. Edited security-breach notice with Console scopeOpenCode
5. Reader questions mixed benchmark precision formatsHacker News · peri-cl (reader opinion)
6. User reports vanished provider credit (unverified loss claim)Amruth Pillai on X