Apple MLX განაწილებული ინფერენცია: მოდელის შესაძლებლობები, სიჩქარე და ნდობის საზღვრები

რას მოიცავს ეს ვიდეო

• მოდელის წონა და ინფერენციის სამუშაო სივრცე ორივე მოიხმარს მეხსიერებას; მოდელის წონის კვალიც კი შეიძლება იყოს არასაკმარისი საჭირო სიმძლავრის შესაფასებლად.
• მილსადენის პარალელიზმი ანაწილებს თანმიმდევრულ ფენებს, ხოლო ტენზორული პარალელიზმი ყოფს მუშაობას თითოეულ ფენაში და საჭიროებს ხშირ დაბალ დაყოვნების კომუნიკაციას.
• Apple იუწყება 36-ზე მეტი ტოკენის წამში ოთხ M5 Ultra Mac Studio-ზე 8,192-ტოკენიანი კონტექსტით; კაბელის შედარება ეხება პირველი ტოკენის ლოდინის დროს 65,536-ტოკენიანი კონტექსტისას.
• Mercor-ის 90%-იანი სამუშაო საათების დასკვნა აღწერს მცირე ან საერთოდ არარსებულ დაფარვას მის შერჩეულ ბენჩმარკ ინდექსში. ის არ ადგენს მოდელის 90%-იან მარცხის მაჩვენებელს.
• OpenCode-ის რედაქტირებული შეტყობინება აღწერს Console-ის მომხმარებელთა ქვეჯგუფს დაკავშირებული გარე პროვაიდერებით. საჯარო შეტყობინება არ ადგენს ყველა ლოკალური ინსტალაციის კომპრომეტირებას.
• შეამოწმეთ თქვენი რეალური სამუშაო და გადახედეთ სერვისებს, რომლებიც შეიცავს სერთიფიკატებს, სანამ ლოკალური მოდელის დაყენებას სრულ კონფიდენციალურობის ან ღირებულების გადაწყვეტად მიიღებთ.

ნათარგმნი ტრანსკრიპტი

ნათარგმნია ორიგინალური ინგლისური ნარატივიდან. ხელმისაწვდომი აუდიო და სუბტიტრები კონტროლდება YouTube-ის მიერ.

რატომ შეუძლია ორ Mac-ს ერთნაირი სიჩქარის შენარჩუნება?

0:00 თქვენ მოელოდით, რომ ორი Mac თქვენს AI-ს ორჯერ უფრო სწრაფს გახდიდა. Apple-ის საკუთარი ტესტები აჩვენებს, რომ გენერაციის სიჩქარე შეიძლება თითქმის უცვლელი დარჩეს. ამ ვიდეოში, რას ყიდულობს ოთხი Mac? რას აკლია ბენჩმარკებს? ერთი კოდირების ინსტრუმენტი აკავშირებს აპარატურას ღამის დარღვევასთან. ამას დავუბრუნდებით. შაბათისთვის, ჩვიდმეტი ოქტომბრისთვის, ეს არის The Daily Diff. MLX არის Apple-ის ღია კოდის მასივის ჩარჩო მანქანური სწავლებისთვის Apple

0:22 სილიკონზე. მისი ახალი ტესტი აწარმოებს Meta-ს Muse Spark Open-ს ოთხ Mac Studio-ზე. ის იყენებს გაერთიანებულ მეხსიერებას, რომელსაც CPU და GPU იზიარებენ. Apple-მა ეს გამოაქვეყნა თხუთმეტი ოქტომბერს. Mercor-მა აკუმშა ის სამუშაო, რასაც AI ბენჩმარკები ძლივს ზომავს. ჩვენ ვაშუქებთ ჩვიდმეტი ოქტომბრის გამოცემას, ღამის თვრამეტი ოქტომბრის განახლებით OpenCode Console-ის შესახებ.

რატომ სჭირდება მოდელს ერთზე მეტი Mac?

0:41 დავიწყოთ მოუხერხებელი ნაწილით. Apple-ის Muse Spark Open ტესტი დაახლოებით ხუთას გიგაბაიტს იყენებს მხოლოდ ოთხი ბიტიანი მოდელისთვის. ერთ Mac Studio-ს მაქსიმუმ ხუთას თორმეტი გიგაბაიტი აქვს, და ინფერენციას სამუშაო მეხსიერებაც სჭირდება. წონები თითქმის ავსებს ჩემოდანს, სანამ ერთ წინდას ჩაალაგებ. მეტი მანქანა მოდელს ჯდება. მილსადენის პარალელიზმი მოდელს ფენების მეშვეობით ჭრის. Mac A აკეთებს ადრეულ ფენებს, შემდეგ გადასცემს შუალედურ შედეგს Mac B-ს

1:05 მოგვიანებით ფენებისთვის. ერთი გენერირებული ტოკენისთვის, ეს ნაბიჯები მაინც თანმიმდევრობით ხდება. Apple-ის გაზომვები აჩვენებს, რომ დეკოდირების სიჩქარე ძალიან ჰგავს ერთ მანქანას. თქვენ დაიქირავეთ მეორე მზარეული და მიეცით მათ იგივე სენდვიჩი. Hacker News-ზე ერთმა დეველოპერმა იკითხა, რატომ გამოიყენა Apple-ის ცხრილში ოთხბიტიანი Meta მოდელი Qwen მოდელის გვერდით მშობლიურ სიზუსტეში. Apple-ის ცხრილი აჩვენებს ფორმატებს, ამიტომ წაიკითხეთ სქოლიოები შოპინგამდე. სლაიდშოუს ბენჩმარკები დაუმარცხებელი რჩება.

1:29 ტენზორული პარალელიზმი კი პირიქით, თითოეულ ფენაზე კვეთს.

როგორ ეხმარება Thunderbolt Mac-ებს ერთად მუშაობაში?

1:32 მრავალი Mac ერთად მუშაობს ერთი და იმავე ფენის ნაწილებზე, შემდეგ აერთიანებს მათ შედეგებს. ამან შეიძლება დააჩქაროს გენერაცია, მაგრამ მანქანები მუდმივად ურთიერთობენ. Apple იყენებს დაბალი დაყოვნების დისტანციურ მეხსიერებაზე წვდომას Thunderbolt-ის საშუალებით. თამამი კარიერული ნაბიჯი კაბელისთვის. სათაურის შედეგი არის ოცდაექვს ტოკენზე მეტი წამში ოთხი M5 Ultra Mac Studio-დან, დაახლოებით რვა ათასი ტოკენის კონტექსტით. Apple-მა თავად გაზომა.

1:55 უფრო გრძელი მოთხოვნები ცვლის ამბავს. ერთ დიდ კონტექსტურ ტესტში, ორმა კაბელმა თითოეულ ბმულზე შეამცირა პირველი ტოკენის ლოდინი დაახლოებით ათი წამით. ლოკალური მოდელი გაძლევთ სასარგებლო საზღვარს მოთხოვნების გარშემო, იმ პირობით, რომ თქვენი რეალური დაყენება მათ ლოკალურად ინახავს. Apple-ს არ მიუწოდებია უნივერსალური ზღვრული ფასი ჰოსტირებული API-ების წინააღმდეგ. ეს დამოკიდებულია გამოყენებაზე და მოდელზე, რომელიც გჭირდებათ. მანქანა, რომელიც შემთხვევით კითხვებს პასუხობს, დიდ დროს ატარებს, როგორც ძალიან

2:17 ძვირადღირებული სამუშაო მაგიდის ორნამენტი. ამ მოდელის არჩევა თქვენი მუშაობისთვის ტესტს მოითხოვს.

რა სამუშაოს მოიცავს AI ბენჩმარკები რეალურად?

2:21 Mercor-მა ოცდაცხრა ბენჩმარკი მოახდინა ამერიკული სამუშაოების ტაქსონომიაზე. მისი ინდექსი მოიცავს დაახლოებით ცხრაას ამოცანას თითქმის ცხრამეტი ათასიდან. რუკა შეფასებით აჩვენებს, რომ სამუშაო საათების ოთხმოცდაათ პროცენტს მცირე ან საერთოდ არ აქვს ბენჩმარკის დაფარვა. ეს არის გიგანტური ცარიელი ადგილი საგამოცდო ფურცელზე. Mercor-ის რუკა ზომავს დაფარვას. ცარიელ პროფესიას ძლივს შემოწმებული ამოცანები აქვს; მოდელის შესაძლებლობა ღია კითხვად რჩება. რუკისთვის გამოყენებულია AI მოდელი, ადამიანის მიმოხილვით Mercor-ის საკუთარი ბენჩმარკის მოთხოვნების ქვეჯგუფზე.

2:49 მიმომხილველებმა მიიღეს მისი პირველი არჩევანის დაახლოებით სამი მეოთხედი. შეფასების სისტემას საკუთარი შეფასების სისტემა სჭირდება, ბუნებრივია. ასე რომ, თუ თქვენს სამუშაოზე ღელავთ, ლიდერბორდი ვერ გადაწყვეტს კამათს. თუ თქვენ ყიდულობთ კოდირების ასისტენტს, გაიმეორეთ რეალური ამოცანა თქვენი საკუთარი მიღების შემოწმებით. სასარგებლო სამუშაო მოიცავს მოუხერხებელ ნაწილებს დემოს შემდეგ. არავინ დაწინაურდება იმიტომ, რომ ჩეთბოტმა თავდაჯერებულად დაასრულა არასწორი ცხრილი. რაც მიგვიყვანს ღამის განახლებასთან.

ვისზე ამბობს OpenCode, რომ დაზარალდა ღამით?

3:13 OpenCode ამბობს, რომ უსაფრთხოების დარღვევამ დააზარალა Console-ის მომხმარებლების ერთ წერტილ ოთხი პროცენტი. მის რედაქტირებულ შეტყობინებაში ეს ვიწროვდება გარე პროვაიდერებთან დაკავშირებული ქვეჯგუფზე, და ნათქვამია, რომ დაზარალებულ მომხმარებლებს ელფოსტა გაეგზავნათ. მას უწოდებენ მასშტაბურ დისტილაციის შეტევას და ამბობენ, რომ ინციდენტი მიმდინარეობს. საჯარო ძირეული მიზეზი ჯერ არ მოსულა. პასუხები მოიცავს ადამიანებს, რომლებიც აცხადებენ გაქრობილი პროვაიდერის კრედიტზე, რაც მათი მოვლენების ანგარიშია. შეტყობინება არ ადგენს თითოეული ადამიანის ზარალს ან კომპენსაციას.

3:38 Apple-მა ახლახან აჩვენა, როგორ დააკავშირო OpenCode ლოკალურ ინფერენციასთან, და ახლა მისი სახელი უსაფრთხოების გაფრთხილების გვერდითაა. პროდუქტის სახელი მოიცავს რამდენიმე განსხვავებულ ნდობის საზღვარს. Console-ის მომხმარებლებმა უნდა წაიკითხონ ოფიციალური შეტყობინება და შეამოწმონ პროვაიდერის გამოყენება. თუ თქვენ დაზარალებული ხართ, მიჰყევით გამოსწორების ინსტრუქციებს და გადახედეთ დაკავშირებულ სერთიფიკატებს. ეს შეტყობინება გვაძლევს კონკრეტულ ჰოსტირებულ Console-ის ფარგლებს. ის აქ არ იძლევა მტკიცებულებას ყველა ლოკალურ ინსტალაციაში კომპრომისის შესახებ.

რას აყენებს ლოკალური ინფერენცია თქვენს კონტროლქვეშ?

4:02 აი კავშირი. Apple-ის სტატია OpenCode-ს ასახელებს, როგორც კლიენტს მისი ლოკალური მოდელის სერვერისთვის. იგივე კოდირების ინტერფეისი შეიძლება იდგეს ძალიან განსხვავებული ინფრასტრუქტურის წინ. ეს პასუხობს, რას ყიდულობს ოთხი Mac. ტევადობა და ინფერენციის საზღვარი, რომლის ადმინისტრირებაც შეგიძლიათ. ამ საზღვრის გარშემო არსებული სერვისები მაინც იმსახურებენ საკუთარ მიმოხილვას. ჩემი ყიდვის წესი მარტივია. დაამტკიცეთ, რომ მოდელი ჯდება, გაზომეთ მთელი ამოცანა და შეამოწმეთ ყველა სერვისი, რომელსაც

4:23 აქვს სერთიფიკატი. Apple-ის შედეგი დიდ ლოკალურ ინფერენციას უფრო პრაქტიკულს ხდის, ხოლო მილსადენის ტესტი ხსნის, რატომ შეიძლება აპარატურის დამატება იმედგაცრუებული იყოს. თქვენი მიღების ტესტი შესყიდვის შეკვეთის გვერდით უნდა იყოს. თუ ამას კითხვა გირჩევნიათ, ვიდრე ჩემი მოსმენა, დიფი თქვენს შემოსულებში ყოველ დილით მოდის, უფასოდ dailydiff.dev-ზე, ბმული ქვემოთ.

ვიყიდიდი ოთხ-Mac-იან კლასტერს?

4:40 ასე რომ, დღევანდელი ვერდიქტი არის NEEDS REVIEW. კლასტერის ყიდვამდე ჩემს რეალურ სამუშაოს გავზომავდი. გამოიწერეთ, დააჭირეთ ზარს და მითხარით კომენტარებში, სხვაგვარად დალუქავდით თუ არა. განსხვავებულად. და ეს არის დღევანდელი დიფი. მე ვარ ნიკო Axrisi-დან. შეაერთეთ პასუხისმგებლობით.

წყაროები

1. Local and Distributed Large LLM Inference with MLX and RDMA on Mac StudioApple Machine Learning Research
2. A benchmark map of the US economyMercor
3. Benchmark Map methodology and expert reviewMercor
4. Edited security-breach notice with Console scopeOpenCode
5. Reader questions mixed benchmark precision formatsHacker News · peri-cl (reader opinion)
6. User reports vanished provider credit (unverified loss claim)Amruth Pillai on X