استنتاج توزیع‌شده Apple MLX: ظرفیت مدل، سرعت و مرزهای اعتماد

این ویدیو چه مواردی را پوشش می‌دهد

• وزن‌های مدل و فضای کاری استنتاج هر دو حافظه مصرف می‌کنند؛ تنها حجم وزن مدل می‌تواند ظرفیت مورد نیاز را کمتر از واقعیت نشان دهد.
• موازی‌سازی پایپ‌لاین لایه‌های متوالی را توزیع می‌کند، در حالی که موازی‌سازی تنسور کار را در داخل هر لایه تقسیم می‌کند و نیاز به ارتباطات مکرر با تأخیر کم دارد.
• اپل بیش از 36 توکن در ثانیه را بر روی چهار مک استودیو M5 Ultra با کانتکست 8192 توکن گزارش می‌کند؛ مقایسه کابل مربوط به تأخیر توکن اول در کانتکست 65536 توکن است.
• یافته Mercor مبنی بر 90% ساعات کاری، پوشش کم یا بدون پوشش را در شاخص بنچمارک انتخاب شده خود توصیف می‌کند. این به معنای نرخ خرابی 90% مدل نیست.
• اطلاعیه ویرایش شده OpenCode زیرمجموعه‌ای از کاربران کنسول با ارائه‌دهندگان خارجی مرتبط را توصیف می‌کند. اطلاعیه عمومی به معنای به خطر افتادن هر نصب محلی نیست.
• قبل از اینکه یک راه‌اندازی مدل محلی را به عنوان یک راه‌حل کامل حفظ حریم خصوصی یا هزینه در نظر بگیرید، بار کاری واقعی خود را آزمایش کنید و سرویس‌های دارای اعتبارنامه را بررسی کنید.

رونوشت ترجمه شده

ترجمه شده از روایت اصلی انگلیسی. صوت و زیرنویس‌های موجود توسط YouTube کنترل می‌شوند.

چرا دو مک می‌توانند با یک سرعت ثابت بمانند؟

0:00 انتظار دارید دو مک هوش مصنوعی شما را دو برابر سریع‌تر کنند. تست‌های خود اپل نشان می‌دهد که سرعت تولید می‌تواند تقریباً بدون تغییر باقی بماند. در این ویدئو، چهار مک چه چیزی به ارمغان می‌آورند؟ بنچمارک‌ها چه چیزی را از دست می‌دهند؟ یک ابزار کدنویسی سخت‌افزار را به یک نقض امنیتی یک‌شبه متصل می‌کند. بعداً به آن باز خواهیم گشت. برای شنبه، هفدهم اکتبر، این The Daily Diff است. MLX چارچوب آرایه متن‌باز اپل برای یادگیری ماشین روی سیلیکون اپل است.

0:22 تست جدید آن Muse Spark Open متا را بر روی چهار مک استودیو اجرا می‌کند. از حافظه یکپارچه استفاده می‌کند که CPU و GPU آن را به اشتراک می‌گذارند. اپل این را در پانزدهم اکتبر منتشر کرد. Mercor کاری را که بنچمارک‌های هوش مصنوعی به سختی اندازه‌گیری می‌کنند، ترسیم کرد. ما نسخه هفدهم اکتبر را پوشش می‌دهیم، با به‌روزرسانی یک‌شبه هجدهم اکتبر درباره OpenCode Console.

چرا مدل به بیش از یک مک نیاز دارد؟

0:41 با بخش ناخوشایند شروع می‌کنیم. تست Muse Spark Open اپل حدود پانصد گیگابایت فقط برای مدل چهار بیتی استفاده می‌کند. یک مک استودیو واحد حداکثر پانصد و دوازده گیگابایت حافظه دارد، و استنتاج نیز به حافظه کاری نیاز دارد. وزن‌ها تقریباً چمدان را قبل از اینکه یک جوراب را بسته‌بندی کنید، پر می‌کنند. ماشین‌های بیشتر باعث می‌شوند مدل جا بگیرد. موازی‌سازی پایپ‌لاین مدل را از طریق لایه‌های آن برش می‌دهد. مک A لایه‌های اولیه را انجام می‌دهد، سپس نتیجه میانی را به مک B برای

1:05 لایه‌های بعدی می‌دهد. برای یک توکن تولید شده، این مراحل هنوز به ترتیب اتفاق می‌افتند. اندازه‌گیری‌های اپل نشان می‌دهد که سرعت رمزگشایی بسیار شبیه به یک ماشین واحد باقی می‌ماند. شما یک آشپز دوم استخدام کرده‌اید و همان ساندویچ را به او داده‌اید. در Hacker News، یک توسعه‌دهنده سوال کرد که چرا جدول اپل از یک مدل چهار بیتی متا در کنار یک مدل Qwen با دقت بومی آن استفاده کرده است. جدول اپل فرمت‌ها را بیان می‌کند، بنابراین قبل از خرید پاورقی‌ها را بخوانید. بنچمارک‌های اسلاید دک شکست‌ناپذیر می‌مانند.

1:29 موازی‌سازی تنسور به جای آن هر لایه را برش می‌دهد.

تاندربولت چگونه به مک‌ها کمک می‌کند تا با هم کار کنند؟

1:32 چندین مک بر روی قطعاتی از همان لایه با هم کار می‌کنند، سپس نتایج خود را ترکیب می‌کنند. این می‌تواند تولید را سرعت بخشد، اما ماشین‌ها مکرراً ارتباط برقرار می‌کنند. اپل از دسترسی به حافظه از راه دور با تأخیر کم از طریق Thunderbolt استفاده می‌کند. یک حرکت شغلی جسورانه برای یک کابل. نتیجه اصلی بیش از سی و شش توکن در ثانیه از چهار مک استودیو M5 Ultra است، با حدود هشت هزار توکن کانتکست. اپل آن را خود اندازه‌گیری کرده است.

1:55 اعلان‌های طولانی‌تر داستان را تغییر می‌دهند. در یک تست کانتکست بزرگ، دو کابل در هر لینک زمان انتظار برای توکن اول را حدود ده ثانیه کاهش دادند. یک مدل محلی به شما یک مرز مفید در اطراف اعلان‌ها می‌دهد، به شرطی که راه‌اندازی واقعی شما آن‌ها را محلی نگه دارد. اپل قیمت سربه‌سر جهانی را در برابر APIهای میزبانی شده ارائه نکرده است. این به میزان استفاده و مدل مورد نیاز شما بستگی دارد. یک ماشین که به سوالات گاه‌به‌گاه پاسخ می‌دهد، زمان زیادی را به عنوان یک

2:17 دکور گران‌قیمت میز می‌گذراند. انتخاب آن مدل نیاز به آزمایشی برای کار شما دارد.

بنچمارک‌های هوش مصنوعی واقعاً چه کاری را پوشش می‌دهند؟

2:21 Mercor بیست و نه بنچمارک را بر روی طبقه‌بندی مشاغل آمریکایی ترسیم کرد. شاخص آن تقریباً نهصد وظیفه را از نزدیک به نوزده هزار پوشش می‌دهد. این نقشه تخمین می‌زند که نود درصد ساعات کاری پوشش بنچمارک کمی یا بدون پوشش دارند. این یک فضای خالی عظیم در برگه امتحان است. Mercor's map measures coverage. نقشه Mercor پوشش را اندازه‌گیری می‌کند. یک شغل خالی وظایف کمی آزمایش شده دارد؛ قابلیت مدل یک سوال باز باقی می‌ماند. این نقشه‌برداری از یک مدل هوش مصنوعی استفاده کرد، با بررسی انسانی بر روی زیرمجموعه‌ای از اعلان‌های بنچمارک خود Mercor. داوران تقریباً سه چهارم از اولین انتخاب‌های آن را پذیرفتند. سیستم درجه‌بندی خود به یک سیستم درجه‌بندی نیاز دارد،

2:49 به طور طبیعی. بنابراین اگر نگران شغل خود هستید، یک جدول رده‌بندی نمی‌تواند این بحث را حل کند. اگر یک دستیار کدنویسی می‌خرید، یک کار واقعی را با بررسی‌های پذیرش خودتان بازپخش کنید. کار مفید شامل بخش‌های ناخوشایند پس از دمو است. هیچ‌کس به این دلیل که چت‌بات با اطمینان صفحه گسترده اشتباه را به پایان رساند، ترفیع نمی‌گیرد. که ما را به به‌روزرسانی یک‌شبه می‌رساند. OpenCode می‌گوید یک نقض امنیتی 1.4 درصد از کاربران Console را تحت تأثیر قرار داده است. اطلاعیه ویرایش شده آن این را به زیرمجموعه‌ای با ارائه‌دهندگان خارجی مرتبط محدود می‌کند و می‌گوید به کاربران آسیب‌دیده ایمیل ارسال شده است.

OpenCode می‌گوید چه کسانی یک شبه تحت تأثیر قرار گرفتند؟

3:13 این را یک حمله استخراج در مقیاس بزرگ می‌نامد و می‌گوید حادثه ادامه دارد. هنوز یک علت اصلی عمومی ارائه نشده است. پاسخ‌ها شامل افرادی است که گزارش می‌دهند اعتبار ارائه‌دهنده ناپدید شده است، که این روایت آنها از وقایع است. این اطلاعیه خسارات یا غرامت هر شخص را تعیین نمی‌کند. اپل به تازگی نشان داده بود که چگونه OpenCode را به استنتاج محلی متصل کند، و اکنون نام آن در کنار یک هشدار امنیتی است. نام محصول چندین مرز اعتماد مختلف را پوشش می‌دهد.

3:38 کاربران کنسول باید اطلاعیه رسمی را بخوانند و استفاده از ارائه‌دهنده را بررسی کنند. اگر تحت تأثیر قرار گرفته‌اید، دستورالعمل‌های اصلاح را دنبال کنید و اعتبارنامه‌های متصل را بررسی کنید. این اطلاعیه به ما یک محدوده کنسول میزبانی شده خاص می‌دهد. اینجا هیچ مدرکی دال بر به خطر افتادن هر نصب محلی ارائه نمی‌دهد. اینجا اتصال است. مقاله اپل OpenCode را به عنوان یک مشتری برای سرور مدل محلی خود نام می‌برد. همین رابط کدنویسی می‌تواند در مقابل زیرساخت‌های بسیار متفاوتی قرار گیرد.

استنتاج محلی چه چیزی را تحت کنترل شما قرار می‌دهد؟

4:02 این پاسخ می‌دهد که چهار مک چه چیزی به ارمغان می‌آورند. ظرفیت، و یک مرز استنتاج که می‌توانید آن را مدیریت کنید. سرویس‌های اطراف آن مرز هنوز شایسته بررسی خود هستند. قاعده خرید من ساده است. ثابت کنید که مدل مناسب است، کل وظیفه را اندازه‌گیری کنید، و هر سرویس دارای اعتبارنامه را بررسی کنید. نتیجه اپل استنتاج محلی بزرگ را عملی‌تر می‌کند، در حالی که تست پایپ‌لاین توضیح می‌دهد که چرا اضافه کردن سخت‌افزار می‌تواند ناامیدکننده باشد. تست پذیرش شما باید در کنار سفارش خرید باشد.

4:23 اگر ترجیح می‌دهید این را بخوانید تا اینکه من آن را بگویم، diff هر روز صبح به صورت رایگان در daily diff dot dev به صندوق ورودی شما می‌رسد، لینک زیر. بنابراین حکم امروز NEEDS REVIEW است. قبل از خرید کلاستر، بار کاری واقعی خود را اندازه‌گیری می‌کردم. مشترک شوید، زنگ را بزنید، و در نظرات به من بگویید که آیا شما آن را

آیا من کلاستر چهار مک را می‌خریدم؟

4:40 متفاوت مهر می‌کردید. و این برای امروز تفاوتی ندارد. من نیکو از Axrisi هستم. مسئولانه ادغام کنید. من نیکو از Axrisi هستم. مسئولانه ادغام کنید. مسئولانه ادغام کنید.

منابع

1. Local and Distributed Large LLM Inference with MLX and RDMA on Mac StudioApple Machine Learning Research
2. A benchmark map of the US economyMercor
3. Benchmark Map methodology and expert reviewMercor
4. Edited security-breach notice with Console scopeOpenCode
5. Reader questions mixed benchmark precision formatsHacker News · peri-cl (reader opinion)
6. User reports vanished provider credit (unverified loss claim)Amruth Pillai on X