استدلال MLX الموزع من Apple: سعة النموذج، السرعة وحدود الثقة

ما يغطيه هذا الفيديو

• تستهلك أوزان النموذج ومساحة عمل الاستدلال الذاكرة؛ وقد يقلل حجم أوزان النموذج وحده من تقدير السعة المطلوبة.
• يوزع التوازي الأنبوبي الطبقات المتتالية، بينما يقسم توازي الموتر العمل داخل كل طبقة ويحتاج إلى اتصال متكرر بزمن وصول منخفض.
• تفيد Apple بأكثر من 36 رمزًا في الثانية على أربع أجهزة Mac Studios من طراز M5 Ultra مع سياق يبلغ 8192 رمزًا؛ وتتعلق مقارنة الكابلات بوقت انتظار الرمز الأول في سياق 65536 رمزًا.
• يشير اكتشاف Mercor بنسبة 90% من ساعات العمل إلى تغطية قليلة أو معدومة في فهرس معاييرها المختار. ولا يثبت معدل فشل نموذج بنسبة 90%.
• يصف إشعار OpenCode المعدّل مجموعة فرعية من مستخدمي Console الذين لديهم موفرين خارجيين مرتبطين. ولا يثبت الإشعار العام اختراق كل تثبيت محلي.
• اختبر حمل عملك الفعلي وراجع الخدمات التي تحمل بيانات الاعتماد قبل التعامل مع إعداد نموذج محلي كحل كامل للخصوصية أو التكلفة.

النص المترجم

مترجم من السرد الإنجليزي الأصلي. يتم التحكم في الصوت والتعليقات التوضيحية المتاحة بواسطة YouTube.

لماذا يمكن لجهازي Mac أن يحافظا على نفس السرعة؟

0:00 تتوقع أن يجعل جهازي Mac ذكاءك الاصطناعي أسرع مرتين. تظهر اختبارات Apple الخاصة أن سرعة التوليد يمكن أن تظل شبه ثابتة. في هذا الفيديو، ماذا تشتري أجهزة Mac الأربعة؟ ماذا تفوت المعايير؟ تربط إحدى أدوات البرمجة الأجهزة باختراق حدث بين عشية وضحاها. سنعود إلى ذلك. ليوم السبت، السابع عشر من أكتوبر، هذه هي The Daily Diff. MLX هو إطار عمل المصفوفات مفتوح المصدر من Apple للتعلم الآلي على شرائح Apple

0:22 السيليكون. ويقوم اختباره الجديد بتشغيل Meta's Muse Spark Open عبر أربع أجهزة Mac Studios. يستخدم الذاكرة الموحدة، التي تشاركها وحدة المعالجة المركزية (CPU) ووحدة معالجة الرسومات (GPU). نشرت Apple هذا في الخامس عشر من أكتوبر. قامت Mercor برسم خريطة للعمل الذي بالكاد تقيسه معايير الذكاء الاصطناعي. نحن نغطي نسخة السابع عشر من أكتوبر، مع تحديث بين عشية وضحاها في الثامن عشر من أكتوبر حول OpenCode Console.

لماذا يحتاج النموذج إلى أكثر من جهاز Mac واحد؟

0:41 لنبدأ بالجزء غير المريح. يستخدم اختبار Muse Spark Open من Apple حوالي خمسمائة جيجابايت فقط للنموذج المكون من أربع بتات. يصل حجم جهاز Mac Studio الواحد إلى خمسمائة واثني عشر جيجابايت، ويحتاج الاستدلال إلى ذاكرة عمل أيضًا. تُملأ الأوزان الحقيبة تقريبًا قبل أن تحزم جوربًا واحدًا. المزيد من الأجهزة تجعل النموذج مناسبًا. يقوم التوازي الأنبوبي بتقسيم النموذج عبر طبقاته. يقوم جهاز Mac A بالطبقات المبكرة، ثم يمرر النتيجة الوسيطة إلى Mac B للطبقات

1:05 اللاحقة. بالنسبة لرمز واحد تم إنشاؤه، لا تزال هذه الخطوات تحدث بالتسلسل. تُظهر قياسات Apple أن سرعة فك التشفير تظل مشابهة جدًا لسرعة جهاز واحد. لقد وظفت طاهيًا ثانيًا، ومنحته نفس السندويتش. على Hacker News، تساءل أحد المطورين لماذا استخدم جدول Apple نموذج Meta بأربع بتات بجانب نموذج Qwen بدقته الأصلية. يذكر جدول Apple التنسيقات، لذا اقرأ الحواشي قبل الشراء. تبقى معايير عروض الشرائح بلا منازع.

1:29 يقوم التوازي التنسوري بالقطع عبر كل طبقة بدلاً من ذلك.

كيف يساعد Thunderbolt أجهزة Mac على العمل معًا؟

1:32 تعمل أجهزة Mac متعددة على أجزاء من نفس الطبقة معًا، ثم تجمع نتائجها. يمكن أن يسرع ذلك التوليد، لكن الأجهزة تتواصل بشكل متكرر. تستخدم Apple الوصول عن بعد للذاكرة بزمن وصول منخفض عبر Thunderbolt. خطوة مهنية جريئة لكابل. النتيجة الرئيسية هي أكثر من ستة وثلاثين رمزًا في الثانية من أربع أجهزة M5 Ultra Mac Studios، مع حوالي ثمانية آلاف رمز سياق. قاستها Apple بنفسها.

1:55 المطالبات الأطول تغير القصة. في اختبار سياق كبير واحد، كابلان لكل وصلة قللا الانتظار للرمز الأول بحوالي عشر ثوانٍ. يمنحك النموذج المحلي حدًا مفيدًا حول المطالبات، شريطة أن يحافظ إعدادك الفعلي عليها محلية. لم توفر Apple سعر نقطة التعادل الشاملة مقابل واجهات برمجة التطبيقات المستضافة. يعتمد ذلك على الاستخدام والنموذج الذي تحتاجه. الجهاز الذي يجيب على أسئلة عرضية يقضي الكثير من الوقت كقطعة زخرفية مكلفة للغاية للمكتب.

2:17 يتطلب اختيار هذا النموذج اختبارًا لعملك. قامت Mercor برسم خريطة لتسعة وعشرين معيارًا على تصنيف الوظائف الأمريكية.

ما هو العمل الذي تغطيه معايير الذكاء الاصطناعي بالفعل؟

2:21 يغطي فهرسها حوالي تسعمائة مهمة من أصل تسعة عشر ألفًا تقريبًا. تقدر الخريطة أن تسعين بالمائة من ساعات العمل لديها تغطية معيارية قليلة أو معدومة. هذه مساحة فارغة ضخمة في ورقة الامتحان. تقيس خريطة Mercor التغطية. الوظيفة الفارغة تحتوي على مهام بالكاد تم اختبارها؛ وتبقى قدرة النموذج سؤالًا مفتوحًا. استخدمت الخريطة نموذجًا للذكاء الاصطناعي، مع مراجعة بشرية على مجموعة فرعية من مطالبات Mercor المعيارية الخاصة بها. قبل المراجعون حوالي ثلاثة أرباع خياراتها الأولى. نظام الدرجات يحتاج إلى نظام درجات خاص به،

2:49 بطبيعة الحال. لذا، إذا كنت قلقًا بشأن وظيفتك، فإن لوحة الصدارة لا يمكنها تسوية النقاش. إذا كنت تشتري مساعدًا برمجيًا، أعد تشغيل مهمة حقيقية باستخدام فحوصات القبول الخاصة بك. يتضمن العمل المفيد الأجزاء الصعبة بعد العرض التوضيحي. لا يحصل أحد على ترقية لأن برنامج الدردشة الآلي أنهى جدول البيانات الخاطئ بثقة. وهو ما يقودنا إلى تحديث الليلة الماضية. تقول OpenCode إن خرقًا أمنيًا أثر على 1.4 بالمائة من مستخدمي Console. يضيق إشعارها المعدل ذلك إلى مجموعة فرعية لديها مزودون خارجيون مرتبطون، ويقول

من قال OpenCode إنه تأثر بين عشية وضحاها؟

3:13 إن المستخدمين المتأثرين قد تم إرسال رسائل بريد إلكتروني إليهم. تصف هذا بأنه هجوم "تقطير على نطاق واسع"، وتقول إن الحادث مستمر. لم يصل بعد سبب جذري عام. تشمل الردود أشخاصًا يبلغون عن اختفاء رصيد مزود، وهذا هو روايتهم للأحداث. لا يثبت الإشعار خسائر أو تعويضات كل شخص. لقد أظهرت Apple للتو كيفية ربط OpenCode بالاستدلال المحلي، والآن اسمها بجانب تحذير أمني.

3:38 يغطي اسم المنتج عدة حدود ثقة مختلفة. يجب على مستخدمي Console قراءة الإشعار الرسمي والتحقق من استخدام المزود. إذا كنت متأثرًا، فاتبع تعليمات الإصلاح وراجع بيانات الاعتماد المتصلة. يمنحنا هذا الإشعار نطاقًا محددًا لوحدة تحكم مستضافة. لا يقدم هنا أي دليل على اختراق في كل تثبيت محلي. هنا الاتصال. تذكر مقالة Apple OpenCode كعميل لخادم النموذج المحلي الخاص بها.

ما الذي يضعه الاستدلال المحلي تحت سيطرتك؟

4:02 يمكن لواجهة البرمجة نفسها أن تكون أمام بنية تحتية مختلفة جدًا. هذا يجيب على ما تشتريه أجهزة Mac الأربعة. السعة، وحد استدلال يمكنك إدارته. الخدمات المحيطة بهذا الحد لا تزال تستحق مراجعتها الخاصة. قاعدتي في الشراء بسيطة. أثبت أن النموذج مناسب، قم بقياس المهمة بأكملها، وتحقق من كل خدمة تحمل بيانات اعتماد. نتيجة Apple تجعل الاستدلال المحلي الكبير أكثر عملية، بينما يوضح اختبار خط الأنابيب لماذا قد يكون إضافة الأجهزة مخيبًا للآمال.

4:23 اختبار القبول الخاص بك ينتمي بجانب أمر الشراء. إذا كنت تفضل قراءة هذا بدلاً من سماعي أقوله، فإن Diff يصل إلى بريدك الوارد كل صباح، مجانًا على daily diff dot dev، الرابط أدناه. لذا فإن حكم اليوم هو NEEDS REVIEW. سأقيس حمل عملي الحقيقي قبل شراء المجموعة.

هل سأشتري مجموعة Mac الرباعية؟

4:40 اشترك، اضغط على الجرس، وأخبرني في التعليقات إذا كنت قد ختمته بطريقة مختلفة. وهذا هو Diff لهذا اليوم. أنا نيكو من Axrisi. ادمج بمسؤولية. Merge responsibly. Merge responsibly.

المصادر

1. Local and Distributed Large LLM Inference with MLX and RDMA on Mac StudioApple Machine Learning Research
2. A benchmark map of the US economyMercor
3. Benchmark Map methodology and expert reviewMercor
4. Edited security-breach notice with Console scopeOpenCode
5. Reader questions mixed benchmark precision formatsHacker News · peri-cl (reader opinion)
6. User reports vanished provider credit (unverified loss claim)Amruth Pillai on X