ایپل MLX ڈسٹری بیوٹیڈ انفرنس: ماڈل کی صلاحیت، رفتار اور اعتماد کی حدود

اس ویڈیو میں کیا شامل ہے

• ماڈل کے وزن اور انفرنس ورک اسپیس دونوں میموری استعمال کرتے ہیں۔ صرف ماڈل کا وزن ہی درکار صلاحیت کو کم ظاہر کر سکتا ہے۔
• پائپ لائن متوازیت کامیاب تہوں کو تقسیم کرتی ہے، جبکہ ٹینسر متوازیت ہر تہہ کے اندر کام کو تقسیم کرتی ہے اور اسے کثرت سے کم تاخیر والی مواصلت کی ضرورت ہوتی ہے۔
• ایپل چار M5 الٹرا میک اسٹوڈیوز پر 8,192-ٹوکن کے تناظر کے ساتھ 36 ٹوکن فی سیکنڈ سے زیادہ کی اطلاع دیتا ہے۔ کیبل کا موازنہ 65,536-ٹوکن کے تناظر میں پہلے ٹوکن کے انتظار سے متعلق ہے۔
• مرکور کا 90% کام کے اوقات کا نتیجہ اس کے منتخب بینچ مارک انڈیکس میں بہت کم یا کوئی کوریج نہیں دکھاتا ہے۔ یہ 90% ماڈل کی ناکامی کی شرح کو قائم نہیں کرتا ہے۔
• اوپن کوڈ کا ترمیم شدہ نوٹس بیرونی فراہم کنندگان کے ساتھ منسلک کنسول صارفین کے ایک ذیلی سیٹ کو بیان کرتا ہے۔ عوامی نوٹس ہر مقامی تنصیب کی سمجھوتہ کو قائم نہیں کرتا ہے۔
• مقامی ماڈل سیٹ اپ کو مکمل رازداری یا لاگت کے حل کے طور پر سمجھنے سے پہلے اپنے اصل ورک لوڈ کی جانچ کریں اور اسناد والے خدمات کا جائزہ لیں۔

ترجمہ شدہ ٹرانسکرپٹ

اصل انگریزی بیان سے ترجمہ کیا گیا۔ دستیاب آڈیو اور کیپشنز یوٹیوب کے زیر انتظام ہیں۔

دو میک ایک ہی رفتار پر کیوں رہ سکتے ہیں؟

0:00 آپ کو توقع ہوگی کہ دو میک آپ کے AI کو دو گنا تیز کر دیں گے۔ ایپل کے اپنے ٹیسٹ دکھاتے ہیں کہ جنریشن کی رفتار تقریباً ویسی ہی رہ سکتی ہے۔ اس ویڈیو میں، چار میک کیا خریدتے ہیں؟ بینچ مارکس کیا کھو دیتے ہیں؟ ایک کوڈنگ ٹول ہارڈ ویئر کو راتوں رات ہونے والی خلاف ورزی سے جوڑتا ہے۔ ہم اس پر واپس آئیں گے۔ ہفتہ، سترہ اکتوبر کے لیے، یہ دی ڈیلی ڈیف ہے۔ MLX ایپل کا اوپن سورس اری فریم ورک ہے جو ایپل سلیکون پر مشین لرننگ کے لیے ہے۔

0:22 اس کا نیا ٹیسٹ میٹا کے میوز اسپارک اوپن کو چار میک اسٹوڈیوز پر چلاتا ہے۔ یہ متحد میموری استعمال کرتا ہے، جسے CPU اور GPU شیئر کرتے ہیں۔ ایپل نے اسے پندرہ اکتوبر کو شائع کیا۔ مرکور نے اس کام کو نقشہ بنایا ہے جسے AI بینچ مارکس بمشکل ہی ماپتے ہیں۔ ہم سترہ اکتوبر کے ایڈیشن کا احاطہ کر رہے ہیں، جس میں اوپن کوڈ کنسول کے بارے میں اٹھارہ اکتوبر کی راتوں رات کی تازہ کاری شامل ہے۔ راتوں رات اٹھارہ اکتوبر کی تازہ کاری اوپن کوڈ کنسول کے بارے میں ہے۔ اوپن کوڈ کنسول کے بارے میں تازہ کاری۔

ماڈل کو ایک سے زیادہ میک کی ضرورت کیوں ہے؟

0:41 غیر آسان حصے سے شروع کریں۔ ایپل کا میوز اسپارک اوپن ٹیسٹ صرف چار بٹ ماڈل کے لیے تقریباً پانچ سو گیگا بائٹس استعمال کرتا ہے۔ ایک سنگل میک اسٹوڈیو پانچ سو بارہ گیگا بائٹس پر ختم ہوتا ہے، اور انفرنس کو ورکنگ میموری کی بھی ضرورت ہوتی ہے۔ جب تک آپ نے ایک بھی جراب پیک نہیں کیا، وزن تقریباً سوٹ کیس کو بھر دیتے ہیں۔ مزید مشینیں ماڈل کو فٹ کرتی ہیں۔ پائپ لائن متوازیت ماڈل کو اس کی تہوں کے ذریعے کاٹتی ہے۔ میک A ابتدائی تہوں کو کرتا ہے، پھر درمیانی نتیجے کو میک B کو بعد کی تہوں کے لیے پاس کرتا ہے۔

1:05 بعد کی تہوں کے لیے۔ ایک تیار کردہ ٹوکن کے لیے، وہ اقدامات اب بھی ترتیب میں ہوتے ہیں۔ ایپل کی پیمائشیں ظاہر کرتی ہیں کہ ڈی کوڈ کی رفتار ایک سنگل مشین جیسی رہتی ہے۔ آپ نے ایک دوسرا باورچی رکھا ہے، اور اسے وہی سینڈوچ دیا ہے۔ ہیکر نیوز پر، ایک ڈویلپر نے سوال کیا کہ ایپل کی ٹیبل نے چار بٹ میٹا ماڈل کو اس کی مقامی درستگی پر Qwen ماڈل کے ساتھ کیوں استعمال کیا۔ اس کی مقامی درستگی پر Qwen ماڈل کے ساتھ۔ ایپل کی ٹیبل فارمیٹس بتاتی ہے، لہذا خریداری سے پہلے فوٹ نوٹ پڑھیں۔ سلائیڈ ڈیک بینچ مارکس ناقابل شکست رہتے ہیں۔

1:29 ٹینسر متوازیت اس کی بجائے ہر تہہ کو کاٹتی ہے۔

تھنڈربولٹ میک کو مل کر کام کرنے میں کس طرح مدد کرتا ہے؟

1:32 متعدد میک ایک ہی تہہ کے ٹکڑوں پر مل کر کام کرتے ہیں، پھر اپنے نتائج کو یکجا کرتے ہیں۔ یہ جنریشن کو تیز کر سکتا ہے، لیکن مشینیں بار بار بات چیت کرتی ہیں۔ ایپل تھنڈربولٹ پر کم تاخیر والی ریموٹ میموری تک رسائی استعمال کرتا ہے۔ ایک کیبل کے لیے ایک بہادر کیریئر اقدام۔ سرخی کا نتیجہ چار M5 الٹرا میک اسٹوڈیوز سے چھتیس ٹوکن فی سیکنڈ سے زیادہ ہے، جس میں تقریباً آٹھ ہزار ٹوکن کا تناظر ہے۔ ہزار ٹوکن کا تناظر۔ ایپل نے خود اس کی پیمائش کی۔

1:55 لمبی پرومپٹس کہانی بدل دیتے ہیں۔ ایک بڑے تناظر کے ٹیسٹ میں، ہر لنک پر دو کیبلز نے پہلے ٹوکن کے انتظار کو تقریباً دس سیکنڈ کم کر دیا۔ تقریباً دس سیکنڈ کم کر دیا۔ ایک مقامی ماڈل آپ کو پرومپٹس کے ارد گرد ایک مفید حد دیتا ہے، بشرطیکہ آپ کا اصل سیٹ اپ انہیں مقامی رکھے۔ ایپل نے میزبان APIs کے خلاف ایک عالمی بریک ایون قیمت فراہم نہیں کی ہے۔ یہ استعمال اور آپ کو درکار ماڈل پر منحصر ہے۔ کبھی کبھار سوالات کا جواب دینے والی مشین بہت مہنگی ڈیسک آرنامنٹ بننے میں کافی وقت صرف کرتی ہے۔

2:17 بہت مہنگی ڈیسک آرنامنٹ۔ اس ماڈل کا انتخاب آپ کے کام کے لیے ایک ٹیسٹ کی ضرورت ہے۔

AI بینچ مارکس دراصل کس کام کا احاطہ کرتے ہیں؟

2:21 مرکور نے انتیس بینچ مارکس کو امریکی ملازمتوں کی درجہ بندی پر نقشہ کیا۔ اس کا انڈیکس تقریباً انیس ہزار میں سے نو سو کاموں کا احاطہ کرتا ہے۔ نقشہ کا اندازہ ہے کہ نوے فیصد کام کے اوقات میں بہت کم یا کوئی بینچ مارک کوریج نہیں ہوتی ہے۔ یہ امتحان کے کاغذ پر ایک بہت بڑا خالی جگہ ہے۔ امتحان کے کاغذ پر ایک بہت بڑا خالی جگہ ہے۔ مرکور کا نقشہ کوریج کی پیمائش کرتا ہے۔ ایک خالی پیشے میں بمشکل جانچے گئے کام ہوتے ہیں؛ ماڈل کی صلاحیت ایک کھلا سوال ہے۔ نقشے نے ایک AI ماڈل استعمال کیا، جس میں مرکور کے اپنے بینچ مارک پرومپٹس کے ایک ذیلی سیٹ پر انسانی جائزہ شامل تھا۔ مرکور کے اپنے بینچ مارک پرومپٹس کے ایک ذیلی سیٹ پر انسانی جائزہ۔

2:49 جائزہ لینے والوں نے اس کے پہلے انتخاب کے تقریباً تین چوتھائی کو قبول کیا۔ گریڈنگ سسٹم کو اپنے گریڈنگ سسٹم کی ضرورت ہے، قدرتی طور پر۔ لہذا اگر آپ اپنی ملازمت کے بارے میں فکر مند ہیں، تو ایک لیڈر بورڈ دلیل کو حل نہیں کر سکتا۔ اگر آپ کوڈنگ اسسٹنٹ خرید رہے ہیں، اپنے قبولیت کے چیک کے ساتھ ایک حقیقی کام کو دوبارہ چلائیں۔ مفید کام میں ڈیمو کے بعد کے عجیب و غریب حصے شامل ہیں۔ کسی کو ترقی نہیں ملتی کیونکہ چیٹ بوٹ نے غلط اسپریڈ شیٹ کو اعتماد سے مکمل کیا۔ جو ہمیں راتوں رات کی تازہ کاری پر لاتا ہے۔

اوپن کوڈ کس کو راتوں رات متاثر ہونے کا کہتا ہے؟

3:13 اوپن کوڈ کا کہنا ہے کہ ایک سیکیورٹی خلاف ورزی نے 1.4 فیصد کنسول صارفین کو متاثر کیا۔ اس کا ترمیم شدہ نوٹس اسے بیرونی فراہم کنندگان سے منسلک ایک ذیلی سیٹ تک محدود کرتا ہے، اور کہتا ہے کہ متاثرہ صارفین کو ای میل کیا گیا تھا۔ اور کہتا ہے کہ متاثرہ صارفین کو ای میل کیا گیا تھا۔ یہ اسے ایک بڑے پیمانے پر ڈسٹیلیشن حملے کا نام دیتا ہے، اور کہتا ہے کہ واقعہ جاری ہے۔ ابھی تک کوئی عوامی بنیادی وجہ نہیں آئی ہے۔ جوابات میں وہ لوگ شامل ہیں جو غائب فراہم کنندہ کریڈٹ کی اطلاع دے رہے ہیں، جو ان کا واقعات کا حساب ہے۔ نوٹس ہر شخص کے نقصانات یا معاوضے کو قائم نہیں کرتا ہے۔

3:38 ایپل نے ابھی دکھایا تھا کہ اوپن کوڈ کو مقامی انفرنس سے کیسے جوڑا جائے، اور اب اس کا نام ایک سیکیورٹی وارننگ کے ساتھ ہے۔ پروڈکٹ کا نام کئی مختلف اعتماد کی حدود کا احاطہ کرتا ہے۔ کنسول صارفین کو سرکاری نوٹس پڑھنا چاہیے اور فراہم کنندہ کے استعمال کو چیک کرنا چاہیے۔ اگر آپ متاثر ہوئے ہیں، تو تدارک کی ہدایات پر عمل کریں اور منسلک اسناد کا جائزہ لیں۔ یہ نوٹس ہمیں ایک مخصوص میزبان کنسول اسکوپ دیتا ہے۔ یہاں ہر مقامی تنصیب میں سمجھوتہ کا کوئی ثبوت فراہم نہیں کرتا ہے۔

مقامی انفرنس آپ کے کنٹرول میں کیا رکھتا ہے؟

4:02 یہاں کنکشن ہے۔ ایپل کا مضمون اوپن کوڈ کو اس کے مقامی ماڈل سرور کے لیے ایک کلائنٹ کے طور پر نامزد کرتا ہے۔ یہی کوڈنگ انٹرفیس بہت مختلف انفراسٹرکچر کے سامنے بیٹھ سکتا ہے۔ یہ اس کا جواب دیتا ہے کہ چار میک کیا خریدتے ہیں۔ صلاحیت، اور ایک انفرنس کی حد جسے آپ انتظامیہ کر سکتے ہیں۔ اس حد کے ارد گرد کی خدمات اب بھی اپنے جائزے کی مستحق ہیں۔ میرا خریداری کا اصول سادہ ہے۔ ثابت کریں کہ ماڈل فٹ بیٹھتا ہے، پورے کام کی پیمائش کریں، اور ہر اس سروس کو چیک کریں جو ایک سند رکھتی ہے۔

4:23 ایپل کا نتیجہ بڑے مقامی انفرنس کو زیادہ عملی بناتا ہے، جبکہ پائپ لائن ٹیسٹ بتاتا ہے کہ ہارڈ ویئر شامل کرنا مایوس کن کیوں ہو سکتا ہے۔ آپ کا قبولیت کا ٹیسٹ خریداری کے آرڈر کے ساتھ تعلق رکھتا ہے۔ اگر آپ اسے سننے کے بجائے پڑھنا پسند کرتے ہیں تو، ڈیف ہر صبح آپ کے ان باکس میں آتا ہے، ڈیلی ڈیف ڈاٹ ڈیو پر مفت، لنک نیچے ہے۔ ہر صبح، ڈیلی ڈیف ڈاٹ ڈیو پر مفت، لنک نیچے ہے۔

کیا میں چار میک کا کلسٹر خریدوں گا؟

4:40 تو آج کا فیصلہ ہے NEEDS REVIEW۔ میں کلسٹر خریدنے سے پہلے اپنے اصلی ورک لوڈ کی پیمائش کروں گا۔ سبسکرائب کریں، گھنٹی دبائیں، اور تبصروں میں مجھے بتائیں کہ کیا آپ نے اسے مختلف طریقے سے مہر لگائی ہوتی۔ مختلف طریقے سے مہر لگائی ہوتی۔ اور آج کے لیے بس یہی ڈیف ہے۔ میں اگزریسی سے نیکو ہوں۔ ذمہ داری سے ضم کریں۔

ذرائع

1. Local and Distributed Large LLM Inference with MLX and RDMA on Mac StudioApple Machine Learning Research
2. A benchmark map of the US economyMercor
3. Benchmark Map methodology and expert reviewMercor
4. Edited security-breach notice with Console scopeOpenCode
5. Reader questions mixed benchmark precision formatsHacker News · peri-cl (reader opinion)
6. User reports vanished provider credit (unverified loss claim)Amruth Pillai on X