এপল এমএলএক্স ডিষ্ট্ৰিবিউটেড ইনফেৰেন্স: মডেল ক্ষমতা, গতি আৰু বিশ্বাসৰ সীমা

এই ভিডিঅ’টোত কি আছে

• মডেলৰ ওজন আৰু ইনফেৰেন্স ৱৰ্কস্পেছ দুয়োটাই মেমৰি ব্যৱহাৰ কৰে; এটা মডেলৰ ওজনৰ চাপেই প্ৰয়োজনীয় ক্ষমতা কমকৈ দেখুৱাব পাৰে।
• পাইপলাইন সমান্তৰালতাই ক্ৰমানুসৰি স্তৰবোৰ বিতৰণ কৰে, আনহাতে টেনচৰ সমান্তৰালতাই প্ৰতিটো স্তৰৰ ভিতৰত কাম ভাগ কৰে আৰু সঘনাই কম-লেটেন্সি যোগাযোগৰ প্ৰয়োজন হয়।
• এপলে ৮,১৯২-টোকেনৰ প্ৰসংগৰ সৈতে চাৰিখন এম৫ আল্ট্ৰা মেক ষ্টুডিঅ'ত প্ৰতি ছেকেণ্ডত ৩৬ টোকেনতকৈ অধিক ৰিপ'ৰ্ট কৰিছে; কেবল তুলনাটো ৬৫,৫৩৬-টোকেনৰ প্ৰসংগত প্ৰথম টোকেনৰ বাবে অপেক্ষা কৰা সম্পৰ্কে।
• মেৰকৰৰ ৯০% কৰ্মঘণ্টাৰ অনুসন্ধানত ইয়াৰ নিৰ্বাচিত বেঞ্চমাৰ্ক সূচীত সামান্য বা কোনো কভাৰেজৰ বৰ্ণনা কৰা হৈছে। ই ৯০% মডেলৰ বিফলতাৰ হাৰ প্ৰতিষ্ঠা কৰা নাই।
• OpenCode-ৰ সম্পাদিত জাননীত বাহ্যিক প্ৰদানকাৰীৰ সৈতে সংযুক্ত কনছোল ব্যৱহাৰকাৰীসকলৰ এটা উপসেটৰ বৰ্ণনা কৰা হৈছে। ৰাজহুৱা জাননীত প্ৰতিটো স্থানীয় ইনষ্টলেশনৰ আপোচ প্ৰতিষ্ঠা কৰা হোৱা নাই।
• আপোনাৰ প্ৰকৃত কৰ্মভাৰ পৰীক্ষা কৰক আৰু এটা স্থানীয় মডেল ছেটআপক এটা সম্পূৰ্ণ গোপনীয়তা বা ব্যয় সমাধান হিচাপে ব্যৱহাৰ কৰাৰ আগতে ক্ৰেডেনচিয়াল-ধাৰী সেৱাসমূহ পৰ্যালোচনা কৰক।

অনূদিত ট্ৰান্সক্ৰিপ্ট

মূল ইংৰাজী বৰ্ণনাৰ পৰা অনুবাদ কৰা হৈছে। উপলব্ধ অডিঅ’ আৰু কেপচন ইউটিউবে নিয়ন্ত্ৰণ কৰে।

দুটা মেক একে গতিৰে কিয় থাকিব পাৰে?

0:00 আপুনি আশা কৰিব যে দুটা মেকে আপোনাৰ AI ক দুগুণ বেছি দ্ৰুত কৰিব। এপলৰ নিজৰ পৰীক্ষাবোৰে দেখুৱাইছে যে উৎপাদনৰ গতি প্ৰায় অপৰিৱৰ্তিত থাকিব পাৰে। এই ভিডিঅ'ত, চাৰিটা মেকে কি কিনে? বেঞ্চমাৰ্কবোৰে কি হেৰুৱায়? এটা কোডিং টুলে হাৰ্ডৱেৰক এটা নিশাৰ উলংঘনৰ সৈতে সংযোগ কৰে। আমি পিছত উভতি আহিম। শনিবাৰ, সোতৰ অক্টোবৰৰ বাবে, এয়া হৈছে The Daily Diff। MLX হৈছে এপলৰ মুকলি উৎস এৰে ফ্ৰেমৱৰ্ক এপলত মেচিন লার্নিংৰ বাবে

0:22 চিলিকন। ইয়াৰ নতুন পৰীক্ষাই চাৰিটা মেক ষ্টুডিঅ'ত মেটাৰ মিউজ স্পাৰ্ক অপেন চলায়। ই ইউনিফাইড মেমৰি ব্যৱহাৰ কৰে, যিটো CPU আৰু GPU এ অংশীদাৰী কৰে। এপলে এইটো ১৫ অক্টোবৰত প্ৰকাশ কৰিছিল। মেৰকৰে AI বেঞ্চমাৰ্কবোৰে খুব কমকৈ জোখা কামবোৰৰ মেপ বনাইছিল। আমি সোতৰ অক্টোবৰৰ সংস্কৰণটো কভাৰ কৰিছোঁ, নিশাৰ ভাগত ওঠৰ অক্টোবৰত OpenCode কনছোলৰ বিষয়ে এটা আপডেটৰ সৈতে।

মডেলটোক এটা মেকতকৈ বেছি মেক কিয় লাগে?

0:41 অসুবিধাজনক অংশটোৰ সৈতে আৰম্ভ কৰোঁ। এপলৰ মিউজ স্পাৰ্ক অপেন টেষ্টে চাৰি বিট মডেলৰ বাবে প্ৰায় ৫০০ গিগাবাইট ব্যৱহাৰ কৰে। এটা একক মেক ষ্টুডিঅ'ৰ সৰ্বোচ্চ ক্ষমতা ৫১২ গিগাবাইট, আৰু ইনফেৰেন্সৰ বাবেও ৱৰ্কিং মেমৰি লাগে। আৰু ইনফেৰেন্সৰ বাবে ৱৰ্কিং মেমৰিৰো প্ৰয়োজন হয়। আপুনি এটা মোজা ভৰোৱাৰ আগতেই ওজনবোৰে চুটকেছটো প্ৰায় ভৰাই তোলে। বেছি মেচিনে মডেলটোক খাপ খুৱাই তোলে। পাইপলাইন সমান্তৰালতাই মডেলটোক ইয়াৰ স্তৰবোৰৰ মাজেৰে কাটি দিয়ে। মেক এ-ই আগৰ স্তৰবোৰ কৰে, তাৰ পিছত মধ্যৱৰ্তী ফলাফলটো মেক বি-লৈ পাছ কৰে

1:05 পিছৰ স্তৰবোৰৰ বাবে। এটা উৎপন্ন টোকেনৰ বাবে, এই পদক্ষেপবোৰ এতিয়াও ক্ৰম অনুসৰি হয়। এপলৰ জোখবোৰে দেখুৱায় যে ডিক'ড স্পীড এটা একক মেচিনৰ দৰেই থাকে। আপুনি এজন দ্বিতীয় ৰান্ধনিক নিয়োগ কৰিছে, আৰু তেওঁলোকক একে চেণ্ডৱিচ দিছে। হাকাৰ নিউজলৈ, এজন ডেভেলপাৰে প্ৰশ্ন কৰিছিল যে এপলৰ তালিকাত চাৰি বিট মেটা কিয় ব্যৱহাৰ কৰা হৈছিল এটা কুইন মডেলৰ কাষত ইয়াৰ স্থানীয় সঠিকতাত মডেল। এপলৰ তালিকাত ফৰ্মেটবোৰ উল্লেখ আছে, গতিকে ক্ৰয় কৰাৰ আগতে ফুটনোটবোৰ পঢ়ি লওক। স্লাইড ডেকৰ বেঞ্চমাৰ্কবোৰ অপৰাজিত হৈয়ে আছে।

1:29 টেনছৰ সমান্তৰালতাই প্ৰতিটো স্তৰৰ মাজেৰে কাটে।

থাণ্ডাৰব’ল্টে মেকবোৰক কেনেকৈ একেলগে কাম কৰাত সহায় কৰে?

1:32 কেইবাখনো মেকে একেলগে একেটা স্তৰৰ অংশবোৰত কাম কৰে, তাৰ পিছত তেওঁলোকৰ ফলাফলবোৰ একত্ৰিত কৰে। সেইটোৱে উৎপাদন ত্বৰান্বিত কৰিব পাৰে, কিন্তু মেচিনবোৰে বাৰে বাৰে যোগাযোগ কৰে। এপলে থাণ্ডাৰব’ল্টৰ ওপৰেৰে কম লেটেন্সি ৰিম’ট মেমৰি এক্সেছ ব্যৱহাৰ কৰে। এটা কেবলৰ বাবে এটা সাহসী কেৰিয়াৰ পদক্ষেপ। মূল ফলাফল হৈছে চাৰিটা M5 আল্ট্ৰা মেক ষ্টুডিঅ'ৰ পৰা প্ৰতি ছেকেণ্ডত ৩৬ টোকেনতকৈ অধিক, প্ৰায় আঠ হাজাৰ টোকেনৰ প্ৰসংগৰ সৈতে। এপলে নিজেই ইয়াক জুখিছিল।

1:55 দীঘলীয়া প্ৰম্প্টবোৰে কাহিনীটো সলনি কৰে। এটা ডাঙৰ প্ৰসংগ পৰীক্ষাত, প্ৰতিটো সংযোগত দুডাল কেবলে প্ৰথম টোকেনৰ বাবে অপেক্ষা কৰা সময় প্ৰায় দহ ছেকেণ্ড কমাই দিলে। এটা স্থানীয় মডেল আপোনাক প্ৰম্প্টসমূহৰ চাৰিওফালে এটা উপযোগী সীমা দিয়ে, যদিহে আপোনাৰ প্ৰকৃত ছেটআপে সেইবোৰ স্থানীয়ভাৱে ৰাখে। এপলে হোষ্টেড API সমূহৰ বিৰুদ্ধে এক সাৰ্বজনীন ব্ৰেক ইভেন মূল্য যোগান ধৰা নাই। সেইটো ব্যৱহাৰ আৰু আপোনাক প্ৰয়োজন হোৱা মডেলৰ ওপৰত নিৰ্ভৰ কৰে। মাঝে সময়ে প্ৰশ্নৰ উত্তৰ দিয়া মেচিনে এটা অতি ব্যয়বহুল ডেস্ক অলংকাৰ হৈ থকাত বহুত সময় কটায়।

2:17 ব্যয়বহুল ডেস্ক অলংকাৰ। সেই মডেলটো বাছনি কৰিবলৈ আপোনাৰ কামৰ বাবে এটা পৰীক্ষাৰ প্ৰয়োজন।

এআই বেঞ্চমাৰ্কবোৰে আচলতে কি কাম সামৰি লয়?

2:21 মেৰকৰে উনৈশটা বেঞ্চমাৰ্কক আমেৰিকান চাকৰিৰ শ্ৰেণীবিভাজনৰ ওপৰত ম্যাপ কৰিছিল। ইয়াৰ সূচকে প্ৰায় উনৈশ হাজাৰৰ ভিতৰত প্ৰায় নশ কাম সামৰি লয়। মানচিত্ৰখনে অনুমান কৰিছে যে ৯০% কৰ্মঘণ্টাৰ বেঞ্চমাৰ্ক কভাৰেজ কম বা একেবাৰেই নাই। এইটো পৰীক্ষাৰ কাগজত এটা বৃহৎ খালী স্থান। মেৰকৰৰ মানচিত্ৰই কভাৰেজ জুখে। এটা খালী বৃত্তিত খুব কম পৰীক্ষা কৰা কাম থাকে; মডেলৰ ক্ষমতা এটা মুকলি প্ৰশ্ন হৈয়েই আছে। মানচিত্ৰখনত এটা এআই মডেল ব্যৱহাৰ কৰা হৈছিল, মেৰকৰৰ নিজা বেঞ্চমাৰ্ক প্ৰম্প্টৰ এটা উপসেটত মানৱ পৰ্যালোচনাৰ সৈতে। মেৰকৰৰ নিজা বেঞ্চমাৰ্ক প্ৰম্প্টৰ এটা উপসেটত মানৱ পৰ্যালোচনাৰ সৈতে।

2:49 পৰ্যালোচকসকলে ইয়াৰ প্ৰথম পচন্দৰ প্ৰায় তিনি চতুৰ্থাংশ গ্ৰহণ কৰিছিল। গ্ৰেডিং চিষ্টেমটোৰ নিজা গ্ৰেডিং চিষ্টেম লাগে, স্বাভাৱিকতে। গতিকে যদি আপুনি আপোনাৰ চাকৰিৰ বিষয়ে চিন্তিত, এটা লীডাৰব'ৰ্ডে যুক্তিটো নিষ্পত্তি কৰিব নোৱাৰে। যদি আপুনি এটা কোডিং সহকাৰী কিনিছে, আপোনাৰ নিজৰ গ্ৰহণযোগ্যতা পৰীক্ষাৰ সৈতে এটা প্ৰকৃত কাৰ্য পুনৰ চলাওক। উপযোগী কামত ডেমোৰ পিছৰ অগতানুগতিক অংশবোৰো অন্তৰ্ভুক্ত থাকে। চ্যাটবটে ভুল স্প্ৰেডশ্বীটখন আত্মবিশ্বাসেৰে শেষ কৰাৰ বাবে কোনেও প্ৰমচন নাপায়। যিটোৱে আমাক নিশাৰ আপডেটটোলৈ আনে।

ওপেনকোডে কৈছে যে ৰাতিটোৰ ভিতৰতে কাক প্ৰভাৱিত কৰা হৈছিল?

3:13 ওপেনকোডে কয় যে এটা নিৰাপত্তা উলংঘনে ১.৪ শতাংশ কনছোল ব্যৱহাৰকাৰীক প্ৰভাৱিত কৰিছিল। ইয়াৰ সম্পাদিত জাননীত বাহ্যিক প্ৰদানকাৰীৰ সৈতে সংযুক্ত উপসেটটোলৈ ইয়াক সংকীৰ্ণ কৰা হৈছে, আৰু কৈছে যে প্ৰভাৱিত ব্যৱহাৰকাৰীসকললৈ ইমেইল কৰা হৈছিল। ই ইয়াক এটা বৃহৎ পৰিসৰৰ Distillation Attack বুলি অভিহিত কৰিছে আৰু কৈছে যে ঘটনাটো চলি আছে। এটা ৰাজহুৱা মূল কাৰণ এতিয়ালৈকে আহি পোৱা নাই। উত্তৰবোৰত হেৰুৱা প্ৰদানকাৰী ক্ৰেডিটৰ বিষয়ে জনোৱা লোকসকল অন্তৰ্ভুক্ত, যিটো তেওঁলোকৰ ঘটনাৰ বৰ্ণনা। জাননীখনে প্ৰতিজন ব্যক্তিৰ ক্ষতি বা ক্ষতিপূৰণ প্ৰতিষ্ঠা কৰা নাই।

3:38 এপলে অলপতে দেখুৱাইছিল কেনেকৈ OpenCode ক স্থানীয় ইনফেৰেন্সৰ সৈতে সংযোগ কৰিব লাগে, আৰু এতিয়া ইয়াৰ নাম এটা সুৰক্ষা সতৰ্কবাণীৰ কাষত আছে। প্ৰডাক্টৰ নামে কেইবাটাও ভিন্ন বিশ্বাস সীমা সামৰি লয়। কন্সোল ব্যৱহাৰকাৰীসকলে আনুষ্ঠানিক জাননীখন পঢ়িব আৰু প্ৰদানকাৰীৰ ব্যৱহাৰ পৰীক্ষা কৰিব লাগে। যদি আপুনি প্ৰভাৱিত হৈছে, তেন্তে প্ৰতিকাৰ নিৰ্দেশনা অনুসৰণ কৰক আৰু সংযুক্ত ক্ৰেডেনচিয়ালসমূহ পৰ্যালোচনা কৰক। এই জাননীয়ে আমাক এটা নিৰ্দিষ্ট হোষ্টেড কনছোলৰ পৰিসৰ দিয়ে। ইয়াত প্ৰতিটো স্থানীয় ইনষ্টলেশনত হোৱা আপোচৰ কোনো প্ৰমাণ প্ৰদান কৰা হোৱা নাই।

স্থানীয় ইনফেৰেন্সে কি আপোনাৰ নিয়ন্ত্ৰণত ৰাখে?

4:02 এইটো সংযোগ। এপলৰ প্ৰবন্ধত OpenCode ক ইয়াৰ স্থানীয় মডেল ছাৰ্ভাৰৰ বাবে ক্লায়েন্ট হিচাপে নাম দিয়া হৈছে। একেটা কোডিং ইন্টাৰফেচ বৰ বেলেগ আন্তঃগাঁথনিৰ আগত থাকিব পাৰে। সেইটোৱে উত্তৰ দিয়ে যে চাৰিটা মেকে কি কিনে। ক্ষমতা, আৰু এটা ইনফেৰেন্স সীমা যি আপুনি পৰিচালনা কৰিব পাৰে। সেই সীমাৰ চাৰিওফালৰ সেৱাসমূহে এতিয়াও নিজৰ পৰ্যালোচনাৰ যোগ্য। মোৰ ক্ৰয়ৰ নিয়মটো সহজ। মডেলটো খাপ খাইছে বুলি প্ৰমাণ কৰক, গোটেই কামটো জুখক, আৰু ক্ৰেডেনচিয়াল থকা প্ৰতিটো সেৱা পৰীক্ষা কৰক।

4:23 এপলৰ ফলাফলে বৃহৎ স্থানীয় ইনফেৰেন্সক অধিক ব্যৱহাৰিক কৰি তোলে, আনহাতে পাইপলাইন পৰীক্ষাই ব্যাখ্যা কৰে যে হাৰ্ডৱেৰ যোগ কৰিলে কিয় হতাশ হ'ব পাৰে। আপোনাৰ গ্ৰহণযোগ্যতা পৰীক্ষা ক্ৰয় অৰ্ডাৰৰ কাষত থাকিব লাগে। যদি আপুনি মই কোৱাৰ সলনি এইটো পঢ়িব বিচাৰে, তেন্তে প্ৰতিদিনে পুৱা আপোনাৰ ইনবক্সত ডিফল্ট আহে, daily diff dot dev ত বিনামূলীয়া, তলত লিংক দিয়া আছে।

মই চাৰি-মেক ক্লাষ্টাৰ কিনিম নেকি?

4:40 গতিকে আজিৰ ৰায় হৈছে NEEDS REVIEW। ক্লাষ্টাৰটো ক্ৰয় কৰাৰ আগতে মই মোৰ প্ৰকৃত কৰ্মভাৰ জুখিম। চাবস্ক্ৰাইব কৰক, বেল টো টিপক, আৰু মন্তব্যত মোক কওক যদি আপুনি ইয়াত বেলেগ ধৰণে মোহৰ মাৰিলেহেঁতেন। বেলেগ ধৰণে। আৰু এইটোৱেই আজিৰ বাবে diff। মই Axrisi ৰ পৰা নিকো। দায়িত্ব সহকাৰে একত্ৰিত কৰক।

উৎসসমূহ

1. Local and Distributed Large LLM Inference with MLX and RDMA on Mac StudioApple Machine Learning Research
2. A benchmark map of the US economyMercor
3. Benchmark Map methodology and expert reviewMercor
4. Edited security-breach notice with Console scopeOpenCode
5. Reader questions mixed benchmark precision formatsHacker News · peri-cl (reader opinion)
6. User reports vanished provider credit (unverified loss claim)Amruth Pillai on X