অ্যাপল এমএলএক্স ডিস্ট্রিবিউটেড ইনফারেন্স: মডেল ক্ষমতা, গতি এবং ট্রাস্ট বাউন্ডারি

এই ভিডিওতে যা আছে

• মডেলের ওজন এবং ইনফারেন্স ওয়ার্কস্পেস উভয়ই মেমরি ব্যবহার করে; একটি মডেলের ওজনের পদচিহ্ন একাই প্রয়োজনীয় ক্ষমতাকে কমিয়ে দিতে পারে।
• পাইপলাইন প্যারালেলিজম ধারাবাহিক স্তর বিতরণ করে, যখন টেনসর প্যারালেলিজম প্রতিটি স্তরের মধ্যে কাজ ভাগ করে এবং ঘন ঘন কম-বিলম্বের যোগাযোগের প্রয়োজন হয়।
• অ্যাপল ৮,১৯২-টোকেন প্রেক্ষাপটে চারটি এম৫ আল্ট্রা ম্যাক স্টুডিওতে প্রতি সেকেন্ডে ৩৬ টোকেনর বেশি রিপোর্ট করেছে; তারের তুলনা ৬৫,৫৩৬-টোকেন প্রেক্ষাপটে প্রথম-টোকেন অপেক্ষার সাথে সম্পর্কিত।
• মারকরের ৯০% কর্মঘণ্টার ফলাফল তার নির্বাচিত বেঞ্চমার্ক সূচকে সামান্য বা কোন কভারেজ বর্ণনা করে। এটি ৯০% মডেল ব্যর্থতার হার প্রতিষ্ঠা করে না।
• ওপেনকোডের সম্পাদিত নোটিশ বাহ্যিক প্রদানকারীদের সাথে সংযুক্ত কনসোল ব্যবহারকারীদের একটি উপসেট বর্ণনা করে। পাবলিক নোটিশ প্রতিটি স্থানীয় ইনস্টলেশনের আপোষ প্রতিষ্ঠা করে না।
• আপনার প্রকৃত কাজের চাপ পরীক্ষা করুন এবং একটি স্থানীয় মডেল সেটআপকে সম্পূর্ণ গোপনীয়তা বা ব্যয় সমাধান হিসাবে বিবেচনা করার আগে প্রমাণপত্র-বহনকারী পরিষেবাগুলি পর্যালোচনা করুন।

অনুবাদিত প্রতিলিপি

মূল ইংরেজি বর্ণনা থেকে অনূদিত। উপলব্ধ অডিও এবং ক্যাপশন YouTube দ্বারা নিয়ন্ত্রিত।

কেন দুটি ম্যাক একই গতিতে থাকতে পারে?

0:00 আপনি আশা করবেন দুটি ম্যাক আপনার এআইকে দ্বিগুণ দ্রুত করবে। অ্যাপলের নিজস্ব পরীক্ষা দেখায় যে জেনারেশন গতি প্রায় অপরিবর্তিত থাকতে পারে। এই ভিডিওতে, চারটি ম্যাক কী কেনে? বেঞ্চমার্কগুলি কী মিস করে? একটি কোডিং টুল হার্ডওয়্যারকে রাতারাতি লঙ্ঘনের সাথে সংযুক্ত করে। আমরা ফিরে আসব। শনিবার, অক্টোবর সতেরো তারিখের জন্য, এটি The Daily Diff। MLX হল অ্যাপলের ওপেন সোর্স অ্যারে ফ্রেমওয়ার্ক যা অ্যাপল সিলিকনে মেশিন লার্নিংয়ের জন্য

0:22 এর নতুন পরীক্ষা মেটার মিউজ স্পার্ক ওপেনকে চারটি ম্যাক স্টুডিও জুড়ে চালায়। এটি ইউনিফাইড মেমরি ব্যবহার করে, যা সিপিইউ এবং জিপিইউ শেয়ার করে। অ্যাপল এটি ১৫ অক্টোবর প্রকাশ করেছে। মারকর এআই বেঞ্চমার্কগুলি যে কাজটি সবেমাত্র পরিমাপ করে তার মানচিত্র তৈরি করেছে। আমরা অক্টোবর সতেরো তারিখের সংস্করণটি কভার করছি, ওপেনকোড কনসোল সম্পর্কে রাতারাতি অক্টোবর আঠারো তারিখের আপডেট সহ।

মডেলটির কেন একাধিক ম্যাকের প্রয়োজন?

0:41 অসুবিধাজনক অংশ দিয়ে শুরু করুন। অ্যাপলের মিউজ স্পার্ক ওপেন পরীক্ষাটি চার-বিট মডেলের জন্য প্রায় পাঁচশো গিগাবাইট ব্যবহার করে। একটি একক ম্যাক স্টুডিও পাঁচশো বারো গিগাবাইটে শেষ হয়, এবং ইনফারেন্সের জন্য কাজের মেমরিও প্রয়োজন হয়। আপনি একটিও মোজা প্যাক করার আগেই ওজনগুলি প্রায় স্যুটকেস ভরে ফেলে। আরও মেশিন মডেলটিকে ফিট করে তোলে। পাইপলাইন প্যারালেলিজম এর স্তরগুলির মাধ্যমে মডেলটিকে কেটে দেয়। ম্যাক এ পূর্ববর্তী স্তরগুলি করে, তারপর ম্যাক বি-এর জন্য মধ্যবর্তী ফলাফলটি পাস করে

1:05 পরবর্তী স্তরগুলির জন্য। একটি জেনারেট করা টোকেনের জন্য, সেই পদক্ষেপগুলি এখনও অনুক্রমিকভাবে ঘটে। অ্যাপলের পরিমাপ দেখায় যে ডিকোড গতি একটি একক মেশিনের সাথে খুব মিল থাকে। আপনি একজন দ্বিতীয় রাঁধুনি ভাড়া করেছেন এবং তাদের একই স্যান্ডউইচ দিয়েছেন। হ্যাকার নিউজে, একজন ডেভেলপার প্রশ্ন করেছিলেন কেন অ্যাপলের টেবিলে একটি চার বিট মেটা মডেল তার নেটিভ নির্ভুলতায় একটি কুইন মডেলের পাশে ব্যবহার করা হয়েছে। অ্যাপলের টেবিলে ফর্ম্যাটগুলি উল্লেখ করা আছে, তাই কেনাকাটার আগে ফুটনোটগুলি পড়ুন। স্লাইড ডেক বেঞ্চমার্কগুলি অপরাজিত থাকে।

1:29 টেনসর প্যারালেলিজম প্রতিটি স্তরের পরিবর্তে কেটে যায়।

থান্ডারবোল্ট কীভাবে ম্যাকগুলিকে একসাথে কাজ করতে সহায়তা করে?

1:32 একাধিক ম্যাক একই স্তরের টুকরাগুলিতে একসাথে কাজ করে, তারপর তাদের ফলাফল একত্রিত করে। এটি জেনারেশনকে ত্বরান্বিত করতে পারে, তবে মেশিনগুলি বারবার যোগাযোগ করে। অ্যাপল থান্ডারবোল্টের মাধ্যমে কম বিলম্বের রিমোট মেমরি অ্যাক্সেস ব্যবহার করে। একটি তারের জন্য একটি সাহসী কর্মজীবনের পদক্ষেপ। মূল ফলাফল হল চারটি এম ফাইভ আল্ট্রা ম্যাক স্টুডিও থেকে প্রতি সেকেন্ডে ছত্রিশ টোকেনর বেশি, প্রায় আট হাজার টোকেন প্রেক্ষাপট সহ। অ্যাপল এটি নিজেই পরিমাপ করেছে।

1:55 দীর্ঘ প্রম্পটগুলি গল্প পরিবর্তন করে। একটি বৃহৎ প্রেক্ষাপট পরীক্ষায়, প্রতি লিঙ্কে দুটি তার প্রথম টোকেনের জন্য অপেক্ষা প্রায় দশ সেকেন্ড কমিয়ে দিয়েছে। একটি স্থানীয় মডেল আপনাকে প্রম্পটগুলির চারপাশে একটি দরকারী সীমানা দেয়, যদি আপনার প্রকৃত সেটআপ সেগুলিকে স্থানীয় রাখে। অ্যাপল হোস্ট করা এপিআইগুলির বিরুদ্ধে একটি সার্বজনীন ব্রেক ইভেন মূল্য সরবরাহ করেনি। এটি ব্যবহার এবং আপনার প্রয়োজনীয় মডেলের উপর নির্ভর করে। মাঝে মাঝে প্রশ্নের উত্তর দেওয়া একটি মেশিন খুব ব্যয়বহুল ডেস্ক অলঙ্কার হিসাবে প্রচুর সময় ব্যয় করে।

2:17 সেই মডেলটি বেছে নেওয়ার জন্য আপনার কাজের জন্য একটি পরীক্ষা প্রয়োজন। মারকর উনত্রিশটি বেঞ্চমার্ককে আমেরিকান চাকরির শ্রেণিবিন্যাসে ম্যাপ করেছে।

এআই বেঞ্চমার্কগুলি আসলে কী কাজ কভার করে?

2:21 এর সূচক প্রায় উনিশ হাজার কাজের মধ্যে প্রায় নয়শো কাজ কভার করে। মানচিত্রটি অনুমান করে যে নব্বই শতাংশ কর্মঘণ্টার সামান্য বা কোনো বেঞ্চমার্ক কভারেজ নেই। এটি পরীক্ষার কাগজে একটি বিশাল ফাঁকা স্থান। মারকরের মানচিত্র কভারেজ পরিমাপ করে। একটি ফাঁকা পেশায় সবেমাত্র পরীক্ষিত কাজ রয়েছে; মডেলের ক্ষমতা একটি উন্মুক্ত প্রশ্ন থেকে যায়। ম্যাপিং একটি এআই মডেল ব্যবহার করেছে, মারকরের নিজস্ব বেঞ্চমার্ক প্রম্পটগুলির একটি উপসেটে মানব পর্যালোচনা সহ। পর্যবেক্ষকরা এর প্রথম পছন্দের প্রায় তিন চতুর্থাংশ গ্রহণ করেছেন। গ্রেডিং সিস্টেমের নিজস্ব গ্রেডিং সিস্টেম প্রয়োজন,

2:49 স্বাভাবিকভাবেই। তাই যদি আপনি আপনার চাকরি নিয়ে চিন্তিত হন, একটি লিডারবোর্ড বিতর্কটি নিষ্পত্তি করতে পারে না। যদি আপনি একটি কোডিং সহকারী কিনছেন, আপনার নিজের গ্রহণযোগ্যতা পরীক্ষা সহ একটি বাস্তব কাজ পুনরায় চালান। উপযোগী কাজের মধ্যে ডেমোর পরে অস্বস্তিকর অংশগুলি অন্তর্ভুক্ত থাকে। চ্যাটবট ভুল স্প্রেডশীট আত্মবিশ্বাসের সাথে শেষ করায় কেউ পদোন্নতি পায় না। যা আমাদের রাতারাতি আপডেটে নিয়ে আসে। ওপেনকোড বলছে একটি নিরাপত্তা লঙ্ঘন কনসোল ব্যবহারকারীদের এক দশমিক চার শতাংশকে প্রভাবিত করেছে। এর সম্পাদিত নোটিশ এটিকে বাহ্যিক প্রদানকারীদের সাথে সংযুক্ত একটি উপসেটে সংকীর্ণ করে,

ওপেনকোড কে কে রাতারাতি প্রভাবিত হয়েছিল বলে জানিয়েছে?

3:13 এবং বলে যে প্রভাবিত ব্যবহারকারীদের ইমেল করা হয়েছিল। এটিকে একটি বৃহৎ আকারের ডিস্টিলেশন আক্রমণ বলা হয়েছে এবং বলা হয়েছে যে ঘটনাটি চলমান রয়েছে। একটি পাবলিক মূল কারণ এখনও আসেনি। উত্তরগুলিতে এমন লোকেরা অন্তর্ভুক্ত রয়েছে যারা অদৃশ্য হয়ে যাওয়া প্রদানকারীর ক্রেডিট রিপোর্ট করছে, যা তাদের ঘটনার বিবরণ। নোটিশটি প্রতিটি ব্যক্তির ক্ষতি বা ক্ষতিপূরণ প্রতিষ্ঠা করে না। অ্যাপল সবেমাত্র দেখিয়েছিল কীভাবে ওপেনকোডকে স্থানীয় ইনফারেন্সের সাথে সংযুক্ত করা যায়, এবং এখন এর নামটি একটি নিরাপত্তা সতর্কতার পাশে রয়েছে।

3:38 পণ্যের নামটি বিভিন্ন বিশ্বস্ততার সীমানা কভার করে। কনসোল ব্যবহারকারীদের অফিসিয়াল নোটিশ পড়তে হবে এবং প্রদানকারীর ব্যবহার পরীক্ষা করতে হবে। যদি আপনি প্রভাবিত হন, তাহলে প্রতিকার নির্দেশাবলী অনুসরণ করুন এবং সংযুক্ত প্রমাণপত্রগুলি পর্যালোচনা করুন। এই নোটিশটি আমাদের একটি নির্দিষ্ট হোস্ট করা কনসোল স্কোপ দেয়। এটি এখানে প্রতিটি স্থানীয় ইনস্টলেশনের আপোষের কোনো প্রমাণ সরবরাহ করে না। এই হল সংযোগ। অ্যাপলের নিবন্ধটি ওপেনকোডকে তার স্থানীয় মডেল সার্ভারের জন্য একটি ক্লায়েন্ট হিসাবে নাম দেয়।

স্থানীয় ইনফারেন্স আপনার নিয়ন্ত্রণে কী রাখে?

4:02 একই কোডিং ইন্টারফেস খুব ভিন্ন অবকাঠামোর সামনে বসতে পারে। এটি চারটি ম্যাক কী কেনে তার উত্তর দেয়। ক্ষমতা, এবং একটি ইনফারেন্স সীমানা যা আপনি পরিচালনা করতে পারেন। সেই সীমানার চারপাশে পরিষেবাগুলি এখনও তাদের নিজস্ব পর্যালোচনার যোগ্য। আমার কেনার নিয়ম সহজ। প্রমাণ করুন যে মডেলটি ফিট করে, পুরো কাজটি পরিমাপ করুন, এবং একটি প্রমাণপত্র ধারণকারী প্রতিটি পরিষেবা পরীক্ষা করুন। অ্যাপলের ফলাফল বৃহৎ স্থানীয় ইনফারেন্সকে আরও ব্যবহারিক করে তোলে, যখন পাইপলাইন পরীক্ষা ব্যাখ্যা করে কেন হার্ডওয়্যার যুক্ত করা হতাশাজনক হতে পারে।

4:23 আপনার গ্রহণযোগ্যতা পরীক্ষা ক্রয় আদেশের পাশে থাকে। আপনি যদি এটি আমার বলার চেয়ে পড়তে চান, তবে প্রতিদিন সকালে আপনার ইনবক্সে ডিফারেন্স আসে, daily diff dot dev-এ বিনামূল্যে, নিচে লিঙ্ক দেওয়া আছে। সুতরাং আজকের রায় হল NEEDS REVIEW। আমি ক্লাস্টার কেনার আগে আমার আসল কাজের চাপ পরিমাপ করব।

আমি কি চার-ম্যাক ক্লাস্টার কিনব?

4:40 সাবস্ক্রাইব করুন, ঘণ্টাটি চাপুন, এবং মন্তব্যগুলিতে আমাকে জানান যদি আপনি এটি ভিন্নভাবে স্ট্যাম্প করতেন। এবং এটি আজকের জন্য ডিফারেন্স। আমি Axrisi থেকে নিকো। দায়িত্বশীলভাবে মার্জ করুন। এবং এটি আজকের জন্য ডিফারেন্স। আমি Axrisi থেকে নিকো। দায়িত্বশীলভাবে মার্জ করুন।

উৎস

1. Local and Distributed Large LLM Inference with MLX and RDMA on Mac StudioApple Machine Learning Research
2. A benchmark map of the US economyMercor
3. Benchmark Map methodology and expert reviewMercor
4. Edited security-breach notice with Console scopeOpenCode
5. Reader questions mixed benchmark precision formatsHacker News · peri-cl (reader opinion)
6. User reports vanished provider credit (unverified loss claim)Amruth Pillai on X