Apple MLX ဖြန့်ဝေထားသော တွက်ချက်မှု- မော်ဒယ်စွမ်းဆောင်ရည်၊ မြန်နှုန်းနှင့် ယုံကြည်ရမှု အပိုင်းအခြားများ

ဤဗီဒီယိုတွင် ဖော်ပြထားသောအရာများ

• မော်ဒယ်အလေးချိန်များနှင့် တွက်ချက်မှု လုပ်ငန်းခွင် နှစ်ခုလုံးသည် မမ်မိုရီကို အသုံးပြုသည်။ မော်ဒယ်၏ အလေးချိန်တစ်ခုတည်းဖြင့် လိုအပ်သော စွမ်းဆောင်ရည်ကို လျှော့တွက်မိနိုင်သည်။
• ပိုက်လိုင်းအပြိုင်လုပ်ဆောင်မှုသည် ဆက်တိုက်အလွှာများကို ဖြန့်ဝေပြီး တန်ဆာအပြိုင်လုပ်ဆောင်မှုသည် အလွှာတစ်ခုစီအတွင်း အလုပ်များကို ပိုင်းခြားကာ မကြာခဏ အနိမ့် latency ဆက်သွယ်မှု လိုအပ်သည်။
• Apple သည် M5 Ultra Mac Studio လေးလုံးပေါ်တွင် တစ်စက္ကန့်လျှင် တိုကင် ၃၆ ခုကျော်နှင့် 8,192-token context ဖြင့် အစီရင်ခံသည်။ ကေဘယ်လ်နှိုင်းယှဉ်မှုသည် 65,536-token context တွင် ပထမဆုံး တိုကင်စောင့်ဆိုင်းမှုကို ရည်ညွှန်းသည်။
• Mercor ၏ ၉၀% အလုပ်ချိန် တွေ့ရှိချက်သည် ၎င်း၏ ရွေးချယ်ထားသော benchmark index တွင် အနည်းငယ်သာ သို့မဟုတ် မရှိသော coverage ကို ဖော်ပြသည်။ ၎င်းသည် ၉၀% မော်ဒယ်ပျက်စီးမှုနှုန်းကို မတည်ဆောက်နိုင်ပါ။
• OpenCode ၏ တည်းဖြတ်ထားသော အသိပေးစာသည် ချိတ်ဆက်ထားသော ပြင်ပပံ့ပိုးသူများရှိသည့် Console အသုံးပြုသူများ၏ အုပ်စုငယ်တစ်ခုကို ဖော်ပြသည်။ အများပြည်သူအသိပေးစာသည် တပ်ဆင်ထားသော စက်တိုင်း၏ ပျက်စီးမှုကို မတည်ဆောက်နိုင်ပါ။
• ဒေသတွင်း မော်ဒယ်တပ်ဆင်မှုကို ပြီးပြည့်စုံသော လျှို့ဝှက်ရေး သို့မဟုတ် ကုန်ကျစရိတ်ဖြေရှင်းချက်အဖြစ် မသတ်မှတ်မီ သင်၏ လက်ရှိလုပ်ဆောင်မှုဝန်ကို စမ်းသပ်ပြီး credential-bearing ဝန်ဆောင်မှုများကို ပြန်လည်စစ်ဆေးပါ။

ဘာသာပြန်ထားသော စာသားမှတ်တမ်း

မူရင်း အင်္ဂလိပ်စကားပြောမှ ဘာသာပြန်ထားသည်။ ရရှိနိုင်သော အသံနှင့် စာတန်းထိုးများကို YouTube မှ ထိန်းချုပ်ထားသည်။

Mac နှစ်လုံးသည် အဘယ်ကြောင့် အမြန်နှုန်း အတူတူရှိနေနိုင်သနည်း။

0:00 Mac နှစ်လုံးက မင်းရဲ့ AI ကို နှစ်ဆ ပိုမြန်စေမယ်လို့ မင်းမျှော်လင့်ထားလိမ့်မယ်။ Apple ရဲ့ ကိုယ်ပိုင်စမ်းသပ်မှုတွေအရ ထုတ်လုပ်မှု အမြန်နှုန်းက အတူတူနီးပါး ရှိနေနိုင်တယ်လို့ ပြသထားတယ်။ ဒီဗီဒီယိုမှာ Mac လေးလုံးက ဘာတွေ ဆောင်ကြဉ်းပေးသလဲ။ Benchmarks တွေက ဘာတွေ လွဲချော်နေသလဲ။ Coding tool တစ်ခုက hardware ကို တစ်ညတာအတွင်း ချိုးဖောက်မှုနဲ့ ချိတ်ဆက်ထားတယ်။ ကျွန်တော်တို့ ပြန်လာခဲ့မယ်။ စနေနေ့၊ အောက်တိုဘာ ဆယ့်ခုနစ်ရက်နေ့အတွက် ဒါက The Daily Diff ဖြစ်ပါတယ်။ MLX ကတော့ Apple ရဲ့ open source array framework ဖြစ်ပြီး Apple

0:22 silicon ပေါ်မှာ machine learning အတွက်ပါ။ သူ့ရဲ့ စမ်းသပ်မှုအသစ်က Meta ရဲ့ Muse Spark Open ကို Mac Studios လေးလုံးပေါ်မှာ အလုပ်လုပ်စေပါတယ်။ ဒါက CPU နဲ့ GPU နှစ်ခုလုံး မျှဝေတဲ့ unified memory ကို သုံးပါတယ်။ Apple က ဒါကို အောက်တိုဘာ ဆယ့်ငါးရက်နေ့မှာ ထုတ်ပြန်ခဲ့ပါတယ်။ Mercor က AI benchmarks တွေ သိပ်မတိုင်းတာတဲ့ အလုပ်တွေကို မြေပုံဆွဲထားတယ်။ ကျွန်တော်တို့ အောက်တိုဘာ ဆယ့်ခုနစ်ရက်နေ့ ထုတ်ဝေမှုကို ဖုံးအုပ်နေပါတယ်။ အောက်တိုဘာ ဆယ့်ရှစ်ရက်နေ့ တစ်ညတာ update နဲ့ OpenCode Console အကြောင်းပါ။ စဖို့ အဆင်မပြေတဲ့ အပိုင်းနဲ့ စလိုက်ရအောင်။

မော်ဒယ်သည် Mac တစ်လုံးထက် ပို၍ အဘယ်ကြောင့် လိုအပ်သနည်း။

0:41 Apple ရဲ့ Muse Spark Open စမ်းသပ်မှုက ၄ bit မော်ဒယ်အတွက်တောင် gigabytes ၅၀၀ လောက်ပဲ သုံးပါတယ်။ Mac Studio တစ်လုံးက gigabytes ၅၁၂ အထိပဲ ရှိပြီး inference က အလုပ်လုပ်ဖို့ memory လည်း လိုအပ်ပါတယ်။ မင်းဖိနပ်တစ်စုံမှ မထည့်ရသေးခင်မှာ အလေးချိန်တွေက ခရီးဆောင်အိတ်ကို ပြည့်လုနီးပါး ဖြစ်နေပြီ။ စက်တွေ ပိုများလာရင် မော်ဒယ်က ပိုပြီး လိုက်ဖက်လာပါတယ်။ Pipeline parallelism က မော်ဒယ်ကို အလွှာများစွာ ဖြတ်တောက်ပါတယ်။ Mac A က အစောပိုင်း အလွှာတွေကို လုပ်ဆောင်ပြီး ရလဒ်အလယ်အလွှာကို Mac B ကို ပေးပို့ပါတယ်။ နောက်ပိုင်း အလွှာတွေအတွက်ပါ။

1:05 ထုတ်လုပ်ထားသော token တစ်ခုအတွက် ထိုအဆင့်များသည် ဆက်တိုက် ဖြစ်ပေါ်နေဆဲဖြစ်သည်။ Apple ၏ တိုင်းတာမှုများအရ decode speed သည် စက်တစ်လုံးတည်းနှင့် အလွန်ဆင်တူနေဆဲဖြစ်သည်။ မင်း ဒုတိယစားဖိုမှူးတစ်ယောက် ငှားပြီး အတူတူ ဆန်းဒ်ဝစ်ခ်ျ ပေးခဲ့တယ်။ Hacker News မှာ developer တစ်ဦးက Apple ရဲ့ table မှာ 4 bit Meta model ကို Qwen model နဲ့ ၎င်းရဲ့ native precision မှာ ဘာလို့ အသုံးပြုထားလဲဆိုတာကို မေးခွန်းထုတ်ခဲ့ပါတယ်။ Apple ရဲ့ table မှာ format တွေ ဖော်ပြထားတော့ ဈေးဝယ်မထွက်ခင် အောက်ခြေမှတ်စုတွေကို ဖတ်ပါ။ ဆလိုက်ရှိုး benchmark များသည် မည်သည့်အခါမျှ အနိုင်မခံရသေးပါ။ Tensor parallelism ကတော့ layer တစ်ခုချင်းစီကို ဖြတ်တောက်ပါတယ်။

1:29 Mac အများအပြားက layer တစ်ခုတည်းရဲ့ အပိုင်းအစတွေကို အတူတကွ လုပ်ဆောင်ကြပါတယ်။

Thunderbolt သည် Mac များ အတူတကွ အလုပ်လုပ်ရာတွင် မည်သို့ ကူညီသနည်း။

1:32 ပြီးတော့ သူတို့ရဲ့ ရလဒ်တွေကို ပေါင်းစပ်လိုက်ပါတယ်။ ဒါက generation ကို မြန်စေနိုင်ပေမယ့် စက်တွေက ထပ်ခါတလဲလဲ ဆက်သွယ်ကြပါတယ်။ Apple က Thunderbolt ပေါ်ကနေ latency နည်းတဲ့ remote memory access ကို သုံးပါတယ်။ ကေဘယ်လ်တစ်ခုအတွက် ရဲရင့်သော အသက်မွေးဝမ်းကျောင်းဆိုင်ရာ လှုပ်ရှားမှုတစ်ခု။ ခေါင်းစီးရလဒ်ကတော့ M5 Ultra Mac Studios လေးလုံးကနေ တစ်စက္ကန့်ကို တိုကင် ၃၆ ခုကျော် ရရှိတာဖြစ်ပြီး context ၈ ထောင်လောက်နဲ့ပါ။ Apple ကိုယ်တိုင် တိုင်းတာခဲ့တာပါ။ ပိုရှည်တဲ့ prompt တွေက အကြောင်းအရာကို ပြောင်းလဲစေတယ်။

1:55 ကြီးမားသော context စမ်းသပ်မှုတစ်ခုတွင်၊ link တစ်ခုလျှင် ကေဘယ်လ်နှစ်ခုသည် ပထမဆုံး token အတွက် စောင့်ဆိုင်းချိန်ကို ဆယ်စက္ကန့်ခန့် လျှော့ချပေးခဲ့သည်။ ဒေသတွင်း မော်ဒယ်တစ်ခုက သင့်အား prompts ပတ်ပတ်လည်တွင် အသုံးဝင်သော နယ်နိမိတ်တစ်ခုကို ပေးသည်၊ သင့်လက်ရှိ တပ်ဆင်မှုက ၎င်းတို့ကို ဒေသတွင်းမှာပဲ ထိန်းထားနိုင်ရင်ပေါ့။ Apple က hosted API တွေနဲ့ ကွာဟချက်ကို ဖြတ်တောက်ဖို့ ကမ္ဘာလုံးဆိုင်ရာ ဈေးနှုန်းကို မပေးသေးပါဘူး။ ဒါက အသုံးပြုမှုနဲ့ သင်လိုအပ်တဲ့ model ပေါ်မှာ မူတည်ပါတယ်။ တစ်ခါတစ်ရံ မေးခွန်းတွေဖြေတဲ့ စက်တစ်ခုကတော့ အရမ်းစျေးကြီးတဲ့ စားပွဲတင်အလှဆင်ပစ္စည်း ဖြစ်နေတဲ့အချိန်တွေ အများကြီးပါပဲ။

2:17 ထိုမော်ဒယ်ကို ရွေးချယ်ရန် သင်၏အလုပ်အတွက် စမ်းသပ်မှုတစ်ခု လိုအပ်သည်။ Mercor သည် benchmark ၂၉ ခုကို American jobs taxonomy ပေါ်သို့ မြေပုံဆွဲခဲ့သည်။

AI benchmarks များသည် အမှန်တကယ် မည်သည့်အလုပ်များကို ဖုံးအုပ်ထားသနည်း။

2:21 ၎င်း၏ index သည် လုပ်ငန်းပေါင်း ၁၉၀၀၀ နီးပါးမှ လုပ်ငန်း ၉၀၀ ခန့်ကို ဖုံးအုပ်ထားသည်။ မြေပုံအရ အလုပ်ချိန် ၉၀ ရာခိုင်နှုန်းတွင် benchmark coverage အနည်းငယ်သာရှိသည် သို့မဟုတ် လုံးဝမရှိကြောင်း ခန့်မှန်းထားသည်။ ၎င်းသည် စာမေးပွဲစာရွက်ပေါ်တွင် ကြီးမားသော လစ်လပ်နေရာတစ်ခုဖြစ်သည်။ Mercor ရဲ့ မြေပုံက coverage ကို တိုင်းတာပါတယ်။ အလွတ်ဖြစ်နေတဲ့ အလုပ်တစ်ခုမှာ စမ်းသပ်ပြီးသား အလုပ်တွေတောင် မရှိပါဘူး။ မော်ဒယ်ရဲ့ စွမ်းဆောင်ရည်ကတော့ ဖြေမပြီးသေးတဲ့ မေးခွန်းတစ်ခုအဖြစ် ကျန်ရှိနေပါတယ်။ မြေပုံဆွဲခြင်းမှာ AI မော်ဒယ်ကို အသုံးပြုခဲ့ပြီး Mercor ရဲ့ ကိုယ်ပိုင် benchmark prompts အချို့ကို လူသားတွေက ပြန်လည်စစ်ဆေးခဲ့ပါတယ်။ ပြန်လည်သုံးသပ်သူများသည် ၎င်း၏ ပထမရွေးချယ်မှု သုံးပုံလေးပုံခန့်ကို လက်ခံခဲ့သည်။ အဆင့်သတ်မှတ်စနစ်က သူ့ကိုယ်ပိုင် အဆင့်သတ်မှတ်စနစ် လိုအပ်တယ်၊ သဘာဝကျပါတယ်။ ဒါကြောင့် မင်းရဲ့အလုပ်အတွက် စိတ်ပူနေရင် leaderboard က အငြင်းပွားမှုကို ပြေလည်အောင် မလုပ်ပေးနိုင်ပါဘူး။ မင်း coding assistant တစ်ခု ဝယ်နေတယ်ဆိုရင်၊ သင့်ကိုယ်ပိုင် လက်ခံနိုင်မှု စစ်ဆေးမှုတွေနဲ့ တကယ့်အလုပ်တစ်ခုကို ပြန်လုပ်ကြည့်ပါ။

2:49 အသုံးဝင်တဲ့အလုပ်တွေထဲမှာ demo ပြီးရင် awkward bits တွေလည်း ပါဝင်ပါတယ်။ chatbot က မှားယွင်းတဲ့ spreadsheet ကို ယုံကြည်မှုရှိရှိ ဖြည့်ပြီးလို့ ဘယ်သူမှ ရာထူးတိုးတာ မရှိပါဘူး။ ဒါကတော့ တစ်ညတာ update နဲ့ ပတ်သက်တာပါ။ OpenCode က Console အသုံးပြုသူ ၁.၄ ရာခိုင်နှုန်းကို လုံခြုံရေး ချိုးဖောက်မှုတစ်ခုက ထိခိုက်ခဲ့တယ်လို့ ပြောပါတယ်။ သူ့ရဲ့ တည်းဖြတ်ထားတဲ့ အသိပေးချက်က ပြင်ပ ပံ့ပိုးသူတွေနဲ့ ချိတ်ဆက်ထားတဲ့ အုပ်စုငယ်တစ်ခုကိုပဲ ကန့်သတ်ပြီး ထိခိုက်ခဲ့တဲ့ အသုံးပြုသူတွေကို အီးမေးလ် ပို့ထားတယ်လို့ ပြောပါတယ်။ ဒါကို ကြီးမားတဲ့ distillation attack လို့ ခေါ်ပြီး ဒီဖြစ်ရပ်က ဆက်လက်ဖြစ်ပေါ်နေဆဲလို့ ပြောပါတယ်။ အများပြည်သူသိအောင် အရင်းအမြစ်ကို ဖော်ထုတ်ဖို့ လိုအပ်နေပါသေးတယ်။ အဖြေတွေထဲမှာ ပျောက်ဆုံးသွားတဲ့ provider credit တွေ၊ သူတို့ရဲ့ ဖြစ်စဉ်အကြောင်းအရာတွေကို တင်ပြသူတွေ ပါဝင်ပါတယ်။ အသိပေးချက်က လူတစ်ဦးစီရဲ့ ဆုံးရှုံးမှု ဒါမှမဟုတ် လျော်ကြေးကို မဖော်ပြပါဘူး။

OpenCode က မည်သူကို တစ်ညတာအတွင်း ထိခိုက်ခဲ့သည်ဟု ဆိုသနည်း။

3:13 Apple က OpenCode ကို local inference နဲ့ ဘယ်လိုချိတ်ဆက်ရမယ်ဆိုတာကို ပြသခဲ့ပြီးပါပြီ။ အခု သူ့နာမည်က လုံခြုံရေး သတိပေးချက်ဘေးမှာ ရောက်နေပြီ။ ထုတ်ကုန်နာမည်က ကွဲပြားခြားနားတဲ့ trust boundaries အများအပြားကို ဖုံးအုပ်ထားပါတယ်။ Console အသုံးပြုသူများအနေဖြင့် တရားဝင်အသိပေးချက်ကို ဖတ်ပြီး ပံ့ပိုးသူအသုံးပြုမှုကို စစ်ဆေးသင့်ပါသည်။ အကယ်၍ သင်သည် ထိခိုက်မှုရှိပါက ပြုပြင်ရေးညွှန်ကြားချက်များကို လိုက်နာပြီး ချိတ်ဆက်ထားသော credential များကို ပြန်လည်စစ်ဆေးပါ။ ဤအသိပေးချက်သည် ကျွန်ုပ်တို့အား သီးခြား hosted Console scope တစ်ခုကို ပေးသည်။ ဒါက local installation တိုင်းမှာ ချိုးဖောက်မှု ရှိတယ်ဆိုတဲ့ အထောက်အထားကို မပေးပါဘူး။ ဒီမှာ ချိတ်ဆက်မှုပါ။

3:38 Apple ရဲ့ ဆောင်းပါးက OpenCode ကို သူ့ရဲ့ local model server အတွက် client အဖြစ် ဖော်ပြထားပါတယ်။ coding interface တစ်ခုတည်းက အရမ်းကွဲပြားခြားနားတဲ့ infrastructure ရှေ့မှာ ရှိနေနိုင်ပါတယ်။ Mac လေးလုံးက ဘာတွေ ဆောင်ကြဉ်းပေးသလဲဆိုတာကို အဲဒါက ဖြေကြားပေးတယ်။ စွမ်းဆောင်ရည်နဲ့ သင်စီမံခန့်ခွဲနိုင်တဲ့ inference နယ်နိမိတ်တစ်ခုပါ။ ထိုနယ်နိမိတ်ပတ်ဝန်းကျင်ရှိ ဝန်ဆောင်မှုများသည် ၎င်းတို့၏ကိုယ်ပိုင် ပြန်လည်သုံးသပ်မှုကို ဆက်လက်ခံယူထိုက်သည်။ ကျွန်တော်ရဲ့ ဝယ်ယူမှုစည်းမျဉ်းက ရိုးရှင်းပါတယ်။ မော်ဒယ်က ကိုက်ညီကြောင်း သက်သေပြပါ၊ အလုပ်တစ်ခုလုံးကို တိုင်းတာပါ၊ ပြီးတော့ credential တစ်ခုကို ကိုင်ထားတဲ့ ဝန်ဆောင်မှုတိုင်းကို စစ်ဆေးပါ။ Apple ရဲ့ ရလဒ်က ကြီးမားတဲ့ local inference ကို ပိုပြီး လက်တွေ့ကျစေပါတယ်၊

ဒေသတွင်း တွက်ချက်မှုက ဘာတွေကို သင့်ထိန်းချုပ်မှုအောက်မှာ ထားသလဲ။

4:02 pipeline test က hardware ထည့်တာက ဘာလို့ စိတ်ပျက်စရာဖြစ်စေလဲဆိုတာကို ရှင်းပြထားပါတယ်။ သင့်ရဲ့ လက်ခံမှု စမ်းသပ်မှုက ဝယ်ယူမှုမှာ ပါဝင်ပါတယ်။ ကျွန်တော်ပြောတာ နားထောင်တာထက် ဒါကို ဖတ်ချင်တယ်ဆိုရင်တော့ diff ကို မနက်တိုင်း သင့် inbox ထဲကို ရောက်လာပါလိမ့်မယ်။ အခမဲ့ daily diff dot dev မှာ၊ link က အောက်မှာပါ။ ဒါကြောင့် ဒီနေ့ရဲ့ စီရင်ချက်က NEEDS REVIEW ဖြစ်ပါတယ်။ ကျွန်တော် cluster ကို မဝယ်ခင် ကျွန်တော်ရဲ့ တကယ့် workload ကို တိုင်းတာပါ့မယ်။ Subscribe လုပ်ပါ၊ ခေါင်းလောင်းကို နှိပ်ပါ၊ ပြီးတော့ မင်းက ကွဲပြားစွာ တံဆိပ်တုံး ထုမလားဆိုတာ comments မှာ ပြောပြပါ။ ဒါကတော့ ဒီနေ့အတွက် diff ပါ။ ကျွန်တော် Axrisi က Niko ပါ။

4:23 တာဝန်ယူမှုဖြင့် ပေါင်းစည်းပါ။ တာဝန်ယူမှုဖြင့် ပေါင်းစည်းပါ။ တာဝန်ယူမှုဖြင့် ပေါင်းစည်းပါ။ တာဝန်ယူမှုဖြင့် ပေါင်းစည်းပါ။ တာဝန်ယူမှုဖြင့် ပေါင်းစည်းပါ။

ကျွန်တော် Mac လေးလုံးပါတဲ့ cluster ကို ဝယ်မလား။

4:40 တာဝန်ယူမှုဖြင့် ပေါင်းစည်းပါ။ တာဝန်ယူမှုဖြင့် ပေါင်းစည်းပါ။ တာဝန်ယူမှုဖြင့် ပေါင်းစည်းပါ။ တာဝန်ယူမှုဖြင့် ပေါင်းစည်းပါ။ တာဝန်ယူမှုဖြင့် ပေါင်းစည်းပါ။ တာဝန်ယူမှုဖြင့် ပေါင်းစည်းပါ။ တာဝန်ယူမှုဖြင့် ပေါင်းစည်းပါ။

ရင်းမြစ်များ

1. Local and Distributed Large LLM Inference with MLX and RDMA on Mac StudioApple Machine Learning Research
2. A benchmark map of the US economyMercor
3. Benchmark Map methodology and expert reviewMercor
4. Edited security-breach notice with Console scopeOpenCode
5. Reader questions mixed benchmark precision formatsHacker News · peri-cl (reader opinion)
6. User reports vanished provider credit (unverified loss claim)Amruth Pillai on X