Apple MLX тархсан дүгнэлт: загварын хүчин чадал, хурд, итгэлцлийн хил хязгаар

Энэ видео юуг хамардаг

• Загварын жин болон дүгнэлтийн ажлын талбар хоёулаа санах ойг ашигладаг; зөвхөн загварын жингийн хэмжээ нь шаардлагатай хүчин чадлыг дутуу үнэлж болно.
• Хоолойн зэрэгцээ байдал нь дараалсан давхаргуудыг түгээдэг бол тензорын зэрэгцээ байдал нь давхарга бүрийн доторх ажлыг хувааж, олон удаагийн, бага хоцролттой харилцаа холбоо шаарддаг.
• Apple нь дөрвөн M5 Ultra Mac Studio дээр 8,192 токений контексттэйгээр секундэд 36 гаруй токен үүсгэж байгааг мэдээлсэн; кабелийг харьцуулахдаа 65,536 токений контекст дээр эхний токен хүлээх хугацааг харуулсан.
• Mercor-ын 90%-ийн ажлын цагийн дүгнэлт нь сонгогдсон бенчмарк индексэнд нь хамрах хүрээ бага эсвэл байхгүй байгааг тайлбарласан. Энэ нь загварын 90%-ийн алдааны хувийг тогтоодоггүй.
• OpenCode-ийн засварласан мэдэгдэл нь гадны үйлчилгээ үзүүлэгчтэй холбогдсон Console хэрэглэгчдийн дэд хэсгийг тайлбарласан. Олон нийтийн мэдэгдэл нь локал суулгац бүр эвдэрсэн гэдгийг тогтоодоггүй.
• Бодит ажлын ачааллаа туршиж, нууц үг агуулсан үйлчилгээнүүдийг шалгаж үзсэний дараа локал загварын тохиргоог бүрэн нууцлал эсвэл зардлын шийдэл гэж үзээрэй.

Орчуулсан бичлэг

Англи хэл дээрх эх хувилбараас орчуулсан. Боломжтой дуу болон хадмал орчуулгыг YouTube хянадаг.

Яагаад хоёр Mac ижил хурдтай байж болох вэ?

0:00 Та хоёр Mac таны хиймэл оюун ухааныг хоёр дахин хурдан болгоно гэж бодох байсан. Apple-ийн өөрийн туршилтууд нь үүсгэх хурд бараг өөрчлөгдөхгүй хэвээр байж болно гэдгийг харуулж байна. Энэ видео дээр дөрвөн Mac юу авдаг вэ? Бенчмаркууд юуг алддаг вэ? Нэг код бичих хэрэгсэл нь техник хангамжийг шөнийн хакердалттай холбодог. Бид үүнд эргэж ирнэ. 10-р сарын 17-ны Бямба гарагт энэ бол The Daily Diff. MLX бол Apple-ийн нээлттэй эхийн массивын систем бөгөөд Apple-ийн

0:22 силикон дээр машин сургалт хийх зориулалттай. Түүний шинэ туршилт нь Meta-ийн Muse Spark Open-ийг дөрвөн Mac Studio дээр ажиллуулдаг. Энэ нь CPU болон GPU-ийн хамтран ашигладаг нэгдсэн санах ойг ашигладаг. Apple үүнийг 10-р сарын 15-нд нийтэлсэн. Mercor AI бенчмаркуудын бараг хэмждэггүй ажлын зураглалыг хийсэн. Бид 10-р сарын 17-ны хэвлэлийг, 10-р сарын 18-ны шөнийн OpenCode Console-ийн шинэчлэлттэй хамт авч үзэж байна.

Яагаад загварт нэгээс илүү Mac хэрэгтэй байдаг вэ?

0:41 Эвгүй хэсгээс эхэлье. Apple-ийн Muse Spark Open туршилт нь дөрвөн битийн загварт таван зуун гигабайт орчим зай ашигладаг. Нэг Mac Studio таван зуун арван хоёр гигабайтаар хязгаарлагддаг, мөн дүгнэлт нь ажлын санах ойг ч шаарддаг. Та ганц ч оймс хийж амжаагүй байхад жин нь бараг цүнхийг дүүргэчихдэг. Илүү олон машин загварыг багтаадаг. Хоолойн зэрэгцээ байдал нь загварыг давхаргуудаар нь хуваадаг. Mac A эхний давхаргуудыг хийж, дараа нь завсрын үр дүнг Mac B-д дамжуулдаг

1:05 сүүлийн давхаргуудад зориулж. Нэг үүсгэгдсэн токенд эдгээр алхамууд дарааллаар явагддаг. Apple-ийн хэмжилтээр декод хийх хурд нь нэг машинтай маш төстэй хэвээр байна. Та хоёр дахь тогоочийг хөлсөлж, тэдэнд ижил сэндвич өгсөн байна. Hacker News дээр нэг хөгжүүлэгч Apple-ийн хүснэгтэд яагаад дөрвөн битийн Meta загварыг Qwen загварын унаган нарийвчлалтай харьцуулсныг асуусан. Apple-ийн хүснэгтэд форматуудыг заасан тул худалдан авахаасаа өмнө тайлбарыг уншина уу. Слайдын бенчмаркууд ялагдашгүй хэвээр байна.

1:29 Тензорын зэрэгцээ байдал нь давхарга бүрийг огтолж явдаг.

Thunderbolt Mac-уудад хэрхэн хамтран ажиллахад тусалдаг вэ?

1:32 Олон Mac ижил давхаргын хэсгүүд дээр хамтран ажилладаг, дараа нь үр дүнгээ нэгтгэдэг. Энэ нь үүсгэх хурдыг нэмэгдүүлж болох ч, машинууд байнга харилцдаг. Apple нь Thunderbolt-оор бага хоцролттой алсын санах ойн хандалтыг ашигладаг. Кабелийн хувьд зоримог карьерын алхам. Гол үр дүн нь дөрвөн M5 Ultra Mac Studio-ээс секундэд гучин зургаагаас илүү токен, найман мянга орчим токений контексттэйгээр гарч байна. Apple өөрөө хэмжсэн.

1:55 Илүү урт сануулгууд түүхийг өөрчилдөг. Нэг том контекст туршилтанд холбоос бүрт хоёр кабель эхний токен хүлээх хугацааг ойролцоогоор арван секундээр богиносгосон. Локал загвар нь танд сануулгуудын эргэн тойронд ашигтай хил хязгаарыг өгдөг, хэрэв таны бодит тохиргоо тэдгээрийг локалаар хадгалж байвал. Apple хостлогдсон API-уудын эсрэг универсал зардлын тэнцвэрийг хангаагүй байна. Энэ нь ашиглалт болон танд хэрэгтэй загвараас хамаарна. Хааяа асуултад хариулдаг машин нь маш

2:17 үнэтэй ширээний чимэглэл байж их цагийг өнгөрөөдөг. Тэр загварыг сонгохын тулд таны ажилд зориулсан туршилт шаардлагатай.

AI бенчмаркууд ямар ажлыг үнэндээ хамардаг вэ?

2:21 Mercor хорин есөн бенчмаркийг Америкийн ажлын ангилалд зурагласан. Түүний индекс арван есөн мянга орчим ажлаас есөн зуу орчим ажлыг хамардаг. Уг зураглал нь ажлын цагийн ерэн хувь нь бенчмаркийн хамрах хүрээ бага эсвэл байхгүй гэж тооцоолсон. Энэ бол шалгалтын хуудсан дээрх асар том хоосон зай юм. Mercor-ын зураглал нь хамрах хүрээг хэмждэг. Хоосон мэргэжил нь бараг туршигдаагүй ажлуудтай байдаг; загварын чадвар нь нээлттэй асуулт хэвээр байна. Зураглалыг хиймэл оюун ухааны загварыг ашигласан бөгөөд Mercor-ын өөрийн бенчмарк сануулгуудын дэд хэсэг дээр хүний хяналт хийсэн. Шалгагчид эхний сонголтуудынх нь дөрөвний гурав орчмыг хүлээн зөвшөөрсөн.

2:49 Үнэлгээний системд өөрийн үнэлгээний систем хэрэгтэй, мэдээж. Тиймээс хэрэв та ажлынхаа талаар санаа зовж байгаа бол тэргүүлэгчдийн самбар маргааныг шийдэж чадахгүй. Хэрэв та код бичих туслах худалдаж авч байгаа бол, бодит ажлыг өөрийн хүлээн авах шалгалтаар дахин тоглуулаарай. Ашигтай ажил нь демо хийсний дараах эвгүй хэсгүүдийг багтаадаг. Чатбот буруу хүснэгтийг итгэлтэйгээр дуусгасан учраас хэн ч албан тушаал дэвшдэггүй. Энэ нь биднийг шөнийн шинэчлэлт рүү авчирдаг. OpenCode-ийн хэлснээр аюулгүй байдлын зөрчил Console хэрэглэгчдийн 1.4 хувьд нөлөөлсөн.

OpenCode-ийн хэлснээр шөнө хэн нөлөөлсөн бэ?

3:13 Түүний засварласан мэдэгдэл нь үүнийг гадны үйлчилгээ үзүүлэгчтэй холбогдсон дэд хэсэгт хязгаарласан бөгөөд нөлөөлсөн хэрэглэгчдэд имэйл илгээсэн гэж мэдэгдсэн. Үүнийг том хэмжээний нэр төрөл хулгайлах халдлага гэж нэрлэж, үйл явдал үргэлжилж байна гэж мэдэгдсэн. Олон нийтийн үндсэн шалтгаан хараахан гараагүй байна. Хариултуудад үйлчилгээ үзүүлэгчийн кредит алга болсон гэж мэдээлсэн хүмүүс багтсан бөгөөд энэ нь тэдний үйл явдлын тухай тайлбар юм. Уг мэдэгдэл нь хүн бүрийн алдагдал эсвэл нөхөн төлбөрийг тогтоодоггүй. Apple саяхан OpenCode-ийг локал дүгнэлттэй хэрхэн холбохыг харуулсан,

3:38 одоо түүний нэр аюулгүй байдлын анхааруулгын хажууд байна. Бүтээгдэхүүний нэр нь хэд хэдэн өөр итгэлцлийн хил хязгаарыг хамардаг. Console хэрэглэгчид албан ёсны мэдэгдлийг уншиж, үйлчилгээ үзүүлэгчийн ашиглалтыг шалгах хэрэгтэй. Хэрэв танд нөлөөлсөн бол эмчлэх зааврыг дагаж, холбогдсон нууц үгүүдийг шалгаарай. Энэ мэдэгдэл нь бидэнд тодорхой хостлогдсон Console-ийн хүрээг өгдөг. Энэ нь локал суулгац бүр эвдэрсэн гэсэн нотолгоог энд өгөөгүй. Энд холболт байна.

Локал дүгнэлт таны хяналтад юу оруулдаг вэ?

4:02 Apple-ийн нийтлэл OpenCode-ийг өөрийн локал загварын серверийн клиент гэж нэрлэсэн. Ижил код бичих интерфэйс нь маш өөр дэд бүтцийн урд сууж болно. Энэ нь дөрвөн Mac юу авдаг вэ гэсэн асуултад хариулдаг. Хүчин чадал, мөн таны удирдах боломжтой дүгнэлтийн хил хязгаар. Тэр хил хязгаарын эргэн тойрон дахь үйлчилгээнүүд өөрсдийн үнэлгээг авах ёстой. Миний худалдан авах дүрэм энгийн. Загвар нь тохирч байгааг баталж, бүх ажлыг хэмжиж, нууц үг агуулсан үйлчилгээ бүрийг шалгах хэрэгтэй. Apple-ийн үр дүн нь том локал дүгнэлтийг илүү бодит болгодог,

4:23 харин хоолойн туршилт нь техник хангамж нэмэх нь яагаад сэтгэл дундуур байж болохыг тайлбарладаг. Таны хүлээн авах туршилт худалдан авалтын захиалгын хажууд байх ёстой. Хэрэв та үүнийг сонсохоос илүү уншихыг илүүд үзэж байвал, өдөр бүр өглөө diff таны имэйлд үнэгүй ирнэ. daily diff dot dev хаягаар, доорх холбоос. Тиймээс өнөөдрийн дүгнэлт нь NEEDS REVIEW. Би кластерыг худалдаж авахаасаа өмнө бодит ажлын ачааллаа хэмжих байсан.

Би дөрвөн Mac-ийн кластер худалдаж авах байсан уу?

4:40 Захиалж, хонхыг дарж, хэрэв та өөрөөр тамгалсан бол сэтгэгдэл хэсэгт надад хэлээрэй. Тэгээд өнөөдрийн ялгаа энэ байна. Би Axrisi-ийн Нико байна. Хариуцлагатай нэгтгэнэ үү. merge responsibly Merge responsibly. MERGE RESPONSIBLY.

Эх сурвалжууд

1. Local and Distributed Large LLM Inference with MLX and RDMA on Mac StudioApple Machine Learning Research
2. A benchmark map of the US economyMercor
3. Benchmark Map methodology and expert reviewMercor
4. Edited security-breach notice with Console scopeOpenCode
5. Reader questions mixed benchmark precision formatsHacker News · peri-cl (reader opinion)
6. User reports vanished provider credit (unverified loss claim)Amruth Pillai on X