ການອະນຸມານແບບແຈກຢາຍຂອງ Apple MLX: ຄວາມສາມາດຂອງຕົວແບບ, ຄວາມໄວ ແລະ ຂອບເຂດຄວາມໄວ້ວາງໃຈ

ສິ່ງທີ່ວິດີໂອນີ້ກວມເອົາ

• ນ້ຳໜັກຕົວແບບ ແລະ ພື້ນທີ່ເຮັດວຽກຂອງການອະນຸມານທັງສອງກິນໜ່ວຍຄວາມຈຳ; ຮອຍນ້ຳໜັກຂອງຕົວແບບຢ່າງດຽວສາມາດຕໍ່າກວ່າຄວາມສາມາດທີ່ຕ້ອງການ.
• ການຂະໜານທໍ່ສົ່ງແຈກຢາຍຊັ້ນຕິດຕໍ່ກັນ, ໃນຂະນະທີ່ການຂະໜານ tensor ແບ່ງວຽກພາຍໃນແຕ່ລະຊັ້ນ ແລະ ຕ້ອງການການສື່ສານທີ່ມີຄວາມລ່າຊ້າຕໍ່າເລື້ອຍໆ.
• Apple ລາຍງານຫຼາຍກວ່າ 36 ໂທເຄັນຕໍ່ວິນາທີໃນສີ່ເຄື່ອງ M5 Ultra Mac Studios ດ້ວຍບໍລິບົດ 8,192 ໂທເຄັນ; ການປຽບທຽບສາຍເຄເບີນກ່ຽວຂ້ອງກັບການລໍຖ້າໂທເຄັນທໍາອິດທີ່ບໍລິບົດ 65,536 ໂທເຄັນ.
• ການຄົ້ນພົບ 90% ຂອງ Mercor ທີ່ໃຊ້ເວລາເຮັດວຽກອະທິບາຍເຖິງການຄອບຄຸມເລັກນ້ອຍ ຫຼື ບໍ່ມີໃນດັດຊະນີມາດຕະຖານທີ່ເລືອກ. ມັນບໍ່ໄດ້ກຳນົດອັດຕາຄວາມລົ້ມເຫຼວຂອງຕົວແບບ 90%.
• ແຈ້ງການທີ່ຖືກແກ້ໄຂຂອງ OpenCode ອະທິບາຍເຖິງກຸ່ມຍ່ອຍຂອງຜູ້ໃຊ້ Console ທີ່ມີຜູ້ໃຫ້ບໍລິການພາຍນອກທີ່ເຊື່ອມໂຍງ. ແຈ້ງການສາທາລະນະບໍ່ໄດ້ກຳນົດການປະນີປະນອມຂອງການຕິດຕັ້ງທ້ອງຖິ່ນທຸກອັນ.
• ທົດສອບການເຮັດວຽກຕົວຈິງຂອງທ່ານ ແລະ ກວດສອບບໍລິການທີ່ຖືໃບອະນຸຍາດກ່ອນທີ່ຈະຖືວ່າການຕັ້ງຄ່າຕົວແບບທ້ອງຖິ່ນເປັນການແກ້ໄຂຄວາມເປັນສ່ວນຕົວ ຫຼື ຄ່າໃຊ້ຈ່າຍທີ່ສົມບູນ.

ບົດບັນທຶກທີ່ແປແລ້ວ

ແປຈາກຄຳບັນຍາຍຕົ້ນສະບັບພາສາອັງກິດ. ສຽງ ແລະ ຄຳບັນຍາຍທີ່ມີໃຫ້ແມ່ນຄວບຄຸມໂດຍ YouTube.

ເປັນຫຍັງສອງ Macs ຈຶ່ງສາມາດຮັກສາຄວາມໄວດຽວກັນໄດ້?

0:00 ທ່ານຄາດຫວັງວ່າສອງ Macs ຈະເຮັດໃຫ້ AI ຂອງທ່ານໄວຂຶ້ນສອງເທົ່າ. ການທົດສອບຂອງ Apple ເອງສະແດງໃຫ້ເຫັນວ່າຄວາມໄວໃນການສ້າງສາມາດຄົງທີ່ເກືອບບໍ່ປ່ຽນແປງ. ໃນວິດີໂອນີ້, ສີ່ Macs ຊື້ອะไร? ມາດຕະຖານພາດຫຍັງ? ເຄື່ອງມືການຂຽນໂຄ້ດອັນໜຶ່ງເຊື່ອມຕໍ່ຮາດແວກັບການລະເມີດໃນຄືນ. ພວກເຮົາຈະກັບມາເບິ່ງມັນ. ສຳລັບວັນເສົາ, ວັນທີ 17 ຕຸລາ, ນີ້ຄື The Daily Diff. MLX ແມ່ນກອບອາເລແບບເປີດເຜີຍແຫຼ່ງຂອງ Apple ສຳລັບການຮຽນຮູ້ເຄື່ອງຈັກໃນ Apple

0:22 ຊິລິຄອນ. ການທົດສອບໃໝ່ຂອງມັນແລ່ນ Meta's Muse Spark Open ໃນສີ່ Mac Studios. ມັນໃຊ້ໜ່ວຍຄວາມຈຳແບບລວມ, ເຊິ່ງ CPU ແລະ GPU ແບ່ງປັນກັນ. Apple ໄດ້ເຜີຍແຜ່ສິ່ງນີ້ໃນວັນທີ 15 ຕຸລາ. Mercor ໄດ້ສ້າງແຜນທີ່ວຽກງານທີ່ມາດຕະຖານ AI ແທບຈະວັດແທກບໍ່ໄດ້. ພວກເຮົາກຳລັງກວມເອົາສະບັບວັນທີ 17 ຕຸລາ ດ້ວຍການອັບເດດໃນຄືນວັນທີ 18 ຕຸລາ ກ່ຽວກັບ OpenCode Console.

ເປັນຫຍັງຕົວແບບຈຶ່ງຕ້ອງການ Mac ຫຼາຍກວ່າໜຶ່ງເຄື່ອງ?

0:41 ເລີ່ມຕົ້ນດ້ວຍສ່ວນທີ່ບໍ່ສະດວກ. ການທົດສອບ Muse Spark Open ຂອງ Apple ໃຊ້ປະມານຫ້າຮ້ອຍກິກະໄບສຳລັບຕົວແບບສີ່ ບິດ. Mac Studio ເຄື່ອງດຽວສູງສຸດຫ້າຮ້ອຍສິບສອງກິກະໄບ, ແລະການອະນຸມານຍັງຕ້ອງການໜ່ວຍຄວາມຈຳສຳລັບການເຮັດວຽກ. ນ້ຳໜັກເກືອບເຕັມກະເປົາກ່ອນທີ່ທ່ານຈະຫຸ້ມຖົງຕີນດຽວ. ເຄື່ອງຈັກຫຼາຍຂຶ້ນເຮັດໃຫ້ຕົວແບບເຂົ້າກັນໄດ້. ການຂະໜານທໍ່ສົ່ງຕັດຕົວແບບຜ່ານຊັ້ນຕ່າງໆ. Mac A ເຮັດຊັ້ນຕົ້ນ, ຈາກນັ້ນສົ່ງຜົນກາງໄປຫາ Mac B ສໍາລັບ

1:05 ຊັ້ນຕໍ່ມາ. ສຳລັບໂທເຄັນທີ່ສ້າງຂຶ້ນອັນໜຶ່ງ, ຂັ້ນຕອນເຫຼົ່ານັ້ນຍັງເກີດຂຶ້ນຕາມລຳດັບ. ການວັດແທກຂອງ Apple ສະແດງໃຫ້ເຫັນວ່າຄວາມໄວໃນການຖອດລະຫັດຍັງຄົງຄ້າຍຄືກັນກັບເຄື່ອງຈັກດຽວ. ທ່ານໄດ້ຈ້າງພໍ່ຄົວຄົນທີສອງ, ແລະໃຫ້ພວກເຂົາເຮັດແຊນວິດດຽວກັນ. ໃນ Hacker News, ນັກພັດທະນາຄົນໜຶ່ງໄດ້ຕັ້ງຄຳຖາມວ່າເປັນຫຍັງຕາຕະລາງຂອງ Apple ຈຶ່ງໃຊ້ Meta ສີ່ບິດ ຕົວແບບຄຽງຄູ່ກັບຕົວແບບ Qwen ທີ່ຄວາມແມ່ນຍຳເດີມ. ຕາຕະລາງຂອງ Apple ລະບຸຮູບແບບຕ່າງໆ, ດັ່ງນັ້ນຄວນອ່ານຄຳອະທິບາຍກ່ອນທີ່ຈະຊື້. ມາດຕະຖານສະໄລ້ເດັກຍັງຄົງບໍ່ຖືກທຳລາຍ.

1:29 ການຂະໜານ Tensor ຕັດຜ່ານແຕ່ລະຊັ້ນແທນ.

Thunderbolt ຊ່ວຍໃຫ້ Macs ເຮັດວຽກຮ່ວມກັນໄດ້ແນວໃດ?

1:32 Macs ຫຼາຍເຄື່ອງເຮັດວຽກໃນສ່ວນຕ່າງໆຂອງຊັ້ນດຽວກັນຮ່ວມກັນ, ຈາກນັ້ນລວມຜົນຂອງພວກເຂົາ. ນັ້ນສາມາດເລັ່ງການສ້າງ, ແຕ່ເຄື່ອງຈັກສື່ສານກັນຊ້ຳໆ. Apple ໃຊ້ການເຂົ້າເຖິງໜ່ວຍຄວາມຈຳໄລຍະໄກທີ່ມີຄວາມລ່າຊ້າຕໍ່າຜ່ານ Thunderbolt. ການເຄື່ອນໄຫວອາຊີບທີ່ກ້າຫານສຳລັບສາຍເຄເບີນ. ຜົນໄດ້ຮັບຫົວຂໍ້ແມ່ນຫຼາຍກວ່າ 36 ໂທເຄັນຕໍ່ວິນາທີຈາກສີ່ເຄື່ອງ M5 Ultra Mac Studios, ດ້ວຍບໍລິບົດປະມານ 8,000 ໂທເຄັນ. Apple ໄດ້ວັດແທກມັນເອງ.

1:55 ຂໍ້ຄວາມຍາວໆປ່ຽນເລື່ອງ. ໃນການທົດສອບບໍລິບົດຂະໜາດໃຫຍ່ອັນໜຶ່ງ, ສອງສາຍເຄເບີນຕໍ່ການເຊື່ອມຕໍ່ຕັດການລໍຖ້າໂທເຄັນທຳອິດ ປະມານສິບວິນາທີ. ຕົວແບບທ້ອງຖິ່ນໃຫ້ຂອບເຂດທີ່ເປັນປະໂຫຍດຮອບຂໍ້ຄວາມ, ຖ້າການຕັ້ງຄ່າຕົວຈິງຂອງທ່ານຮັກສາມັນໄວ້ໃນທ້ອງຖິ່ນ. Apple ບໍ່ໄດ້ສະໜອງລາຄາພັກສະເໝີພາບທົ່ວໄປຕໍ່ກັບ APIs ທີ່ໂຮສໄວ້. ນັ້ນຂຶ້ນຢູ່ກັບການນຳໃຊ້ ແລະ ຕົວແບບທີ່ທ່ານຕ້ອງການ. ເຄື່ອງຈັກທີ່ຕອບຄຳຖາມບາງຄັ້ງຄາວໃຊ້ເວລາຫຼາຍໃນການເປັນເຄື່ອງປະດັບໂຕະທີ່

2:17 ແພງຫຼາຍ. ການເລືອກຕົວແບບນັ້ນຮຽກຮ້ອງໃຫ້ມີການທົດສອບສຳລັບວຽກຂອງທ່ານ.

ມາດຕະຖານ AI ກວມເອົາວຽກຫຍັງແດ່?

2:21 Mercor ໄດ້ສ້າງແຜນທີ່ 29 ມາດຕະຖານໃສ່ການຈັດປະເພດວຽກຂອງອາເມລິກາ. ດັດຊະນີຂອງມັນກວມເອົາປະມານ 900 ວຽກຈາກເກືອບ 19,000 ວຽກ. ແຜນທີ່ຄາດຄະເນວ່າ 90% ຂອງຊົ່ວໂມງເຮັດວຽກມີການຄອບຄຸມມາດຕະຖານໜ້ອຍ ຫຼື ບໍ່ມີ. ນັ້ນແມ່ນພື້ນທີ່ຫວ່າງຂະໜາດໃຫຍ່ໃນເອກະສານສອບເສັງ. ແຜນທີ່ຂອງ Mercor ວັດແທກການຄອບຄຸມ. ອາຊີບທີ່ຫວ່າງເປົ່າມີວຽກທີ່ຖືກທົດສອບໜ້ອຍ; ຄວາມສາມາດຂອງຕົວແບບຍັງຄົງເປັນຄຳຖາມເປີດ. ການສ້າງແຜນທີ່ໃຊ້ຕົວແບບ AI, ດ້ວຍການກວດສອບຂອງມະນຸດໃນກຸ່ມຍ່ອຍຂອງ ຂໍ້ຄວາມມາດຕະຖານຂອງ Mercor ເອງ. ຜູ້ກວດສອບຍອມຮັບປະມານສາມສ່ວນສີ່ຂອງການເລືອກທໍາອິດຂອງມັນ.

2:49 ລະບົບການໃຫ້ຄະແນນຕ້ອງການລະບົບການໃຫ້ຄະແນນຂອງຕົນເອງ, ໂດຍທຳມະຊາດ. ດັ່ງນັ້ນຖ້າທ່ານກັງວົນກ່ຽວກັບວຽກຂອງທ່ານ, ກະດານຈັດອັນດັບບໍ່ສາມາດແກ້ໄຂການໂຕ້ຖຽງໄດ້. ຖ້າທ່ານກຳລັງຊື້ຜູ້ຊ່ວຍຂຽນໂຄ້ດ, ຫຼິ້ນວຽກຕົວຈິງຄືນໃໝ່ດ້ວຍການກວດສອບການຍອມຮັບຂອງທ່ານເອງ. ວຽກທີ່ມີປະໂຫຍດລວມເຖິງສ່ວນທີ່ຫຍຸ້ງຍາກຫຼັງຈາກການສາທິດ. ບໍ່ມີໃຜໄດ້ຮັບການເລື່ອນຕຳແໜ່ງເພາະ chatbot ສຳເລັດຕາຕະລາງທີ່ຜິດພາດຢ່າງໝັ້ນໃຈ. ເຊິ່ງນໍາພວກເຮົາໄປສູ່ການອັບເດດໃນຄືນ. OpenCode ກ່າວວ່າການລະເມີດຄວາມປອດໄພໄດ້ກະທົບກະເທືອນ 1.4% ຂອງຜູ້ໃຊ້ Console.

OpenCode ເວົ້າວ່າມີໃຜຖືກກະທົບໃນຄືນ?

3:13 ແຈ້ງການທີ່ຖືກແກ້ໄຂຂອງມັນຈຳກັດນັ້ນໃຫ້ແກ່ກຸ່ມຍ່ອຍທີ່ມີຜູ້ໃຫ້ບໍລິການພາຍນອກທີ່ເຊື່ອມໂຍງ, ແລະກ່າວວ່າຜູ້ໃຊ້ທີ່ຖືກກະທົບໄດ້ຮັບອີເມວ. ມັນເອີ້ນວ່າການໂຈມຕີແບບ distillation ຂະໜາດໃຫຍ່, ແລະກ່າວວ່າເຫດການດັ່ງກ່າວກຳລັງດຳເນີນຢູ່. ສາເຫດຮາກຖານສາທາລະນະລໍຖ້າການມາເຖິງ. ຄຳຕອບລວມມີຄົນທີ່ລາຍງານວ່າເຄດິດຜູ້ໃຫ້ບໍລິການຫາຍໄປ, ເຊິ່ງເປັນເລື່ອງເລົ່າຂອງພວກເຂົາ. ແຈ້ງການບໍ່ໄດ້ກຳນົດການສູນເສຍ ຫຼື ຄ່າຊົດເຊີຍຂອງແຕ່ລະຄົນ. Apple ຫາກໍສະແດງວິທີການເຊື່ອມຕໍ່ OpenCode ກັບການອະນຸມານທ້ອງຖິ່ນ,

3:38 ແລະຕອນນີ້ຊື່ຂອງມັນຢູ່ຂ້າງຄຳເຕືອນຄວາມປອດໄພ. ຊື່ຜະລິດຕະພັນກວມເອົາຂອບເຂດຄວາມໄວ້ວາງໃຈທີ່ແຕກຕ່າງກັນຫຼາຍ. ຜູ້ໃຊ້ Console ຄວນອ່ານແຈ້ງການທາງການ ແລະ ກວດສອບການນຳໃຊ້ຜູ້ໃຫ້ບໍລິການ. ຖ້າທ່ານຖືກກະທົບ, ໃຫ້ປະຕິບັດຕາມຄຳແນະນຳການແກ້ໄຂ ແລະ ກວດສອບໃບຢັ້ງຢືນທີ່ເຊື່ອມຕໍ່. ແຈ້ງການນີ້ໃຫ້ຂອບເຂດ Console ທີ່ໂຮສໄວ້ສະເພາະ. ມັນບໍ່ໄດ້ໃຫ້ຫຼັກຖານໃດໆກ່ຽວກັບການປະນີປະນອມໃນທຸກໆການຕິດຕັ້ງທ້ອງຖິ່ນ. ນີ້ແມ່ນການເຊື່ອມຕໍ່.

ການອະນຸມານທ້ອງຖິ່ນເຮັດໃຫ້ສິ່ງໃດຢູ່ພາຍໃຕ້ການຄວບຄຸມຂອງທ່ານ?

4:02 ບົດຄວາມຂອງ Apple ຕັ້ງຊື່ OpenCode ເປັນລູກຄ້າສຳລັບເຊີບເວີຕົວແບບທ້ອງຖິ່ນຂອງມັນ. ການໂຕ້ຕອບການຂຽນໂຄ້ດດຽວກັນສາມາດຢູ່ຕໍ່ໜ້າໂຄງສ້າງພື້ນຖານທີ່ແຕກຕ່າງກັນຫຼາຍ. ນັ້ນຕອບວ່າສີ່ Macs ຊື້ອັນໃດ. ຄວາມສາມາດ, ແລະຂອບເຂດການອະນຸມານທີ່ທ່ານສາມາດຄຸ້ມຄອງໄດ້. ບໍລິການອ້ອມຂອບເຂດນັ້ນຍັງສົມຄວນໄດ້ຮັບການກວດສອບຂອງຕົນເອງ. ກົດການຊື້ຂອງຂ້ອຍແມ່ນງ່າຍດາຍ. ພິສູດວ່າຕົວແບບເຫມາະສົມ, ວັດແທກວຽກທັງຫມົດ, ແລະກວດສອບທຸກບໍລິການທີ່ຖືໃບຢັ້ງຢືນ. ຜົນຂອງ Apple ເຮັດໃຫ້ການອະນຸມານທ້ອງຖິ່ນຂະໜາດໃຫຍ່ເປັນໄປໄດ້ຫຼາຍຂຶ້ນ,

4:23 ໃນຂະນະທີ່ການທົດສອບທໍ່ສົ່ງອະທິບາຍວ່າເປັນຫຍັງການເພີ່ມຮາດແວສາມາດເຮັດໃຫ້ຜິດຫວັງ. ການທົດສອບການຍອມຮັບຂອງທ່ານຢູ່ຄຽງຄູ່ກັບໃບສັ່ງຊື້. ຖ້າທ່ານຕ້ອງການອ່ານສິ່ງນີ້ຫຼາຍກວ່າທີ່ຈະໄດ້ຍິນຂ້ອຍເວົ້າມັນ, diff ຈະມາຮອດກ່ອງຈົດໝາຍຂອງທ່ານ ທຸກໆເຊົ້າ, ຟຣີທີ່ the daily diff dot dev, ລິ້ງຂ້າງລຸ່ມ. ດັ່ງນັ້ນຄຳຕັດສິນຂອງມື້ນີ້ແມ່ນ NEEDS REVIEW.

ຂ້ອຍຈະຊື້ຄລັສເຕີສີ່ Mac ບໍ?

4:40 ຂ້ອຍຈະວັດແທກການເຮັດວຽກຕົວຈິງຂອງຂ້ອຍກ່ອນທີ່ຈະຊື້ຄລັສເຕີ. ສະໝັກ, ກົດກະດິ່ງ, ແລະບອກຂ້ອຍໃນຄຳເຫັນວ່າເຈົ້າຈະສະແຕມມັນແຕກຕ່າງກັນບໍ. ແລະນັ້ນຄື diff ຂອງມື້ນີ້. ຂ້ອຍຊື່ Niko ຈາກ Axrisi. ປະສານງານຢ່າງມີຄວາມຮັບຜິດຊອບ. Merge responsibly. Merge responsibly.

ແຫຼ່ງຂໍ້ມູນ

1. Local and Distributed Large LLM Inference with MLX and RDMA on Mac StudioApple Machine Learning Research
2. A benchmark map of the US economyMercor
3. Benchmark Map methodology and expert reviewMercor
4. Edited security-breach notice with Console scopeOpenCode
5. Reader questions mixed benchmark precision formatsHacker News · peri-cl (reader opinion)
6. User reports vanished provider credit (unverified loss claim)Amruth Pillai on X