การอนุมานแบบกระจายของ Apple MLX: ความจุของโมเดล ความเร็ว และขอบเขตความน่าเชื่อถือ

วิดีโอนี้ครอบคลุมอะไรบ้าง

• น้ำหนักโมเดลและพื้นที่ทำงานสำหรับการอนุมานต่างก็ใช้หน่วยความจำ; ขนาดของน้ำหนักโมเดลเพียงอย่างเดียวอาจประเมินความจุที่ต้องการต่ำเกินไป
• การทำงานแบบขนานของไปป์ไลน์จะกระจายเลเยอร์ที่ต่อเนื่องกัน ในขณะที่การทำงานแบบขนานของเทนเซอร์จะแบ่งงานภายในแต่ละเลเยอร์และต้องการการสื่อสารที่ความหน่วงต่ำบ่อยครั้ง
• Apple รายงานว่าได้มากกว่า 36 โทเค็นต่อวินาทีบน Mac Studio M5 Ultra สี่เครื่อง พร้อมคอนเท็กซ์ 8,192 โทเค็น; การเปรียบเทียบสายเคเบิลเกี่ยวข้องกับการรอโทเค็นแรกที่คอนเท็กซ์ 65,536 โทเค็น
• การค้นพบ 90% ของ Mercor ในชั่วโมงทำงานอธิบายถึงความครอบคลุมเพียงเล็กน้อยหรือไม่มีเลยในดัชนีการวัดผลที่เลือกไว้ ซึ่งไม่ได้สร้างอัตราความล้มเหลวของโมเดล 90%
• ประกาศที่แก้ไขของ OpenCode อธิบายถึงผู้ใช้ Console บางส่วนที่มีผู้ให้บริการภายนอกเชื่อมโยงอยู่ ประกาศสาธารณะไม่ได้ยืนยันการถูกโจมตีของการติดตั้งภายในเครื่องทุกเครื่อง
• ทดสอบปริมาณงานจริงของคุณและตรวจสอบบริการที่ใช้ข้อมูลรับรองก่อนที่จะถือว่าการตั้งค่าโมเดลภายในเครื่องเป็นการแก้ปัญหาความเป็นส่วนตัวหรือต้นทุนที่สมบูรณ์

บทถอดเสียงที่แปลแล้ว

แปลจากการบรรยายภาษาอังกฤษต้นฉบับ เสียงและคำบรรยายที่มีให้จะควบคุมโดย YouTube

ทำไม Mac สองเครื่องถึงมีความเร็วเท่ากัน?

0:00 คุณคงคาดหวังว่า Mac สองเครื่องจะทำให้ AI ของคุณเร็วขึ้นสองเท่า การทดสอบของ Apple เองแสดงให้เห็นว่าความเร็วในการสร้างอาจคงที่เกือบเท่าเดิม ในวิดีโอนี้ Mac สี่เครื่องให้อะไรบ้าง? เกณฑ์มาตรฐานพลาดอะไรไปบ้าง? เครื่องมือเขียนโค้ดหนึ่งเครื่องเชื่อมต่อฮาร์ดแวร์กับการละเมิดในชั่วข้ามคืน เราจะกลับมาพูดถึงเรื่องนี้ สำหรับวันเสาร์ที่สิบเจ็ดตุลาคม นี่คือ The Daily Diff MLX คือเฟรมเวิร์กอาร์เรย์โอเพนซอร์สของ Apple สำหรับการเรียนรู้ของเครื่องบน Apple

0:22 ซิลิคอน การทดสอบใหม่ของมันรัน Meta's Muse Spark Open บน Mac Studio สี่เครื่อง มันใช้หน่วยความจำแบบรวม (unified memory) ซึ่ง CPU และ GPU แชร์กัน Apple เผยแพร่สิ่งนี้เมื่อวันที่สิบห้าตุลาคม Mercor ได้ทำแผนที่งานที่เกณฑ์มาตรฐาน AI แทบจะไม่ได้วัด เรากำลังครอบคลุมฉบับวันที่สิบเจ็ดตุลาคม พร้อมกับการอัปเดตเมื่อคืนวันที่สิบแปดตุลาคม เกี่ยวกับ OpenCode Console

ทำไมโมเดลถึงต้องการ Mac มากกว่าหนึ่งเครื่อง?

0:41 เริ่มต้นด้วยส่วนที่ไม่สะดวก การทดสอบ Muse Spark Open ของ Apple ใช้พื้นที่ประมาณห้าร้อยกิกะไบต์สำหรับโมเดล สี่บิต Mac Studio เครื่องเดียวมีสูงสุดห้าร้อยสิบสองกิกะไบต์ และการอนุมานก็ต้องการหน่วยความจำในการทำงานด้วย น้ำหนักเกือบจะเต็มกระเป๋าเดินทางก่อนที่คุณจะจัดเก็บถุงเท้าแม้แต่ข้างเดียว เครื่องจักรที่มากขึ้นทำให้โมเดลพอดี การทำงานแบบขนานของไปป์ไลน์ตัดโมเดลผ่านเลเยอร์ของมัน Mac A ทำเลเยอร์แรกๆ จากนั้นส่งผลลัพธ์ระดับกลางไปยัง Mac B สำหรับ

1:05 เลเยอร์หลังๆ สำหรับโทเค็นที่สร้างขึ้นหนึ่งโทเค็น ขั้นตอนเหล่านั้นยังคงเกิดขึ้นตามลำดับ การวัดของ Apple แสดงให้เห็นว่าความเร็วในการถอดรหัสยังคงคล้ายคลึงกับเครื่องเดียว คุณจ้างพ่อครัวคนที่สองและให้แซนด์วิชชิ้นเดิมกับเขา บน Hacker News นักพัฒนาคนหนึ่งตั้งคำถามว่าทำไมตารางของ Apple จึงใช้โมเดล Meta สี่บิต ข้างโมเดล Qwen ที่มีความแม่นยำดั้งเดิม ตารางของ Apple ระบุรูปแบบ ดังนั้นควรอ่านเชิงอรรถก่อนตัดสินใจซื้อ เกณฑ์มาตรฐานของสไลด์ยังคงไม่มีใครเอาชนะได้

1:29 การทำงานแบบขนานของเทนเซอร์จะตัดผ่านแต่ละเลเยอร์แทน

Thunderbolt ช่วยให้ Mac ทำงานร่วมกันได้อย่างไร?

1:32 Mac หลายเครื่องทำงานกับชิ้นส่วนของเลเยอร์เดียวกันพร้อมกัน จากนั้นรวมผลลัพธ์ของพวกมัน สิ่งนี้สามารถเร่งการสร้างได้ แต่เครื่องจักรจะสื่อสารกันซ้ำๆ Apple ใช้การเข้าถึงหน่วยความจำระยะไกลที่มีความหน่วงต่ำผ่าน Thunderbolt การเคลื่อนไหวที่กล้าหาญสำหรับสายเคเบิล ผลลัพธ์ที่โดดเด่นคือมากกว่าสามสิบหกโทเค็นต่อวินาทีจาก Mac Studio M5 Ultra สี่เครื่อง พร้อมคอนเท็กซ์ประมาณแปดพันโทเค็น Apple วัดเอง

1:55 พร้อมท์ที่ยาวขึ้นเปลี่ยนเรื่องราว ในการทดสอบคอนเท็กซ์ขนาดใหญ่หนึ่งครั้ง สายเคเบิลสองเส้นต่อลิงก์ลดการรอโทเค็นแรก ลงประมาณสิบวินาที โมเดลในเครื่องช่วยให้คุณมีขอบเขตที่มีประโยชน์รอบๆ พร้อมท์ โดยมีเงื่อนไขว่าการตั้งค่าจริงของคุณจะเก็บมันไว้ในเครื่อง Apple ไม่ได้ให้ราคาคุ้มทุนสากลเมื่อเทียบกับ API ที่โฮสต์ นั่นขึ้นอยู่กับการใช้งานและโมเดลที่คุณต้องการ เครื่องจักรที่ตอบคำถามเป็นครั้งคราวจะใช้เวลาส่วนใหญ่เป็น

2:17 เครื่องประดับโต๊ะที่แพงมาก การเลือกโมเดลนั้นต้องมีการทดสอบสำหรับงานของคุณ

การวัดผล AI ครอบคลุมงานอะไรบ้าง?

2:21 Mercor ทำแผนที่เกณฑ์มาตรฐานยี่สิบเก้ารายการเข้ากับการจำแนกประเภทงานของอเมริกา ดัชนีของมันครอบคลุมประมาณเก้าร้อยงานจากเกือบหนึ่งหมื่นเก้าพันงาน แผนที่ประเมินว่าเก้าสิบเปอร์เซ็นต์ของชั่วโมงทำงานมีความครอบคลุมของเกณฑ์มาตรฐานเพียงเล็กน้อยหรือไม่มีเลย นั่นคือช่องว่างขนาดใหญ่ในข้อสอบ แผนที่ของ Mercor วัดความครอบคลุม อาชีพที่ว่างเปล่ามีงานที่แทบไม่ได้ทดสอบ ความสามารถของโมเดลยังคงเป็นคำถามที่เปิดกว้าง การทำแผนที่ใช้โมเดล AI โดยมีการตรวจสอบโดยมนุษย์ในชุดย่อยของ พร้อมท์เกณฑ์มาตรฐานของ Mercor เอง

2:49 ผู้ตรวจสอบยอมรับประมาณสามในสี่ของการเลือกแรกของมัน ระบบการให้คะแนนต้องการระบบการให้คะแนนของตัวเอง โดยธรรมชาติ ดังนั้นหากคุณกังวลเกี่ยวกับงานของคุณ กระดานผู้นำไม่สามารถยุติข้อถกเถียงได้ หากคุณกำลังซื้อผู้ช่วยเขียนโค้ด ให้ลองทำภารกิจจริงซ้ำด้วยการตรวจสอบการยอมรับของคุณเอง งานที่มีประโยชน์รวมถึงส่วนที่ยุ่งยากหลังจากสาธิต ไม่มีใครได้รับการเลื่อนตำแหน่งเพราะแชทบอทมั่นใจว่าทำสเปรดชีตผิด ซึ่งนำเราไปสู่การอัปเดตเมื่อคืนนี้

OpenCode บอกว่าใครได้รับผลกระทบเมื่อคืนนี้?

3:13 OpenCode กล่าวว่าการละเมิดความปลอดภัยส่งผลกระทบต่อผู้ใช้ Console หนึ่งจุดสี่เปอร์เซ็นต์ ประกาศที่แก้ไขของมันระบุแคบลงเป็นชุดย่อยของผู้ใช้ที่มีผู้ให้บริการภายนอก เชื่อมโยงอยู่ และกล่าวว่าผู้ใช้ที่ได้รับผลกระทบได้รับการส่งอีเมลแล้ว มันเรียกว่านี่เป็นการโจมตีแบบกลั่นกรองขนาดใหญ่ และกล่าวว่าเหตุการณ์ ยังคงดำเนินอยู่ ยังไม่มีสาเหตุหลักที่เปิดเผยต่อสาธารณะ การตอบกลับรวมถึงผู้ที่รายงานเครดิตผู้ให้บริการที่หายไป ซึ่งเป็นคำบอกเล่าของพวกเขาเกี่ยวกับเหตุการณ์ ประกาศไม่ได้ระบุความเสียหายหรือค่าชดเชยของแต่ละบุคคล

3:38 Apple เพิ่งแสดงวิธีเชื่อมต่อ OpenCode กับการอนุมานในเครื่อง และตอนนี้ชื่อของมันอยู่ถัดจากคำเตือนด้านความปลอดภัย ชื่อผลิตภัณฑ์ครอบคลุมขอบเขตความน่าเชื่อถือที่แตกต่างกันหลายอย่าง ผู้ใช้ Console ควรอ่านประกาศอย่างเป็นทางการและตรวจสอบการใช้งานของผู้ให้บริการ หากคุณได้รับผลกระทบ ให้ทำตามคำแนะนำในการแก้ไขและตรวจสอบข้อมูลรับรองที่เชื่อมต่อ ประกาศนี้ให้ขอบเขต Console ที่โฮสต์เฉพาะแก่เรา มันไม่ได้ให้หลักฐานใดๆ ที่นี่ว่ามีการโจมตีในการติดตั้งในเครื่องทุกเครื่อง

การอนุมานในเครื่องให้อะไรอยู่ภายใต้การควบคุมของคุณ?

4:02 นี่คือการเชื่อมต่อ บทความของ Apple ระบุ OpenCode เป็นไคลเอนต์สำหรับเซิร์ฟเวอร์โมเดลในเครื่องของมัน อินเทอร์เฟซการเขียนโค้ดเดียวกันสามารถอยู่หน้าโครงสร้างพื้นฐานที่แตกต่างกันมาก นั่นตอบคำถามว่า Mac สี่เครื่องให้อะไรบ้าง ความจุ และขอบเขตการอนุมานที่คุณสามารถบริหารจัดการได้ บริการรอบขอบเขตนั้นยังคงสมควรได้รับการตรวจสอบของตัวเอง กฎการซื้อของฉันง่ายๆ พิสูจน์ว่าโมเดลเหมาะสม วัดงานทั้งหมด และตรวจสอบบริการทุกอย่างที่ถือ

4:23 ข้อมูลรับรอง ผลลัพธ์ของ Apple ทำให้การอนุมานในเครื่องขนาดใหญ่ใช้งานได้จริงมากขึ้น ในขณะที่การทดสอบไปป์ไลน์อธิบายว่าเหตุใดการเพิ่มฮาร์ดแวร์อาจทำให้ผิดหวัง การทดสอบการยอมรับของคุณควรอยู่ถัดจากใบสั่งซื้อ หากคุณต้องการอ่านสิ่งนี้มากกว่าฟังฉันพูด The Daily Diff จะส่งถึงกล่องจดหมายของคุณ ทุกเช้า ฟรีที่ thedailydiff.dev ลิงก์ด้านล่าง

ฉันจะซื้อคลัสเตอร์ Mac สี่เครื่องไหม?

4:40 ดังนั้นคำตัดสินของวันนี้คือ NEEDS REVIEW ฉันจะวัดปริมาณงานจริงของฉันก่อนที่จะซื้อคลัสเตอร์ สมัครสมาชิก กดกระดิ่ง และบอกฉันในความคิดเห็นว่าคุณจะให้คำตัดสิน แตกต่างออกไปหรือไม่ และนั่นคือ The Daily Diff สำหรับวันนี้ ฉันชื่อ Niko จาก Axrisi รวมอย่างมีความรับผิดชอบ

แหล่งที่มา

1. Local and Distributed Large LLM Inference with MLX and RDMA on Mac StudioApple Machine Learning Research
2. A benchmark map of the US economyMercor
3. Benchmark Map methodology and expert reviewMercor
4. Edited security-breach notice with Console scopeOpenCode
5. Reader questions mixed benchmark precision formatsHacker News · peri-cl (reader opinion)
6. User reports vanished provider credit (unverified loss claim)Amruth Pillai on X