Inferens teragih Apple MLX: kapasiti model, kelajuan dan batasan kepercayaan

Apa yang diliputi video ini

• Berat model dan ruang kerja inferens kedua-duanya menggunakan memori; jejak berat model sahaja boleh mengurangkan kapasiti yang diperlukan.
• Paralelisme paip mengagihkan lapisan berturut-turut, manakala paralelisme tensor membahagikan kerja dalam setiap lapisan dan memerlukan komunikasi "low-latency" yang kerap.
• Apple melaporkan lebih 36 token per saat pada empat M5 Ultra Mac Studio dengan konteks 8,192 token; perbandingan kabel berkaitan dengan "first-token wait" pada konteks 65,536 token.
• Penemuan 90% waktu bekerja Mercor menerangkan sedikit atau tiada liputan dalam indeks "benchmark" terpilihnya. Ia tidak menetapkan kadar kegagalan model 90%.
• Notis yang disunting OpenCode menerangkan subset pengguna Konsol dengan penyedia luaran yang dihubungkan. Notis awam tidak menetapkan kompromi setiap pemasangan tempatan.
• Uji beban kerja sebenar anda dan semak perkhidmatan "credential-bearing" sebelum menganggap persediaan model tempatan sebagai penyelesaian privasi atau kos yang lengkap.

Transkrip terjemahan

Diterjemahkan daripada penceritaan asal Bahasa Inggeris. Audio dan kapsyen yang tersedia dikawal oleh YouTube.

Mengapa dua Mac boleh kekal pada kelajuan yang sama?

0:00 Anda akan menjangkakan dua Mac akan menjadikan AI anda dua kali lebih pantas. Ujian Apple sendiri menunjukkan kelajuan penjanaan boleh kekal hampir tidak berubah. Dalam video ini, apa yang dibeli oleh empat Mac? Apa yang "benchmark" terlepas? Satu alat pengekodan menghubungkan perkakasan kepada pelanggaran semalaman. Kita akan kembali kepadanya. Untuk Sabtu, tujuh belas Oktober, ini The Daily Diff. MLX ialah rangka kerja tatasusunan "open source" Apple untuk pembelajaran mesin di Apple

0:22 silikon. Ujian baharunya menjalankan Meta's Muse Spark Open merentasi empat Mac Studio. Ia menggunakan memori bersatu, yang dikongsi oleh CPU dan GPU. Apple menerbitkan ini pada lima belas Oktober. Mercor memetakan kerja "benchmark" AI yang hampir tidak diukur. Kami meliputi edisi tujuh belas Oktober , dengan kemas kini lapan belas Oktober semalaman mengenai OpenCode Console.

Mengapa model memerlukan lebih daripada satu Mac?

0:41 Mulakan dengan bahagian yang menyusahkan. Ujian Muse Spark Open Apple menggunakan kira-kira lima ratus gigabait hanya untuk model empat bit. Sebuah Mac Studio tunggal mencapai lima ratus dua belas gigabait, dan inferens memerlukan memori kerja juga. Beratnya hampir memenuhi beg pakaian sebelum anda mengemas sepasang stokin pun. Lebih banyak mesin menjadikan model itu sesuai. Paralelisme paip memotong model melalui lapisannya. Mac A melakukan lapisan awal, kemudian menyerahkan hasil perantaraan kepada Mac B untuk

1:05 lapisan kemudian. Untuk satu token yang dijana, langkah-langkah itu masih berlaku secara berurutan. Pengukuran Apple menunjukkan kelajuan "decode" kekal sangat serupa dengan mesin tunggal. Anda telah mengupah tukang masak kedua, dan memberi mereka sandwic yang sama. Di Hacker News, seorang pembangun mempersoalkan mengapa jadual Apple menggunakan model Meta empat bit di samping model Qwen pada ketepatan asalnya. Jadual Apple menyatakan formatnya, jadi baca nota kaki sebelum membeli-belah. "Slide deck benchmarks" kekal tidak terkalahkan.

1:29 Paralelisme tensor memotong setiap lapisan sebaliknya.

Bagaimana Thunderbolt membantu Mac berfungsi bersama?

1:32 Beberapa Mac berfungsi pada bahagian lapisan yang sama bersama-sama, kemudian menggabungkan hasilnya. Itu boleh mempercepatkan penjanaan, tetapi mesin berkomunikasi berulang kali. Apple menggunakan akses memori jauh "low latency" melalui Thunderbolt. Langkah kerjaya yang berani untuk sebuah kabel. Hasil utama adalah lebih tiga puluh enam token sesaat dari empat M lima Ultra Mac Studio, dengan kira-kira lapan ribu token konteks. Apple mengukurnya sendiri.

1:55 Gesaan yang lebih panjang mengubah cerita. Dalam satu ujian konteks besar, dua kabel setiap pautan mengurangkan "wait for the first token" kira-kira sepuluh saat. Model tempatan memberi anda batasan yang berguna di sekitar gesaan, dengan syarat persediaan sebenar anda mengekalkannya secara tempatan. Apple belum membekalkan harga "break even" sejagat terhadap API yang dihoskan. Itu bergantung pada penggunaan dan model yang anda perlukan. Sebuah mesin yang menjawab soalan sekali-sekala menghabiskan banyak masa menjadi perhiasan meja yang sangat

2:17 mahal. Memilih model itu memerlukan ujian untuk kerja anda.

Kerja apakah yang sebenarnya diliputi oleh "benchmark" AI?

2:21 Mercor memetakan dua puluh sembilan "benchmark" ke dalam taksonomi pekerjaan Amerika. Indeksnya meliputi kira-kira sembilan ratus tugas daripada hampir sembilan belas ribu. Peta itu menganggarkan bahawa sembilan puluh peratus waktu bekerja mempunyai sedikit atau tiada liputan "benchmark". Itu adalah ruang kosong yang besar pada kertas peperiksaan. Peta Mercor mengukur liputan. Pekerjaan kosong mempunyai tugas yang hampir tidak diuji; kemampuan model kekal sebagai soalan yang terbuka. Pemetaan itu menggunakan model AI, dengan semakan manusia pada subset "benchmark prompts" Mercor sendiri. Penyemak menerima kira-kira tiga perempat daripada pilihan pertamanya.

2:49 Sistem penggredan memerlukan sistem penggredannya sendiri, secara semula jadi. Jadi jika anda bimbang tentang pekerjaan anda, papan pendahulu tidak dapat menyelesaikan perdebatan. Jika anda membeli pembantu pengekodan, ulang tugas sebenar dengan pemeriksaan penerimaan anda sendiri. Kerja yang berguna termasuk bahagian-bahagian yang janggal selepas demo. Tiada siapa yang dinaikkan pangkat kerana chatbot dengan yakin menyelesaikan "spreadsheet" yang salah. Yang membawa kita kepada kemas kini semalaman. OpenCode mengatakan pelanggaran keselamatan menjejaskan satu perpuluhan empat peratus pengguna Konsol.

Siapa yang OpenCode katakan terjejas semalaman?

3:13 Notis yang disuntingnya mengecilkan itu kepada subset dengan penyedia luaran yang dihubungkan, dan mengatakan pengguna yang terjejas telah diemel. Ia menyebut ini serangan "distillation" berskala besar, dan mengatakan insiden itu sedang berlangsung. Punca akar awam masih belum tiba. Balasan termasuk orang yang melaporkan kredit penyedia yang hilang, yang merupakan akaun peristiwa mereka. Notis itu tidak menetapkan kerugian atau pampasan setiap orang. Apple baru sahaja menunjukkan cara menyambungkan OpenCode ke inferens tempatan,

3:38 dan kini namanya berada di samping amaran keselamatan. Nama produk meliputi beberapa batasan kepercayaan yang berbeza. Pengguna Konsol harus membaca notis rasmi dan memeriksa penggunaan penyedia. Jika anda terjejas, ikuti arahan pemulihan dan semak "credential" yang disambungkan. Notis ini memberi kita skop Konsol yang dihoskan secara spesifik. Ia tidak memberikan bukti di sini tentang kompromi dalam setiap pemasangan tempatan. Ini sambungannya.

Apakah yang diletakkan di bawah kawalan anda oleh inferens tempatan?

4:02 Artikel Apple menamakan OpenCode sebagai klien untuk pelayan model tempatannya. Antara muka pengekodan yang sama boleh berada di hadapan infrastruktur yang sangat berbeza. Itu menjawab apa yang dibeli oleh empat Mac. Kapasiti, dan batasan inferens yang boleh anda tadbir. Perkhidmatan di sekitar batasan itu masih memerlukan semakan mereka sendiri. Peraturan pembelian saya mudah. Buktikan model itu sesuai, ukur keseluruhan tugas, dan periksa setiap perkhidmatan yang memegang "credential". Hasil Apple menjadikan inferens tempatan yang besar lebih praktikal,

4:23 manakala ujian paip menjelaskan mengapa penambahan perkakasan boleh mengecewakan. Ujian penerimaan anda adalah di samping pesanan pembelian. Jika anda lebih suka membaca ini daripada mendengar saya mengatakannya, "diff" akan sampai ke peti masuk anda setiap pagi, percuma di "daily diff dot dev", pautan di bawah. Jadi keputusan hari ini ialah NEEDS REVIEW.

Adakah saya akan membeli kluster empat Mac itu?

4:40 Saya akan mengukur beban kerja sebenar saya sebelum membeli kluster. Langgan, tekan loceng, dan beritahu saya di komen jika anda akan mengecopnya secara berbeza. Dan itulah "diff" untuk hari ini. Saya Niko dari Axrisi. Gabungkan secara bertanggungjawab. Merge responsibly.

Sumber

1. Local and Distributed Large LLM Inference with MLX and RDMA on Mac StudioApple Machine Learning Research
2. A benchmark map of the US economyMercor
3. Benchmark Map methodology and expert reviewMercor
4. Edited security-breach notice with Console scopeOpenCode
5. Reader questions mixed benchmark precision formatsHacker News · peri-cl (reader opinion)
6. User reports vanished provider credit (unverified loss claim)Amruth Pillai on X