Inferensi terdistribusi Apple MLX: kapasitas model, kecepatan, dan batas kepercayaan

Isi video ini

• Bobot model dan ruang kerja inferensi sama-sama mengonsumsi memori; jejak bobot model saja dapat meremehkan kapasitas yang dibutuhkan.
• Paralelisme pipeline mendistribusikan lapisan berturut-turut, sementara paralelisme tensor membagi pekerjaan di dalam setiap lapisan dan membutuhkan komunikasi latensi rendah yang sering.
• Apple melaporkan lebih dari 36 token per detik pada empat Mac Studio M5 Ultra dengan konteks 8.192 token; perbandingan kabel berkaitan dengan penantian token pertama pada konteks 65.536 token.
• Penemuan 90% jam kerja Mercor menjelaskan sedikit atau tidak ada cakupan dalam indeks benchmark yang dipilih. Ini tidak menetapkan tingkat kegagalan model 90%.
• Pemberitahuan yang diedit OpenCode menjelaskan sebagian pengguna Konsol dengan penyedia eksternal yang terhubung. Pemberitahuan publik tidak menetapkan kompromi setiap instalasi lokal.
• Uji beban kerja aktual Anda dan tinjau layanan yang memuat kredensial sebelum memperlakukan pengaturan model lokal sebagai solusi privasi atau biaya yang lengkap.

Transkrip terjemahan

Diterjemahkan dari narasi asli bahasa Inggris. Audio dan teks tersedia yang dikontrol oleh YouTube.

Mengapa dua Mac bisa tetap sama cepatnya?

0:00 Anda akan mengharapkan dua Mac membuat AI Anda dua kali lebih cepat. Tes Apple sendiri menunjukkan kecepatan generasi dapat tetap hampir tidak berubah. Dalam video ini, apa yang dibeli oleh empat Mac? Apa yang dilewatkan oleh benchmark? Satu alat pengkodean menghubungkan perangkat keras ke pelanggaran semalam. Kita akan kembali ke sana. Untuk Sabtu, tujuh belas Oktober, ini adalah The Daily Diff. MLX adalah kerangka kerja array sumber terbuka Apple untuk pembelajaran mesin di Apple

0:22 silicon. Tes barunya menjalankan Meta's Muse Spark Open di empat Mac Studio. Ini menggunakan memori terpadu, yang digunakan bersama oleh CPU dan GPU. Apple menerbitkan ini pada tanggal lima belas Oktober. Mercor memetakan pekerjaan yang hampir tidak diukur oleh benchmark AI. Kami meliput edisi tujuh belas Oktober , dengan pembaruan delapan belas Oktober semalam tentang OpenCode Console.

Mengapa model membutuhkan lebih dari satu Mac?

0:41 Mulai dengan bagian yang tidak nyaman. Tes Muse Spark Open Apple menggunakan sekitar lima ratus gigabyte hanya untuk model empat bit. Satu Mac Studio maksimal lima ratus dua belas gigabyte, dan inferensi juga membutuhkan memori kerja. Bobotnya hampir memenuhi koper sebelum Anda mengemas satu kaus kaki pun. Lebih banyak mesin membuat model sesuai. Paralelisme pipeline memotong model melalui lapisannya. Mac A melakukan lapisan-lapisan awal, kemudian meneruskan hasil perantara ke Mac B untuk

1:05 lapisan-lapisan selanjutnya. Untuk satu token yang dihasilkan, langkah-langkah itu masih terjadi secara berurutan. Pengukuran Apple menunjukkan kecepatan dekode tetap sangat mirip dengan satu mesin. Anda telah mempekerjakan koki kedua, dan memberi mereka sandwich yang sama. Di Hacker News, seorang pengembang mempertanyakan mengapa tabel Apple menggunakan model Meta empat bit di samping model Qwen pada presisi aslinya. Tabel Apple mencantumkan formatnya, jadi bacalah catatan kaki sebelum berbelanja. Benchmark slide deck tetap tak terkalahkan.

1:29 Paralelisme tensor memotong setiap lapisan sebagai gantinya.

Bagaimana Thunderbolt membantu Mac bekerja sama?

1:32 Beberapa Mac mengerjakan bagian dari lapisan yang sama bersama-sama, kemudian menggabungkan hasilnya. Itu dapat mempercepat generasi, tetapi mesin-mesin berkomunikasi berulang kali. Apple menggunakan akses memori jarak jauh latensi rendah melalui Thunderbolt. Langkah karir yang berani untuk sebuah kabel. Hasil utamanya adalah lebih dari tiga puluh enam token per detik dari empat M lima Ultra Mac Studio, dengan sekitar delapan ribu token konteks. Apple mengukurnya sendiri.

1:55 Prompt yang lebih panjang mengubah cerita. Dalam satu tes konteks besar, dua kabel per tautan memangkas penantian token pertama sekitar sepuluh detik. Model lokal memberi Anda batasan yang berguna di sekitar prompt, asalkan pengaturan aktual Anda menjaganya tetap lokal. Apple belum memberikan harga impas universal terhadap API yang di-hosting. Itu tergantung pada pemanfaatan dan model yang Anda butuhkan. Sebuah mesin yang menjawab pertanyaan sesekali menghabiskan banyak waktu menjadi hiasan meja yang sangat

2:17 mahal. Memilih model itu membutuhkan pengujian untuk pekerjaan Anda.

Pekerjaan apa saja yang sebenarnya dicakup oleh benchmark AI?

2:21 Mercor memetakan dua puluh sembilan benchmark ke taksonomi pekerjaan Amerika. Indeksnya mencakup sekitar sembilan ratus tugas dari hampir sembilan belas ribu. Peta tersebut memperkirakan bahwa sembilan puluh persen jam kerja memiliki sedikit atau tidak ada cakupan benchmark. Itu adalah ruang kosong yang sangat besar di lembar ujian. Peta Mercor mengukur cakupan. Pekerjaan kosong memiliki tugas yang hampir tidak teruji; kemampuan model tetap menjadi pertanyaan terbuka. Pemetaan menggunakan model AI, dengan tinjauan manusia pada sebagian dari prompt benchmark Mercor sendiri.

2:49 Peninjau menerima sekitar tiga perempat pilihan pertamanya. Sistem penilaian membutuhkan sistem penilaiannya sendiri, tentu saja. Jadi jika Anda khawatir tentang pekerjaan Anda, papan peringkat tidak dapat menyelesaikan argumen. Jika Anda membeli asisten pengkodean, putar ulang tugas nyata dengan pemeriksaan penerimaan Anda sendiri. Pekerjaan yang berguna mencakup bagian-bagian yang canggung setelah demo. Tidak ada yang dipromosikan karena chatbot dengan yakin menyelesaikan spreadsheet yang salah. Yang membawa kita ke pembaruan semalam.

Siapa yang OpenCode katakan terpengaruh semalam?

3:13 OpenCode mengatakan pelanggaran keamanan memengaruhi satu koma empat persen pengguna Konsol. Pemberitahuan yang diedit mempersempitnya ke sebagian kecil dengan penyedia eksternal yang terhubung, dan mengatakan pengguna yang terpengaruh telah diemail. Ini menyebut ini serangan distilasi skala besar, dan mengatakan insiden itu sedang berlangsung. Penyebab akar publik belum tiba. Balasan termasuk orang-orang yang melaporkan kredit penyedia yang hilang, yang merupakan laporan mereka tentang peristiwa tersebut. Pemberitahuan tersebut tidak menetapkan kerugian atau kompensasi setiap orang.

3:38 Apple baru saja menunjukkan cara menghubungkan OpenCode ke inferensi lokal, dan sekarang namanya berada di samping peringatan keamanan. Nama produk mencakup beberapa batas kepercayaan yang berbeda. Pengguna konsol harus membaca pemberitahuan resmi dan memeriksa penggunaan penyedia. Jika Anda terpengaruh, ikuti instruksi perbaikan dan tinjau kredensial yang terhubung. Pemberitahuan ini memberi kita ruang lingkup Konsol yang di-hosting secara spesifik. Ini tidak memberikan bukti di sini tentang kompromi di setiap instalasi lokal.

Apa yang dikendalikan oleh inferensi lokal?

4:02 Inilah koneksinya. Artikel Apple menyebut OpenCode sebagai klien untuk server model lokalnya. Antarmuka pengkodean yang sama dapat berada di depan infrastruktur yang sangat berbeda. Itu menjawab apa yang dibeli oleh empat Mac. Kapasitas, dan batas inferensi yang dapat Anda kelola. Layanan di sekitar batas itu tetap layak ditinjau sendiri. Aturan pembelian saya sederhana. Buktikan modelnya sesuai, ukur seluruh tugas, dan periksa setiap layanan yang memegang

4:23 kredensial. Hasil Apple membuat inferensi lokal skala besar lebih praktis, sementara tes pipeline menjelaskan mengapa penambahan perangkat keras dapat mengecewakan. Tes penerimaan Anda berada di samping pesanan pembelian. Jika Anda lebih suka membaca ini daripada mendengar saya mengatakannya, diff tiba di kotak masuk Anda setiap pagi, gratis di the daily diff dot dev, tautan di bawah.

Akankah saya membeli kluster empat Mac?

4:40 Jadi putusan hari ini adalah NEEDS REVIEW. Saya akan mengukur beban kerja saya yang sebenarnya sebelum membeli kluster. Berlangganan, tekan bel, dan beri tahu saya di komentar jika Anda akan memberikannya stempel yang berbeda. Dan itu diff untuk hari ini. Saya Niko dari Axrisi. Gabungkan secara bertanggung jawab.

Sumber

1. Local and Distributed Large LLM Inference with MLX and RDMA on Mac StudioApple Machine Learning Research
2. A benchmark map of the US economyMercor
3. Benchmark Map methodology and expert reviewMercor
4. Edited security-breach notice with Console scopeOpenCode
5. Reader questions mixed benchmark precision formatsHacker News · peri-cl (reader opinion)
6. User reports vanished provider credit (unverified loss claim)Amruth Pillai on X