Apple MLX dağıtık çıkarım: model kapasitesi, hız ve güven sınırları

Bu video neleri kapsar

• Model ağırlıkları ve çıkarım çalışma alanı belleği tüketir; yalnızca bir modelin ağırlık alanı gerekli kapasiteyi küçümseyebilir.
• Boru hattı paralelliği ardışık katmanları dağıtırken, tensör paralelliği her katmanın içindeki işi böler ve sık, düşük gecikmeli iletişim gerektirir.
• Apple, 8.192 tokenlık bağlamla dört M5 Ultra Mac Studio'da saniyede 36'dan fazla token bildirdi; kablo karşılaştırması, 65.536 tokenlık bir bağlamda ilk token beklemesiyle ilgilidir.
• Mercor'un %90 mesai bulgusu, seçtiği karşılaştırma indeksinde çok az veya hiç kapsam olmadığını belirtir. %90'lık bir model arıza oranını belirlemez.
• OpenCode'un düzenlenmiş bildirimi, harici sağlayıcılarla bağlantılı Konsol kullanıcılarının bir alt kümesini tanımlar. Halka açık bildirim, her yerel kurulumun tehlikeye atıldığını belirlemez.
• Yerel bir model kurulumunu tam bir gizlilik veya maliyet çözümü olarak görmeden önce gerçek iş yükünüzü test edin ve kimlik bilgisi taşıyan hizmetleri gözden geçirin.

Çevrilmiş deşifre

Orijinal İngilizce anlatımdan çevrilmiştir. Mevcut ses ve altyazılar YouTube tarafından kontrol edilir.

Neden iki Mac aynı hızda kalabilir?

0:00 İki Mac'in yapay zekanızı iki kat daha hızlı yapmasını beklersiniz. Apple'ın kendi testleri, üretim hızının neredeyse değişmeden kalabileceğini gösteriyor. Bu videoda, dört Mac ne işe yarar? Karşılaştırmalar neyi kaçırıyor? Bir kodlama aracı, donanımı bir geceki veri ihlaline bağlıyor. Buna geri döneceğiz. 17 Ekim Cumartesi için, bu The Daily Diff. MLX, Apple'ın Apple donanımında makine öğrenimi için açık kaynak dizi çerçevesidir.

0:22 Yeni testi, Meta'nın Muse Spark Open'ını dört Mac Studio'da çalıştırıyor. CPU ve GPU'nun paylaştığı birleşik belleği kullanıyor. Apple bunu 15 Ekim'de yayınladı. Mercor, yapay zeka karşılaştırmalarının zar zor ölçtüğü işi haritaladı. 17 Ekim sürümünü, 18 Ekim'de bir gece OpenCode Console hakkında bir güncellemeyle ele alıyoruz.

Modelin neden birden fazla Mac'e ihtiyacı var?

0:41 Rahatsız edici kısımdan başlayalım. Apple'ın Muse Spark Open testi, dört bitlik model için bile yaklaşık beş yüz gigabayt kullanıyor. Tek bir Mac Studio beş yüz on iki gigabaytta zirve yapıyor, ve çıkarım için çalışma belleği de gerekiyor. Ağırlıklar, tek bir çorabı bile paketlemeden bavulu neredeyse dolduruyor. Daha fazla makine modeli sığdırır. Boru hattı paralelliği modeli katmanları boyunca keser. Mac A önceki katmanları yapar, sonra ara sonucu sonraki katmanlar için Mac B'ye iletir.

1:05 sonraki katmanlar için Mac B'ye iletir. Üretilen bir jeton için bu adımlar hala sırayla gerçekleşir. Apple'ın ölçümleri, kod çözme hızının tek bir makineye çok benzer kaldığını gösteriyor. İkinci bir aşçı tuttunuz ve onlara aynı sandviçi verdiniz. Hacker News'te bir geliştirici, Apple'ın tablosunun neden kendi doğal hassasiyetinde bir Qwen modelinin yanında dört bitlik bir Meta model kullandığını sorguladı. modelini kendi doğal hassasiyetinde bir Qwen modelinin yanında kullandığını sorguladı. Apple'ın tablosu formatları belirtiyor, bu yüzden alışveriş yapmadan önce dipnotları okuyun. Slayt gösterisi karşılaştırmaları yenilmez kalır.

1:29 Bunun yerine tensör paralelliği her katmanı keser.

Thunderbolt Mac'lerin birlikte çalışmasına nasıl yardımcı olur?

1:32 Birden fazla Mac, aynı katmanın parçaları üzerinde birlikte çalışır, sonra sonuçlarını birleştirir. Bu, üretimi hızlandırabilir, ancak makineler sürekli iletişim kurar. Apple, Thunderbolt üzerinden düşük gecikmeli uzak bellek erişimi kullanır. Bir kablo için cesur bir kariyer hamlesi. Manşet sonuç, yaklaşık sekiz bin jeton bağlamla dört M5 Ultra Mac Studio'dan saniyede otuz altı jetondan fazladır. Mac Studios, yaklaşık sekiz bin jeton bağlamla saniyede otuz altı jetondan fazla. Apple bunu kendi ölçtü.

1:55 Daha uzun istemler hikayeyi değiştirir. Büyük bir bağlam testinde, bağlantı başına iki kablo, ilk jeton beklemesini yaklaşık on saniye kısalttı. yaklaşık on saniye kısalttı. Yerel bir model, istemler çevresinde size kullanışlı bir sınır sağlar, gerçek kurulumunuz onları yerel tuttuğu sürece. Apple, barındırılan API'lere karşı evrensel bir başa baş fiyat sunmadı. Bu, kullanım ve ihtiyacınız olan modele bağlıdır. Ara sıra soruları yanıtlayan bir makine, çok zamanını çok pahalı bir masa süsü olarak geçirir.

2:17 pahalı bir masa süsü. Bu modeli seçmek, işiniz için bir test gerektirir.

Yapay zeka karşılaştırmaları aslında hangi işleri kapsıyor?

2:21 Mercor, yirmi dokuz karşılaştırmayı Amerikan iş sınıflandırmasına haritaladı. İndeksi, yaklaşık on dokuz bin görevden yaklaşık dokuz yüzünü kapsıyor. Harita, çalışma saatlerinin yüzde doksanının çok az veya hiç karşılaştırma kapsamına sahip olmadığını tahmin ediyor. karşılaştırma kapsamı. Bu, sınav kağıdında dev bir boş alan. Mercor'un haritası kapsamı ölçer. Boş bir meslek, zar zor test edilmiş görevlere sahiptir; model yeteneği açık bir soru olmaya devam ediyor. soru. Haritalama, Mercor'un kendi karşılaştırma istemlerinin bir alt kümesinde insan incelemesiyle bir yapay zeka modeli kullandı. Mercor'un kendi karşılaştırma istemlerinin bir alt kümesinde insan incelemesiyle bir yapay zeka modeli kullandı.

2:49 Değerlendirenler, ilk tercihlerinin yaklaşık dörtte üçünü kabul etti. Notlandırma sisteminin kendi notlandırma sistemine ihtiyacı var, doğal olarak. Yani işiniz hakkında endişeleniyorsanız, bir liderlik tablosu tartışmayı çözemez. tartışmayı çözemez. Bir kodlama asistanı alıyorsanız, kendi kabul kontrollerinizle gerçek bir görevi tekrar oynatın. kabul kontrolleriniz. Faydalı iş, demodan sonraki garip kısımları içerir. Sohbet robotu yanlış e-tabloyu güvenle bitirdiği için kimse terfi etmez. yanlış e-tabloyu bitirdiği için kimse terfi etmez. Bu da bizi bir geceki güncellemeye getiriyor.

OpenCode kimlerin bir gecede etkilendiğini söylüyor?

3:13 OpenCode, bir güvenlik ihlalinin Console kullanıcılarının yüzde bir nokta dördünü etkilediğini söylüyor. Düzenlenmiş bildirimi bunu, bağlantılı harici sağlayıcılara sahip bir alt kümeye daraltıyor ve etkilenen kullanıcılara e-posta gönderildiğini belirtiyor. harici sağlayıcılara sahip bir alt kümeye daraltıyor ve etkilenen kullanıcılara e-posta gönderildiğini belirtiyor. Bunu büyük ölçekli bir damıtma saldırısı olarak adlandırıyor ve olayın devam ettiğini söylüyor. devam ediyor. Henüz halka açık bir kök neden gelmedi. Yanıtlar, kaybolan sağlayıcı kredisini bildiren kişileri içeriyor, bu da onların olayların anlatımıdır. Bildirim, her kişinin kayıplarını veya tazminatını belirlemiyor.

3:38 Apple, OpenCode'u yerel çıkarıma nasıl bağlayacağını yeni göstermişti, ve şimdi adı bir güvenlik uyarısının yanında. Ürün adı, birkaç farklı güven sınırını kapsıyor. Konsol kullanıcıları resmi bildirimi okumalı ve sağlayıcı kullanımını kontrol etmeli. Etkilendiyseniz, düzeltme talimatlarını izleyin ve bağlı kimlik bilgilerini gözden geçirin. kimlik bilgileri. Bu bildirim bize belirli bir barındırılan Konsol kapsamı veriyor. Burada her yerel kurulumda bir tehlikeye atılma kanıtı sağlamıyor.

Yerel çıkarım neyi sizin kontrolünüze verir?

4:02 İşte bağlantı. Apple'ın makalesi OpenCode'u yerel model sunucusu için bir istemci olarak adlandırıyor. Aynı kodlama arayüzü, çok farklı altyapıların önünde durabilir. Bu, dört Mac'in ne işe yaradığını yanıtlıyor. Kapasite ve yönetebileceğiniz bir çıkarım sınırı. Bu sınır etrafındaki hizmetler hala kendi incelemelerini hak ediyor. Satın alma kuralım basit. Modelin uyduğunu kanıtlayın, görevin tamamını ölçün ve bir kimlik bilgisi tutan her hizmeti kontrol edin.

4:23 kimlik bilgisi. Apple'ın sonucu büyük yerel çıkarımı daha pratik hale getiriyor, boru hattı testi ise donanım eklemenin neden hayal kırıklığı yaratabileceğini açıklıyor. Kabul testiniz satın alma siparişinizin yanında yer alıyor. Bunu benden duymak yerine okumak isterseniz, fark her sabah e-posta kutunuza düşer, daily diff dot dev adresinde ücretsiz, bağlantı aşağıda.

Dört Mac'li kümeyi alır mıydım?

4:40 Yani bugünün kararı İNCELEME GEREKLİDİR. Kümeyi almadan önce gerçek iş yükümü ölçerdim. Abone olun, zili çalın ve farklı bir şekilde damgalayıp damgalamayacağınızı yorumlarda bana bildirin. farklı. Ve bugünkü fark bu kadar. Ben Axrisi'den Niko. Sorumlulukla birleştirin.

Kaynaklar

1. Local and Distributed Large LLM Inference with MLX and RDMA on Mac StudioApple Machine Learning Research
2. A benchmark map of the US economyMercor
3. Benchmark Map methodology and expert reviewMercor
4. Edited security-breach notice with Console scopeOpenCode
5. Reader questions mixed benchmark precision formatsHacker News · peri-cl (reader opinion)
6. User reports vanished provider credit (unverified loss claim)Amruth Pillai on X