Rozproszone wnioskowanie Apple MLX: pojemność modelu, szybkość i granice zaufania

Co obejmuje ten film

• Wagi modelu i przestrzeń robocza wnioskowania zużywają pamięć; samo zapotrzebowanie modelu na wagi może niedoszacować wymaganą pojemność.
• Równoległość potokowa rozdziela kolejne warstwy, natomiast równoległość tensorowa dzieli pracę w każdej warstwie i wymaga częstej komunikacji o niskim opóźnieniu.
• Apple raportuje ponad 36 tokenów na sekundę na czterech Macach Studio M5 Ultra z kontekstem 8 192 tokenów; porównanie kabli dotyczy oczekiwania na pierwszy token w kontekście 65 536 tokenów.
• Ustalenie Mercor dotyczące 90% godzin pracy opisuje niewielkie lub żadne pokrycie w wybranym indeksie benchmarków. Nie ustala 90% wskaźnika awaryjności modelu.
• Edytowana notatka OpenCode opisuje podzbiór użytkowników Console z powiązanymi zewnętrznymi dostawcami. Publiczna notatka nie potwierdza kompromitacji każdej lokalnej instalacji.
• Przetestuj swoje rzeczywiste obciążenie pracą i przejrzyj usługi wymagające poświadczeń, zanim potraktujesz lokalną konfigurację modelu jako kompletne rozwiązanie w zakresie prywatności lub kosztów.

Przetłumaczona transkrypcja

Przetłumaczono z oryginalnej narracji angielskiej. Dostępne audio i napisy są kontrolowane przez YouTube.

Dlaczego dwa Maki mogą działać z tą samą prędkością?

0:00 Spodziewałbyś się, że dwa Maki przyspieszą twoją AI dwukrotnie. Własne testy Apple pokazują, że szybkość generowania może pozostać prawie niezmieniona. W tym filmie, co dają cztery Maki? Co pomijają benchmarki? Jedno narzędzie do kodowania łączy sprzęt z nocnym wyciekiem. Wrócimy do tego. Na sobotę, siedemnastego października, to jest The Daily Diff. MLX to open source'owy framework tablicowy Apple do uczenia maszynowego na Apple

0:22 krzemie. Jego nowy test uruchamia Muse Spark Open firmy Meta na czterech Macach Studio. Wykorzystuje on ujednoliconą pamięć, którą dzielą CPU i GPU. Apple opublikowało to piętnastego października. Mercor zmapował pracę, którą benchmarki AI ledwo mierzą. Omawiamy siedemnastego października wydanie, z nocną aktualizacją z osiemnastego października dotyczącą OpenCode Console.

Dlaczego model potrzebuje więcej niż jednego Maca?

0:41 Zacznijmy od niewygodnego fragmentu. Test Muse Spark Open firmy Apple wykorzystuje około pięciuset gigabajtów tylko dla czterobitowego modelu. Pojedynczy Mac Studio osiąga maksymalnie pięćset dwanaście gigabajtów, a wnioskowanie potrzebuje również pamięci roboczej. Wagi niemal wypełniają walizkę, zanim spakujesz choć jedną skarpetkę. Więcej maszyn sprawia, że model się mieści. Równoległość potokowa tnie model przez jego warstwy. Mac A wykonuje wcześniejsze warstwy, a następnie przekazuje wynik pośredni do Maca B dla

1:05 późniejszych warstw. Dla jednego wygenerowanego tokena, te kroki nadal dzieją się sekwencyjnie. Pomiary Apple pokazują, że szybkość dekodowania pozostaje bardzo podobna do pojedynczej maszyny. Zatrudniłeś drugiego kucharza i dałeś mu tę samą kanapkę. Na Hacker News jeden deweloper zakwestionował, dlaczego tabela Apple użyła czterobitowego modelu Meta obok modelu Qwen w jego natywnej precyzji. Tabela Apple podaje formaty, więc przeczytaj przypisy przed zakupami. Benchmarki w prezentacjach pozostają niepokonane.

1:29 Równoległość tensorowa tnie zamiast tego każdą warstwę.

Jak Thunderbolt pomaga Macom współpracować?

1:32 Wiele Maców pracuje razem nad częściami tej samej warstwy, a następnie łączy swoje wyniki. Może to przyspieszyć generowanie, ale maszyny komunikują się wielokrotnie. Apple wykorzystuje dostęp do pamięci zdalnej o niskim opóźnieniu przez Thunderbolt. Odważny ruch w karierze dla kabla. Główny wynik to ponad trzydzieści sześć tokenów na sekundę z czterech Maców Studio M5 Ultra, z kontekstem około ośmiu tysięcy tokenów. Apple mierzyło to samodzielnie.

1:55 Dłuższe podpowiedzi zmieniają historię. W jednym teście z dużym kontekstem, dwa kable na łącze skróciły czas oczekiwania na pierwszy token o około dziesięć sekund. Lokalny model daje użyteczną granicę wokół podpowiedzi, pod warunkiem, że twoja rzeczywista konfiguracja utrzymuje je lokalnie. Apple nie podało uniwersalnej ceny progu rentowności w porównaniu do hostowanych API. Zależy to od wykorzystania i potrzebnego modelu. Maszyna odpowiadająca na sporadyczne pytania spędza mnóstwo czasu, będąc bardzo

2:17 drogą ozdobą biurka. Wybór tego modelu wymaga testu dla twojej pracy.

Co tak naprawdę obejmują benchmarki AI?

2:21 Mercor zmapował dwadzieścia dziewięć benchmarków na amerykańską taksonomię zawodów. Jego indeks obejmuje około dziewięćset zadań z prawie dziewiętnastu tysięcy. Mapa szacuje, że dziewięćdziesiąt procent godzin pracy ma niewielkie lub żadne pokrycie benchmarków. To olbrzymia pusta przestrzeń na arkuszu egzaminacyjnym. Mapa Mercor mierzy pokrycie. Puste zawody mają słabo przetestowane zadania; możliwości modelu pozostają otwartym pytaniem. Mapowanie wykorzystało model AI, z ludzką weryfikacją podzbioru własnych podpowiedzi benchmarkowych Mercor.

2:49 Recenzenci zaakceptowali mniej więcej trzy czwarte jego pierwszych wyborów. System oceniania potrzebuje własnego systemu oceniania, naturalnie. Więc jeśli martwisz się o swoją pracę, tabela wyników nie rozstrzygnie sporu. Jeśli kupujesz asystenta do kodowania, odtwórz prawdziwe zadanie z własnymi kontrolami akceptacji. Użyteczna praca obejmuje niezręczne fragmenty po demo. Nikt nie zostaje awansowany, ponieważ chatbot pewnie skończył niewłaściwy arkusz kalkulacyjny. Co prowadzi nas do nocnej aktualizacji.

Kogo według OpenCode dotknęła nocna awaria?

3:13 OpenCode twierdzi, że naruszenie bezpieczeństwa dotknęło jeden i cztery dziesiąte procenta użytkowników Console. Edytowana notatka zawęża to do podzbioru z powiązanymi zewnętrznymi dostawcami i mówi, że dotknięci użytkownicy otrzymali e-maile. Nazywa to atakiem destylacji na dużą skalę i mówi, że incydent jest w toku. Publiczna przyczyna źródłowa jeszcze nie nadeszła. Odpowiedzi obejmują osoby zgłaszające zniknięcie kredytów u dostawcy, co jest ich relacją z wydarzeń. Powiadomienie nie ustala strat ani odszkodowań każdej osoby.

3:38 Apple właśnie pokazało, jak podłączyć OpenCode do lokalnego wnioskowania, a teraz jego nazwa znajduje się obok ostrzeżenia o bezpieczeństwie. Nazwa produktu obejmuje kilka różnych granic zaufania. Użytkownicy Console powinni przeczytać oficjalne powiadomienie i sprawdzić wykorzystanie u dostawcy. Jeśli zostałeś dotknięty, postępuj zgodnie z instrukcjami naprawy i przejrzyj połączone poświadczenia. To powiadomienie daje nam konkretny zakres hostowanej konsoli. Nie dostarcza tutaj dowodów na kompromitację każdej lokalnej instalacji.

Co lokalne wnioskowanie daje pod twoją kontrolę?

4:02 Oto połączenie. Artykuł Apple wymienia OpenCode jako klienta dla swojego lokalnego serwera modeli. Ten sam interfejs kodowania może stać przed bardzo różną infrastrukturą. To odpowiada na pytanie, co dają cztery Maki. Pojemność i granicę wnioskowania, którą można administrować. Usługi wokół tej granicy nadal zasługują na własną recenzję. Moja zasada kupowania jest prosta. Udowodnij, że model pasuje, zmierz całe zadanie i sprawdź każdą usługę posiadającą

4:23 poświadczenia. Wynik Apple sprawia, że duże lokalne wnioskowanie jest bardziej praktyczne, podczas gdy test potokowy wyjaśnia, dlaczego dodawanie sprzętu może rozczarować. Twój test akceptacyjny należy do zamówienia zakupu. Jeśli wolisz to przeczytać, niż usłyszeć, jak to mówię, diff ląduje w twojej skrzynce odbiorczej każdego ranka, za darmo na daily diff dot dev, link poniżej.

Czy kupiłbym klaster czterech Maców?

4:40 Dzisiejszy werdykt to NEEDS REVIEW. Zmierzyłbym swoje rzeczywiste obciążenie pracą przed zakupem klastra. Zasubskrybuj, naciśnij dzwonek i powiedz mi w komentarzach, czy oceniłbyś to inaczej. I to wszystko na dziś. Jestem Niko z Axrisi. Łącz odpowiedzialnie.

Źródła

1. Local and Distributed Large LLM Inference with MLX and RDMA on Mac StudioApple Machine Learning Research
2. A benchmark map of the US economyMercor
3. Benchmark Map methodology and expert reviewMercor
4. Edited security-breach notice with Console scopeOpenCode
5. Reader questions mixed benchmark precision formatsHacker News · peri-cl (reader opinion)
6. User reports vanished provider credit (unverified loss claim)Amruth Pillai on X