Suy luận phân tán Apple MLX: dung lượng mô hình, tốc độ và ranh giới tin cậy

Nội dung video này đề cập

• Trọng số mô hình và không gian làm việc suy luận đều tiêu tốn bộ nhớ; riêng dung lượng trọng số của mô hình có thể đánh giá thấp dung lượng cần thiết.
• Song song hóa đường ống phân phối các lớp kế tiếp, trong khi song song hóa tensor chia công việc bên trong mỗi lớp và cần giao tiếp độ trễ thấp thường xuyên.
• Apple báo cáo hơn 36 token mỗi giây trên bốn máy Mac Studio M5 Ultra với ngữ cảnh 8.192 token; so sánh cáp liên quan đến thời gian chờ token đầu tiên ở ngữ cảnh 65.536 token.
• Phát hiện 90% giờ làm việc của Mercor mô tả rất ít hoặc không có phạm vi bao phủ trong chỉ mục điểm chuẩn đã chọn của họ. Nó không thiết lập tỷ lệ lỗi mô hình 90%.
• Thông báo đã chỉnh sửa của OpenCode mô tả một tập hợp con người dùng Console với các nhà cung cấp bên ngoài được liên kết. Thông báo công khai không thiết lập sự xâm phạm của mọi cài đặt cục bộ.
• Hãy kiểm tra khối lượng công việc thực tế của bạn và xem xét các dịch vụ lưu trữ thông tin xác thực trước khi coi một thiết lập mô hình cục bộ là một giải pháp riêng tư hoặc chi phí hoàn chỉnh.

Bản ghi đã dịch

Được dịch từ lời tường thuật tiếng Anh gốc. Âm thanh và phụ đề có sẵn được điều khiển bởi YouTube.

Tại sao hai máy Mac có thể giữ nguyên tốc độ?

0:00 Bạn sẽ mong đợi hai máy Mac làm AI của bạn nhanh gấp đôi. Các thử nghiệm của Apple cho thấy tốc độ tạo có thể gần như không thay đổi. Trong video này, bốn máy Mac mua được gì? Điểm chuẩn bỏ lỡ điều gì? Một công cụ mã hóa kết nối phần cứng với một sự cố vi phạm qua đêm. Chúng ta sẽ quay lại vấn đề đó sau. Đối với Thứ Bảy, ngày mười bảy tháng Mười, đây là The Daily Diff. MLX là framework mảng mã nguồn mở của Apple dành cho máy học trên chip Apple

0:22 silicon. Thử nghiệm mới của nó chạy Muse Spark Open của Meta trên bốn máy Mac Studio. Nó sử dụng bộ nhớ hợp nhất, mà CPU và GPU chia sẻ. Apple đã xuất bản điều này vào ngày mười lăm tháng Mười. Mercor đã lập bản đồ công việc mà các điểm chuẩn AI hầu như không đo lường được. Chúng tôi đang đề cập đến ấn bản ngày mười bảy tháng Mười, với bản cập nhật qua đêm ngày mười tám tháng Mười về OpenCode Console.

Tại sao mô hình cần nhiều hơn một máy Mac?

0:41 Hãy bắt đầu với phần bất tiện. Thử nghiệm Muse Spark Open của Apple sử dụng khoảng năm trăm gigabyte chỉ riêng cho mô hình bốn bit. Một máy Mac Studio duy nhất tối đa là năm trăm mười hai gigabyte, và suy luận cũng cần bộ nhớ làm việc. Trọng số gần như lấp đầy vali trước khi bạn đóng gói một chiếc tất. Nhiều máy hơn giúp mô hình vừa vặn. Song song hóa đường ống cắt mô hình qua các lớp của nó. Mac A thực hiện các lớp trước đó, sau đó chuyển kết quả trung gian cho Mac B để

1:05 thực hiện các lớp sau. Đối với một token được tạo, các bước đó vẫn xảy ra theo trình tự. Các phép đo của Apple cho thấy tốc độ giải mã vẫn rất giống với một máy đơn. Bạn đã thuê một đầu bếp thứ hai và đưa cho họ cùng một chiếc bánh sandwich. Trên Hacker News, một nhà phát triển đã đặt câu hỏi tại sao bảng của Apple lại sử dụng mô hình Meta bốn bit bên cạnh một mô hình Qwen ở độ chính xác gốc của nó. Bảng của Apple nêu rõ các định dạng, vì vậy hãy đọc các ghi chú cuối trang trước khi mua sắm. Các điểm chuẩn trên slide trình bày vẫn không thể bị đánh bại.

1:29 Song song hóa Tensor cắt ngang mỗi lớp thay vào đó.

Thunderbolt giúp các máy Mac hoạt động cùng nhau như thế nào?

1:32 Nhiều máy Mac làm việc trên các phần của cùng một lớp cùng nhau, sau đó kết hợp kết quả của chúng. Điều đó có thể tăng tốc độ tạo, nhưng các máy giao tiếp liên tục. Apple sử dụng truy cập bộ nhớ từ xa độ trễ thấp qua Thunderbolt. Một bước tiến sự nghiệp táo bạo cho một sợi cáp. Kết quả nổi bật là hơn ba mươi sáu token mỗi giây từ bốn máy Mac Studio M5 Ultra, với khoảng tám nghìn token ngữ cảnh. Apple đã tự đo lường nó.

1:55 Các lời nhắc dài hơn thay đổi câu chuyện. Trong một thử nghiệm ngữ cảnh lớn, hai cáp trên mỗi liên kết đã giảm thời gian chờ token đầu tiên khoảng mười giây. Một mô hình cục bộ cung cấp cho bạn một ranh giới hữu ích xung quanh các lời nhắc, miễn là thiết lập thực tế của bạn giữ chúng cục bộ. Apple chưa cung cấp một mức giá hòa vốn phổ quát so với các API được lưu trữ. Điều đó phụ thuộc vào việc sử dụng và mô hình bạn cần. Một máy trả lời các câu hỏi thỉnh thoảng dành rất nhiều thời gian để trở thành một

2:17 đồ trang trí bàn rất đắt tiền. Việc lựa chọn mô hình đó yêu cầu một thử nghiệm cho công việc của bạn.

Các điểm chuẩn AI thực sự bao gồm những công việc gì?

2:21 Mercor đã ánh xạ hai mươi chín điểm chuẩn vào phân loại công việc của Mỹ. Chỉ mục của nó bao gồm khoảng chín trăm nhiệm vụ trong số gần mười chín nghìn. Bản đồ ước tính rằng chín mươi phần trăm giờ làm việc có ít hoặc không có phạm vi điểm chuẩn. Đó là một khoảng trống lớn trên giấy thi. Bản đồ của Mercor đo lường phạm vi bao phủ. Một nghề nghiệp trống có các nhiệm vụ hầu như chưa được kiểm tra; khả năng của mô hình vẫn là một câu hỏi mở. Việc ánh xạ đã sử dụng một mô hình AI, với sự xem xét của con người trên một tập hợp con các lời nhắc điểm chuẩn của riêng Mercor.

2:49 Người đánh giá đã chấp nhận khoảng ba phần tư các lựa chọn đầu tiên của nó. Hệ thống chấm điểm cần hệ thống chấm điểm riêng của nó, tất nhiên. Vì vậy, nếu bạn lo lắng về công việc của mình, một bảng xếp hạng không thể giải quyết tranh cãi. Nếu bạn đang mua một trợ lý mã hóa, hãy phát lại một nhiệm vụ thực tế với các kiểm tra chấp nhận của riêng bạn. Công việc hữu ích bao gồm cả những phần khó xử sau bản demo. Không ai được thăng chức vì chatbot tự tin hoàn thành sai bảng tính. Điều này đưa chúng ta đến bản cập nhật qua đêm.

OpenCode nói ai đã bị ảnh hưởng qua đêm?

3:13 OpenCode cho biết một sự cố bảo mật đã ảnh hưởng đến một phẩy bốn phần trăm người dùng Console. Thông báo đã chỉnh sửa của nó thu hẹp điều đó thành một tập hợp con có các nhà cung cấp bên ngoài được liên kết, và nói rằng những người dùng bị ảnh hưởng đã được gửi email. Nó gọi đây là một cuộc tấn công chắt lọc quy mô lớn, và nói rằng sự cố đang tiếp diễn. Một nguyên nhân gốc rễ công khai vẫn chưa đến. Các câu trả lời bao gồm những người báo cáo tín dụng nhà cung cấp biến mất, đó là lời kể của họ về các sự kiện. Thông báo không thiết lập tổn thất hoặc bồi thường của mỗi người.

3:38 Apple vừa cho thấy cách kết nối OpenCode với suy luận cục bộ, và bây giờ tên của nó nằm bên cạnh một cảnh báo bảo mật. Tên sản phẩm bao gồm một số ranh giới tin cậy khác nhau. Người dùng Console nên đọc thông báo chính thức và kiểm tra việc sử dụng nhà cung cấp. Nếu bạn bị ảnh hưởng, hãy làm theo hướng dẫn khắc phục và xem xét các thông tin xác thực đã kết nối. Thông báo này cung cấp cho chúng ta một phạm vi Console được lưu trữ cụ thể. Nó không cung cấp bằng chứng nào ở đây về một sự xâm phạm trong mọi cài đặt cục bộ.

Suy luận cục bộ đặt điều gì dưới sự kiểm soát của bạn?

4:02 Đây là kết nối. Bài viết của Apple đặt tên OpenCode là một máy khách cho máy chủ mô hình cục bộ của nó. Giao diện mã hóa tương tự có thể nằm phía trước các cơ sở hạ tầng rất khác nhau. Điều đó trả lời cho việc bốn máy Mac mua được gì. Dung lượng và một ranh giới suy luận mà bạn có thể quản lý. Các dịch vụ xung quanh ranh giới đó vẫn xứng đáng được xem xét riêng. Quy tắc mua hàng của tôi rất đơn giản. Chứng minh mô hình phù hợp, đo lường toàn bộ tác vụ và kiểm tra mọi dịch vụ giữ

4:23 thông tin xác thực. Kết quả của Apple làm cho suy luận cục bộ lớn trở nên thực tế hơn, trong khi thử nghiệm đường ống giải thích lý do tại sao việc thêm phần cứng có thể gây thất vọng. Bài kiểm tra chấp nhận của bạn thuộc về bên cạnh đơn đặt hàng. Nếu bạn muốn đọc điều này hơn là nghe tôi nói, bản diff sẽ đến hộp thư đến của bạn mỗi sáng, miễn phí tại the daily diff dot dev, liên kết bên dưới.

Tôi có mua cụm bốn máy Mac không?

4:40 Vì vậy, phán quyết hôm nay là CẦN XEM XÉT. Tôi sẽ đo khối lượng công việc thực tế của mình trước khi mua cụm máy. Đăng ký, nhấn chuông và cho tôi biết trong phần bình luận nếu bạn đã đóng dấu nó khác đi. Và đó là bản diff cho ngày hôm nay. Tôi là Niko từ Axrisi. Hợp nhất một cách có trách nhiệm.

Nguồn

1. Local and Distributed Large LLM Inference with MLX and RDMA on Mac StudioApple Machine Learning Research
2. A benchmark map of the US economyMercor
3. Benchmark Map methodology and expert reviewMercor
4. Edited security-breach notice with Console scopeOpenCode
5. Reader questions mixed benchmark precision formatsHacker News · peri-cl (reader opinion)
6. User reports vanished provider credit (unverified loss claim)Amruth Pillai on X