Apple MLX 분산 추론: 모델 용량, 속도 및 신뢰 경계

이 동영상에서 다루는 내용

• 모델 가중치와 추론 작업 공간 모두 메모리를 소비합니다. 모델의 가중치 자체만으로는 필요한 용량을 과소평가할 수 있습니다.
• 파이프라인 병렬 처리는 연속적인 레이어를 분산하는 반면, 텐서 병렬 처리는 각 레이어 내부의 작업을 분할하며 빈번한 낮은 지연 시간 통신이 필요합니다.
• Apple은 8,192 토큰 컨텍스트를 사용하는 4대의 M5 Ultra Mac Studio에서 초당 36 토큰 이상을 보고합니다. 케이블 비교는 65,536 토큰 컨텍스트에서 첫 번째 토큰 대기 시간과 관련이 있습니다.
• Mercor의 90% 근무 시간 발견은 선택된 벤치마크 인덱스에서 거의 또는 전혀 적용되지 않음을 나타냅니다. 이는 90% 모델 실패율을 설정하지 않습니다.
• OpenCode의 편집된 공지는 연결된 외부 공급업체를 사용하는 콘솔 사용자 중 일부를 설명합니다. 공개 공지는 모든 로컬 설치의 침해를 확인하지 않습니다.
• 로컬 모델 설정을 완전한 개인 정보 보호 또는 비용 솔루션으로 간주하기 전에 실제 워크로드를 테스트하고 자격 증명 관련 서비스를 검토하십시오.

번역된 스크립트

원래 영어 내레이션에서 번역되었습니다. 사용 가능한 오디오 및 캡션은 YouTube에서 제어합니다.

두 대의 Mac이 왜 같은 속도를 유지할 수 있나요?

0:00 두 대의 Mac이 AI를 두 배 빠르게 만들 것이라고 예상할 수 있습니다. Apple 자체 테스트에 따르면 생성 속도는 거의 변하지 않을 수 있습니다. 이 비디오에서 네 대의 Mac은 무엇을 제공하나요? 벤치마크는 무엇을 놓치나요? 하나의 코딩 도구가 하드웨어를 야간 침해에 연결합니다. 다시 돌아오겠습니다. 10월 17일 토요일, 이것은 The Daily Diff입니다. MLX는 Apple 실리콘에서 머신러닝을 위한 Apple의 오픈 소스 배열 프레임워크입니다.

0:22 새로운 테스트는 4대의 Mac Studio에서 Meta의 Muse Spark Open을 실행합니다. CPU와 GPU가 공유하는 통합 메모리를 사용합니다. Apple은 이것을 10월 15일에 게시했습니다. Mercor는 AI 벤치마크가 거의 측정하지 않는 작업을 매핑했습니다. 우리는 10월 17일 판을 다루고 있으며, 10월 18일 밤새 OpenCode Console에 대한 업데이트가 있습니다.

모델이 왜 한 대 이상의 Mac을 필요로 하나요?

0:41 불편한 부분부터 시작하십시오. Apple의 Muse Spark Open 테스트는 4비트 모델에만 약 500기가바이트를 사용합니다. 단일 Mac Studio는 512기가바이트로 제한되며, 추론에는 작업 메모리도 필요합니다. 단일 Mac Studio는 512기가바이트로 제한되며, 추론에는 작업 메모리도 필요합니다. 추론에도 작업 메모리가 필요합니다. 양말 하나를 싸기도 전에 가중치가 거의 여행 가방을 채웁니다. 더 많은 머신이 모델을 맞춥니다. 파이프라인 병렬 처리는 레이어를 통해 모델을 자릅니다. Mac A는 초기 레이어를 처리한 다음 중간 결과를 Mac B로 전달하여

1:05 나중 레이어를 처리합니다. 하나의 생성된 토큰에 대해 이러한 단계는 여전히 순서대로 발생합니다. Apple의 측정에 따르면 디코딩 속도는 단일 머신과 매우 유사하게 유지됩니다. 두 번째 요리사를 고용하고 같은 샌드위치를 주었습니다. Hacker News에서 한 개발자는 Apple의 테이블이 4비트 Meta 모델을 Qwen 모델과 함께 원래 정밀도로 사용한 이유에 의문을 제기했습니다. Hacker News에서 한 개발자는 Apple의 테이블이 4비트 Meta 모델을 Qwen 모델과 함께 원래 정밀도로 사용한 이유에 의문을 제기했습니다. Apple의 테이블은 형식을 명시하므로 쇼핑하기 전에 각주를 읽으십시오. 슬라이드 데크 벤치마크는 불패입니다.

1:29 텐서 병렬 처리는 대신 각 레이어를 가로질러 자릅니다.

Thunderbolt는 Mac이 함께 작동하는 데 어떻게 도움이 되나요?

1:32 여러 Mac이 같은 레이어의 조각들을 함께 작업한 다음 결과를 결합합니다. 이것은 생성을 가속화할 수 있지만, 머신은 반복적으로 통신합니다. Apple은 Thunderbolt를 통해 낮은 지연 시간 원격 메모리 접근을 사용합니다. 케이블에게는 대담한 경력 전환입니다. 헤드라인 결과는 4대의 M5 Ultra Mac Studio에서 초당 36개 이상의 토큰이며, 약 8천 토큰의 컨텍스트를 사용합니다. 4대의 M5 Ultra Mac Studio에서 초당 36개 이상의 토큰이며, 약 8천 토큰의 컨텍스트를 사용합니다. Apple이 직접 측정했습니다.

1:55 더 긴 프롬프트는 스토리를 바꿉니다. 하나의 큰 컨텍스트 테스트에서 링크당 두 개의 케이블은 첫 번째 토큰의 대기 시간을 약 10초 단축했습니다. 하나의 큰 컨텍스트 테스트에서 링크당 두 개의 케이블은 첫 번째 토큰의 대기 시간을 약 10초 단축했습니다. 로컬 모델은 프롬프트 주변에 유용한 경계를 제공합니다. 실제 설정이 로컬에 유지되는 한 말입니다. Apple은 호스팅된 API에 대한 보편적인 손익분기점을 제공하지 않았습니다. 이는 활용도와 필요한 모델에 따라 다릅니다. 가끔 질문에 답하는 기계는 매우

2:17 비싼 책상 장식품으로 많은 시간을 보냅니다. 해당 모델을 선택하려면 작업에 대한 테스트가 필요합니다.

AI 벤치마크는 실제로 어떤 작업을 다루나요?

2:21 Mercor는 29개의 벤치마크를 미국 직업 분류에 매핑했습니다. 그들의 인덱스는 약 19,000개 작업 중 약 900개 작업을 다룹니다. 이 맵은 근무 시간의 90%가 벤치마크 적용 범위가 거의 또는 전혀 없다고 추정합니다. 이는 시험지에 거대한 빈 공간입니다. 벤치마크 적용 범위가 거의 또는 전혀 없다고 추정합니다. 이는 시험지에 거대한 빈 공간입니다. Mercor의 맵은 적용 범위를 측정합니다. 빈 직업은 거의 테스트되지 않은 작업을 가지며, 모델 능력은 여전히 미해결 문제입니다. 매핑은 AI 모델을 사용했으며, Mercor 자체 벤치마크 프롬프트의 하위 집합에 대한 인간 검토가 있었습니다. 빈 직업은 거의 테스트되지 않은 작업을 가지며, 모델 능력은 여전히 미해결 문제입니다. 매핑은 AI 모델을 사용했으며, Mercor 자체 벤치마크 프롬프트의 하위 집합에 대한 인간 검토가 있었습니다. Mercor 자체 벤치마크 프롬프트의 하위 집합에 대한 인간 검토가 있었습니다.

2:49 검토자들은 첫 번째 선택의 약 4분의 3을 수락했습니다. 채점 시스템은 자체 채점 시스템이 필요합니다. 당연히. 그러니 당신의 직업에 대해 걱정한다면, 리더보드가 논쟁을 해결할 수는 없습니다. 코딩 비서를 구매하는 경우, 자신만의 수락 확인과 함께 실제 작업을 다시 실행하십시오. 유용한 작업에는 데모 후의 어색한 부분도 포함됩니다. 챗봇이 잘못된 스프레드시트를 자신감 있게 완료했다고 해서 누구도 승진하지 않습니다. 이것이 야간 업데이트로 이어집니다.

OpenCode는 누가 밤새 영향을 받았다고 말하나요?

3:13 OpenCode는 보안 침해가 콘솔 사용자 1.4%에 영향을 미쳤다고 말합니다. 편집된 공지는 이를 연결된 외부 공급업체를 가진 하위 집합으로 좁히고, 영향을 받은 사용자에게 이메일이 발송되었다고 말합니다. 편집된 공지는 이를 연결된 외부 공급업체를 가진 하위 집합으로 좁히고, 영향을 받은 사용자에게 이메일이 발송되었다고 말합니다. 이것을 대규모 증류 공격이라고 부르며, 사건이 진행 중이라고 말합니다. 공개적인 근본 원인은 아직 밝혀지지 않았습니다. 답변에는 사라진 공급업체 크레딧을 보고하는 사람들이 포함됩니다. 그들의 사건 설명입니다. 공지는 각 개인의 손실 또는 보상을 명시하지 않습니다.

3:38 Apple은 OpenCode를 로컬 추론에 연결하는 방법을 방금 보여주었고, 이제 그 이름은 보안 경고 옆에 있습니다. 제품 이름은 여러 다른 신뢰 경계를 다룹니다. 콘솔 사용자는 공식 공지를 읽고 공급업체 사용량을 확인해야 합니다. 영향을 받았다면, 복구 지침을 따르고 연결된 자격 증명을 검토하십시오. 이 공지는 특정 호스팅된 콘솔 범위를 제공합니다. 여기서 모든 로컬 설치의 침해에 대한 증거는 제공하지 않습니다.

로컬 추론은 무엇을 여러분의 통제하에 두나요?

4:02 여기에 연결이 있습니다. Apple의 기사는 OpenCode를 로컬 모델 서버의 클라이언트로 명명합니다. 동일한 코딩 인터페이스가 매우 다른 인프라 앞에 놓일 수 있습니다. 이것이 4대의 Mac이 무엇을 구매하는지 답합니다. 용량과 관리할 수 있는 추론 경계. 그 경계 주변의 서비스는 여전히 자체 검토를 받을 자격이 있습니다. 저의 구매 규칙은 간단합니다. 모델이 적합하다는 것을 증명하고, 전체 작업을 측정하고, 자격 증명을 보유한 모든 서비스를 확인하십시오. Apple의 결과는 대규모 로컬 추론을 더 실용적으로 만들었으며,

4:23 모델이 적합하다는 것을 증명하고, 전체 작업을 측정하고, 자격 증명을 보유한 모든 서비스를 확인하십시오. Apple의 결과는 대규모 로컬 추론을 더 실용적으로 만들었으며, 파이프라인 테스트는 하드웨어를 추가하는 것이 왜 실망스러울 수 있는지 설명합니다. 귀하의 인수 테스트는 구매 주문서 옆에 있어야 합니다. 제가 말하는 것을 듣는 것보다 이것을 읽고 싶다면, 매일 아침 당신의 받은 편지함으로 diff가 도착하며, dailydiff.dev에서 무료로 제공됩니다. 링크는 아래에 있습니다. 매일 아침 당신의 받은 편지함으로 diff가 도착하며, dailydiff.dev에서 무료로 제공됩니다. 링크는 아래에 있습니다.

네 대의 Mac 클러스터를 구매하시겠습니까?

4:40 그래서 오늘날의 평결은 NEEDS REVIEW입니다. 클러스터를 구매하기 전에 실제 워크로드를 측정할 것입니다. 구독하고, 알림을 켜고, 다르게 스탬프를 찍었을지 댓글로 알려주세요. 다르게 스탬프를 찍었을지 댓글로 알려주세요. 오늘의 diff는 여기까지입니다. 저는 Axrisi의 Niko입니다. 책임감 있게 병합하세요.

출처

1. Local and Distributed Large LLM Inference with MLX and RDMA on Mac StudioApple Machine Learning Research
2. A benchmark map of the US economyMercor
3. Benchmark Map methodology and expert reviewMercor
4. Edited security-breach notice with Console scopeOpenCode
5. Reader questions mixed benchmark precision formatsHacker News · peri-cl (reader opinion)
6. User reports vanished provider credit (unverified loss claim)Amruth Pillai on X