הסקה מבוזרת ב-Apple MLX: קיבולת מודל, מהירות וגבולות אמון

מה מכסה הסרטון הזה

• משקלי המודל וסביבת העבודה של ההסקה צורכים זיכרון; טביעת הרגל של משקל מודל לבדה יכולה להמעיט בקיבולת הנדרשת.
• מקביליות צינורות (pipeline parallelism) מפיצה שכבות עוקבות, בעוד מקביליות טנסורים (tensor parallelism) מחלקת עבודה בתוך כל שכבה וזקוקה לתקשורת תכופה עם השהיה נמוכה.
• אפל מדווחת על למעלה מ-36 אסימונים לשנייה על ארבעה מחשבי Mac Studios מסוג M5 Ultra עם הקשר של 8,192 אסימונים; השוואת הכבלים נוגעת להמתנה לאסימון הראשון בהקשר של 65,536 אסימונים.
• ממצא 90% שעות עבודה של Mercor מתאר מעט או ללא כיסוי באינדקס הבנצ'מרק הנבחר שלו. הוא אינו קובע שיעור כשל של 90% במודל.
• ההודעה הערוכה של OpenCode מתארת תת-קבוצה של משתמשי Console עם ספקים חיצוניים מקושרים. ההודעה הציבורית אינה קובעת פשרה של כל התקנה מקומית.
• בדוק את עומס העבודה בפועל שלך ובדוק שירותים נושאי אישורים לפני שאתה מתייחס להגדרת מודל מקומי כפתרון פרטיות או עלות מלא.

תמליל מתורגם

תורגם מהקריינות המקורית באנגלית. זמינות אודיו וכתוביות נשלטת על ידי YouTube.

למה שני מחשבי מק יכולים להישאר באותה מהירות?

0:00 הייתם מצפים ששני מחשבי מק יהפכו את ה-AI שלכם למהיר פי שניים. הבדיקות של אפל עצמן מראות שמהירות היצירה יכולה להישאר כמעט ללא שינוי. בסרטון הזה, מה ארבעה מחשבי מק קונים? מה מדדי הביצועים מפספסים? כלי קידוד אחד מחבר את החומרה לפריצה שהתרחשה בלילה. נחזור לכך. לשבת, שבעה עשר באוקטובר, זהו The Daily Diff. MLX היא מסגרת מערך הקוד הפתוח של אפל ללמידת מכונה על שבבי אפל

0:22 סיליקון. הבדיקה החדשה שלה מריצה את Muse Spark Open של מטא על פני ארבעה מחשבי Mac Studios. היא משתמשת בזיכרון מאוחד, שהמעבד והמעבד הגרפי חולקים. אפל פרסמה זאת ב-15 באוקטובר. מרקור מיפתה את העבודה שמדדי ביצועים של AI בקושי מודדים. אנו מכסים את מהדורת שבעה עשר באוקטובר עם עדכון שמונה עשר באוקטובר בן לילה אודות OpenCode Console.

למה המודל צריך יותר ממחשב מק אחד?

0:41 נתחיל מהחלק הלא נוח. בדיקת Muse Spark Open של אפל משתמשת בכחמש מאות גיגה-בייט רק עבור מודל ארבעה הביט. Mac Studio יחיד מגיע עד חמש מאות ושניים עשר גיגה-בייט, והסקה זקוקה גם לזיכרון עבודה. המשקלים כמעט ממלאים את המזוודה לפני שאפילו ארזת גרב אחד. יותר מכונות מאפשרות למודל להתאים. מקביליות צינורות חותכת את המודל דרך השכבות שלו. מק A מבצע את השכבות המוקדמות, ואז מעביר את התוצאה הביניים למק B עבור

1:05 השכבות המאוחרות. עבור אסימון אחד שנוצר, הצעדים הללו עדיין קורים ברצף. המדידות של אפל מראות שמהירות הפענוח נשארת דומה מאוד למכונה בודדת. שכרתם טבח שני, ונתתם לו את אותה כריך. ב-Hacker News, מפתח אחד תהה מדוע הטבלה של אפל השתמשה במודל מטא של ארבעה ביט לצד מודל Qwen ברמת הדיוק המקורית שלו. הטבלה של אפל מפרטת את הפורמטים, אז קראו את ההערות לפני הקנייה. מדדי ביצועים של מצגות נשארים בלתי מנוצחים.

1:29 מקביליות טנסורים חותכת רוחבית כל שכבה במקום זאת.

איך Thunderbolt עוזר למחשבי המק לעבוד יחד?

1:32 מספר מחשבי מק עובדים יחד על חלקי אותה שכבה, ואז משלבים את התוצאות שלהם. זה יכול להאיץ את היצירה, אך המכונות מתקשרות שוב ושוב. אפל משתמשת בגישה לזיכרון מרחוק בהשהיה נמוכה דרך Thunderbolt. מהלך קריירה אמיץ עבור כבל. התוצאה המרכזית היא למעלה משלושים ושישה אסימונים לשנייה מארבעה מחשבי M5 Ultra Mac Studios, עם הקשר של כשמונת אלפים אסימונים. אפל מדדה זאת בעצמה.

1:55 הנחיות ארוכות יותר משנות את הסיפור. בבדיקת הקשר גדולה אחת, שני כבלים לכל קישור קיצרו את ההמתנה לאסימון הראשון בכעשר שניות. מודל מקומי נותן לך גבול שימושי סביב הנחיות, בתנאי שההתקנה בפועל שלך שומרת אותם מקומיים. אפל לא סיפקה מחיר איזון אוניברסלי מול ממשקי API מתארחים. זה תלוי בניצולת ובמודל שאתה צריך. מכונה שעונה על שאלות מדי פעם מבלה המון זמן בלהיות קישוט שולחן יקר מאוד.

2:17 בחירת מודל זה דורשת בדיקה לעבודה שלך. מרקור מיפתה עשרים ותשעה מדדי ביצועים על טקסונומיית העבודות האמריקאית.

איזו עבודה בעצם מכסים מדדי הביצועים של AI?

2:21 האינדקס שלה מכסה בערך תשע מאות משימות מתוך כמעט תשע עשרה אלף. המפה מעריכה שתשעים אחוז משעות העבודה כוללות מעט או ללא כיסוי מדדי ביצועים. זהו מרחב ריק עצום על דף הבחינה. המפה של מרקור מודדת כיסוי. עיסוק ריק כולל משימות שבקושי נבדקו; יכולת המודל נותרה שאלה פתוחה. המיפוי השתמש במודל AI, עם בדיקה אנושית על תת-קבוצה של הנחיות הבנצ'מרק של מרקור עצמה. בודקים קיבלו בערך שלושה רבעים מהבחירות הראשונות שלה.

2:49 מערכת הדירוג זקוקה למערכת דירוג משלה, באופן טבעי. אז אם אתם מודאגים לגבי העבודה שלכם, טבלת דירוג לא יכולה ליישב את הוויכוח. אם אתם קונים עוזר קידוד, שחזרו משימה אמיתית עם הבדיקות ההסכמה שלכם. עבודה שימושית כוללת את החלקים המביכים שאחרי ההדגמה. אף אחד לא מקבל קידום כי הצ'אטבוט סיים בביטחון את הגיליון האלקטרוני הלא נכון. מה שמביא אותנו לעדכון הלילה. OpenCode אומרת שפריצת אבטחה השפיעה על אחד וארבע עשרה מאיות אחוז ממשתמשי Console.

מי לטענת OpenCode הושפע בן לילה?

3:13 הודעתה הערוכה מצמצמת זאת לתת-קבוצה עם ספקים חיצוניים מקושרים, ואומרת שמשתמשים שהושפעו קיבלו דוא"ל. היא מכנה זאת התקפת דילול בקנה מידה גדול, ואומרת שהאירוע עדיין נמשך. סיבת שורש ציבורית טרם הגיעה. תגובות כוללות אנשים שמדווחים על אשראי ספק שנעלם, שזהו התיאור שלהם לאירועים. ההודעה אינה קובעת את ההפסדים או הפיצוי של כל אדם. אפל בדיוק הראתה איך לחבר את OpenCode להסקה מקומית, ועכשיו שמה נמצא ליד אזהרת אבטחה.

3:38 שם המוצר מכסה מספר גבולות אמון שונים. משתמשי Console צריכים לקרוא את ההודעה הרשמית ולבדוק את השימוש בספק. אם אתם מושפעים, עקבו אחר הוראות התיקון ובדקו אישורים מחוברים. הודעה זו נותנת לנו היקף ספציפי של Console מתארח. היא לא מספקת כאן עדות לפשרה בכל התקנה מקומית. הנה החיבור. המאמר של אפל מזהה את OpenCode כלקוח עבור שרת המודלים המקומי שלה.

מה הסקה מקומית שמה תחת שליטתך?

4:02 אותו ממשק קידוד יכול לשבת מול תשתית שונה מאוד. זה עונה על השאלה מה ארבעה מחשבי מק קונים. קיבולת, וגבול הסקה שאתה יכול לנהל. שירותים סביב הגבול הזה עדיין ראויים לבדיקה משלהם. כלל הקנייה שלי פשוט. הוכיחו שהמודל מתאים, מדדו את המשימה כולה, ובדקו כל שירות שמחזיק אישור. התוצאה של אפל הופכת הסקה מקומית גדולה למעשית יותר, בעוד בדיקת הצינור מסבירה מדוע הוספת חומרה יכולה לאכזב.

4:23 בדיקת הקבלה שלך שייכת ליד הזמנת הרכש. אם אתם מעדיפים לקרוא זאת מאשר לשמוע אותי אומר זאת, ה-diff נוחת בתיבת הדואר הנכנס שלכם בכל בוקר, בחינם ב-thedailydiff.dev, קישור למטה. אז פסק הדין של היום הוא NEEDS REVIEW. הייתי מודד את עומס העבודה האמיתי שלי לפני קניית האשכול.

האם הייתי קונה את אשכול ארבעת המחשבי מק?

4:40 הירשמו, לחצו על הפעמון, וספרו לי בתגובות אם הייתם מסלילים זאת אחרת. וזהו ה-diff להיום. אני ניקו מ-Axrisi. ממזג באחריות. Merge responsibly. Merge responsibly.

מקורות

1. Local and Distributed Large LLM Inference with MLX and RDMA on Mac StudioApple Machine Learning Research
2. A benchmark map of the US economyMercor
3. Benchmark Map methodology and expert reviewMercor
4. Edited security-breach notice with Console scopeOpenCode
5. Reader questions mixed benchmark precision formatsHacker News · peri-cl (reader opinion)
6. User reports vanished provider credit (unverified loss claim)Amruth Pillai on X