Διανεμημένη εξαγωγή συμπερασμάτων Apple MLX: χωρητικότητα μοντέλου, ταχύτητα και όρια εμπιστοσύνης

Τι καλύπτει αυτό το βίντεο

• Τόσο τα βάρη του μοντέλου όσο και ο χώρος εργασίας εξαγωγής συμπερασμάτων καταναλώνουν μνήμη. Το αποτύπωμα βάρους ενός μοντέλου από μόνο του μπορεί να υποτιμήσει την απαιτούμενη χωρητικότητα.
• Ο παραλληλισμός διοχέτευσης διανέμει διαδοχικά επίπεδα, ενώ ο παραλληλισμός τανυστών μοιράζει την εργασία εντός κάθε επιπέδου και χρειάζεται συχνή επικοινωνία χαμηλής καθυστέρησης.
• Η Apple αναφέρει πάνω από 36 μάρκες ανά δευτερόλεπτο σε τέσσερα M5 Ultra Mac Studios με περιβάλλον 8.192 μαρκών. Η σύγκριση καλωδίων αφορά την αναμονή της πρώτης μάρκας σε περιβάλλον 65.536 μαρκών.
• Το εύρημα της Mercor για 90% ωρών εργασίας περιγράφει μικρή ή καθόλου κάλυψη στον επιλεγμένο δείκτη αναφοράς της. Δεν καθορίζει ποσοστό αποτυχίας μοντέλου 90%.
• Η επεξεργασμένη ανακοίνωση του OpenCode περιγράφει ένα υποσύνολο χρηστών του Console με συνδεδεμένους εξωτερικούς παρόχους. Η δημόσια ανακοίνωση δεν επιβεβαιώνει την παραβίαση κάθε τοπικής εγκατάστασης.
• Δοκιμάστε το πραγματικό σας φορτίο εργασίας και ελέγξτε τις υπηρεσίες που φέρουν διαπιστευτήρια πριν αντιμετωπίσετε μια ρύθμιση τοπικού μοντέλου ως ολοκληρωμένη λύση απορρήτου ή κόστους.

Μεταφρασμένη μεταγραφή

Μεταφράστηκε από την πρωτότυπη αγγλική αφήγηση. Ο διαθέσιμος ήχος και οι υπότιτλοι ελέγχονται από το YouTube.

Γιατί δύο Mac μπορούν να παραμείνουν στην ίδια ταχύτητα;

0:00 Θα περιμένατε δύο Mac να κάνουν την τεχνητή νοημοσύνη σας δύο φορές πιο γρήγορη. Οι δικές της δοκιμές της Apple δείχνουν ότι η ταχύτητα παραγωγής μπορεί να παραμείνει σχεδόν αμετάβλητη. Σε αυτό το βίντεο, τι κερδίζουν τέσσερα Mac; Τι παραλείπουν τα σημεία αναφοράς; Ένα εργαλείο κωδικοποίησης συνδέει το υλικό με μια νυχτερινή παραβίαση. Θα επανέλθουμε σε αυτό. Για το Σάββατο, δεκαεπτά Οκτωβρίου, αυτό είναι το The Daily Diff. Το MLX είναι το πλαίσιο ανοιχτού κώδικα της Apple για μηχανική μάθηση σε Apple

0:22 πυρίτιο. Η νέα του δοκιμή τρέχει το Muse Spark Open της Meta σε τέσσερα Mac Studios. Χρησιμοποιεί ενοποιημένη μνήμη, την οποία μοιράζονται η CPU και η GPU. Η Apple το δημοσίευσε στις δεκαπέντε Οκτωβρίου. Η Mercor χαρτογράφησε την εργασία που τα σημεία αναφοράς AI με το ζόρι μετρούν. Καλύπτουμε την έκδοση δεκαεπτά Οκτωβρίου, με μια νυχτερινή ενημέρωση δεκαοκτώ Οκτωβρίου σχετικά με το OpenCode Console.

Γιατί το μοντέλο χρειάζεται περισσότερα από ένα Mac;

0:41 Ξεκινήστε με το άβολο κομμάτι. Η δοκιμή Muse Spark Open της Apple χρησιμοποιεί περίπου πεντακόσια gigabytes μόνο για το μοντέλο τεσσάρων bit. Ένα μόνο Mac Studio φτάνει τα πεντακόσια δώδεκα gigabytes, και η εξαγωγή συμπερασμάτων χρειάζεται επίσης μνήμη εργασίας. Τα βάρη σχεδόν γεμίζουν τη βαλίτσα πριν καν πακετάρετε μια κάλτσα. Περισσότερες μηχανές κάνουν το μοντέλο να χωρέσει. Ο παραλληλισμός διοχέτευσης διατέμνει το μοντέλο μέσα από τα επίπεδά του. Το Mac A κάνει τα προηγούμενα επίπεδα, και μετά περνά το ενδιάμεσο αποτέλεσμα στο Mac B για

1:05 τα επόμενα επίπεδα. Για ένα παραγόμενο διακριτικό, αυτά τα βήματα εξακολουθούν να συμβαίνουν διαδοχικά. Οι μετρήσεις της Apple δείχνουν ότι η ταχύτητα αποκωδικοποίησης παραμένει πολύ παρόμοια με μια ενιαία μηχανή. Έχετε προσλάβει έναν δεύτερο μάγειρα, και του έχετε δώσει το ίδιο σάντουιτς. Στο Hacker News, ένας προγραμματιστής αμφισβήτησε γιατί ο πίνακας της Apple χρησιμοποιούσε ένα τεσσάρων bit μοντέλο Meta δίπλα σε ένα μοντέλο Qwen στην εγγενή του ακρίβεια. Ο πίνακας της Apple αναφέρει τις μορφές, οπότε διαβάστε τις υποσημειώσεις πριν ψωνίσετε. Τα σημεία αναφοράς των διαφανειών παραμένουν αήττητα.

1:29 Ο παραλληλισμός τανυστών διατέμνει κάθε επίπεδο αντί αυτού.

Πώς το Thunderbolt βοηθά τα Mac να συνεργάζονται;

1:32 Πολλά Mac εργάζονται σε κομμάτια του ίδιου επιπέδου μαζί, και μετά συνδυάζουν τα αποτελέσματά τους. Αυτό μπορεί να επιταχύνει την παραγωγή, αλλά οι μηχανές επικοινωνούν επανειλημμένα. Η Apple χρησιμοποιεί πρόσβαση σε απομακρυσμένη μνήμη χαμηλής καθυστέρησης μέσω Thunderbolt. Μια τολμηρή κίνηση καριέρας για ένα καλώδιο. Το κυρίαρχο αποτέλεσμα είναι πάνω από τριάντα έξι μάρκες το δευτερόλεπτο από τέσσερα M5 Ultra Mac Studios, με περίπου οκτώ χιλιάδες μάρκες περιβάλλοντος. Η Apple το μέτρησε μόνη της.

1:55 Οι μεγαλύτερες προτροπές αλλάζουν την ιστορία. Σε μια μεγάλη δοκιμή περιβάλλοντος, δύο καλώδια ανά σύνδεση μείωσαν την αναμονή για την πρώτη μάρκα κατά περίπου δέκα δευτερόλεπτα. Ένα τοπικό μοντέλο σας δίνει ένα χρήσιμο όριο γύρω από τις προτροπές, υπό την προϋπόθεση ότι η πραγματική σας ρύθμιση τις κρατά τοπικές. Η Apple δεν έχει παράσχει μια καθολική τιμή οριακού σημείου έναντι των φιλοξενούμενων API. Αυτό εξαρτάται από τη χρήση και το μοντέλο που χρειάζεστε. Μια μηχανή που απαντά σε περιστασιακές ερωτήσεις περνά πολύ χρόνο ως ένα πολύ

2:17 ακριβό στολίδι γραφείου. Η επιλογή αυτού του μοντέλου απαιτεί μια δοκιμή για την εργασία σας.

Τι εργασία καλύπτουν πραγματικά τα σημεία αναφοράς AI;

2:21 Η Mercor χαρτογράφησε είκοσι εννέα σημεία αναφοράς στην αμερικανική ταξινόμηση θέσεων εργασίας. Ο δείκτης της καλύπτει περίπου εννιακόσιες εργασίες από σχεδόν δεκαεννέα χιλιάδες. Ο χάρτης εκτιμά ότι το ενενήντα τοις εκατό των ωρών εργασίας έχουν μικρή ή καθόλου κάλυψη σημείων αναφοράς. Αυτό είναι ένα τεράστιο κενό στο εξεταστικό έγγραφο. Ο χάρτης της Mercor μετρά την κάλυψη. Μια κενή θέση εργασίας έχει ελάχιστα δοκιμασμένες εργασίες. Η ικανότητα του μοντέλου παραμένει ένα ανοιχτό ερώτημα. Η χαρτογράφηση χρησιμοποίησε ένα μοντέλο AI, με ανθρώπινη αξιολόγηση σε ένα υποσύνολο των δικών της προτροπών σημείων αναφοράς της Mercor.

2:49 Οι αξιολογητές αποδέχτηκαν περίπου τα τρία τέταρτα των πρώτων της επιλογών. Το σύστημα βαθμολόγησης χρειάζεται το δικό του σύστημα βαθμολόγησης, φυσικά. Οπότε αν ανησυχείτε για τη δουλειά σας, ένας πίνακας κατάταξης δεν μπορεί να επιλύσει το επιχείρημα. Αν αγοράζετε έναν βοηθό κωδικοποίησης, αναπαράγετε μια πραγματική εργασία με τους δικούς σας ελέγχους αποδοχής. Η χρήσιμη εργασία περιλαμβάνει τα δύσκολα κομμάτια μετά την επίδειξη. Κανείς δεν παίρνει προαγωγή επειδή το chatbot ολοκλήρωσε με σιγουριά το λάθος υπολογιστικό φύλλο. Κάτι που μας φέρνει στην νυχτερινή ενημέρωση.

Ποιοι λέει η OpenCode ότι επηρεάστηκαν κατά τη διάρκεια της νύχτας;

3:13 Η OpenCode λέει ότι μια παραβίαση ασφαλείας επηρέασε το 1,4 τοις εκατό των χρηστών του Console. Η επεξεργασμένη ανακοίνωσή της περιορίζει αυτό σε ένα υποσύνολο με συνδεδεμένους εξωτερικούς παρόχους, και λέει ότι στάλθηκαν email στους επηρεαζόμενους χρήστες. Το ονομάζει επίθεση απόσταξης μεγάλης κλίμακας, και λέει ότι το περιστατικό είναι σε εξέλιξη. Η δημόσια ρίζα της αιτίας δεν έχει ακόμη φτάσει. Οι απαντήσεις περιλαμβάνουν ανθρώπους που αναφέρουν εξαφανισμένη πίστωση παρόχου, που είναι η δική τους εκδοχή των γεγονότων. Η ανακοίνωση δεν επιβεβαιώνει τις απώλειες ή την αποζημίωση κάθε ατόμου.

3:38 Η Apple μόλις είχε δείξει πώς να συνδέσετε το OpenCode με την τοπική εξαγωγή συμπερασμάτων, και τώρα το όνομά της είναι δίπλα σε μια προειδοποίηση ασφαλείας. Το όνομα του προϊόντος καλύπτει διάφορα όρια εμπιστοσύνης. Οι χρήστες του Console πρέπει να διαβάσουν την επίσημη ανακοίνωση και να ελέγξουν τη χρήση των παρόχων. Αν επηρεαστείτε, ακολουθήστε τις οδηγίες αποκατάστασης και ελέγξτε τα συνδεδεμένα διαπιστευτήρια. Αυτή η ανακοίνωση μας δίνει ένα συγκεκριμένο πεδίο εφαρμογής φιλοξενούμενου Console. Δεν παρέχει εδώ κανένα αποδεικτικό στοιχείο παραβίασης σε κάθε τοπική εγκατάσταση.

Τι θέτει η τοπική εξαγωγή συμπερασμάτων υπό τον έλεγχό σας;

4:02 Εδώ είναι η σύνδεση. Το άρθρο της Apple ονομάζει το OpenCode ως πελάτη για τον τοπικό διακομιστή μοντέλων της. Η ίδια διεπαφή κωδικοποίησης μπορεί να βρίσκεται μπροστά σε πολύ διαφορετικές υποδομές. Αυτό απαντά στο τι αγοράζουν τέσσερα Mac. Χωρητικότητα, και ένα όριο εξαγωγής συμπερασμάτων που μπορείτε να διαχειριστείτε. Οι υπηρεσίες γύρω από αυτό το όριο εξακολουθούν να αξίζουν τη δική τους αναθεώρηση. Ο κανόνας αγοράς μου είναι απλός. Αποδείξτε ότι το μοντέλο ταιριάζει, μετρήστε ολόκληρη την εργασία, και ελέγξτε κάθε υπηρεσία που κατέχει ένα

4:23 διαπιστευτήριο. Το αποτέλεσμα της Apple κάνει την μεγάλη τοπική εξαγωγή συμπερασμάτων πιο πρακτική, ενώ η δοκιμή διοχέτευσης εξηγεί γιατί η προσθήκη υλικού μπορεί να απογοητεύσει. Η δοκιμή αποδοχής σας ανήκει δίπλα στην εντολή αγοράς. Αν προτιμάτε να διαβάσετε αυτό παρά να με ακούσετε να το λέω, το diff φτάνει στα εισερχόμενά σας κάθε πρωί, δωρεάν στο the daily diff dot dev, σύνδεσμος παρακάτω.

Θα αγόραζα το σύμπλεγμα τεσσάρων Mac;

4:40 Οπότε η σημερινή ετυμηγορία είναι NEEDS REVIEW (ΑΠΑΙΤΕΙΤΑΙ ΑΝΑΘΕΩΡΗΣΗ). Θα μετρούσα το πραγματικό μου φορτίο εργασίας πριν αγοράσω το σύμπλεγμα. Εγγραφείτε, πατήστε το κουδούνι, και πείτε μου στα σχόλια αν θα το είχατε σφραγίσει διαφορετικά. Και αυτή είναι η διαφορά για σήμερα. Είμαι ο Νίκο από την Axrisi. Συγχώνευση υπεύθυνα.

Πηγές

1. Local and Distributed Large LLM Inference with MLX and RDMA on Mac StudioApple Machine Learning Research
2. A benchmark map of the US economyMercor
3. Benchmark Map methodology and expert reviewMercor
4. Edited security-breach notice with Console scopeOpenCode
5. Reader questions mixed benchmark precision formatsHacker News · peri-cl (reader opinion)
6. User reports vanished provider credit (unverified loss claim)Amruth Pillai on X