Το GPT-6 Astra διόρθωσε την ατελείωτη σκέψη μιας άλλης τεχνητής νοημοσύνης

Τι καλύπτει αυτό το βίντεο

• Η αναφερόμενη αύξηση της βαθμολογίας του Qwen προήλθε από μια στοχευμένη επιδιόρθωση σε επαναληπτική συλλογιστική. Περίπου το ένα τρίτο των επεξεργασμένων απαντήσεων εξακολουθούσε να φτάνει το όριο μήκους στο πρωταρχικό πρωτόκολλο.
• Η εκπαίδευση με κλίσεις απαγορεύτηκε, ενώ η ανάλυση Python, οι πρακτικές απαντήσεις και η ομαδοποιημένη ανατροφοδότηση από εκτελέσεις μοντέλων επιτράπηκαν σε πολλές επαναλήψεις. Οι τελικές ερωτήσεις αξιολόγησης δηλώθηκαν από την πηγή ότι είχαν παρακρατηθεί.
• Τα μικρά πειράματα με ακατέργαστα βάρη και χωρίς δοκιμές παιχνιδιών χρησιμοποίησαν διαφορετικές συνθήκες. Οι ισχυρισμοί τους πρέπει να διατηρούν το ατομικό τους εύρος εργαλείου, εισόδου και βάσης.
• Ο Matthew Honnibal αποδίδει τα εύσημα στην υποβοηθούμενη από εργαλεία μηχανική και αμφισβητεί την ευρύτερη εντύπωση που δημιουργείται από την ομαδοποίηση των πειραμάτων.
• Η μικρότερη συνέχεια με Gemma χρησιμοποίησε τη δική της ρύθμιση και απέτυχε να καθιερώσει βελτίωση. Δοκιμάστε ποια αποτυχία επιδιορθώνει μια επεξεργασία βάρους πριν την εφαρμόσετε σε άλλο μοντέλο.

Μεταφρασμένη μεταγραφή

Μεταφράστηκε από την πρωτότυπη αγγλική αφήγηση. Ο διαθέσιμος ήχος και οι υπότιτλοι ελέγχονται από το YouTube.

Γιατί εκτοξεύτηκε η βαθμολογία στα μαθηματικά;

0:00 Μια τεχνητή νοημοσύνη που κάνει μια άλλη τεχνητή νοημοσύνη έξι φορές πιο έξυπνη ακούγεται σαν άμεσο ιδιοφυΐα. Το μεγάλο άλμα της Astra στην επίδοση προήλθε από τη βοήθεια που παρείχε στην Qwen να ολοκληρώσει απαντήσεις που συνέχιζε να επαναλαμβάνει. Σε αυτό το βίντεο, τι άλλαξε; Τι βοήθεια έλαβε η Astra; Και πόσο μακριά φτάνει η διόρθωση; Η Qwen πήγε από περίπου οκτώ τοις εκατό σε σαράντα οκτώ τοις εκατό. Οι ερευνητές δοκίμασαν ένα δεύτερο μοντέλο με σχεδόν καθόλου βρόχους. Θα δούμε πώς πήγε αυτό πριν από την ετυμηγορία.

0:22 Είναι Τρίτη, τρία Νοεμβρίου, και αυτό είναι το The Daily Diff. Ο προγραμματισμός χώρου βαρών είναι το όνομα που δίνουν οι ερευνητές στο να ζητούν από μια τεχνητή νοημοσύνη να επιθεωρήσει ή να γράψει τους αριθμούς μέσα σε ένα νευρωνικό δίκτυο. Αυτοί οι αριθμοί είναι τα βάρη του. Αυτή η ομάδα που συνδέεται με το MIT χρησιμοποίησε το GPT-6 Astra της OpenAI για να επεξεργαστεί ένα μικρό γλωσσικό μοντέλο Qwen, με απαγορευμένη την κοινή εκπαίδευση. Ο Rikiya Takehi και οι συνεργάτες του δημοσίευσαν τη μελέτη τη Δευτέρα,

0:44 αναρωτώμενοι αν μια υπάρχουσα τεχνητή νοημοσύνη θα μπορούσε να συλλογιστεί για τα εσωτερικά στοιχεία ενός άλλου δικτύου. Το πρωτοσέλιδο αποτέλεσμα τους είναι πολύ "κλικαριστό". Στο math five hundred, η Qwen ανέβηκε από περίπου οκτώ τοις εκατό σε σαράντα οκτώ τοις εκατό. Σχεδόν έξι φορές οι σωστές απαντήσεις. Η Qwen συνέχιζε να σκέφτεται μέχρι που εξαντλήθηκε ο χώρος για να απαντήσει.

Τι έκανε λάθος η Qwen;

1:00 Σε λειτουργία σκέψης, συχνά επαναλάμβανε τον συλλογισμό της. Φανταστείτε έναν μαθητή να γεμίζει το βιβλίο των εξετάσεων με εργασίες μέχρι να χτυπήσει το κουδούνι. Ο διορθωτής χρειάζεται ακόμα μια απάντηση. Οι περισσότερες αρχικές απαντήσεις έφτασαν το όριο μήκους. Η Astra εντόπισε μια κατεύθυνση επανάληψης σε δύο εσωτερικά στρώματα, και στη συνέχεια αφαίρεσε τη συμβολή της από επιλεγμένες στήλες βαρών. Μετά από αυτήν την επεξεργασία, περισσότερες απαντήσεις κατέληξαν σε συμπέρασμα. Περίπου το ένα τρίτο εξακολουθούσε να φτάνει το όριο στην αναφερόμενη δοκιμή.

1:22 Το βιβλίο των εξετάσεων απέκτησε επιτέλους μια τελευταία γραμμή. Σήμερα, ο Matthew Honnibal, δημιουργός του spaCy και συνιδρυτής της Explosion,

Τι αμφισβητεί ο σημερινός κριτικός;

1:28 αμφισβήτησε την παρουσίαση. Λέει ότι οι αναγνώστες μπορούν να συνδυάσουν τις διαφορετικές συνθήκες των πειραμάτων σε μια εντύπωση μιας εξαιρετικής τεχνικής. Η ένστασή του αφορά τη συνδυασμένη ιστορία τους. Μπορούμε να ελέγξουμε τις συνθήκες μόνοι μας. Το πείραμα Qwen έδωσε στην Astra ένα σημειωματάριο Python πάνω στα βάρη και προβλήματα

Τι βοήθεια έλαβε πραγματικά η Astra;

1:44 πρακτικής με απαντήσεις. Σε πολλές επαναλήψεις, επιθεώρησε εσωτερικές ενεργοποιήσεις και συνέκρινε πρωτότυπες και επεξεργασμένες εκδόσεις. Ο τελικός προϋπολογισμός επέτρεψε πενήντα παρτίδες εκτελέσεων μοντέλων. Κάθε παρτίδα γενιάς μπορούσε να περιέχει εκατοντάδες απαντήσεις. Τα δεδομένα πρακτικής προήλθαν από διαχωρισμούς εκπαίδευσης. Οι ερευνητές λένε ότι η Astra δεν είδε ποτέ τα τελικά σύνολα αξιολόγησης. Η ανατροφοδότηση βοήθησε στην επιλογή της επεξεργασίας. Τα παρακρατημένα προβλήματα την μέτρησαν αργότερα. Οι ρυθμίσεις δειγματοληψίας παρέμειναν σταθερές μεταξύ της αρχικής και της επεξεργασμένης Qwen,

2:09 καθιστώντας τη σύγκριση βαθμολογίας αυτού του πρωτοκόλλου ερμηνεύσιμη. Η πρώτη προτροπή της έδωσε έναν βοηθητικό επόπτη εργαστηρίου. Διαγνώστε αποτυχίες, βρείτε τα υπεύθυνα εξαρτήματα, συγκρίνετε στα ίδια προβλήματα και δοκιμάστε διάφορες δυνάμεις. Ανέφερε ρητά την επαναληπτική σκέψη ως μια επιδιόρθωση που μετράει. Οι μεταπτυχιακοί φοιτητές πρέπει να διαπραγματευτούν για αυτό το πακέτο γνωριμίας. Αυτή είναι μια εντυπωσιακή επιδιόρθωση.

Πόσο μικρή ήταν η πραγματική επιδιόρθωση;

2:28 Η στοχευμένη επεξεργασία της Astra άγγιξε περίπου εκατό τριάντα μία χιλιάδες βάρη. Αυτό είναι περίπου δεκαέξι χιλιοστά του τοις εκατό του μοντέλου. Το αρχείο βαρών άλλαξε άμεσα. Η εκπαίδευση με κλίσεις παρέμεινε απαγορευμένη. Το υπάρχον μοντέλο έδινε τις απαντήσεις αφού η συνεδρία επεξεργασίας της Astra τελείωσε. Το κέρδος έφτασε και στην τήρηση οδηγιών. Μου αρέσει η πρακτική συνέπεια. Ένα μοντέλο μπορεί να διαθέτει χρήσιμη εργασία που ο τρόπος αποτυχίας του συνεχίζει να θάβει.

2:48 Η διόρθωση αυτής της αποτυχίας μπορεί να ανακτήσει χρήσιμες απαντήσεις. Η ολοκλήρωση μετράει. Ο Honnibal αποδίδει το υποβοηθούμενο από εργαλεία έργο ως την εκτέλεση εργασιών που θα μπορούσε να κάνει ένας ανθρώπινος μηχανικός μηχανικής μάθησης. Αυτό είναι σημαντικό για έναν πράκτορα. Η διαμαρτυρία του είναι ότι οι μικρές επιδείξεις ακατέργαστων αριθμών και οι μεγαλύτερες επιδιορθώσεις με τη βοήθεια Python προσκαλούν ένα ευρύτερο συμπέρασμα όταν ομαδοποιούνται. Πάρτε τα μικροσκοπικά δίκτυα παιχνιδιών.

Ποια πειράματα δεν είχαν πραγματικά εργαλεία;

3:09 Σε ένα πείραμα, η Astra διάβασε τους ακατέργαστους αριθμούς τους και αναγνώρισε σωστά ποιο παιχνίδι είχε μάθει κάθε δίκτυο. Τα εργαλεία απαγορεύτηκαν. Σε άλλο, έγραψε νέα βάρη παιχνιδιού από το μηδέν χρησιμοποιώντας τους κανόνες και τον πηγαίο κώδικα, χωρίς δοκιμαστικές εκτελέσεις. Αυτές είναι ξεχωριστές επιδείξεις με ξεχωριστά στοιχεία. Τα δίκτυα της Astra κέρδισαν τη βασική γραμμή που εκπαιδεύτηκε για εκατό εκατομμύρια βήματα σε όλα τα τρία παιχνίδια. Ενάντια στη μακροπρόθεσμα εκπαιδευμένη βασική γραμμή, έχασε στα Seaquest και

3:32 Asterix, ενώ κέρδισε στο Breakout. Αλλάξτε τη στήλη σύγκρισης, και η ομιλία νίκης χρειάζεται επεξεργασία. Βολικά, η επεξεργασία είναι το σημερινό θέμα. Για έναν ευρύτερο ισχυρισμό, θα θέλαμε βελτιώσεις σε μοντέλα με διαφορετικές αποτυχίες.

Τι θα χρειαζόταν ένας πιο γενικός ισχυρισμός;

3:44 Παρακολουθήστε τι είδε ο συντάκτης και τι θεωρήθηκε επιτυχία. Η κάρτα μοντέλου της Qwen ήδη προειδοποιεί για βρόχους σκέψης. Η αφαίρεση αυτού του γνωστού εμποδίου έχει ένα συγκεκριμένο σημείο εκκίνησης. Προς τιμήν τους, οι συγγραφείς δημοσιεύουν την άβολη συνέχεια οι ίδιοι. Εξηγούν ότι η διακοπή των βρόχων επιτρέπει στην Qwen να ολοκληρώσει απαντήσεις που μπορούσε ήδη να επεξεργαστεί. Τα αρχεία καταγραφής τους περιλαμβάνουν προτροπές, ανατροφοδότηση και επεξεργασίες. Μπορούμε να εξετάσουμε το επίτευγμα και να κάνουμε μια πιο δύσκολη ερώτηση.

Τι συνέβη στο μοντέλο που σπάνια έκανε βρόχους;

4:06 Τώρα το δεύτερο μοντέλο, ένα μικρότερο Gemma στη δική του συνέχεια. Σπάνια έκανε βρόχους, οπότε οι αποτυχίες του ήταν κοινά λάθη αριθμητικής και άκυρη άλγεβρα. Η Astra δοκίμασε ξανά στοχευμένες επεξεργασίες βαρών με ανατροφοδότηση από την πρακτική. Κανένα δεν μετακίνησε τη βαθμολογία της στα μαθηματικά περισσότερο από περίπου ένα βαθμό, και δεν καθιερώθηκε κέρδος. Η επιτυχημένη επιδιόρθωση της Qwen είχε ένα εμπόδιο να αφαιρέσει. Τα αριθμητικά λάθη της Gemma επέζησαν. Αυτή είναι η χρήσιμη ερώτηση για τους προγραμματιστές.

4:28 Ποια αποτυχία επιδιόρθωσε η επεξεργασία, και το μοντέλο σας την έχει πραγματικά; Δοκιμάστε τα αποθηκευμένα βάρη στις δικές σας εργασίες πριν πανηγυρίσετε τον πολλαπλασιαστή. Ένας επιδιορθωμένος λαιμός μπορεί να έχει τεράστια σημασία, ενώ ο επόμενος λαιμός παραμένει ακριβώς εκεί που ήταν. Αν προτιμάτε να το διαβάσετε αυτό παρά να με ακούσετε να το λέω, το diff φτάνει στα εισερχόμενά σας κάθε πρωί, δωρεάν στο the daily diff dot dev, σύνδεσμος παρακάτω.

Θα έβγαζα προς δημοσίευση τον ισχυρισμό περί επεξεργασίας βαρών;

4:47 Λοιπόν, η σημερινή ετυμηγορία είναι NEEDS REVIEW. Θα έπαιρνα σοβαρά την επιδιόρθωση βρόχου και θα την δοκίμαζα. Θα κρατούσα τους ευρύτερους ισχυρισμούς δεσμευμένους σε επιτυχία πέρα ​​από αυτόν τον τρόπο αποτυχίας. Το δικό τους αντιπαράδειγμα των συγγραφέων είναι η πιο χρήσιμη γραμμή στο diff. Και αυτό είναι το diff για σήμερα. Είμαι ο Νίκος από την Axrisi. Συγχωνεύστε υπεύθυνα.

Πηγές

1. Weight-space programming studyRikiya Takehi and coauthors
2. November 3 critique of bundled experiment conditionsMatthew Honnibal
3. Pinned Qwen protocol and exact weight editsRikiya Takehi and coauthors
4. Actual initial Qwen promptRikiya Takehi and coauthors
5. Pinned smaller Gemma follow-upRikiya Takehi and coauthors
6. Original model-card thinking-loop warningQwen
7. Primary study discussionHacker News
8. Critique discussionHacker News
9. Cover portrait: Sam Altman, TechCrunch 2019 crop, CC BY 2.0; cropped, background removed, resized and flipped; no endorsementSteve Jennings/Getty Images for TechCrunch via Wikimedia Commons
10. Released checkpoint and attributed external re-runRikiyaT on Hugging Face; re-run credited to akhaliq
11. Portrait license: Creative Commons Attribution 2.0Creative Commons; Steve Jennings/Getty Images for TechCrunch portrait credit above