GPT-6 Astra ha corretto il pensiero infinito di un'altra IA

Contenuto di questo video

• L'aumento di punteggio riportato per Qwen è derivato da una riparazione mirata a un ragionamento ripetitivo; circa un terzo delle risposte modificate ha comunque raggiunto il limite di lunghezza nel protocollo primario.
• L'addestramento con gradiente era proibito, mentre l'analisi Python, le risposte pratiche e il feedback di esecuzioni del modello a blocchi erano consentiti per molti cicli. Le domande di valutazione finale sono state dichiarate escluse dalla fonte.
• I piccoli esperimenti con pesi grezzi e senza rollout del gioco hanno utilizzato condizioni diverse. Le loro affermazioni dovrebbero mantenere il loro strumento individuale, l'input e l'ambito della linea di base.
• Matthew Honnibal attribuisce il merito all'ingegneria assistita da strumenti e contesta l'impressione più ampia prodotta raggruppando gli esperimenti.
• Il follow-up su Gemma più piccolo ha utilizzato la propria configurazione e non è riuscito a stabilire un miglioramento. Testare quale fallimento una modifica dei pesi ripara prima di applicarla a un altro modello.

Trascrizione tradotta

Tradotto dalla narrazione originale inglese. L'audio e i sottotitoli disponibili sono controllati da YouTube.

Perché il punteggio di matematica è aumentato?

0:00 Un'IA che rende un'altra IA sei volte più intelligente suona come un genio istantaneo. Il grande salto di punteggio di Astra è arrivato aiutando Qwen a finire le risposte che continuava a ripetere. In questo video, cosa è cambiato? Che aiuto ha ricevuto Astra? E quanto si estende la soluzione? Qwen è passato da circa l'otto percento al quarantotto percento. I ricercatori hanno provato un secondo modello con quasi nessun loop. Vedremo come è andata prima del verdetto.

0:22 È martedì 3 novembre, e questo è The Daily Diff. La programmazione nello spazio dei pesi è il nome che i ricercatori danno al chiedere a un'IA di ispezionare o scrivere i numeri all'interno di una rete neurale. Quei numeri sono i suoi pesi. Questo team affiliato al MIT ha utilizzato GPT-6 Astra di OpenAI per modificare un piccolo modello linguistico Qwen, con l'addestramento ordinario proibito. Rikiya Takehi e i suoi coautori hanno pubblicato lo studio lunedì,

0:44 chiedendo se un'IA esistente potesse ragionare sugli interni di un'altra rete. Il loro risultato principale è molto cliccabile. Su math five hundred, Qwen è salito da circa l'otto percento al quarantotto percento. Quasi sei volte le risposte corrette. Qwen continuava a pensare fino a quando non esauriva lo spazio per rispondere.

Cosa stava sbagliando Qwen?

1:00 In modalità di pensiero, spesso ripeteva il suo ragionamento. Immagina uno studente che riempie il libretto d'esame con calcoli fino al suono della campana. Il correttore ha ancora bisogno di una risposta. La maggior parte delle risposte originali ha raggiunto il limite di lunghezza. Astra ha localizzato una direzione di ripetizione in due strati interni, quindi ha rimosso il suo contributo da colonne di pesi selezionate. Dopo quella modifica, più risposte hanno raggiunto una conclusione. Circa un terzo ha comunque raggiunto il limite nel test riportato.

1:22 Il libretto d'esame ha finalmente avuto un'ultima riga. Oggi, Matthew Honnibal, creatore di spaCy e cofondatore di Explosion,

Cosa contesta il critico di oggi?

1:28 ha contestato la presentazione. Dice che i lettori possono combinare le diverse condizioni degli esperimenti in un'unica impressione di una tecnica straordinaria. La sua obiezione riguarda la loro storia combinata. Possiamo verificare le condizioni noi stessi. L'esperimento Qwen ha fornito ad Astra un notebook Python sui pesi e problemi di pratica

Quale aiuto ha effettivamente ricevuto Astra?

1:44 con risposte. Per molti cicli, ha ispezionato le attivazioni interne e confrontato le versioni originali e modificate. Il budget finale ha consentito cinquanta batch di esecuzioni del modello. Ogni batch di generazione poteva contenere centinaia di risposte. I dati di pratica provenivano da split di addestramento. I ricercatori affermano che Astra non ha mai visto i set di valutazione finali. Il feedback ha aiutato a scegliere la modifica; problemi tenuti da parte l'hanno misurata in seguito. Le impostazioni di campionamento sono rimaste fisse tra Qwen originale e modificato,

2:09 rendendo interpretabile il confronto dei punteggi di questo protocollo. Il primo prompt gli ha dato un utile supervisore di laboratorio. Diagnosticare i fallimenti, trovare i componenti responsabili, confrontare sugli stessi problemi e testare diverse intensità. Ha esplicitamente menzionato il pensiero ripetitivo come una riparazione che conta. Gli studenti laureati dovrebbero negoziare per questo pacchetto di onboarding. Questa è una riparazione impressionante.

Quanto è stata piccola la riparazione effettiva?

2:28 La modifica mirata di Astra ha toccato circa centotrentuno mila pesi. Si tratta di circa sedici millesimi di percento del modello. Il file dei pesi è stato modificato direttamente. L'addestramento con gradiente è rimasto proibito; il modello esistente ha dato le risposte dopo che la sessione di modifica di Astra è terminata. Il guadagno ha raggiunto anche il seguire le istruzioni. Mi piace l'implicazione pratica. Un modello può possedere un lavoro utile che la sua modalità di fallimento continua a seppellire.

2:48 Correggere quel fallimento può recuperare risposte utilizzabili. Il completamento conta. Honnibal attribuisce al lavoro assistito da strumenti il merito di eseguire compiti che un ingegnere di machine learning umano potrebbe fare. Ciò è significativo per un agente. La sua lamentela è che le piccole dimostrazioni con numeri grezzi e le più grandi riparazioni assistite da Python invitano a una conclusione più ampia quando raggruppate. Prendiamo le minuscole reti di gioco.

Quali esperimenti non avevano strumenti?

3:09 In un esperimento, Astra ha letto i loro numeri grezzi e ha identificato correttamente quale gioco ogni rete aveva imparato. Gli strumenti erano proibiti. In un altro, ha scritto nuovi pesi per il gioco da zero usando le regole e il codice sorgente, senza rollout di pratica. Queste sono dimostrazioni separate con prove separate. Le reti di Astra hanno superato la linea di base addestrata per cento milioni di passi in tutti e tre i giochi. Contro la linea di base addestrata più a lungo, ha perso in Seaquest e

3:32 Asterix, mentre ha vinto Breakout. Cambia la colonna di confronto, e il discorso della vittoria ha bisogno di essere modificato. Convenientemente, la modifica è l'argomento di oggi. Per una rivendicazione più ampia, vorremmo miglioramenti tra modelli con diversi fallimenti.

Cosa sarebbe necessario per un'affermazione più generale?

3:44 Traccia ciò che l'editor ha visto e ciò che è stato considerato un successo. La scheda del modello di Qwen avverte già sui loop di pensiero. La rimozione di questo ostacolo noto ha un punto di partenza particolare. A loro credito, gli autori pubblicano loro stessi il scomodo follow-up. Spiegano che l'interruzione dei loop permette a Qwen di finire le risposte che poteva già elaborare. I loro log includono prompt, feedback e modifiche. Possiamo esaminare il risultato e porre una domanda più difficile.

Cosa è successo al modello che raramente andava in loop?

4:06 Ora il secondo modello, un Gemma più piccolo nel suo proprio setup di follow-up. Raramente andava in loop, quindi i suoi fallimenti erano errori aritmetici ordinari e algebra non valida. Astra ha provato nuovamente modifiche mirate ai pesi con feedback pratico. Nessuna ha spostato il suo punteggio di matematica di più di circa un punto, e un guadagno non è stato stabilito. La riuscita riparazione di Qwen aveva un ostacolo da rimuovere. Gli errori aritmetici di Gemma sono sopravvissuti. Questa è la domanda utile per gli sviluppatori.

4:28 Quale fallimento ha riparato la modifica, e il tuo modello ce l'ha davvero? Testa i pesi salvati sui tuoi compiti prima di celebrare il moltiplicatore. Un collo di bottiglia riparato può avere un'importanza enorme mentre il prossimo collo di bottiglia rimane esattamente dov'era. Se preferisci leggere questo piuttosto che sentirmi dire, il diff arriva nella tua casella di posta ogni mattina, gratuitamente su the daily diff dot dev, link qui sotto.

Metterei in produzione la rivendicazione di modifica dei pesi?

4:47 Quindi, il verdetto di oggi è NEEDS REVIEW. Prenderei sul serio la riparazione del loop e la testerei. Manterrei affermazioni più ampie limitate al successo oltre quella modalità di fallimento. Il controesempio degli autori è la riga più utile nel diff. E questo è il diff per oggi. Sono Niko di Axrisi. Unite responsabilmente.

Fonti

1. Weight-space programming studyRikiya Takehi and coauthors
2. November 3 critique of bundled experiment conditionsMatthew Honnibal
3. Pinned Qwen protocol and exact weight editsRikiya Takehi and coauthors
4. Actual initial Qwen promptRikiya Takehi and coauthors
5. Pinned smaller Gemma follow-upRikiya Takehi and coauthors
6. Original model-card thinking-loop warningQwen
7. Primary study discussionHacker News
8. Critique discussionHacker News
9. Cover portrait: Sam Altman, TechCrunch 2019 crop, CC BY 2.0; cropped, background removed, resized and flipped; no endorsementSteve Jennings/Getty Images for TechCrunch via Wikimedia Commons
10. Released checkpoint and attributed external re-runRikiyaT on Hugging Face; re-run credited to akhaliq
11. Portrait license: Creative Commons Attribution 2.0Creative Commons; Steve Jennings/Getty Images for TechCrunch portrait credit above