GPT-6 Astra a "patch-uit" gândirea fără sfârșit a altei inteligențe artificiale

Ce acoperă acest videoclip

• Creșterea raportată a scorului Qwen a provenit dintr-o reparație țintită a raționamentului repetitiv; aproximativ o treime din răspunsurile editate au atins totuși limita de lungime în protocolul primar.
• Antrenamentul pe bază de gradient a fost interzis, în timp ce Python, răspunsurile de practică și feedback-ul din rulările modelului în loturi au fost permise pe parcursul mai multor iterații. Întrebările de evaluare finală au fost declarate reținute de sursă.
• Experimentele mici cu ponderi brute și fără rulări în joc au folosit condiții diferite. Afirmațiile lor ar trebui să-și păstreze instrumentul individual, intrările și domeniul de aplicare al liniei de bază.
• Matthew Honnibal creditează ingineria asistată de instrumente și contestă impresia mai largă produsă prin gruparea experimentelor.
• Studiul de urmărire cu Gemma mai mic nu a reușit să stabilească o îmbunătățire. Testați ce eșec repară o editare de ponderi înainte de a o aplica unui alt model.

Transcrierea tradusă

Tradus din narațiunea originală în engleză. Audio-ul și subtitrările disponibile sunt controlate de YouTube.

De ce a sărit scorul la matematică?

0:00 O inteligență artificială care face o altă inteligență artificială de șase ori mai inteligentă sună a geniu instant. Saltul mare al scorului Astra a venit de la a ajuta Qwen să finalizeze răspunsurile pe care le tot repeta. În acest video, ce s-a schimbat? Ce ajutor a primit Astra? Și cât de departe se propagă remediul? Qwen a trecut de la aproximativ opt procente la patruzeci și opt de procente. Cercetătorii au încercat un al doilea model cu aproape nicio buclă. Vom vedea cum a mers asta înainte de verdict.

0:22 Este marți, 3 noiembrie, și acesta este The Daily Diff. Programarea în spațiul ponderilor este numele pe care cercetătorii îl dau cererii unei inteligențe artificiale de a inspecta sau scrie numerele din interiorul unei rețele neuronale. Acele numere sunt ponderile sale. Această echipă afiliată MIT a folosit GPT-6 Astra de la OpenAI pentru a edita un mic model lingvistic Qwen, cu antrenament obișnuit interzis. Rikiya Takehi și coautorii săi au publicat studiul luni,

0:44 întrebându-se dacă o IA existentă ar putea raționa despre elementele interne ale unei alte rețele. Rezultatul lor principal este foarte ușor de dat click. La matematică 500, Qwen a crescut de la aproximativ opt procente la patruzeci și opt de procente. Aproape de șase ori mai multe răspunsuri corecte. Qwen a continuat să gândească până a rămas fără spațiu pentru a răspunde.

Ce făcea Qwen greșit?

1:00 În modul de gândire, își repeta adesea raționamentul. Imaginați-vă un student care umple caietul de examen cu rezolvări până sună clopoțelul. Corectorul încă are nevoie de un răspuns. Majoritatea răspunsurilor originale au atins limita de lungime. Astra a localizat o direcție de repetare în două straturi interne, apoi a eliminat contribuția sa din coloanele de ponderi selectate. După acea editare, mai multe răspunsuri au ajuns la o concluzie. Aproximativ o treime au atins totuși limita în testul raportat.

1:22 Caietul de examen a primit în sfârșit un ultim rând. Astăzi, Matthew Honnibal, creatorul spaCy și cofondator al Explosion,

Ce contestă criticul de astăzi?

1:28 a contestat prezentarea. El spune că cititorii pot combina condițiile diferite ale experimentelor într-o impresie de o tehnică extraordinară. Obiecția sa se referă la povestea lor combinată. Putem verifica singuri condițiile. Experimentul Qwen i-a oferit Astrei un notebook Python peste ponderi și probleme de

Ce ajutor a primit Astra de fapt?

1:44 practică cu răspunsuri. De-a lungul multor iterații, a inspectat activările interne și a comparat versiunile originale și editate. Bugetul final a permis cincizeci de loturi de rulări de model. Fiecare lot de generare putea conține sute de răspunsuri. Datele de practică au provenit din divizări de antrenament. Cercetătorii spun că Astra nu a văzut niciodată seturile de evaluare finale. Feedback-ul a ajutat la alegerea editării; problemele reținute au măsurat-o ulterior. Setările de eșantionare au rămas fixe între Qwen original și cel editat,

2:09 făcând compararea scorurilor acestui protocol interpretabilă. Primul prompt i-a dat un supraveghetor de laborator util. Diagnosticați eșecurile, găsiți componentele responsabile, comparați aceleași probleme și testați mai multe puncte forte. A menționat explicit gândirea repetitivă ca o reparație care contează. Studenții de master ar trebui să negocieze pentru acest pachet de "onboarding". Aceasta este o reparație impresionantă.

Cât de mică a fost reparația reală?

2:28 Editarea țintită a Astrei a afectat aproximativ o sută treizeci și unu de mii de ponderi. Asta înseamnă aproximativ șaisprezece miimi dintr-un procent din model. Fișierul de ponderi a fost modificat direct. Antrenamentul pe bază de gradient a rămas interzis; modelul existent a răspuns după ce sesiunea de editare a Astrei s-a încheiat. Câștigul a atins și respectarea instrucțiunilor. Îmi place implicația practică. Un model poate deține o muncă utilă pe care modul său de eșec o îngroapă continuu.

2:48 Rezolvarea acelui eșec poate recupera răspunsuri utilizabile. Finalizarea contează. Honnibal creditează munca asistată de instrumente ca îndeplinind sarcini pe care un inginer uman de învățare automată le-ar putea face. Asta are consecințe pentru un agent. Plângerea sa este că micile demonstrații cu numere brute și reparațiile mai mari asistate de Python invită la o concluzie mai largă atunci când sunt grupate. Luați rețelele mici de jocuri.

Care experimente nu au avut cu adevărat instrumente?

3:09 Într-un experiment, Astra a citit numerele lor brute și a identificat corect ce joc a învățat fiecare rețea. Instrumentele au fost interzise. Într-un altul, a scris noi ponderi de joc de la zero, folosind regulile și codul sursă, fără rulări de practică. Acestea sunt demonstrații separate cu dovezi separate. Rețelele Astra au depășit linia de bază antrenată pentru o sută de milioane de pași în toate trei jocurile. Împotriva liniei de bază antrenate mai mult, a pierdut în Seaquest și

3:32 Asterix, în timp ce a câștigat Breakout. Schimbați coloana de comparație, iar discursul de victorie necesită editare. Convenabil, editarea este subiectul de astăzi. Pentru o afirmație mai amplă, am dori îmbunătățiri la nivelul modelelor cu eșecuri diferite.

Ce ar necesita o afirmație mai generală?

3:44 Urmăriți ce a văzut editorul și ce a contat ca succes. Cardul de model al Qwen avertizează deja despre buclele de gândire. Eliminarea acestui obstacol cunoscut are un punct de plecare particular. Spre meritul lor, autorii publică ei înșiși urmărirea incomodă. Ei explică că oprirea buclelor permite Qwen să finalizeze răspunsurile pe care le putea deja rezolva. Jurnalele lor includ prompturi, feedback și editări. Putem examina realizarea și putem pune o întrebare mai dificilă.

Ce s-a întâmplat cu modelul care rareori făcea bucle?

4:06 Acum, al doilea model, un Gemma mai mic în propria sa configurație de urmărire. Rareori făcea bucle, așa că eșecurile sale erau aritmetică greșită obișnuită și algebră invalidă. Astra a încercat din nou editări țintite ale ponderilor cu feedback de practică. Niciuna nu i-a mutat scorul la matematică cu mai mult de aproximativ un punct, și un câștig nu a fost stabilit. Reparația de succes a Qwen a avut un obstacol de eliminat. Erorile aritmetice ale Gemmei au supraviețuit. Aceasta este întrebarea utilă pentru dezvoltatori.

4:28 Ce eșec a reparat editarea și îl are modelul tău de fapt? Testați ponderile salvate pe propriile sarcini înainte de a sărbători multiplicatorul. Un "gât de sticlă" reparat poate conta enorm, în timp ce următorul "gât de sticlă" rămâne exact unde era. Dacă preferați să citiți asta decât să mă auziți spunând-o, "diff-ul" ajunge în căsuța dvs. în fiecare dimineață, gratuit la thedailydiff dot dev, link mai jos.

Aș "ship" afirmația despre editarea ponderilor?

4:47 Deci, verdictul de astăzi este NEEDS REVIEW. Aș lua în serios reparația buclei și aș testa-o. Aș păstra afirmațiile mai largi condiționate de succes dincolo de acel mod de eșec. Propriul contraexemplu al autorilor este cea mai utilă linie din "diff". Și acesta este "diff-ul" pentru astăzi. Sunt Niko de la Axrisi. Mergeți responsabil.

Surse

1. Weight-space programming studyRikiya Takehi and coauthors
2. November 3 critique of bundled experiment conditionsMatthew Honnibal
3. Pinned Qwen protocol and exact weight editsRikiya Takehi and coauthors
4. Actual initial Qwen promptRikiya Takehi and coauthors
5. Pinned smaller Gemma follow-upRikiya Takehi and coauthors
6. Original model-card thinking-loop warningQwen
7. Primary study discussionHacker News
8. Critique discussionHacker News
9. Cover portrait: Sam Altman, TechCrunch 2019 crop, CC BY 2.0; cropped, background removed, resized and flipped; no endorsementSteve Jennings/Getty Images for TechCrunch via Wikimedia Commons
10. Released checkpoint and attributed external re-runRikiyaT on Hugging Face; re-run credited to akhaliq
11. Portrait license: Creative Commons Attribution 2.0Creative Commons; Steve Jennings/Getty Images for TechCrunch portrait credit above