A GPT-6 Astra javított egy másik mesterséges intelligencia végtelen gondolkodásán
Egy MIT-hez köthető tanulmány a GPT-6 Astrát használta egy kis Qwen modell súlyainak szerkesztésére, hogy több válasz befejezését segítse.
Egy MIT-hez köthető tanulmány a GPT-6 Astrát használta egy kis Qwen modell súlyainak szerkesztésére, hogy több válasz befejezését segítse. A jelentett matematikai pontszám ugrása egy célzott hurokjavításon, Python analízisen és gyakorlati visszajelzésen alapult. Egy különálló, kisebb Gemma-követés nem talált igazolt javulást.
Olvassa el az írott kiadást (angolul) ↗
Amit ez a videó tartalmaz
- A jelentett Qwen pontszám növekedés az ismétlődő gondolkodás célzott javításából származott; a szerkesztett válaszok körülbelül egyharmada még így is elérte a hosszkapcsot az elsődleges protokollban.
- A gradiens edzés tilos volt, míg a Python, a gyakorlati válaszok és a kötegelt modellfutás visszajelzések sok fordulón keresztül engedélyezettek voltak. A végső értékelési kérdéseket forrásból kivettként deklarálták.
- A kis nyers-súly és a nem-kifuttatásos játék kísérletek különböző feltételeket alkalmaztak. Az ezekre vonatkozó állításoknak meg kell őrizniük egyéni eszközük, bemenetük és alapvonaluk hatókörét.
- Matthew Honnibal az eszközökkel támogatott mérnöki munkának tulajdonítja az eredményt, és vitatja a kísérletek együttes bemutatásával keltett szélesebb benyomást.
- A kisebb Gemma követés a saját beállításait használta, és nem tudott javulást igazolni. Tesztelje, milyen hibát javít egy súlyszerkesztés, mielőtt egy másik modellre alkalmazná.
Kérdések és válaszok
Mit változtatott Astra Qwen jelentett matematikai pontszámának javítása érdekében?
Astra célzott súlyszerkesztést végzett, ami segített Qwennek több válasz befejezésében, Rikiya Takehi és társszerzői tanulmánya szerint. Eltávolította egy ismétléssel kapcsolatos hozzájárulást a belső rétegek kiválasztott oszlopaiból. A jelentett matematikai pontszám növekedés egy rögzített értékelési protokollt használt. Sok szerkesztett válasz még így is elérte a hosszkapcsot, így az eredmény jelentős maradék hibaarányt mutat.
Milyen eszközök és visszajelzések voltak engedélyezettek a Qwen súly szerkesztése során?
Python analízis, gyakorló feladatok válaszokkal és kötegelt modellfutás visszajelzés engedélyezettek voltak több fordulóban. A kutatók tényleges kezdeti promptja tiltotta a gradiens edzést, és diagnosztikai és ok-okozati tesztelési tanácsokat specifikált, beleértve az ismétlődő gondolkodás javítását, mint jogosult célt. Ez a támogatás segített Astrának közvetlen szerkesztést választani a létező súlyokhoz. Egy költségvetési egység több száz generált választ tartalmazhatott.
Elérhetőek voltak a végső értékelési problémák a szerkesztő modell számára?
A kutatók szerint a végső értékelési halmazokat Astra nem látta. A gyakorlati visszajelzések edzésmegosztási problémákból származtak, és segítettek kiválasztani a szerkesztést; különálló, "held-out" problémák mérték az elküldött modellt utána. A kezdeti prompt nyilvánosságra hozta a benchmark neveket és az értékelési protokollt. Ez a megkülönböztetés azt írja le, hogy mi volt visszatartva anélkül, hogy azt állítaná, hogy a szerkesztőnek hiányzott volna minden információ a feladatról.
Mi történt a kisebb Gemma súly szerkesztési követő kutatásban?
A kisebb Gemma követő kutatás nem tudott javulást igazolni, Rikiya Takehi és társszerzői szerint. A modell ritkán került hurokba, és hibái között szerepelt a helytelen számtan és az érvénytelen algebra. A célzott szerkesztések gyakorlati visszajelzéssel legfeljebb körülbelül egy ponttal mozgatták meg a jelentett matematikai pontszámot. Különálló beállítást használt, így az összehasonlítás egy korlátozott ellenpéldát szolgáltat, nem pedig egy egyenlően kontrollált ablációt.
Mi volt a The Daily Diff ítélete a súly szerkesztési állításról?
A The Daily Diff ítélete NEEDS REVIEW volt. Niko komolyan venné a célzott hurokjavítást, és tesztelné, miközben a szélesebb körű állításokat ezen a hibamódon túli sikerre korlátozná. A kutatók saját kisebb modellre vonatkozó ellenpéldája támasztja alá ezt az ítéletet. A fejlesztőknek azonosítaniuk kell, milyen hibát javít egy szerkesztés, és értékelniük kell a mentett súlyokat a saját feladataikon, mielőtt ünnepelnének egy jelentett szorzót.
Lefordított átirat
Az eredeti angol narrációból fordítva. A rendelkezésre álló hangot és feliratokat a YouTube vezérli.
Miért ugrott meg a matek pontszám?
0:00 Egy mesterséges intelligencia, ami egy másik mesterséges intelligenciát hatszor okosabbá tesz, azonnali zsenialitásnak hangzik. Astra nagy pontszámugrása abból adódott, hogy segített Qwennek befejezni azokat a válaszokat, amiket folyamatosan ismételgetett. Ebben a videóban mi változott? Milyen segítséget kapott Astra? És milyen messzire utazik a javítás? Qwen körülbelül nyolc százalékról negyvennyolc százalékra nőtt. A kutatók egy második modellt próbáltak ki, szinte nulla hurokkal. Megnézzük, hogyan sikerült, mielőtt ítéletet hozunk.
0:22 Kedd van, november harmadika, és ez a The Daily Diff. A súlytér programozás a kutatók elnevezése arra, amikor egy mesterséges intelligenciát arra kérnek, hogy vizsgálja meg vagy írja be a számokat egy neurális hálózatba. Ezek a számok a súlyai. Ez az MIT-hez köthető csapat az OpenAI GPT hat Astráját használta egy kis Qwen nyelvi modell szerkesztésére, hagyományos edzés tiltásával. Rikiya Takehi és társszerzői hétfőn publikálták a tanulmányt,
0:44 azzal a kérdéssel, hogy egy létező mesterséges intelligencia képes-e egy másik hálózat belső működéséről gondolkodni. Címlapszereplésű eredményük nagyon kattintásvadász. Matematika ötszázas teszten Qwen körülbelül nyolc százalékról negyvennyolc százalékra emelkedett. Majdnem hatszor annyi helyes válasz. Qwen addig gondolkodott, amíg el nem fogyott a helye a válaszra.
Mit csinált rosszul Qwen?
1:00 Gondolkodó üzemmódban gyakran ismételte a gondolatmenetét. Képzeljen el egy diákot, aki a vizsgalapot a munkafolyamattal tölti ki, amíg meg nem szólal a csengő. A javítónak még mindig szüksége van egy válaszra. A legtöbb eredeti válasz elérte a hosszkorlátot. Astra két belső rétegben azonosított egy ismétlődési irányt, majd eltávolította annak hozzájárulását a kiválasztott súlyoszlopokból. Ezt a szerkesztést követően több válasz jutott el egy következtetésig. A jelentett tesztben körülbelül egyharmaduk még mindig elérte a korlátot.
1:22 A vizsgalap végre kapott egy utolsó sort. Ma Matthew Honnibal, a spaCy megalkotója és az Explosion társalapítója,
Mit vitat a mai kritikus?
1:28 megkérdőjelezte a bemutatást. Szerinte az olvasók a kísérletek különböző feltételeit összevonva egy rendkívüli technika benyomását kelthetik. Ellenvetése az összevont történetükre vonatkozik. Mi magunk is ellenőrizhetjük a feltételeket. A Qwen kísérletben Astra egy Python notebookot kapott a súlyokról és gyakorlati
Milyen segítséget kapott valójában Astra?
1:44 problémákat válaszokkal. Sok fordulón keresztül vizsgálta a belső aktiválásokat, és összehasonlította az eredeti és szerkesztett verziókat. A végső költségvetés ötven kötegelt modellfutást engedélyezett. Minden generációs köteg több száz választ is tartalmazhatott. A gyakorlati adatok edzési felosztásokból származtak. A kutatók szerint Astra soha nem látta a végső értékelési halmazokat. A visszajelzés segített kiválasztani a szerkesztést; a kivett problémák mérték azt utána. A mintavételi beállítások fixek maradtak az eredeti és a szerkesztett Qwen között,
2:09 így ez a protokoll pontszám-összehasonlítása értelmezhető. Az első prompt egy segítőkész laborvezetőt adott neki. Diagnosztizálja a hibákat, találja meg a felelős komponenseket, hasonlítsa össze ugyanazokon a problémákon, és tesztelje több erősséget. Explicit módon említette az ismétlődő gondolkodást, mint olyan javítást, ami számít. A végzős hallgatóknak meg kellene tárgyalniuk ezt a bevezető csomagot. Ez egy lenyűgöző javítás.
Milyen kicsi volt a tényleges javítás?
2:28 Astra célzott szerkesztése körülbelül százharmincegy ezer súlyt érintett. Ez a modell körülbelül tizenhatezred százaléka. A súlyfájl közvetlenül változott. A gradiens edzés tilos maradt; a létező modell válaszolt Astra szerkesztési munkamenete befejezése után. A nyereség az utasításkövetéshez is eljutott. Tetszik a gyakorlati következmény. Egy modell hasznos munkát végezhet, amit a hibamódja elrejt.
2:48 Ennek a hibának a kijavítása hasznos válaszokat eredményezhet. A befejezés számít. Honnibal az eszközökkel támogatott munkát emberi gépi tanulási mérnök által végezhető feladatként értékeli. Ez jelentős egy ügynök számára. Panasza az, hogy a kis nyers-számos demonstrációk és a nagyobb Python-segítségű javítások szélesebb következtetésre ösztönöznek, ha együtt mutatják be őket. Vegye figyelembe az apró játékhálózatokat. Egy kísérletben Astra elolvasta a nyers számokat, és helyesen azonosította, melyik
Mely kísérletekben nem voltak valójában eszközök?
3:09 játékot tanulta meg az egyes hálózatok. Az eszközök tilosak voltak. Egy másikban új játékra alkalmas súlyokat írt a semmiből a szabályok és forráskód felhasználásával, gyakorlati tesztelés nélkül. Ezek külön demonstrációk, külön bizonyítékokkal. Astra hálózatai mindhárom játékban legyőzték a százmillió lépésig edzett alapvonalat. A hosszabb ideig edzett alapvonallal szemben veszítettek a Seaquestben és az Asterixben, miközben nyertek a Breakoutban.
3:32 Változtassuk meg az összehasonlítási oszlopot, és a győzelmi beszéd szerkesztésre szorul. Szerencsére a szerkesztés a mai téma. Egy szélesebb körű állításhoz különböző hibákkal rendelkező modellek közötti javulásra lenne szükség. Kövesse nyomon, mit látott a szerkesztő, és mi számított sikernek.
Mire lenne szükség egy általánosabb állításhoz?
3:44 Qwen modellkártyája már figyelmeztet a gondolkodási hurkokra. Ennek az ismert akadálynak az eltávolítása egy különleges kiindulópontot jelent. Dicséretre méltóan a szerzők maguk publikálják a kényelmetlen folytatást. Elmagyarázzák, hogy a hurkok leállítása lehetővé teszi Qwen számára, hogy befejezze azokat a válaszokat, amiket már ki tudott dolgozni. Naplóik tartalmazzák a promptokat, a visszajelzéseket és a szerkesztéseket. Megvizsgálhatjuk az eredményt, és feltehetünk egy nehezebb kérdést. Most a második modell, egy kisebb Gemma a saját követő felállásában.
Mi történt azzal a modellel, ami ritkán hurokba került?
4:06 Ritkán került hurokba, így a hibái az szokásos rossz számtani műveletek és érvénytelen algebra voltak. Astra ismét célzott súlyszerkesztéseket próbált gyakorlati visszajelzéssel. Egyik sem mozgatta meg a matematikai pontszámát egy pontnál többel, és a javulás nem igazolódott. A sikeres Qwen javításnak volt egy akadálya, amit el kellett távolítani. Gemma számtani hibái megmaradtak. Ez a hasznos kérdés a fejlesztők számára. Melyik hibát javította a szerkesztés, és valóban rendelkezik-e vele a modellje?
4:28 Tesztelje a mentett súlyokat a saját feladatain, mielőtt ünnepelné a szorzót. Egy kijavított szűk keresztmetszet óriási jelentőséggel bírhat, miközben a következő szűk keresztmetszet pontosan ott marad, ahol volt. Ha inkább elolvasná ezt, mint hallaná tőlem, a "diff" minden reggel ingyen a postaládájába érkezik a thedailydiff.dev oldalon, link alább. Szóval, a mai ítélet: NEEDS REVIEW.
SHIP IT a súlyszerkesztési állítás?
4:47 Komolyan venném a hurok javítást, és tesztelném. A szélesebb körű állításokat ezen a hibamódon túli sikerre korlátoznám. A szerzők saját ellenpéldája a leghasznosabb sor a "diff"-ben. És ez a mai "diff". Niko vagyok az Axrisi-től. Összevonás felelősségteljesen. Merge responsibly.
Források
- Weight-space programming studyRikiya Takehi and coauthors
- November 3 critique of bundled experiment conditionsMatthew Honnibal
- Pinned Qwen protocol and exact weight editsRikiya Takehi and coauthors
- Actual initial Qwen promptRikiya Takehi and coauthors
- Pinned smaller Gemma follow-upRikiya Takehi and coauthors
- Original model-card thinking-loop warningQwen
- Primary study discussionHacker News
- Critique discussionHacker News
- Cover portrait: Sam Altman, TechCrunch 2019 crop, CC BY 2.0; cropped, background removed, resized and flipped; no endorsementSteve Jennings/Getty Images for TechCrunch via Wikimedia Commons
- Released checkpoint and attributed external re-runRikiyaT on Hugging Face; re-run credited to akhaliq
- Portrait license: Creative Commons Attribution 2.0Creative Commons; Steve Jennings/Getty Images for TechCrunch portrait credit above
.jpg){kind=link}