GPT-6 Astra parandas teise tehisintellekti lõputu mõtlemise
MIT-iga seotud uuringus kasutati GPT-6 Astrat, et muuta väikese Qweni mudeli kaalusid ja aidata rohkem vastuseid lõpetada.
MIT-iga seotud uuringus kasutati GPT-6 Astrat, et muuta väikese Qweni mudeli kaalusid ja aidata rohkem vastuseid lõpetada. Teatatud matemaatika skooride tõus sõltus sihipärasest tsükli parandamisest, Pythoni analüüsist ja praktikast saadud tagasisidest. Eraldiseisev väiksema Gemma järeluuring ei leidnud mingit kindlat paranemist.
Loe kirjalikku väljaannet (inglise keeles) ↗
Mida see video hõlmab
- Teatatud Qweni skoori tõus tulenes sihipärasest korduva arutluskäigu parandusest; umbes kolmandik toimetatud vastustest jõudis esmases protokollis endiselt pikkuse piirini.
- Gradienditreening oli keelatud, samas kui Python, praktilised vastused ja pakendatud mudel-töö tagasiside olid paljudes voorudes lubatud. Lõplikud hindamisküsimused deklareeriti algselt varjatuks.
- Väikesed toores kaalu ja mitte-leviku mängu katsed kasutasid erinevaid tingimusi. Nende väited peaksid säilitama oma individuaalse tööriista, sisendi ja algtaseme ulatuse.
- Matthew Honnibal tunnustab tööriistadega abistatud inseneritööd ja vaidlustab laiemat muljet, mis on tekkinud eksperimentide kokkupakkimisest.
- Väiksem Gemma järeluuring kasutas oma seadistust ja ei suutnud paranemist kindlaks teha. Katsetage, millist viga kaalu muutmine parandab, enne kui seda teisele mudelile rakendate.
Küsimused ja vastused
Mida Astra muutis, et parandada Qweni teatatud matemaatika skoori?
Astra tegi sihipärase kaalumuudatuse, mis aitas Qwenil rohkem vastuseid lõpetada, vastavalt Rikiya Takehi ja kaasautorite uuringule. See eemaldas kordusega seotud panuse sisemiste kihtide valitud veergudest. Teatatud matemaatika skoori tõus kasutas fikseeritud hindamisprotokolli. Paljud toimetatud vastused jõudsid endiselt pikkuse piirini, seega säilitab tulemus olulise jääkvea määra.
Millised tööriistad ja tagasiside olid Qweni kaalude muutmisel lubatud?
Pythoni analüüs, praktilised probleemid koos vastustega ja pakendatud mudel-töö tagasiside olid lubatud paljudes voorudes. Teadlaste tegelik esialgne viip keelas gradienditreeningu ja täpsustas diagnostilisi ja põhjuslikke testimisnõuandeid, sealhulgas korduva mõtlemise paranduse kui sobiva sihtmärgi. See tugi aitas Astrale valida olemasolevatele kaaludele otsese muudatuse. Üks eelarveühik võis sisaldada sadu genereeritud vastuseid.
Kas lõplikud hindamisprobleemid olid redigeerimismudelile kättesaadavad?
Teadlased ütlevad, et lõplikud hindamiskomplektid jäid Astra jaoks nähtamatuks. Praktiline tagasiside tuli treeningu-split probleemidest ja aitas muudatust valida; eraldi varjatud probleemid mõõtsid esitatud mudelit hiljem. Esialgne viip avaldas võrdlusaluste nimed ja hindamisprotokolli. See eristus kirjeldab, mis varjati, ilma väita, et redaktoril puudus igasugune teave ülesande kohta.
Mis juhtus väiksema Gemma kaalude muutmise järeluuringus?
Väiksema Gemma järeluuring ei suutnud paranemist tuvastada, vastavalt Rikiya Takehi ja kaasautorite andmetele. Mudel tegi harva tsükli ja selle vead hõlmasid valesid arvutusi ja kehtetut algebrat. Sihipärased muudatused praktikast saadud tagasisidega liigutasid teatatud matemaatika skoori kõige rohkem umbes punkti võrra. See kasutas eraldi seadistust, seega pakub võrdlus piiratud vastunäidet, mitte võrdselt kontrollitud ablatsiooni.
Mis oli The Daily Diffi otsus kaalude muutmise väite kohta?
The Daily Diffi otsus oli VAJAB ÜLEVAATAMIST. Niko võtaks sihipärase tsükli paranduse tõsiselt ja katsetaks seda, samal ajal kui laiemad väited jääksid selle vea režiimist kaugema edu taha. Teadlaste enda väiksema mudeli vastunäide toetab seda hinnangut. Arendajad peaksid tuvastama vea, mida muudatus parandab, ja hindama salvestatud kaalusid oma ülesannetega enne, kui tähistavad teatatud kordajat.
Tõlgitud transkriptsioon
Tõlgitud ingliskeelsest originaaljutustusest. Saadaolevat heli ja subtiitreid kontrollib YouTube.
Miks matemaatika skoor hüppas?
0:00 See, et tehisintellekt teeb teise tehisintellekti kuus korda nutikamaks, kõlab nagu kohene geenius. Astra suur skoori hüpe tuli sellest, et ta aitas Qwenil lõpetada vastuseid, mida see pidevalt kordas. Mis selles videos muutus? Mis abi Astra sai? Ja kui kaugele parandus ulatub? Qwen tõusis umbes kaheksalt protsendilt neljakümne kaheksale protsendile. Teadlased proovisid teist mudelit, millel peaaegu puudusid tsüklid. Me näeme, kuidas see läks enne kohtuotsust.
0:22 Täna on teisipäev, kolmas november, ja see on The Daily Diff. Kaaluruumis programmeerimine on teadlaste nimi tehisintellektilt palumisele uurida või kirjutada numbreid närvivõrgu sees. Need numbrid on selle kaalud. See MIT-iga seotud meeskond kasutas OpenAI GPT kuus Astrat väikese Qweni keelemudeli muutmiseks, tavaline treening oli keelatud. Rikiya Takehi ja tema kaasautorid avaldasid uuringu esmaspäeval,
0:44 küsimusega, kas olemasolev tehisintellekt suudaks arutleda teise võrgu sisemuse üle. Nende peamine tulemus on väga klikitav. Matemaatika viissajal tõusis Qwen umbes kaheksalt protsendilt neljakümne kaheksale protsendile. Peaaegu kuus korda rohkem õigeid vastuseid. Qwen mõtles edasi, kuni tal sai vastamiseks ruum otsa.
Mida Qwen valesti tegi?
1:00 Mõtlemise režiimis kordas ta sageli oma arutluskäiku. Kujutage ette, kuidas õpilane täidab eksamitöö viimse piirini, kuni kell heliseb. Märkija vajab ikka veel vastust. Enamik algseid vastuseid jõudis pikkuse piirini. Astra leidis kordumise suuna kahes sisemises kihis, seejärel eemaldas selle panuse valitud kaalude veergudest. Pärast seda muutmist jõudis rohkem vastuseid järelduseni. Umbes kolmandik jõudis teatatud testis endiselt piirini.
1:22 Eksami vihik sai lõpuks viimase rea. Täna vaidlustas Matthew Honnibal, spaCy looja ja Explosion'i kaasasutaja,
Mida tänane kriitik vaidlustab?
1:28 esitlust. Ta ütleb, et lugejad saavad eksperimentide erinevad tingimused ühendada üheks erakordse tehnika muljeks. Tema vastuväide puudutab nende ühist lugu. Me saame ise tingimusi kontrollida. Qweni eksperiment andis Astrale Pythoni märkmiku kaalude ja harjutusülesannetega
Millist abi Astra tegelikult sai?
1:44 vastustega. Paljudes voorudes uuris see sisemisi aktivatsioone ja võrdles originaal- ning muudetud versioone. Lõplik eelarve lubas viiskümmend mudel-tööde partiid. Iga genereerimise partii võis sisaldada sadu vastuseid. Harjutusandmed pärinesid treeningu jagamisedest. Teadlased ütlevad, et Astra ei näinud kunagi lõplikke hindamiskomplekte. Tagasiside aitas muudatust valida; varjatud probleemid mõõtsid seda hiljem. Proovivõtuseaded jäid originaal- ja muudetud Qweni vahel fikseerituks,
2:09 muutes selle protokolli skoorivõrdluse tõlgendatavaks. Esimene viip andis talle abivalmis laborijuhendaja. Diagnoosi vead, leia vastutavad komponendid, võrdle samade probleemide kohta ja testi mitmeid tugevusi. See mainis selgesõnaliselt korduvat mõtlemist kui parandust, mis loeb. Kraadiõppurid peaksid selle sisseelamispaketi üle läbi rääkima. See on muljetavaldav parandus.
Kui väike oli tegelik parandus?
2:28 Astra sihipärane muudatus puudutas umbes sada kolmkümmend üks tuhat kaalu. See on umbes kuusteist tuhandikku protsenti mudelist. Kaalufail muutus otse. Gradienditreening jäi keelatuks; olemasolev mudel andis vastused pärast seda, kui Astra redigeerimisseanss lõppes. Saavutus ulatus ka juhiste järgimiseni. Mulle meeldib praktiline tagajärg. Mudelil võib olla kasulik töö, mida selle ebaõnnestumise režiim matta jätkab.
2:48 Selle vea parandamine võib taastada kasutatavad vastused. Lõpetamine loeb. Honnibal annab tööriistadega abistatud tööle au, et see täidab ülesandeid, mida inimmasinõppe insener suudaks. See on agendi jaoks oluline. Tema kaebus on, et väikesed toornumbrite demonstratsioonid ja suuremad Pythoniga abistatud parandused kutsuvad kokku pakkides esile laiema järelduse. Võtame pisikesed mänguvõrgud.
Millistel katsetel polnud tegelikult tööriistu?
3:09 Ühes eksperimendis luges Astra nende toornumbreid ja tuvastas õigesti, millise mängu iga võrk oli õppinud. Tööriistad olid keelatud. Teises kirjutas see uued mängukaalud nullist, kasutades reegleid ja lähtekoodi, ilma praktiliste väljalaseteta. Need on eraldi demonstratsioonid eraldi tõenditega. Astra võrgud ületasid baasjoone, mida treeniti sada miljonit sammu kõigis kolmes mängus. Pikemalt treenitud baasjoone vastu kaotas see Seaquestis ja
3:32 Asterixis, samal ajal võites Breakoutis. Muutke võrdlusveergu ja võidukõne vajab toimetamist. Mugavalt on toimetamine tänane teema. Laiema väite jaoks tahaksime paranemisi erinevate vigadega mudelite puhul.
Mida vajaks üldisem väide?
3:44 Jälgida, mida toimetaja nägi ja mis luges eduks. Qweni mudelikaart hoiatab juba mõtlemise tsüklite eest. Selle teadaoleva takistuse eemaldamisel on kindel lähtepunkt. Neile au, autorid avaldavad ise ebamugava järeltegevuse. Nad selgitavad, et tsüklite peatamine laseb Qwenil lõpetada vastused, mida see juba suutis välja töötada. Nende logid sisaldavad viipaid, tagasisidet ja muudatusi. Me saame uurida saavutust ja esitada raskema küsimuse.
Mis juhtus mudeliga, mis harva tsükli tegi?
4:06 Nüüd teine mudel, väiksem Gemma oma järelseadistuses. See tegi harva tsükli, seega olid selle vead tavalised valed arvutused ja kehtetu algebra. Astra proovis uuesti sihipäraseid kaalumuudatusi praktikast saadud tagasisidega. Ükski neist ei muutnud selle matemaatika skoori rohkem kui umbes punkti võrra, ja paranemist ei tuvastatud. Edukal Qweni parandusel oli takistus, mis tuli eemaldada. Gemma aritmeetilised vead säilisid. See on kasulik küsimus arendajatele.
4:28 Millise vea parandas muudatus ja kas teie mudelil see tegelikult on? Katsetage salvestatud kaalusid oma ülesannetega enne, kui kordajat tähistate. Parandatud kitsaskohal võib olla tohutu tähtsus, samal ajal kui järgmine kitsaskoht jääb täpselt sinna, kus see oli. Kui te pigem loeksite seda, kui kuuleksite mind seda ütlemas, siis diff jõuab teie postkasti igal hommikul tasuta aadressil the daily diff dot dev, link allpool.
Kas ma avaldaksin kaalude muutmise väite?
4:47 Niisiis, tänane otsus on VAJAB ÜLEVAATAMIST. Ma võtaksin tsükli paranduse tõsiselt ja katsetaksin seda. Ma hoiaks laiemad väited selle vea režiimist kaugema edu taga. Autorite enda vastunäide on diffis kõige kasulikum rida. Ja see on tänane diff. Ma olen Niko Axrisist. Ühendage vastutustundlikult.
Allikad
- Weight-space programming studyRikiya Takehi and coauthors
- November 3 critique of bundled experiment conditionsMatthew Honnibal
- Pinned Qwen protocol and exact weight editsRikiya Takehi and coauthors
- Actual initial Qwen promptRikiya Takehi and coauthors
- Pinned smaller Gemma follow-upRikiya Takehi and coauthors
- Original model-card thinking-loop warningQwen
- Primary study discussionHacker News
- Critique discussionHacker News
- Cover portrait: Sam Altman, TechCrunch 2019 crop, CC BY 2.0; cropped, background removed, resized and flipped; no endorsementSteve Jennings/Getty Images for TechCrunch via Wikimedia Commons
- Released checkpoint and attributed external re-runRikiyaT on Hugging Face; re-run credited to akhaliq
- Portrait license: Creative Commons Attribution 2.0Creative Commons; Steve Jennings/Getty Images for TechCrunch portrait credit above
.jpg){kind=link}