GPT-6 Astra "pataisė" kito dirbtinio intelekto begalinį mąstymą
MIT susijęs tyrimas naudojo GPT-6 Astra, kad redaguotų mažo Qwen modelio svorius ir padėtų daugiau atsakymų užbaigti.
MIT susijęs tyrimas naudojo GPT-6 Astra, kad redaguotų mažo Qwen modelio svorius ir padėtų daugiau atsakymų užbaigti. Pranešamas matematikos balų šuolis priklausė nuo tikslinio ciklo pataisymo, Python analizės ir praktikos atsiliepimų. Atskiras, mažesnis Gemma patikrinimas nerado jokio nustatyto pagerėjimo.
Skaityti rašytinę versiją (anglų k.) ↗
Kas aptariama šiame vaizdo įraše
- Praneštas Qwen balų padidėjimas atsirado dėl tikslinio pasikartojančio mąstymo pataisymo; apie trečdalis redaguotų atsakymų vis dar pasiekė ilgio ribą pagal pirminį protokolą.
- Gradientinis mokymas buvo draudžiamas, o Python, praktiniai atsakymai ir partijomis vykdomi modelio paleidimo atsiliepimai buvo leidžiami daugeliu posūkių. Galutiniai vertinimo klausimai buvo deklaruoti kaip atidėti.
- Maži "žaliųjų" svorių ir be paleidimo žaidimų eksperimentai naudojo skirtingas sąlygas. Jų teiginiai turėtų išlaikyti savo individualų įrankį, įvestį ir bazinį mastą.
- Matthew Honnibal pripažįsta įrankiais paremtą inžineriją ir ginčija platesnį įspūdį, sukurtą sujungiant eksperimentus.
- Mažesnis Gemma patikrinimas naudojo savo nustatymus ir nepasiekė pagerėjimo. Prieš taikydami svorio redagavimą kitam modeliui, patikrinkite, kokį gedimą jis pataiso.
Klausimai ir atsakymai
Ką Astra pakeitė, kad pagerintų Qwen praneštą matematikos balą?
Astra atliko tikslinį svorio redagavimą, kuris padėjo Qwen užbaigti daugiau atsakymų, teigiama Rikiya Takehi ir bendraautorių tyrime. Ji pašalino su pasikartojimu susijusį indėlį iš pasirinktų stulpelių vidiniuose sluoksniuose. Praneštas matematikos balų padidėjimas naudojo fiksuotą vertinimo protokolą. Daugelis redaguotų atsakymų vis dar pasiekė ilgio ribą, todėl rezultatas išlaiko didelį likutinį gedimų dažnį.
Kokie įrankiai ir atsiliepimai buvo leidžiami Qwen svorio redagavimo metu?
Python analizė, praktikos problemos su atsakymais ir partijomis vykdomi modelio paleidimo atsiliepimai buvo leidžiami daugeliu posūkių. Faktinis tyrėjų pradinis raginimas draudė gradientinį mokymą ir nurodė diagnostikos bei priežastinio testavimo patarimus, įskaitant pasikartojančio mąstymo pataisymą kaip tinkamą tikslą. Ši parama padėjo Astra pasirinkti tiesioginį esamų svorių redagavimą. Biudžeto vienetas galėjo turėti šimtus sugeneruotų atsakymų.
Ar galutiniai vertinimo uždaviniai buvo prieinami redaguojančiam modeliui?
Tyrėjai teigia, kad galutiniai vertinimo rinkiniai liko Astra nematomi. Praktikos atsiliepimai buvo gauti iš mokymo padalų problemų ir padėjo pasirinkti redagavimą; atskirtos, neįtrauktos problemos vėliau įvertino pateiktą modelį. Pradinis raginimas atskleidė etalonų pavadinimus ir vertinimo protokolą. Šis skirtumas apibūdina, kas buvo nuslėpta, nepretenduojant, kad redaktoriui trūko visos informacijos apie užduotį.
Kas atsitiko mažesniame Gemma svorio redagavimo tęsinyje?
Mažesnis Gemma tęsinys nepasiekė pagerėjimo, teigiama Rikiya Takehi ir bendraautorių. Modelis retai kartojosi, o jo gedimai apėmė klaidingą aritmetiką ir neteisingą algebrą. Tiksliniai redagavimai su praktikos atsiliepimais pakeitė praneštą matematikos balą ne daugiau nei maždaug vienu tašku. Jis naudojo atskirą nustatymą, todėl palyginimas pateikia apribotą prieštaraujamą pavyzdį, o ne lygiavertį kontroliuojamą abliaciją.
Koks buvo The Daily Diff verdiktas dėl svorio redagavimo teiginio?
The Daily Diff verdiktas buvo REIKIA PERŽIŪRĖTI (NEEDS REVIEW). Niko rimtai žiūrėtų į tikslinį ciklo pataisymą ir jį išbandytų, o platesnius teiginius susietų su sėkme, neapsiribojančia šiuo gedimo režimu. Pačių tyrėjų pateiktas mažesnio modelio prieštaraujamasis pavyzdys pagrindžia šį sprendimą. Kūrėjai turėtų nustatyti, kokį gedimą pataiso redagavimas, ir įvertinti išsaugotus svorius savo užduotyse, prieš švęsdami praneštą daugiklį.
Išverstas transkriptas
Išversta iš originalo anglų kalbos. Galimas garso ir subtitrų valdymas per YouTube.
Kodėl matematikos balas šoktelėjo?
0:00 Dirbtinis intelektas, padarantis kitą dirbtinį intelektą šešis kartus protingesniu, skamba kaip akimirksniu genialumas. Didelis Astros balų šuolis atsirado padedant Qwen užbaigti atsakymus, kuriuos jis vis kartojo. Šiame vaizdo įraše, kas pasikeitė? Kokią pagalbą Astra gavo? Ir kiek toli "keliauja" pataisymas? Qwen pakilo nuo maždaug aštuonių procentų iki keturiasdešimt aštuonių procentų. Tyrėjai išbandė antrą modelį, kuris beveik nesikartojo. Pamatysime, kaip tai pavyko, prieš priimant nuosprendį.
0:22 Antradienis, lapkričio trečioji, ir tai yra The Daily Diff. Svorio erdvės programavimas yra tyrėjų pavadinimas už tai, kad paprašytumėte dirbtinio intelekto patikrinti arba įrašyti skaičius į neuroninį tinklą. Tie skaičiai yra jo svoriai. Ši su MIT susijusi komanda naudojo OpenAI GPT šešių Astra, kad redaguotų mažą Qwen kalbos modelį, draudžiant įprastą mokymą. Rikiya Takehi ir jo bendraautoriai pirmadienį paskelbė tyrimą,
0:44 klausdami, ar esamas dirbtinis intelektas galėtų mąstyti apie kito tinklo vidines dalis. Jų pagrindinis rezultatas yra labai patrauklus. Matematikos penkių šimtų teste Qwen pakilo nuo maždaug aštuonių procentų iki keturiasdešimt aštuonių procentų. Beveik šešis kartus daugiau teisingų atsakymų. Qwen vis galvojo, kol baigėsi vietos atsakymui.
Ką Qwen darė neteisingai?
1:00 Mąstymo režime jis dažnai kartojo savo samprotavimus. Įsivaizduokite studentą, pildantį egzamino sąsiuvinį darbais, kol suskamba skambutis. Vertintojui vis dar reikia atsakymo. Dauguma originalių atsakymų pasiekė ilgio ribą. Astra nustatė pasikartojimo kryptį dviejuose vidiniuose sluoksniuose, tada pašalino jos indėlį iš pasirinktų svorio stulpelių. Po šio redagavimo daugiau atsakymų pasiekė išvadą. Apie trečdalis vis dar pasiekė ribą praneštame teste.
1:22 Egzamino sąsiuvinyje pagaliau atsirado paskutinė eilutė. Šiandien Matthew Honnibal, spaCy kūrėjas ir "Explosion" įkūrėjas,
Ką ginčija šiandienos kritikas?
1:28 užginčijo pateikimą. Jis sako, kad skaitytojai gali sujungti skirtingas eksperimentų sąlygas į įspūdį apie vieną nepaprastą techniką. Jo prieštaravimas susijęs su jų sujungta istorija. Mes patys galime patikrinti sąlygas. Qwen eksperimentas suteikė Astra Python sąsiuvinį su svoriais ir praktikos
Kokią pagalbą Astra iš tikrųjų gavo?
1:44 užduotis su atsakymais. Daugybe posūkių jis tikrino vidinius aktyvavimus ir lygino originalias bei redaguotas versijas. Galutinis biudžetas leido penkiasdešimt modelių paleidimų partijų. Kiekviena generavimo partija galėjo turėti šimtus atsakymų. Praktikos duomenys buvo gauti iš mokymo padalų. Tyrėjai sako, kad Astra niekada nematė galutinių vertinimo rinkinių. Atsiliepimai padėjo pasirinkti redagavimą; atskirtos problemos jį įvertino vėliau. Atrankos nustatymai liko fiksuoti tarp originalaus ir redaguoto Qwen,
2:09 todėl šio protokolo balų palyginimas yra interpretuojamas. Pirmasis raginimas suteikė jam naudingą laboratorijos vadovą. Diagnozuoti gedimus, rasti atsakingus komponentus, lyginti tas pačias problemas ir išbandyti kelias stiprybes. Jame aiškiai paminėtas pasikartojantis mąstymas kaip pataisymas, kuris "skaitosi". Abiturientai turėtų derėtis dėl šio įdarbinimo paketo. Tai įspūdingas pataisymas.
Koks mažas buvo tikrasis pataisymas?
2:28 Astra tikslinis redagavimas palietė maždaug šimtą trisdešimt vieną tūkstantį svorių. Tai yra apie šešiolika tūkstantųjų procento modelio. Svorio failas pasikeitė tiesiogiai. Gradientinis mokymas liko draudžiamas; esamas modelis atsakė po to, kai Astros redagavimo sesija baigėsi. Nauda pasiekė ir instrukcijų vykdymą. Man patinka praktinė implikacija. Modelis gali turėti naudingą darbą, kurį jo gedimo režimas vis užblokuoja.
2:48 Pataisius tą gedimą, galima atgauti naudingus atsakymus. Užbaigimas "skaitosi". Honnibal priskiria įrankiais atliktam darbui nuopelnus už tai, kad atliekamos užduotys, kurias galėtų atlikti žmogus mašininio mokymosi inžinierius. Tai yra svarbu agentui. Jo skundas yra tas, kad mažos "žaliųjų" skaičių demonstracijos ir didesni Python pagalba atlikti pataisymai sujungus skatina platesnę išvadą. Paimkime mažyčius žaidimų tinklus.
Kokie eksperimentai iš tikrųjų neturėjo įrankių?
3:09 Viename eksperimente Astra perskaitė jų "žaliuosius" skaičius ir teisingai nustatė, kokį žaidimą kiekvienas tinklas išmoko. Įrankiai buvo draudžiami. Kitame, ji parašė naujus žaidimo žaidimo svorius nuo nulio, naudodama taisykles ir išeities kodą, be praktikos paleidimų. Tai yra atskiri demonstravimai su atskirais įrodymais. Astros tinklai nugalėjo bazinį modelį, treniruotą šimtą milijonų žingsnių, visuose trijuose žaidimuose. Prieš ilgesnį laiką treniruotą bazinį modelį, ji pralaimėjo "Seaquest" ir
3:32 "Asterix", laimėdama "Breakout". Pakeiskite palyginimo stulpelį, ir pergalės kalbai reikės redagavimo. Patogu, redagavimas yra šiandienos tema. Platesniam teiginiui norėtume pagerėjimų skirtinguose modeliuose su skirtingais gedimais.
Ko reikėtų platesniam teiginiui?
3:44 Stebėkite, ką redaktorius matė ir kas buvo laikoma sėkme. Qwen modelio kortelė jau įspėja apie mąstymo ciklus. Pašalinti šią žinomą kliūtį yra konkretus atspirties taškas. Jų garbei, autoriai patys publikuoja nepatogų tęsinį. Jie paaiškina, kad sustabdžius ciklus, Qwen gali užbaigti atsakymus, kuriuos jau galėjo išspręsti. Jų žurnaluose yra raginimų, atsiliepimų ir redagavimų. Galime išnagrinėti pasiekimą ir užduoti sunkesnį klausimą.
Kas atsitiko modeliui, kuris retai kartojosi?
4:06 Dabar antrasis modelis, mažesnis Gemma, savo atskirame tęsinio nustatyme. Jis retai kartojosi, todėl jo gedimai buvo įprasta klaidinga aritmetika ir neteisinga algebra. Astra vėl bandė tikslinius svorio redagavimus su praktikos atsiliepimais. Nė vienas nepakeitė jo matematikos balo daugiau nei maždaug vienu tašku, ir pagerėjimas nebuvo nustatytas. Sėkmingas Qwen pataisymas turėjo pašalinti kliūtį. Gemma aritmetinės klaidos išliko. Tai yra naudingas klausimas kūrėjams.
4:28 Kokį gedimą pataisė redagavimas, ir ar jūsų modelis iš tikrųjų jį turi? Prieš švęsdami daugiklį, patikrinkite išsaugotus svorius savo užduotyse. Pataisyta "siauroji vieta" gali būti nepaprastai svarbi, kol kita "siauroji vieta" lieka lituviškai lygiai toje pačioje vietoje. Jei norėtumėte tai perskaityti, o ne išgirsti iš manęs, "diff" kiekvieną rytą atkeliauja į jūsų pašto dėžutę, nemokamai adresu thedailydiff.dev, nuoroda žemiau.
Ar aš "paleisčiau" svorio redagavimo teiginį?
4:47 Taigi, šiandienos verdiktas yra REIKIA PERŽIŪRĖTI (NEEDS REVIEW). Aš rimtai žiūrėčiau į ciklo pataisymą ir jį išbandyčiau. Plačesnius teiginius aš susiečiau su sėkme, neapsiribojančia šiuo gedimo režimu. Pačių autorių pateiktas prieštaraujamasis pavyzdys yra naudingiausia "diff" eilutė. Ir tai yra šiandienos "diff". Aš esu Niko iš Axrisi. Suliekite atsakingai.
Šaltiniai
- Weight-space programming studyRikiya Takehi and coauthors
- November 3 critique of bundled experiment conditionsMatthew Honnibal
- Pinned Qwen protocol and exact weight editsRikiya Takehi and coauthors
- Actual initial Qwen promptRikiya Takehi and coauthors
- Pinned smaller Gemma follow-upRikiya Takehi and coauthors
- Original model-card thinking-loop warningQwen
- Primary study discussionHacker News
- Critique discussionHacker News
- Cover portrait: Sam Altman, TechCrunch 2019 crop, CC BY 2.0; cropped, background removed, resized and flipped; no endorsementSteve Jennings/Getty Images for TechCrunch via Wikimedia Commons
- Released checkpoint and attributed external re-runRikiyaT on Hugging Face; re-run credited to akhaliq
- Portrait license: Creative Commons Attribution 2.0Creative Commons; Steve Jennings/Getty Images for TechCrunch portrait credit above
.jpg){kind=link}