GPT-6 Astra rregulloi mendimin e pafundmë të një AI-je tjetër
Një studim i lidhur me MIT përdori GPT-6 Astra për të ndryshuar peshat e një modeli të vogël Qwen dhe për të ndihmuar më shumë përgjigje të përfundonin.
Një studim i lidhur me MIT përdori GPT-6 Astra për të ndryshuar peshat e një modeli të vogël Qwen dhe për të ndihmuar më shumë përgjigje të përfundonin. Rritja e raportuar e rezultatit të tij në matematikë varej nga një riparim i synuar i lakut, analiza Python dhe reagimet nga praktika. Një ndjekje e veçantë e një modeli më të vogël Gemma nuk gjeti asnjë fitim të qëndrueshëm.
Lexoni edicionin e shkruar (anglisht) ↗
Çfarë mbulon kjo video
- Rritja e raportuar e rezultatit të Qwen erdhi nga një riparim i synuar i arsyetimit përsëritës; rreth një e treta e përgjigjeve të redaktuara ende arrinin kufirin e gjatësisë në protokollin kryesor.
- Trajnimi me gradient u ndalua, ndërsa Python, përgjigjet praktike dhe reagimet e grupuara të ekzekutimit të modelit u lejuan në shumë rrotullime. Pyetjet përfundimtare të vlerësimit u deklaruan të mbajtura jashtë nga burimi.
- Eksperimentet e vogla me pesha të papërpunuara dhe pa lojëra pa lëshime përdorën kushte të ndryshme. Pretendimet e tyre duhet të ruajnë fushën e tyre individuale të veglave, hyrjeve dhe bazave.
- Matthew Honnibal i jep meritat inxhinierisë së asistuar nga vegla dhe kundërshton përshtypjen më të gjerë të krijuar nga bashkimi i eksperimenteve.
- Ndjekja e modelit më të vogël Gemma përdori konfigurimin e saj dhe nuk arriti të vendosë një përmirësim. Testoni se cilin dështim rregullon një ndryshim peshe para se ta aplikoni në një model tjetër.
Pyetje dhe përgjigje
Çfarë ndryshoi Astra për të përmirësuar rezultatin e raportuar të Qwen në matematikë?
Astra bëri një ndryshim të synuar peshe që ndihmoi Qwen të përfundonte më shumë përgjigje, sipas studimit të Rikiya Takehi dhe bashkëautorëve. Ajo hoqi një kontribut të lidhur me përsëritjen nga kolonat e zgjedhura në shtresat e brendshme. Rritja e raportuar e rezultatit në matematikë përdori një protokoll vlerësimi të fiksuar. Shumë përgjigje të redaktuara ende arrinin kufirin e gjatësisë, kështu që rezultati ruan një shkallë të konsiderueshme dështimi residual.
Cilat mjete dhe reagime u lejuan gjatë ndryshimit të peshës së Qwen?
Analiza Python, problemet praktike me përgjigje dhe reagimet e grupuara të ekzekutimit të modelit u lejuan në shumë rrotullime. Prompti fillestar aktual i studiuesve ndalonte trajnimin me gradient dhe specifikonte këshilla diagnostikuese dhe testuese kauzale, duke përfshirë riparimin e mendimit përsëritës si një objektiv të përshtatshëm. Kjo mbështetje ndihmoi Astrën të zgjidhte një ndryshim të drejtpërdrejtë në peshat ekzistuese. Një njësi buxheti mund të përmbante qindra përgjigje të gjeneruara.
A ishin në dispozicion të modelit redaktues problemet përfundimtare të vlerësimit?
Studiuesit thonë se grupet përfundimtare të vlerësimit mbetën të pa parë nga Astra. Reagimet nga praktika erdhën nga problemet e ndarjes së trajnimit dhe ndihmuan në zgjedhjen e redaktimit; probleme të veçanta të mbajtura jashtë matën modelin e dorëzuar më pas. Prompti fillestar zbuloi emrat e referencave dhe protokollin e vlerësimit. Ky dallim përshkruan atë që u fsheh pa pretenduar se redaktori nuk kishte të gjithë informacionin rreth detyrës.
Çfarë ndodhi në ndjekjen e ndryshimit të peshës së modelit më të vogël Gemma?
Ndjekja e modelit më të vogël Gemma nuk arriti të vendosë një fitim, sipas Rikiya Takehi dhe bashkëautorëve. Modeli rrallë herë bënte lak, dhe dështimet e tij përfshinin aritmetikë të gabuar dhe algjebër të pavlefshme. Ndryshimet e synuara me reagime nga praktika lëvizën rezultatin e raportuar në matematikë me më së shumti rreth një pikë. Ai përdori një konfigurim të veçantë, kështu që krahasimi siguron një kundërshembull të kufizuar, jo një ablacion të kontrolluar në mënyrë të barabartë.
Cili ishte verdikti i The Daily Diff për pretendimin e ndryshimit të peshës?
Verdikti i The Daily Diff ishte NEEDS REVIEW. Niko do ta merrte seriozisht riparimin e synuar të lakut dhe do ta testoja, ndërsa do t'i mbaja pretendimet më të gjera të kufizuara në suksesin përtej atij modaliteti dështimi. Kundërshembulli i vetë studiuesve me model më të vogël informon këtë gjykim. Zhvilluesit duhet të identifikojnë dështimin që rregullon një ndryshim dhe të vlerësojnë peshat e ruajtura në detyrat e tyre para se të festojnë një shumëzues të raportuar.
Transkript i përkthyer
Përkthyer nga tregimi origjinal në anglisht. Audio dhe titrat e disponueshme kontrollohen nga YouTube.
Pse u rrit rezultati në matematikë?
0:00 Një AI që bën një AI tjetër gjashtë herë më të zgjuar tingëllon si gjenialitet i menjëhershëm. Kërcimi i madh i rezultatit të Astrës erdhi nga ndihma ndaj Qwen për të përfunduar përgjigjet që ai vazhdonte të përsëriste. Në këtë video, çfarë ndryshoi? Çfarë ndihme mori Astra? Dhe sa larg udhëton rregullimi? Qwen kaloi nga rreth tetë për qind në dyzet e tetë për qind. Studiuesit provuan një model të dytë me pothuajse asnjë lak. Do të shohim se si shkoi kjo para verdiktit.
0:22 Është e martë, 3 nëntor, dhe ky është The Daily Diff. Programimi i hapësirës së peshave është emri i studiuesve për t'i kërkuar një AI-je të inspektojë ose të shkruajë numrat brenda një rrjeti nervor. Këta numra janë peshat e tij. Ky ekip i lidhur me MIT përdori GPT-6 Astra të OpenAI për të ndryshuar një model të vogël gjuhe Qwen, me ndalimin e trajnimit të zakonshëm. Rikiya Takehi dhe bashkëautorët e tij publikuan studimin të hënën,
0:44 duke pyetur nëse një AI ekzistuese mund të arsyetonte rreth të brendshmeve të një rrjeti tjetër. Rezultati i tyre kryesor është shumë i klikueshëm. Në matematikë pesëqind, Qwen u rrit nga rreth tetë për qind në dyzet e tetë për qind. Pothuajse gjashtë herë përgjigjet e sakta. Qwen vazhdoi të mendonte derisa i mbaroi hapësira për t'u përgjigjur.
Çfarë po bënte gabim Qwen?
1:00 Në modalitetin e të menduarit, shpesh përsëriste arsyetimin e tij. Imagjinoni një student që mbush fletoren e provimit me punë derisa të bjerë zilja. Shënuesi ende ka nevojë për një përgjigje. Shumica e përgjigjeve origjinale arritën kufirin e gjatësisë. Astra gjeti një drejtim përsëritjeje në dy shtresa të brendshme, më pas hoqi kontributin e tij nga kolonat e zgjedhura të peshave. Pas këtij ndryshimi, më shumë përgjigje arritën në një përfundim. Rreth një e treta ende arritën kufirin në testin e raportuar.
1:22 Fletorja e provimit më në fund mori një rresht të fundit. Sot, Matthew Honnibal, krijuesi i spaCy dhe bashkëthemelues i Explosion,
Çfarë kundërshton kritiku i sotëm?
1:28 kundërshtoi prezantimin. Ai thotë se lexuesit mund të kombinojnë kushtet e ndryshme të eksperimenteve në një përshtypje të një teknike të jashtëzakonshme. Kundërshtimi i tij ka të bëjë me historinë e tyre të kombinuar. Ne mund t'i kontrollojmë vetë kushtet. Eksperimenti Qwen i dha Astrës një fletore Python mbi peshat dhe problemet
Çfarë ndihme mori Astra në të vërtetë?
1:44 praktike me përgjigjet. Gjatë shumë rrotullimesh, ajo inspektoi aktivizimet e brendshme dhe krahasoi versionet origjinale dhe të redaktuara. Buxheti final lejonte pesëdhjetë grupe ekzekutimesh të modelit. Çdo grup gjenerimi mund të përmbante qindra përgjigje. Të dhënat e praktikës erdhën nga ndarjet e trajnimit. Studiuesit thonë se Astra nuk i pa kurrë grupet përfundimtare të vlerësimit. Reagimet ndihmuan në zgjedhjen e redaktimit; problemet e mbajtura jashtë e matën atë më pas. Cilësimet e mostrimit mbetën fikse midis Qwen origjinal dhe të redaktuar,
2:09 duke e bërë krahasimin e rezultatit të këtij protokolli të interpretueshëm. Prompti i parë i dha atij një mbikëqyrës laboratori të dobishëm. Diagnostikoni dështimet, gjeni komponentët përgjegjës, krahasojini në të njëjtat probleme dhe testoni disa pika të forta. Ai përmendi shprehimisht mendimin përsëritës si një riparim që vlen. Studentët e doktoraturës duhet të negociojnë për këtë paketë orientimi. Ky është një riparim mbresëlënës.
Sa i vogël ishte riparimi aktual?
2:28 Redaktimi i synuar i Astrës preku rreth njëqind e tridhjetë e një mijë pesha. Kjo është rreth gjashtëmbëdhjetë të mijëtat e një për qind e modelit. Skedari i peshave ndryshoi drejtpërdrejt. Trajnimi me gradient mbeti i ndaluar; modeli ekzistues bëri përgjigjet pasi sesioni i redaktimit të Astrës përfundoi. Fitimi arriti gjithashtu udhëzimet pasuese. Më pëlqen implikimi praktik. Një model mund të zotërojë punë të dobishme që mënyra e tij e dështimit vazhdon ta varrosë.
2:48 Rregullimi i këtij dështimi mund të rikuperojë përgjigje të përdorshme. Përfundimi vlen. Honnibal i jep meritat punës së asistuar nga vegla si kryerje detyrash që një inxhinier njerëzor i mësimit të makinerive mund t'i bënte. Kjo është e rëndësishme për një agjent. Ankesa e tij është se demonstratat e vogla me numra të papërpunuar dhe riparimet më të mëdha të asistuara nga Python ftojnë një përfundim më të gjerë kur bashkohen. Merrni rrjetet e vogla të lojës.
Cilët eksperimente nuk kishin vërtet mjete?
3:09 Në një eksperiment, Astra lexoi numrat e tyre të papërpunuar dhe identifikoi saktë se cilën lojë kishte mësuar çdo rrjet. Veglat ishin të ndaluara. Në një tjetër, ajo shkroi pesha të reja të lojërave nga e para duke përdorur rregullat dhe kodin burimor, pa lëshime praktike. Këto janë demonstrata të veçanta me prova të veçanta. Rrjetet e Astrës mundën bazën e trajnuar për njëqind milionë hapa në të gjitha tre lojërat. Kundër bazës së trajnuar më gjatë, ajo humbi në Seaquest dhe
3:32 Asterix, ndërsa fitoi Breakout. Ndryshoni kolonën e krahasimit, dhe fjalimi i fitores ka nevojë për redaktim. Në mënyrë të përshtatshme, redaktimi është tema e sotme. Për një pretendim më të gjerë, do të dëshironim përmirësime në të gjithë modelet me dështime të ndryshme.
Çfarë do të kërkonte një pretendim më i përgjithshëm?
3:44 Ndiqni atë që pa redaktori dhe çfarë llogaritej si sukses. Karta e modelit të Qwen tashmë paralajmëron për laket e të menduarit. Heqja e kësaj pengese të njohur ka një pikënisje të veçantë. Për meritat e tyre, autorët publikojnë vetë ndjekjen e pakëndshme. Ata shpjegojnë se ndalimi i lakut e lë Qwen të përfundojë përgjigjet që ai tashmë mund t'i zgjidhte. Regjistrat e tyre përfshijnë nxitjet, reagimet dhe ndryshimet. Ne mund të shqyrtojmë arritjen dhe të bëjmë një pyetje më të vështirë.
Çfarë ndodhi me modelin që rrallë herë bënte lak?
4:06 Tani modeli i dytë, një Gemma më e vogël në konfigurimin e saj të ndjekjes. Ajo rrallë herë bënte lak, kështu që dështimet e saj ishin aritmetikë e gabuar e zakonshme dhe algjebër e pavlefshme. Astra provoi përsëri ndryshime të synuara të peshave me reagime nga praktika. Asnjëra nuk e lëvizi rezultatin e saj në matematikë me më shumë se rreth një pikë, dhe një fitim nuk u vendos. Riparimi i suksesshëm i Qwen kishte një pengesë për të hequr. Gabimet aritmetike të Gemmës mbijetuan. Kjo është pyetja e dobishme për zhvilluesit.
4:28 Cilën dështim rregulloi ndryshimi, dhe a e ka vërtet modeli juaj? Testoni peshat e ruajtura në detyrat tuaja para se të festoni shumëzuesin. Një pengesë e riparuar mund të ketë rëndësi jashtëzakonisht shumë, ndërsa pengesa tjetër mbetet pikërisht aty ku ishte. Nëse preferoni ta lexoni këtë sesa të më dëgjoni duke e thënë, diff-i arrin në kutinë tuaj hyrëse çdo mëngjes, falas në thedailydiff.dev, linku më poshtë.
A do ta SHIP IT pretendimin për ndryshimin e peshave?
4:47 Pra, verdikti i sotëm është NEEDS REVIEW. Do ta merrja seriozisht riparimin e lakut dhe do ta testoja. Do t'i mbaja pretendimet më të gjera të kufizuara në suksesin përtej atij modaliteti dështimi. Kundërshembulli i vetë autorëve është rreshti më i dobishëm në diff. Dhe ky është diff-i për sot. Jam Niko nga Axrisi. Bashkohuni me përgjegjësi.
Burimet
- Weight-space programming studyRikiya Takehi and coauthors
- November 3 critique of bundled experiment conditionsMatthew Honnibal
- Pinned Qwen protocol and exact weight editsRikiya Takehi and coauthors
- Actual initial Qwen promptRikiya Takehi and coauthors
- Pinned smaller Gemma follow-upRikiya Takehi and coauthors
- Original model-card thinking-loop warningQwen
- Primary study discussionHacker News
- Critique discussionHacker News
- Cover portrait: Sam Altman, TechCrunch 2019 crop, CC BY 2.0; cropped, background removed, resized and flipped; no endorsementSteve Jennings/Getty Images for TechCrunch via Wikimedia Commons
- Released checkpoint and attributed external re-runRikiyaT on Hugging Face; re-run credited to akhaliq
- Portrait license: Creative Commons Attribution 2.0Creative Commons; Steve Jennings/Getty Images for TechCrunch portrait credit above
.jpg){kind=link}