GPT-6 Astra plástraði endalausa hugsun annars gervigreindar
Rannsókn tengd MIT notaði GPT-6 Astra til að breyta lóðum lítillar Qwen-gerðar og hjálpa fleiri svörum að ljúka.
Rannsókn tengd MIT notaði GPT-6 Astra til að breyta lóðum lítillar Qwen-gerðar og hjálpa fleiri svörum að ljúka. Tilkynnt stökk á stærðfræðiskori byggðist á markvissri lykkjuviðgerð, Python-greiningu og endurgjöf úr æfingum. Aðskilin eftirfylgni með minni Gemma-gerð fann engan staðfestan ávinning.
Lestu skriflegu útgáfuna (enska) ↗
Það sem þetta myndband fjallar um
- Tilkynnt Qwen-stigahækkun kom frá markvissri viðgerð á endurteknum röksemdafærslum; um þriðjungur breyttra svara náði enn hámarkslengd í aðalprótokollinum.
- Hallandi þjálfun var bönnuð, á meðan Python, æfingasvör og hópkeyrslumyndbandsendurgjöf voru leyfð í mörgum umferðum. Endanlegar matsspurningar voru upprunalega haldnar frá.
- Litlar hráþyngdar- og engar útkeyrslutilraunir notuðu mismunandi skilyrði. Kröfur þeirra ættu að halda sínu einstaka verkfæri, inntaki og grunnsviði.
- Matthew Honnibal gefur verkfærastýrðri verkfræði heiðurinn og mótmælir þeirri víðari mynd sem skapast af því að flokka tilraunirnar saman.
- Minni Gemma-eftirfylgnin notaði sína eigin uppsetningu og tókst ekki að staðfesta framför. Prófaðu hvaða bilun þyngdarbreyting lagar áður en þú notar hana á aðra gerð.
Spurningar og svör
Hvað breytti Astra til að bæta tilkynnt stærðfræðiskor Qwen?
Astra gerði markvissa þyngdarbreytingu sem hjálpaði Qwen að klára fleiri svör, samkvæmt rannsókn Rikiya Takehi og meðhöfunda. Hún fjarlægði endurtekningartengt framlag úr völdum dálkum í innri lögum. Tilkynnt stærðfræðistigahækkun notaði fasta matsreglur. Mörg breytt svör náðu enn hámarkslengd, svo niðurstaðan heldur verulegum leifarbilunartíðni.
Hvaða verkfæri og endurgjöf voru leyfð við breytingu á Qwen-þyngdum?
Python-greining, æfingavandamál með svörum og hópkeyrslumyndbandsendurgjöf voru leyfð í mörgum umferðum. Raunveruleg upphafshvatning vísindamannanna bannaði hallandi þjálfun og tilgreindi greiningar- og orsakatestráðgjöf, þar á meðal endurtekna hugsunarviðgerð sem hæfan markhóp. Þessi stuðningur hjálpaði Astra að velja beina breytingu á núverandi þyngdum. Ein fjárlagaeining gat innihaldið hundruð myndaðra svara.
Vorðu endanlegu matsvandamálin aðgengileg breytingarlíkaninu?
Vísindamennirnir segja að endanlegu matssettin hafi verið óséð af Astra. Æfingaendurgjöf kom frá þjálfunarhlutum og hjálpaði til við að velja breytinguna; sérstök geymd vandamál mældu framlagið síðan. Upphafshvatningin afhjúpaði viðmiðunarheiti og matsreglurnar. Þessi aðgreining lýsir því sem var haldið frá án þess að fullyrða að ritstjórinn hafi ekki haft allar upplýsingar um verkefnið.
Hvað gerðist í eftirfylgninni með minni Gemma-þyngdarbreytingu?
Eftirfylgnin með minni Gemma tókst ekki að staðfesta ávinning, samkvæmt Rikiya Takehi og meðhöfundum. Líkanið lykkjaðist sjaldan, og bilanir þess innihéldu rangar reikniaðgerðir og ógild algebra. Markvissar breytingar með æfingaendurgjöf færðu tilkynnt stærðfræðiskor í mesta lagi um einn punkt. Það notaði aðskilda uppsetningu, svo samanburðurinn gefur afmarkað mótdæmi frekar en jafnstýrða aflögun.
Hver var dómur The Daily Diff um fullyrðinguna um þyngdarbreytingar?
Dómur The Daily Diff var NEEDS REVIEW. Niko myndi taka markvissa lykkjuviðgerð alvarlega og prófa hana, en halda víðtækari fullyrðingum bundnum árangri umfram þessa bilunarham. Mótdæmi vísindamannanna sjálfra, með minni gerð, upplýsir þennan dóm. Þróunaraðilar ættu að bera kennsl á hvaða bilun breyting lagar og meta vistuðu þyngdirnar á eigin verkefnum áður en þeir fagna tilkynntum margfaldara.
Þýtt afrit
Þýtt úr upprunalegri enskri frásögn. Tiltækt hljóð og textar eru stjórnaðir af YouTube.
Hvers vegna stökk stærðfræðiskorið?
0:00 Gervigreind sem gerir aðra gervigreind sex sinnum snjallari hljómar eins og tafarlaus snilli. Stóra stigahækkun Astra kom frá því að hjálpa Qwen að klára svör sem hún hélt áfram að endurtaka. Hvað breyttist í þessu myndbandi? Hvaða hjálp fékk Astra? Og hversu langt nær lagfæringin? Qwen fór úr um átta prósentum í fjörutíu og átta prósent. Vísindamennirnir reyndu annað líkan með nánast engum lykkjum. Við munum sjá hvernig það gekk áður en dómur fellur.
0:22 Það er þriðjudagur, þriðji nóvember, og þetta er The Daily Diff. Forritun í þyngdarrými er nafn vísindamanna á því að biðja gervigreind um að skoða eða skrifa tölurn inni í tauganeti. Þessar tölur eru þyngdir hennar. Þetta MIT-tengda teymi notaði GPT sex Astra frá OpenAI til að breyta litlum Qwen tungumálalíkani, þar sem venjuleg þjálfun var bönnuð. Rikiya Takehi og meðhöfundar hans birtu rannsóknina á mánudag,
0:44 og spurðu hvort núverandi gervigreind gæti rökrætt um innri starfsemi annars netkerfis. Aðalniðurstaða þeirra er mjög smellanleg. Á stærðfræði fimm hundruð hækkaði Qwen úr um átta prósentum í fjörutíu og átta prósent. Næstum sex sinnum fleiri rétt svör. Qwen hélt áfram að hugsa þar til hún varð uppiskroppa með pláss til að svara.
Hvað var Qwen að gera rangt?
1:00 Í hugsunarham endurtók hún oft röksemdafærsluna sína. Ímyndaðu þér nemanda sem fyllir prófheftið af vinnu þar til bjallan hringir. Merkirinn þarf samt svar. Flest upprunaleg svör náðu lengdartakmarkinu. Astra fann endurtekningarstefnu í tveimur innri lögum, fjarlægði síðan framlag hennar úr völdum þyngdardálkum. Eftir þá breytingu náðu fleiri svör niðurstöðu. Um þriðjungur náði enn hámarkinu í tilkynntu prófi.
1:22 Prófheftið fékk loksins síðustu línu. Í dag mótmælti Matthew Honnibal, skapari spaCy og meðstofnandi Explosion,
Hvað mótmælir gagnrýnandinn í dag?
1:28 framsetningunni. Hann segir að lesendur geti sameinað mismunandi skilyrði tilraunanna í eina mynd af einni óvenjulegri tækni. Mótmæli hans varða sameiginlega sögu þeirra. Við getum athugað skilyrðin sjálf. Qwen tilraunin gaf Astra Python fartölvu yfir þyngdirnar og æfinga
Hvaða hjálp fékk Astra í raun og veru?
1:44 vandamál með svörum. Í mörgum umferðum skoðaði hún innri virkjanir og bar saman upprunalegar og breyttar útgáfur. Endanlegt fjárlagaheimild leyfði fimmtíu hópkeyrslur líkana. Hver kynslóðarhrúga gæti innihaldið hundruð svara. Æfingargögnin komu úr þjálfunarhlutum. Vísindamennirnir segja að Astra hafi aldrei séð endanlegu matssettin. Endurgjöf hjálpaði til við að velja breytinguna; geymd vandamál mældu hana síðan. Sýnatökustillingar voru óbreyttar milli upprunalegs og breytts Qwen,
2:09 sem gerir samanburð á stigum þessa prótokolls túlkanlegan. Fyrsta hvetjan gaf henni hjálpsama rannsóknarstofueftirlitsmann. Greina bilanir, finna ábyrga íhluti, bera saman á sömu vandamálum og prófa nokkra styrkleika. Þar var sérstaklega minnst á endurtekna hugsun sem viðgerð sem telst. Framhaldsnemar ættu að semja um þennan móttökupakka. Þetta er áhrifamikil viðgerð.
Hversu lítil var raunverulega viðgerðin?
2:28 Markviss breyting Astra snerti um hundrað þrjátíu og eitt þúsund þyngdir. Það er um sextán þúsundustu hlutar prósents af líkaninu. Þyngdarskráin breyttist beint. Hallandi þjálfun var áfram bönnuð; núverandi líkan svaraði eftir að breytingatímabili Astra lauk. Ávinningurinn náði einnig til leiðbeiningarleiðréttingar. Mér líkar við hagnýta þýðinguna. Líkan getur búið yfir gagnlegri vinnu sem bilun þess heldur áfram að grafa undan.
2:48 Að laga þá bilun getur endurheimt nothæf svör. Að klára telst. Honnibal gefur verkfærastýrðri vinnu heiðurinn fyrir að framkvæma verkefni sem mannlegur vélrænn lærdómstæknimaður gæti gert. Það hefur afleiðingar fyrir umboðsmann. Kvörtun hans er sú að litlu hráa tölurnar og stærri Python-aðstoðuðu viðgerðirnar bjóða upp á víðari niðurstöðu þegar þær eru flokkaðar saman. Tökum pínulitlu leikjanetin.
Hvaða tilraunir voru í raun án verkfæra?
3:09 Í einni tilraun las Astra hráar tölur þeirra og greindi rétt hvaða leik hvert net hafði lært. Verkfæri voru bönnuð. Í annarri skrifaði hún nýjar leikjaþyngdir frá grunni með því að nota reglur og frumkóða, án æfingarútkastana. Þetta eru aðskildar sýningar með aðskildum sönnunargögnum. Netkerfi Astra sigruðu grunnlíkan sem þjálfað var í hundrað milljón skrefum í öllum þremur leikjunum. Gegn lengri þjálfuðu grunnlíkaninu tapaði hún í Seaquest og
3:32 Asterix, en vann Breakout. Breyttu samanburðardálknum, og siguræðan þarf að breyta. Þægilega er breyting efni dagsins. Fyrir víðtækari fullyrðingu myndum við vilja endurbætur á líkönum með mismunandi bilanir.
Hvað þyrfti víðtækari fullyrðing?
3:44 Fylgstu með því sem ritstjórinn sá og hvað taldi árangur. Qwen líkanakortið varar nú þegar við hugsunarlykkjum. Að fjarlægja þessa þekktu hindrun hefur ákveðinn upphafspunkt. Þeim til heiðurs birta höfundarnir óþægilegu eftirfylgnina sjálfir. Þeir útskýra að það að stöðva lykkjur gerir Qwen kleift að klára svör sem hún gat þegar unnið úr. Loggar þeirra innihalda hvatir, endurgjöf og breytingar. Við getum skoðað afrekið og spurt erfiðari spurningar.
Hvað gerðist með líkanið sem sjaldan lokaðist?
4:06 Nú annað líkan, minni Gemma í sinni eigin eftirfylgni. Hún lykkjaðist sjaldan, svo bilanir hennar voru venjulegar rangar reikniaðgerðir og ógild algebra. Astra reyndi markvissar þyngdarbreytingar með æfingaendurgjöf aftur. Engar færðu stærðfræðistig hennar um meira en um einn punkt, og ávinningur var ekki staðfestur. Hin árangursríka Qwen viðgerð hafði hindrun til að fjarlægja. Reiknivillur Gemmu lifðu af. Það er gagnlega spurningin fyrir þróunaraðila.
4:28 Hvaða bilun lagaði breytingin, og hefur líkan þitt hana í raun og veru? Prófaðu vistuðu þyngdirnar á þínum eigin verkefnum áður en þú fagnar margfaldaranum. Viðgerð flöskuháls getur skipt gríðarlegu máli á meðan næsti flöskuháls helst nákvæmlega þar sem hann var. Ef þú vilt frekar lesa þetta en heyra mig segja það, þá lendir diff í pósthólfinu þínu á hverjum morgni, ókeypis á the daily diff dot dev, hlekkur hér að neðan.
Myndi ég SHIP IT fullyrðinguna um breytingar á lóðum?
4:47 Svo, dómur dagsins er NEEDS REVIEW. Ég myndi taka lykkjuviðgerðina alvarlega og prófa hana. Ég myndi halda víðtækari fullyrðingum bundnum árangri umfram þessa bilunarham. Mótdæmi höfundanna sjálfra er gagnlegasta línan í diff. Og þetta er diff fyrir daginn í dag. Ég er Niko frá Axrisi. Sameinið á ábyrgan hátt.
Heimildir
- Weight-space programming studyRikiya Takehi and coauthors
- November 3 critique of bundled experiment conditionsMatthew Honnibal
- Pinned Qwen protocol and exact weight editsRikiya Takehi and coauthors
- Actual initial Qwen promptRikiya Takehi and coauthors
- Pinned smaller Gemma follow-upRikiya Takehi and coauthors
- Original model-card thinking-loop warningQwen
- Primary study discussionHacker News
- Critique discussionHacker News
- Cover portrait: Sam Altman, TechCrunch 2019 crop, CC BY 2.0; cropped, background removed, resized and flipped; no endorsementSteve Jennings/Getty Images for TechCrunch via Wikimedia Commons
- Released checkpoint and attributed external re-runRikiyaT on Hugging Face; re-run credited to akhaliq
- Portrait license: Creative Commons Attribution 2.0Creative Commons; Steve Jennings/Getty Images for TechCrunch portrait credit above
.jpg){kind=link}