GPT-6 Astra opravila nekonečné premýšľanie inej umelej inteligencie

Čo toto video pokrýva

• Zvýšenie skóre Qwen bolo výsledkom cielenej opravy opakujúceho sa uvažovania; približne tretina upravených odpovedí stále dosiahla limit dĺžky v primárnom protokole.
• Trénovanie gradientu bolo zakázané, zatiaľ čo Python, praktické odpovede a dávková spätná väzba z behu modelu boli povolené v mnohých kolách. Otázky záverečného hodnotenia boli podľa zdroja vyradené.
• Malé experimenty s hrubými váhami a bez spustenia hry používali odlišné podmienky. Ich tvrdenia by si mali zachovať svoj individuálny nástroj, vstup a základný rozsah.
• Matthew Honnibal pripisuje zásluhy nástrojovo podporovanému inžinierstvu a spochybňuje širší dojem, ktorý vznikol spájaním experimentov.
• Menšie následné sledovanie Gemma použilo vlastné nastavenie a nedokázalo preukázať zlepšenie. Otestujte, ktorú chybu opravuje úprava váh, predtým než ju aplikujete na iný model.

Preložený prepis

Preložené z pôvodného anglického rozprávania. Dostupný zvuk a titulky sú kontrolované službou YouTube.

Prečo skočilo matematické skóre?

0:00 Umelá inteligencia, ktorá urobí inú umelú inteligenciu šesťkrát múdrejšou, znie ako okamžitý génius. Veľký skok v skóre Astry prišiel z pomoci Qwen dokončiť odpovede, ktoré neustále opakovala. Čo sa v tomto videu zmenilo? Akú pomoc Astra dostala? A ako ďaleko sa oprava šíri? Qwen sa zlepšil z približne ôsmich percent na štyridsaťosem percent. Výskumníci vyskúšali druhý model s takmer žiadnymi slučkami. Pred verdiktom uvidíme, ako to dopadlo.

0:22 Je utorok, tretieho novembra, a toto je The Daily Diff. Programovanie priestoru váh je názov, ktorý výskumníci používajú pre požiadanie umelej inteligencie, aby skontrolovala alebo napísala čísla vo vnútri neurónovej siete. Tieto čísla sú jej váhy. Tím spojený s MIT použil GPT-6 Astra od OpenAI na úpravu malého jazykového modelu Qwen, pričom bežné trénovanie bolo zakázané. Rikiya Takehi a jeho spoluautori publikovali štúdiu v pondelok,

0:44 s otázkou, či by existujúca umelá inteligencia mohla uvažovať o vnútorných mechanizmoch inej siete. Ich hlavný výsledok je veľmi klikateľný. Na matematike päťsto sa Qwen zvýšil z približne ôsmich percent na štyridsaťosem percent. Takmer šesťkrát viac správnych odpovedí. Qwen neustále premýšľala, kým jej nedošiel priestor na odpoveď.

Čo Qwen robil zle?

1:00 V režime premýšľania často opakovala svoje uvažovanie. Predstavte si študenta, ktorý vypĺňa skúšobný zošit prácou, kým nezazvoní zvonec. Značka stále potrebuje odpoveď. Väčšina pôvodných odpovedí dosiahla limit dĺžky. Astra lokalizovala smer opakovania v dvoch vnútorných vrstvách, potom odstránila jeho príspevok z vybraných stĺpcov váh. Po tejto úprave viac odpovedí dospelo k záveru. Približne tretina stále dosiahla limit v ohlásenom teste.

1:22 Skúšobný zošit konečne dostal posledný riadok. Dnes Matthew Honnibal, tvorca spaCy a spoluzakladateľ Explosion,

Čo dnes kritik spochybňuje?

1:28 spochybnil prezentáciu. Hovorí, že čitatelia môžu spojiť rôzne podmienky experimentov do dojmu jednej mimoriadnej techniky. Jeho námietka sa týka ich spoločného príbehu. Podmienky si môžeme skontrolovať sami. Experiment Qwen dal Astre notebook Pythonu cez váhy a praktické

Akú pomoc Astra skutočne dostala?

1:44 problémy s odpoveďami. Počas mnohých kôl kontrolovala vnútorné aktivácie a porovnávala pôvodné a upravené verzie. Konečný rozpočet umožnil päťdesiat dávok spustení modelu. Každá dávka generácie mohla obsahovať stovky odpovedí. Dáta z praxe pochádzali z tréningových rozdelení. Výskumníci tvrdia, že Astra nikdy nevidela konečné hodnotiace sady. Spätná väzba pomohla vybrať úpravu; problémy, ktoré neboli súčasťou tréningu, ju potom merali. Nastavenia vzorkovania zostali pevné medzi pôvodným a upraveným Qwenom,

2:09 čo robí porovnanie skóre tohto protokolu interpretovateľným. Prvá výzva jej dala užitočného laboratórneho supervízora. Diagnostikovať zlyhania, nájsť zodpovedné komponenty, porovnať na rovnakých problémoch a otestovať niekoľko síl. Výslovne spomenula opakujúce sa myslenie ako opravu, ktorá sa počíta. Študenti doktorandského štúdia by mali rokovať o tomto balíku pre vstup do práce. To je pôsobivá oprava.

Aká malá bola skutočná oprava?

2:28 Cieľová úprava Astry sa dotkla približne stotridsaťjeden tisíc váh. To je asi šestnásť tisícin percenta modelu. Súbor váh sa zmenil priamo. Trénovanie gradientu zostalo zakázané; existujúci model odpovedal po ukončení editačnej relácie Astry. Zisk sa dosiahol aj v oblasti riadenia inštrukcií. Páči sa mi praktický dôsledok. Model môže obsahovať užitočnú prácu, ktorú jeho režim zlyhania neustále pochováva.

2:48 Oprava tohto zlyhania môže obnoviť použiteľné odpovede. Dokončenie sa počíta. Honnibal uznáva prácu s nástrojmi ako vykonávanie úloh, ktoré by mohol urobiť ľudský inžinier strojového učenia. To má pre agenta dôsledky. Jeho sťažnosť spočíva v tom, že malé ukážky surových čísel a väčšie opravy s pomocou Pythonu spojené dohromady vyvolávajú širší záver. Vezmite si malé herné siete.

Ktoré experimenty skutočne nemali nástroje?

3:09 V jednom experimente Astra prečítala ich surové čísla a správne identifikovala, ktorú hru sa každá sieť naučila. Nástroje boli zakázané. V inom napísala nové váhy na hranie hier od nuly pomocou pravidiel a zdrojového kódu, bez praktických spustení. Sú to samostatné demonštrácie so samostatnými dôkazmi. Siete Astry porazili základnú líniu trénovanú sto miliónov krokov vo všetkých troch hrách. Proti dlhšie trénovanej základnej línii prehrali v Seaquest a

3:32 Asterix, pričom vyhrali Breakout. Zmeňte stĺpec porovnania a víťazná reč potrebuje úpravu. Výhodne je úprava dnešnou témou. Pre širšie tvrdenie by sme chceli zlepšenia naprieč modelmi s rôznymi zlyhaniami.

Čo by potrebovalo všeobecnejšie tvrdenie?

3:44 Sledujte, čo editor videl a čo sa považovalo za úspech. Karta modelu Qwen už varuje pred slučkami myslenia. Odstránenie tejto známej prekážky má konkrétny východiskový bod. K ich cti, autori sami publikujú nepríjemné následné zistenia. Vysvetľujú, že zastavenie slučiek umožňuje Qwenu dokončiť odpovede, ktoré už mohol vyriešiť. Ich záznamy zahŕňajú výzvy, spätnú väzbu a úpravy. Môžeme preskúmať úspech a položiť ťažšiu otázku.

Čo sa stalo s modelom, ktorý sa málokedy opakoval?

4:06 Teraz druhý model, menšia Gemma vo vlastnom následnom nastavení. Zriedka sa opakovala, takže jej chyby boli obyčajné nesprávne aritmetické operácie a neplatná algebra. Astra opäť vyskúšala cielené úpravy váh so spätnou väzbou z praxe. Žiadna nezmenila jej matematické skóre o viac ako približne bod, a zisk nebol preukázaný. Úspešná oprava Qwen mala prekážku, ktorú bolo treba odstrániť. Aritmetické chyby Gemmy prežili. To je užitočná otázka pre vývojárov.

4:28 Ktorú chybu oprava opravila a má váš model skutočne túto chybu? Pred oslavou multiplikátora otestujte uložené váhy na svojich vlastných úlohách. Opravené úzke miesto môže mať obrovský význam, zatiaľ čo ďalšie úzke miesto zostáva presne tam, kde bolo. Ak si to radšej prečítate, než aby ste ma počúvali, rozdiel sa vám dostane do doručenej pošty každé ráno, zadarmo na the daily diff dot dev, odkaz nižšie.

Schválil by som tvrdenie o úprave váh?

4:47 Takže dnešný verdikt je POTREBNÁ KONTROLA. Opravu slučky by som bral vážne a otestoval by som ju. Širšie tvrdenia by som obmedzil na úspech nad rámec tohto režimu zlyhania. Vlastný protipríklad autorov je najužitočnejším riadkom v rozdiele. A to je dnešný rozdiel. Som Niko z Axrisi. Zlučujte zodpovedne.

Zdroje

1. Weight-space programming studyRikiya Takehi and coauthors
2. November 3 critique of bundled experiment conditionsMatthew Honnibal
3. Pinned Qwen protocol and exact weight editsRikiya Takehi and coauthors
4. Actual initial Qwen promptRikiya Takehi and coauthors
5. Pinned smaller Gemma follow-upRikiya Takehi and coauthors
6. Original model-card thinking-loop warningQwen
7. Primary study discussionHacker News
8. Critique discussionHacker News
9. Cover portrait: Sam Altman, TechCrunch 2019 crop, CC BY 2.0; cropped, background removed, resized and flipped; no endorsementSteve Jennings/Getty Images for TechCrunch via Wikimedia Commons
10. Released checkpoint and attributed external re-runRikiyaT on Hugging Face; re-run credited to akhaliq
11. Portrait license: Creative Commons Attribution 2.0Creative Commons; Steve Jennings/Getty Images for TechCrunch portrait credit above