GPT-6 Astra corrigiu o pensamento sem fim de outra IA

O que este vídeo aborda

• O aumento da pontuação Qwen relatado resultou de uma reparação direcionada ao raciocínio repetitivo; cerca de um terço das respostas editadas ainda atingiu o limite de comprimento no protocolo primário.
• O treino de gradiente foi proibido, enquanto Python, respostas práticas e feedback de execuções de modelo em lote foram permitidos ao longo de várias "voltas". As perguntas de avaliação final foram declaradas como "held out" pela fonte.
• As experiências com "raw-weight" pequeno e sem "rollout" usaram condições diferentes. As suas afirmações devem reter o seu âmbito individual de ferramenta, entrada e "baseline".
• Matthew Honnibal atribui o crédito à engenharia assistida por ferramentas e contesta a impressão mais ampla produzida ao agrupar as experiências.
• O seguimento com o modelo Gemma mais pequeno usou a sua própria configuração e não conseguiu estabelecer uma melhoria. Teste qual falha uma edição de peso repara antes de a aplicar a outro modelo.

Transcrição traduzida

Traduzido da narração original em inglês. Áudio e legendas disponíveis são controlados pelo YouTube.

Porque é que a pontuação de matemática aumentou?

0:00 Uma IA tornando outra IA seis vezes mais inteligente parece um génio instantâneo. O grande salto de pontuação de Astra veio de ajudar Qwen a terminar respostas que continuava a repetir. Neste vídeo, o que mudou? Que ajuda é que Astra recebeu? E até que ponto a correção se propaga? Qwen passou de cerca de oito por cento para quarenta e oito por cento. Os pesquisadores tentaram um segundo modelo com quase nenhuns "loops". Veremos como isso correu antes do veredicto.

0:22 É terça-feira, três de novembro, e este é The Daily Diff. Programação no "espaço de pesos" é o nome que os pesquisadores dão para pedir a uma IA para inspecionar ou escrever os números dentro de uma rede neural. Esses números são os seus pesos. Esta equipa afiliada ao MIT usou o GPT-6 Astra da OpenAI para editar um pequeno modelo de linguagem Qwen, com o treino "ordinário" proibido. Rikiya Takehi e os seus coautores publicaram o estudo na segunda-feira,

0:44 perguntando se uma IA existente poderia "raciocinar" sobre os "internals" de outra rede. O resultado principal deles é muito "clicável". No "math five hundred", Qwen subiu de cerca de oito por cento para quarenta e oito por cento. Quase seis vezes as respostas corretas. Qwen continuava a pensar até ficar sem espaço para responder.

O que estava Qwen a fazer de errado?

1:00 No modo de pensamento, muitas vezes repetia o seu raciocínio. Imagine um estudante a preencher o caderno de exames com "working" até a campainha tocar. O "examinador" ainda precisa de uma resposta. A maioria das respostas originais atingiu o limite de comprimento. Astra localizou uma direção de repetição em duas camadas internas, e depois removeu a sua contribuição de colunas de peso selecionadas. Após essa edição, mais respostas chegaram a uma conclusão. Cerca de um terço ainda atingiu o limite no teste relatado.

1:22 O caderno de exames finalmente teve uma última linha. Hoje, Matthew Honnibal, criador do spaCy e cofundador da Explosion,

O que o crítico de hoje contesta?

1:28 desafiou a apresentação. Ele diz que os leitores podem combinar as diferentes condições das experiências numa impressão de uma técnica extraordinária. A sua objeção diz respeito à sua história combinada. Podemos verificar as condições por nós mesmos. A experiência Qwen deu a Astra um "Python notebook" sobre os pesos e problemas

Que ajuda é que Astra realmente recebeu?

1:44 de prática com respostas. Ao longo de muitas "voltas", inspecionou as ativações internas e comparou as versões originais e editadas. O orçamento final permitiu cinquenta lotes de execuções de modelo. Cada lote de geração podia conter centenas de respostas. Os dados de prática vieram de divisões de treino. Os pesquisadores dizem que Astra nunca viu os conjuntos de avaliação finais. O feedback ajudou a escolher a edição; problemas "held-out" a mediram depois. As configurações de "sampling" permaneceram fixas entre Qwen original e editado,

2:09 tornando a comparação de pontuação deste protocolo interpretável. O primeiro "prompt" deu-lhe um supervisor de laboratório útil. Diagnosticar falhas, encontrar os componentes responsáveis, comparar nos mesmos problemas e testar várias forças. Mencionou explicitamente o pensamento repetitivo como uma reparação que conta. Estudantes de pós-graduação deveriam negociar este pacote de "onboarding". Essa é uma reparação impressionante.

Quão pequena foi a reparação real?

2:28 A edição direcionada de Astra tocou aproximadamente cento e trinta e um mil pesos. Isso é cerca de dezasseis milésimos de um por cento do modelo. O ficheiro de peso mudou diretamente. O treino de gradiente permaneceu proibido; o modelo existente fazia as respostas depois que a sessão de edição de Astra terminava. O ganho também atingiu o "instruction following". Gosto da implicação prática. Um modelo pode possuir trabalho útil que o seu modo de falha continua a enterrar.

2:48 Corrigir essa falha pode recuperar respostas utilizáveis. Terminar conta. Honnibal dá crédito ao trabalho assistido por ferramentas por realizar tarefas que um engenheiro de "machine learning" humano poderia fazer. Isso é consequencial para um agente. A sua queixa é que as pequenas demonstrações de números "raw" e as maiores reparações assistidas por Python convidam a uma conclusão mais ampla quando agrupadas. Peguem nas minúsculas redes de jogos.

Quais experiências realmente não tiveram ferramentas?

3:09 Numa experiência, Astra leu os seus números "raw" e identificou corretamente qual jogo cada rede tinha aprendido. Ferramentas foram proibidas. Noutra, escreveu novos pesos para jogar jogos do zero usando as regras e o código-fonte, sem "rollouts" de prática. Essas são demonstrações separadas com evidências separadas. As redes de Astra venceram a "baseline" treinada por cem milhões de passos em todos os três jogos. Contra a "baseline" mais treinada, perdeu em Seaquest e

3:32 Asterix, enquanto vencia Breakout. Mude a coluna de comparação, e o discurso de vitória precisa de edição. Convenientemente, edição é o tópico de hoje. Para uma afirmação mais ampla, quereríamos melhorias em modelos com diferentes falhas.

O que uma afirmação mais geral precisaria?

3:44 Rastrear o que o editor viu e o que contava como sucesso. O "model card" de Qwen já avisa sobre "thinking loops". Remover este obstáculo conhecido tem um ponto de partida particular. Para seu crédito, os autores publicam o seguimento desconfortável eles próprios. Eles explicam que parar os "loops" permite que Qwen termine respostas que já poderia resolver. Os seus registos incluem "prompts", feedback e edições. Podemos examinar a conquista e fazer uma pergunta mais difícil.

O que aconteceu ao modelo que raramente entrava em "loop"?

4:06 Agora o segundo modelo, um Gemma menor na sua própria configuração de seguimento. Raramente entrava em "loop", então as suas falhas eram aritmética errada "ordinária" e álgebra inválida. Astra tentou edições de peso direcionadas com feedback de prática novamente. Nenhum moveu a sua pontuação de matemática em mais de cerca de um ponto, e um ganho não foi estabelecido. A reparação bem-sucedida de Qwen tinha um obstáculo a remover. Os erros aritméticos de Gemma sobreviveram. Essa é a pergunta útil para os desenvolvedores.

4:28 Qual falha a edição reparou, e o seu modelo realmente a tem? Teste os pesos guardados nas suas próprias tarefas antes de celebrar o multiplicador. Um "gargalo" reparado pode importar enormemente enquanto o próximo "gargalo" permanece exatamente onde estava. Se preferir ler isto a ouvir-me dizer, o "diff" chega à sua caixa de entrada todas as manhãs, gratuitamente em the daily diff dot dev, link abaixo.

Eu "shipparia" a afirmação de edição de pesos?

4:47 Então, o veredicto de hoje é NEEDS REVIEW. Eu levaria a reparação do "loop" a sério e a testaria. Manteria afirmações mais amplas condicionadas ao sucesso além desse modo de falha. O próprio contra-exemplo dos autores é a linha mais útil no "diff". E esse é o "diff" de hoje. Sou o Niko da Axrisi. Faça a "merge" com responsabilidade.

Fontes

1. Weight-space programming studyRikiya Takehi and coauthors
2. November 3 critique of bundled experiment conditionsMatthew Honnibal
3. Pinned Qwen protocol and exact weight editsRikiya Takehi and coauthors
4. Actual initial Qwen promptRikiya Takehi and coauthors
5. Pinned smaller Gemma follow-upRikiya Takehi and coauthors
6. Original model-card thinking-loop warningQwen
7. Primary study discussionHacker News
8. Critique discussionHacker News
9. Cover portrait: Sam Altman, TechCrunch 2019 crop, CC BY 2.0; cropped, background removed, resized and flipped; no endorsementSteve Jennings/Getty Images for TechCrunch via Wikimedia Commons
10. Released checkpoint and attributed external re-runRikiyaT on Hugging Face; re-run credited to akhaliq
11. Portrait license: Creative Commons Attribution 2.0Creative Commons; Steve Jennings/Getty Images for TechCrunch portrait credit above