GPT-6 Astra parcheó el pensamiento infinito de otra IA

Qué cubre este vídeo

• El aumento de puntuación reportado en Qwen provino de una reparación dirigida a un razonamiento repetitivo; aproximadamente un tercio de las respuestas editadas aún alcanzaron el límite de longitud en el protocolo primario.
• El entrenamiento por gradiente estaba prohibido, mientras que el análisis de Python, las respuestas de práctica y la retroalimentación de ejecución del modelo por lotes estaban permitidos en muchos turnos. Las preguntas de evaluación final fueron declaradas retenidas por la fuente.
• Los experimentos con pesos brutos pequeños y sin despliegue de juegos utilizaron condiciones diferentes. Sus afirmaciones deben conservar su alcance individual de herramienta, entrada y línea base.
• Matthew Honnibal atribuye el mérito a la ingeniería asistida por herramientas y disputa la impresión más amplia producida al agrupar los experimentos.
• El seguimiento con Gemma más pequeño utilizó su propia configuración y no logró establecer una mejora. Pruebe qué fallo repara una edición de peso antes de aplicarla a otro modelo.

Transcripción traducida

Traducido de la narración original en inglés. El audio y los subtítulos disponibles están controlados por YouTube.

¿Por qué subió la puntuación de matemáticas?

0:00 Una IA que hace que otra IA sea seis veces más inteligente suena a genio instantáneo. El gran salto de puntuación de Astra provino de ayudar a Qwen a terminar respuestas que seguía repitiendo. En este vídeo, ¿qué cambió? ¿Qué ayuda recibió Astra? ¿Y hasta dónde llega la solución? Qwen pasó de aproximadamente un ocho por ciento a un cuarenta y ocho por ciento. Los investigadores probaron un segundo modelo con casi ningún bucle. Veremos cómo fue eso antes del veredicto.

0:22 Es martes, tres de noviembre, y esto es The Daily Diff. La programación del espacio de pesos es el nombre que los investigadores le dan a pedir a una IA que inspeccione o escriba los números dentro de una red neuronal. Esos números son sus pesos. Este equipo afiliado al MIT utilizó GPT-6 Astra de OpenAI para editar un pequeño modelo de lenguaje Qwen, con el entrenamiento ordinario prohibido. Rikiya Takehi y sus coautores publicaron el estudio el lunes,

0:44 preguntando si una IA existente podría razonar sobre los internos de otra red. Su resultado principal es muy atractivo. En matemáticas quinientos, Qwen subió de aproximadamente un ocho por ciento a un cuarenta y ocho por ciento. Casi seis veces las respuestas correctas. Qwen siguió pensando hasta que se quedó sin espacio para responder.

¿Qué estaba haciendo mal Qwen?

1:00 En modo de pensamiento, a menudo repetía su razonamiento. Imagina a un estudiante llenando el cuadernillo de examen con el trabajo hasta que suena la campana. El examinador aún necesita una respuesta. La mayoría de las respuestas originales alcanzaron el límite de longitud. Astra localizó una dirección de repetición en dos capas internas, luego eliminó su contribución de columnas de pesos seleccionadas. Después de esa edición, más respuestas llegaron a una conclusión. Alrededor de un tercio aún alcanzaron el límite en la prueba reportada.

1:22 El cuadernillo de examen finalmente obtuvo una última línea. Hoy, Matthew Honnibal, creador de spaCy y cofundador de Explosion,

¿Qué disputa el crítico de hoy?

1:28 cuestionó la presentación. Dice que los lectores pueden combinar las diferentes condiciones de los experimentos en una impresión de una técnica extraordinaria. Su objeción concierne a su historia combinada. Podemos verificar las condiciones nosotros mismos. El experimento de Qwen le dio a Astra un cuaderno de Python sobre los pesos y problemas de

¿Qué ayuda recibió Astra realmente?

1:44 práctica con respuestas. A lo largo de muchos turnos, inspeccionó las activaciones internas y comparó las versiones originales y editadas. El presupuesto final permitió cincuenta lotes de ejecuciones del modelo. Cada lote de generación podía contener cientos de respuestas. Los datos de práctica provenían de divisiones de entrenamiento. Los investigadores dicen que Astra nunca vio los conjuntos de evaluación finales. La retroalimentación ayudó a elegir la edición; los problemas retenidos la midieron después. La configuración de muestreo se mantuvo fija entre Qwen original y editado,

2:09 haciendo que la comparación de puntuaciones de este protocolo sea interpretable. El primer "prompt" le dio un útil supervisor de laboratorio. Diagnosticar fallos, encontrar los componentes responsables, comparar en los mismos problemas y probar varias fuerzas. Mencionaba explícitamente el pensamiento repetitivo como una reparación que cuenta. Los estudiantes de posgrado deberían negociar este paquete de incorporación. Es una reparación impresionante.

¿Cuán pequeña fue la reparación real?

2:28 La edición dirigida de Astra afectó aproximadamente a ciento treinta y un mil pesos. Eso es aproximadamente dieciséis milésimas de un por ciento del modelo. El archivo de pesos cambió directamente. El entrenamiento por gradiente siguió prohibido; el modelo existente hizo las respuestas después de que la sesión de edición de Astra terminara. La ganancia también llegó al seguimiento de instrucciones. Me gusta la implicación práctica. Un modelo puede poseer un trabajo útil que su modo de fallo sigue ocultando.

2:48 Corregir ese fallo puede recuperar respuestas utilizables. Terminar cuenta. Honnibal le da crédito al trabajo asistido por herramientas por realizar tareas que un ingeniero humano de aprendizaje automático podría hacer. Eso es trascendental para un agente. Su queja es que las pequeñas demostraciones de números en bruto y las reparaciones más grandes asistidas por Python invitan a una conclusión más amplia cuando se agrupan. Tomemos las diminutas redes de juegos.

¿Qué experimentos realmente no tuvieron herramientas?

3:09 En un experimento, Astra leyó sus números brutos e identificó correctamente qué juego había aprendido cada red. Las herramientas estaban prohibidas. En otro, escribió nuevos pesos para jugar a juegos desde cero usando las reglas y el código fuente, sin despliegues de práctica. Esas son demostraciones separadas con evidencia separada. Las redes de Astra superaron la línea base entrenada durante cien millones de pasos en los tres juegos. Frente a la línea base entrenada durante más tiempo, perdió en Seaquest y

3:32 Asterix, mientras que ganó en Breakout. Cambia la columna de comparación, y el discurso de victoria necesita ser editado. Convenientemente, la edición es el tema de hoy. Para una afirmación más amplia, querríamos mejoras en modelos con diferentes fallos.

¿Qué necesitaría una afirmación más general?

3:44 Seguir lo que vio el editor y lo que se consideró un éxito. La tarjeta del modelo de Qwen ya advierte sobre los bucles de pensamiento. Eliminar este obstáculo conocido tiene un punto de partida particular. Para su crédito, los autores publican ellos mismos el incómodo seguimiento. Explican que detener los bucles permite a Qwen terminar respuestas que ya podría resolver. Sus registros incluyen prompts, retroalimentación y ediciones. Podemos examinar el logro y hacer una pregunta más difícil.

¿Qué pasó con el modelo que rara vez hacía bucles?

4:06 Ahora el segundo modelo, un Gemma más pequeño en su propia configuración de seguimiento. Rara vez hacía bucles, por lo que sus fallos eran errores aritméticos incorrectos ordinarios y álgebra inválida. Astra intentó nuevamente ediciones de peso dirigidas con retroalimentación de práctica. Ninguna movió su puntuación de matemáticas más de un punto aproximadamente, y no se estableció una ganancia. La reparación exitosa de Qwen tenía un obstáculo que eliminar. Los errores aritméticos de Gemma sobrevivieron. Esa es la pregunta útil para los desarrolladores.

4:28 ¿Qué fallo reparó la edición, y tu modelo realmente lo tiene? Prueba los pesos guardados en tus propias tareas antes de celebrar el multiplicador. Un cuello de botella reparado puede importar enormemente mientras el siguiente cuello de botella permanece exactamente donde estaba. Si prefieres leer esto antes que oírme decirlo, el diff llega a tu bandeja de entrada todas las mañanas, gratis en thedailydiff.dev, enlace abajo.

¿Enviaría la afirmación de edición de pesos?

4:47 Así, el veredicto de hoy es NECESITA REVISIÓN. Me tomaría en serio la reparación del bucle y la probaría. Mantendría las afirmaciones más amplias condicionadas al éxito más allá de ese modo de fallo. El propio contraejemplo de los autores es la línea más útil en el diff. Y ese es el diff de hoy. Soy Niko de Axrisi. Fusionen con responsabilidad.

Fuentes

1. Weight-space programming studyRikiya Takehi and coauthors
2. November 3 critique of bundled experiment conditionsMatthew Honnibal
3. Pinned Qwen protocol and exact weight editsRikiya Takehi and coauthors
4. Actual initial Qwen promptRikiya Takehi and coauthors
5. Pinned smaller Gemma follow-upRikiya Takehi and coauthors
6. Original model-card thinking-loop warningQwen
7. Primary study discussionHacker News
8. Critique discussionHacker News
9. Cover portrait: Sam Altman, TechCrunch 2019 crop, CC BY 2.0; cropped, background removed, resized and flipped; no endorsementSteve Jennings/Getty Images for TechCrunch via Wikimedia Commons
10. Released checkpoint and attributed external re-runRikiyaT on Hugging Face; re-run credited to akhaliq
11. Portrait license: Creative Commons Attribution 2.0Creative Commons; Steve Jennings/Getty Images for TechCrunch portrait credit above