Cuatro investigadores del MIT afirman que GPT-6 Astra puede inspeccionar y modificar los parámetros, o «pesos», de otras redes neuronales sin volver a entrenarlas. Sus hallazgos, publicados en una entrada de blog el 2 de noviembre, describen experimentos que abarcan desde pequeñas redes que juegan a videojuegos hasta el modelo de lenguaje Qwen3.5-0.8B. Las afirmaciones dieron lugar a un debate en Hacker News.

En pruebas con cuatro redes pequeñas, cada una con 17.253 pesos y entrenada para jugar a un videojuego distinto, Astra identificó los juegos sin que se le proporcionara una lista de posibles respuestas. Los investigadores también le pidieron que arreglara una red de conducción de un automóvil virtual que no podía dar marcha atrás para ganar impulso antes de una rampa. Astra modificó el 3,5 % de sus pesos; después, el automóvil superó el obstáculo en los 1.024 ensayos posteriores. El equipo también informa que Astra creó redes desde cero al establecer sus pesos, sin datos ni proceso de entrenamiento.

El experimento que más comentarios generó fue el de Qwen3.5-0.8B, que, según los investigadores, a menudo se repetía al razonar. En la prueba MATH-500, el 93 % de sus respuestas alcanzó el límite de longitud establecido por los investigadores. Se permitió a Astra ejecutar Qwen con ejercicios y examinar sus respuestas, pero no volver a entrenarlo. Tras un máximo de 50 rondas, Astra identificó y corrigió el comportamiento repetitivo al cambiar el 0,016 % de los pesos del modelo. La puntuación de Qwen en MATH-500 subió del 7,9 % al 48,1 %, mientras que su puntuación en IFEval, una prueba de seguimiento de instrucciones, aumentó del 21 % al 62,3 %.

Los investigadores también señalaron limitaciones. Astra no mejoró sustancialmente los resultados matemáticos de Gemma 3 270M, de Google, un modelo aproximadamente tres veces más pequeño que Qwen y que rara vez entra en ciclos repetitivos. Concluyeron que modificar los pesos puede eliminar un obstáculo que oculta una capacidad existente, pero no añadir una capacidad que el modelo no posee. Astra tampoco pudo determinar solo a partir de los pesos si una versión de Gemma había sido entrenada para halagar a los usuarios o para responder con sinceridad; solo tuvo éxito después de observar parte del comportamiento de los modelos durante su ejecución.

Algunos comentaristas de Hacker News cuestionaron si el resultado con Qwen era novedoso. Los investigadores compararon su enfoque con un método descrito en 2024 que buscaba un comportamiento del modelo al identificar y eliminar una dirección asociada. Otros advirtieron que los experimentos no demuestran que Astra pueda mejorarse a sí mismo: en estas pruebas no modificó sus propios pesos. Por tanto, los hallazgos aportan pruebas de que un modelo de lenguaje puede hacer cambios específicos en otras redes, aunque dejan abierta la cuestión de hasta qué punto se aplica el enfoque.

Fuentes: Numerama.