Investigadores del MIT CSAIL han demostrado una forma de que un modelo de IA mejore a otro sin volver a entrenarlo. Su método edita una pequeña fracción de los pesos internos de un modelo para corregir una debilidad específica, lo que ofrece una posible alternativa al costoso proceso de volver a entrenar un modelo de lenguaje.
El equipo utilizó GPT-6 Astra para modificar Qwen3.5-0.8B, con el objetivo de mejorar el razonamiento matemático del modelo más pequeño. Tras las ediciones, la puntuación de Qwen en MATH-500 aumentó del 7,9 % al 48,1 %. Según el informe, Astra modificó apenas el 0,016 % de los pesos de Qwen.
Los investigadores llaman a este enfoque programación del espacio de pesos. En lugar de añadir nuevas capacidades mediante el entrenamiento, el método localiza y ajusta partes de un modelo asociadas con bucles de razonamiento que pueden perjudicar su rendimiento.
Los hallazgos son preliminares y no han sido revisados por pares. Además, el método parece depender de que el modelo tenga un problema que pueda corregirse de esta manera: al probarlo con Gemma 3 270M de Google, que, según se informa, presenta pocos bucles de razonamiento, la mejora fue insignificante.
El trabajo apunta a una posible forma de mejorar modelos más pequeños y menos costosos, pero no sustituye al entrenamiento como solución general. Los investigadores también plantean que, con el tiempo, los modelos podrían aplicar esas ediciones por sí mismos, aunque esa posibilidad sigue siendo una perspectiva futura.
Fuentes: Xataka.