Pesquisadores do MIT CSAIL demonstraram uma forma de um modelo de IA aprimorar outro sem retreiná-lo. O método edita uma pequena fração dos pesos internos de um modelo para corrigir uma fraqueza específica, oferecendo uma possível alternativa ao processo dispendioso de treinar novamente um modelo de linguagem.
A equipe usou o GPT-6 Astra para modificar o Qwen3.5-0.8B, com o objetivo de aprimorar o raciocínio matemático do modelo menor. Depois das edições, a pontuação do Qwen no MATH-500 subiu de 7,9% para 48,1%. Segundo o relatório, o Astra alterou apenas 0,016% dos pesos do Qwen.
Os pesquisadores chamam a abordagem de Weight-Space Programming. Em vez de adicionar novas capacidades por meio de treinamento, o método identifica e ajusta partes do modelo associadas a ciclos de raciocínio que podem prejudicar seu desempenho.
Os resultados são preliminares e ainda não foram revisados por pares. O método também parece depender de o modelo apresentar um problema que possa ser corrigido dessa forma: quando testado no Gemma 3 270M, do Google, que, segundo relatos, apresenta poucos ciclos de raciocínio, o aprimoramento foi insignificante.
O trabalho aponta uma possível forma de aprimorar modelos menores e menos dispendiosos, mas não substitui o treinamento como solução geral. Os pesquisadores também sugerem que, no futuro, os modelos talvez possam aplicar essas edições a si mesmos, embora essa possibilidade ainda esteja distante.
Fontes: Xataka.