Quatro pesquisadores do MIT afirmam que o GPT-6 Astra consegue inspecionar e modificar os parâmetros, ou “pesos”, de outras redes neurais sem retreiná-las. Suas descobertas, publicadas em uma postagem de blog em 2 de novembro, descrevem experimentos que vão de pequenas redes que jogam videogames até o modelo de linguagem Qwen3.5-0.8B. As alegações provocaram discussões no Hacker News.

Em testes com quatro redes pequenas, cada uma com 17.253 pesos e treinada para jogar um videogame diferente, o Astra identificou os jogos sem receber uma lista de respostas possíveis. Os pesquisadores também pediram que ele corrigisse uma rede de direção de carro virtual que não conseguia dar ré para ganhar impulso antes de uma rampa. O Astra alterou 3,5% dos pesos e, depois disso, o carro superou o obstáculo em todas as 1.024 tentativas subsequentes. A equipe também relata que o Astra criou redes do zero ao definir seus pesos, sem dados nem processo de treinamento.

O experimento mais debatido envolveu o Qwen3.5-0.8B, que, segundo os pesquisadores, frequentemente se repetia durante o raciocínio. No teste MATH-500, 93% das respostas atingiram o limite de extensão definido pelos pesquisadores. O Astra pôde executar o Qwen em exercícios e examinar suas respostas, mas não retreiná-lo. Após até 50 rodadas, o Astra identificou e corrigiu o comportamento repetitivo, alterando 0,016% dos pesos do modelo. A pontuação do Qwen no MATH-500 subiu de 7,9% para 48,1%, enquanto sua pontuação no IFEval, um teste de seguimento de instruções, aumentou de 21% para 62,3%.

Os pesquisadores também relataram limitações. O Astra não melhorou substancialmente os resultados em matemática do Gemma 3 270M, do Google, um modelo aproximadamente três vezes menor que o Qwen e que raramente entra em repetição. Eles concluíram que a alteração dos pesos pode remover um obstáculo que oculta uma capacidade já existente, mas não pode acrescentar uma capacidade que o modelo não possui. O Astra também não conseguiu determinar apenas pelos pesos se uma versão do Gemma havia sido treinada para bajular os usuários ou para responder com honestidade; só teve êxito depois de observar parte do comportamento dos modelos durante a execução.

Alguns comentaristas do Hacker News questionaram se o resultado com o Qwen era inédito. Os pesquisadores compararam sua abordagem com um método descrito em 2024 que visava a um comportamento do modelo identificando e removendo uma direção associada a ele. Outros advertiram que os experimentos não demonstram que o Astra possa aprimorar a si próprio: nesses testes, ele não modificou os próprios pesos. Portanto, as descobertas oferecem evidências de que um modelo de linguagem pode fazer alterações direcionadas em outras redes, mas deixam em aberto o alcance da aplicabilidade dessa abordagem.

Fontes: Numerama.