Des chercheurs du MIT CSAIL ont démontré qu’un modèle d’IA pouvait en améliorer un autre sans le réentraîner. Leur méthode consiste à modifier une petite fraction des poids internes d’un modèle pour remédier à une faiblesse précise, offrant ainsi une possible alternative au processus coûteux de réentraînement d’un modèle de langage.
L’équipe a utilisé GPT-6 Astra pour modifier Qwen3.5-0.8B, dans le but d’améliorer le raisonnement mathématique du modèle plus petit. Après ces modifications, le score de Qwen au MATH-500 est passé de 7,9 % à 48,1 %. Selon le rapport, Astra n’a modifié que 0,016 % des poids de Qwen.
Les chercheurs appellent cette approche Weight-Space Programming. Au lieu d’ajouter de nouvelles capacités par l’entraînement, la méthode cible et ajuste des parties du modèle associées aux boucles de raisonnement susceptibles de nuire à ses performances.
Les résultats sont préliminaires et n’ont pas été évalués par des pairs. La méthode semble aussi dépendre de la présence, dans un modèle, d’un problème qu’elle puisse corriger de cette manière : lors des essais sur Gemma 3 270M de Google, qui connaîtrait peu de boucles de raisonnement, l’amélioration a été négligeable.
Ces travaux indiquent une manière possible d’améliorer des modèles plus petits et moins coûteux, mais ne remplacent pas l’entraînement comme solution générale. Les chercheurs suggèrent également que les modèles pourraient un jour appliquer eux-mêmes de telles modifications, même si cette possibilité reste à l’état de perspective future.
Sources: Xataka.