Forschende des MIT CSAIL haben gezeigt, wie ein KI-Modell ein anderes verbessern kann, ohne es neu zu trainieren. Bei ihrer Methode wird ein kleiner Teil der internen Gewichte eines Modells bearbeitet, um eine bestimmte Schwäche zu beheben. Damit bietet sie eine mögliche Alternative zum kostspieligen erneuten Training eines Sprachmodells.
Das Team setzte GPT-6 Astra ein, um Qwen3.5-0.8B zu verändern und die mathematischen Schlussfolgerungsfähigkeiten des kleineren Modells zu verbessern. Nach den Änderungen stieg Qwens Ergebnis bei MATH-500 von 7,9 % auf 48,1 %. Laut dem Bericht veränderte Astra lediglich 0,016 % der Gewichte von Qwen.
Die Forschenden nennen den Ansatz Weight-Space Programming. Anstatt durch Training neue Fähigkeiten hinzuzufügen, zielt die Methode auf Teile eines Modells ab, die mit Denkschleifen zusammenhängen, welche seine Leistung beeinträchtigen können, und passt diese an.
Die Ergebnisse sind vorläufig und wurden noch nicht von Fachleuten begutachtet. Außerdem scheint die Methode davon abzuhängen, dass ein Modell ein Problem hat, das sich auf diese Weise beheben lässt: Bei Tests mit Googles Gemma 3 270M, bei dem es Berichten zufolge nur wenige Denkschleifen gibt, war die Verbesserung vernachlässigbar.
Die Arbeit weist auf eine mögliche Möglichkeit hin, kleinere und kostengünstigere Modelle zu verbessern, ersetzt aber das Training nicht als allgemeine Lösung. Die Forschenden legen zudem nahe, dass Modelle solche Änderungen irgendwann selbst vornehmen könnten, doch diese Möglichkeit liegt noch in der Zukunft.
Quellen: Xataka.