Quattro ricercatori del MIT affermano che GPT-6 Astra può esaminare e modificare i parametri, o «pesi», di altre reti neurali senza riaddestrarle. I risultati, pubblicati in un post sul blog il 2 novembre, descrivono esperimenti che vanno da piccole reti capaci di giocare ai videogiochi al modello linguistico Qwen3.5-0.8B. Le affermazioni hanno suscitato discussioni su Hacker News.

Nei test condotti su quattro piccole reti, ciascuna composta da 17.253 pesi e addestrata a giocare a un videogioco diverso, Astra ha identificato i giochi senza che le venisse fornito un elenco di possibili risposte. I ricercatori le hanno anche chiesto di correggere una rete virtuale per la guida di un’auto che non riusciva a fare retromarcia per prendere slancio prima di una rampa. Astra ha modificato il 3,5% dei suoi pesi, dopodiché l’auto ha superato l’ostacolo in tutte le 1.024 prove successive. Il gruppo riferisce inoltre che Astra ha creato reti da zero impostandone i pesi, senza dati né processo di addestramento.

L’esperimento che ha suscitato più discussioni riguardava Qwen3.5-0.8B, che, secondo i ricercatori, spesso si ripeteva mentre ragionava. Nel test MATH-500, il 93% delle sue risposte raggiungeva il limite di lunghezza stabilito dai ricercatori. Astra poteva sottoporre Qwen a esercizi ed esaminarne le risposte, ma non riaddestrarlo. Dopo un massimo di 50 cicli, Astra ha individuato e corretto il comportamento ripetitivo modificando lo 0,016% dei pesi del modello. Il punteggio di Qwen in MATH-500 è passato dal 7,9% al 48,1%, mentre quello in IFEval, un test sulla capacità di seguire le istruzioni, è salito dal 21% al 62,3%.

I ricercatori hanno riferito anche alcuni limiti. Astra non ha migliorato in modo sostanziale i risultati matematici di Gemma 3 270M di Google, un modello circa tre volte più piccolo di Qwen e che raramente si ripete. Hanno concluso che la modifica dei pesi può rimuovere un ostacolo che nasconde una capacità già presente, ma non può aggiungere una capacità di cui il modello è privo. Astra, inoltre, non è riuscita a stabilire dai soli pesi se una versione di Gemma fosse stata addestrata per adulare gli utenti o per rispondere con sincerità; ci è riuscita solo dopo aver osservato parte del comportamento dei modelli durante l’esecuzione.

Alcuni utenti di Hacker News hanno messo in dubbio che il risultato ottenuto con Qwen fosse innovativo. I ricercatori hanno confrontato il loro approccio con un metodo descritto nel 2024, che mirava a un comportamento del modello identificando e rimuovendo una direzione a esso associata. Altri hanno avvertito che gli esperimenti non dimostrano che Astra possa migliorare sé stessa: in questi test non ha modificato i propri pesi. I risultati forniscono quindi prove del fatto che un modello linguistico può apportare modifiche mirate ad altre reti, ma lasciano aperta la questione di quanto ampiamente si possa applicare questo approccio.

Fonti: Numerama.