Uno studio pubblicato su arXiv il 29 ottobre da Yann LeCun e Randall Balestriero sostiene che le dimensioni di un modello linguistico potrebbero non essere il fattore decisivo per determinare quanto bene esso sviluppi una rappresentazione interna del mondo. I loro esperimenti suggeriscono che un JEPA basato sul testo con 109 milioni di parametri può allinearsi più strettamente agli encoder di immagini rispetto a modelli linguistici con fino a 72 miliardi di parametri.

L’articolo, intitolato «Proving and Improving the Platonic Representation Hypothesis with JEPAs», affronta un’idea osservata per la prima volta da ricercatori del MIT nel 2024. Tale ipotesi proponeva che i modelli addestrati indipendentemente su testo e immagini sviluppassero rappresentazioni interne sempre più simili man mano che crescevano. LeCun e Balestriero affermano di trasformare quell’osservazione in un teorema per una specifica famiglia di architetture: le Joint-Embedding Predictive Architectures, o JEPA.

Secondo i ricercatori, due JEPA addestrati su modalità diverse possono apprendere la stessa rappresentazione, soggetta a una rotazione, quando ricevono viste adeguate della stessa scena. Tra gli esempi figurano un’immagine e la sua didascalia. L’articolo contrappone questo approccio alla predizione del token successivo, il metodo usato dai grandi modelli linguistici, nel quale due parti dello stesso documento non descrivono necessariamente lo stesso soggetto.

Gli esperimenti riportati hanno prodotto un confronto degno di nota. Il JEPA testuale da 109 milioni di parametri si è allineato più strettamente agli encoder di immagini DINOv2 e CLIP rispetto a tutti i modelli linguistici testati. Su DINOv2, ha raggiunto un punteggio di allineamento pari a 0,184, contro lo 0,154 di Qwen2.5-72B, secondo il rapporto della fonte. Gli autori affermano inoltre che il JEPA ha richiesto 42 volte meno esempi di addestramento per raggiungere lo stesso allineamento di un modello basato sulla predizione della parola successiva.

Gli esperimenti hanno riguardato dataset che andavano da 145.000 didascalie a 940 milioni di immagini. Questi risultati sostengono la posizione di lunga data di LeCun, secondo cui è improbabile che i convenzionali grandi modelli linguistici producano da soli un’intelligenza artificiale capace di comprendere il mondo fisico. La sua startup, AMI Labs, ha costruito il proprio orientamento di ricerca attorno a questo approccio più ampio.

I risultati devono tuttavia essere considerati con cautela. L’articolo non è ancora stato sottoposto a revisione paritaria e nessun team indipendente ha riprodotto il confronto. Il suo punteggio centrale misura l’allineamento con un modello di visione; ottenere risultati migliori su questa metrica non significa necessariamente che un sistema riassumerà documenti o scriverà codice in modo più efficace.

L’argomentazione più ampia dello studio è che la qualità dei dati e delle prospettive presentate durante l’addestramento potrebbe contare più del semplice aumento del numero di parametri. Il piccolo JEPA non viene presentato come un sostituto immediato di sistemi come Qwen o GPT, ma i suoi risultati mettono in discussione l’idea che aumentare soltanto le dimensioni dei modelli linguistici sia il percorso più efficiente verso rappresentazioni più ricche del mondo.

Fonti: Numerama.