Un JEPA de 109 millions de paramètres pourrait remettre en question l’idée selon laquelle les modèles d’IA plus grands sont meilleurs

Une étude publiée sur arXiv le 29 octobre par Yann LeCun et Randall Balestriero soutient que la taille d’un modèle de langage n’est peut-être pas le facteur décisif de sa capacité à développer une représentation interne du monde. Leurs expériences suggèrent qu’un JEPA textuel de 109 millions de paramètres peut s’aligner plus étroitement sur des encodeurs d’images que des modèles de langage comptant jusqu’à 72 milliards de paramètres.

L’article, intitulé « Proving and Improving the Platonic Representation Hypothesis with JEPAs », examine une idée observée pour la première fois par des chercheurs du MIT en 2024. Cette hypothèse avançait que les modèles entraînés indépendamment sur du texte et des images développent des représentations internes de plus en plus similaires à mesure qu’ils grandissent. LeCun et Balestriero affirment transformer cette observation en théorème pour une famille précise d’architectures : les Joint-Embedding Predictive Architectures, ou JEPAs.

Selon les chercheurs, deux JEPAs entraînés sur des modalités différentes peuvent apprendre la même représentation, à une rotation près, lorsqu’ils reçoivent des vues appropriées d’une même scène. Il peut s’agir, par exemple, d’une image et de sa légende. L’article oppose cette approche à la prédiction du jeton suivant, la méthode utilisée par les grands modèles de langage, dans laquelle deux passages d’un même document ne décrivent pas nécessairement le même sujet.

Les expériences rapportées ont produit une comparaison notable. Le JEPA textuel de 109 millions de paramètres s’est aligné plus étroitement sur les encodeurs d’images DINOv2 et CLIP que tous les modèles de langage testés. Avec DINOv2, il a obtenu un score d’alignement de 0,184, contre 0,154 pour Qwen2.5-72B, selon le rapport cité. Les auteurs indiquent également que le JEPA a nécessité 42 fois moins d’exemples d’entraînement pour atteindre le même alignement qu’un modèle de prédiction du mot suivant.

Les expériences ont porté sur des jeux de données allant de 145 000 légendes à 940 millions d’images. Ces résultats confortent la position défendue de longue date par LeCun, selon laquelle les grands modèles de langage conventionnels sont peu susceptibles, à eux seuls, de produire une intelligence artificielle capable de comprendre le monde physique. Sa start-up, AMI Labs, a orienté ses recherches autour de cette approche plus large.

Ces résultats doivent néanmoins être interprétés avec prudence. L’article n’a pas encore fait l’objet d’une évaluation par les pairs, et aucune équipe indépendante n’a reproduit la comparaison. Son score central mesure l’alignement avec un modèle de vision ; obtenir de meilleurs résultats sur cette métrique ne signifie pas nécessairement qu’un système résumera des documents ou écrira du code plus efficacement.

L’argument plus général de l’étude est que la qualité des données et des points de vue présentés pendant l’entraînement pourrait compter davantage que la simple augmentation du nombre de paramètres. Le petit JEPA n’est pas présenté comme un remplacement immédiat de systèmes tels que Qwen ou GPT, mais ses résultats remettent en question l’idée selon laquelle augmenter uniquement l’échelle des modèles de langage constitue la voie la plus efficace vers des représentations plus riches du monde.

Sources: Numerama.