Un estudio publicado en arXiv el 29 de octubre por Yann LeCun y Randall Balestriero sostiene que el tamaño de un modelo de lenguaje quizá no sea el factor decisivo para determinar qué tan bien desarrolla una representación interna del mundo. Sus experimentos sugieren que una JEPA basada en texto con 109 millones de parámetros puede alinearse más estrechamente con codificadores de imágenes que modelos de lenguaje de hasta 72.000 millones de parámetros.
El artículo, titulado “Proving and Improving the Platonic Representation Hypothesis with JEPAs”, aborda una idea observada por primera vez por investigadores del MIT en 2024. Esa hipótesis proponía que los modelos entrenados de forma independiente con texto e imágenes desarrollan representaciones internas cada vez más similares a medida que crecen. LeCun y Balestriero afirman convertir esa observación en un teorema para una familia específica de arquitecturas: las Arquitecturas Predictivas de Incrustación Conjunta, o JEPAs.
Según los investigadores, dos JEPAs entrenadas con distintas modalidades pueden aprender la misma representación, sujeta a una rotación, cuando reciben perspectivas adecuadas de una misma escena. Algunos ejemplos son una imagen y su pie de foto. El artículo contrasta este enfoque con la predicción del siguiente token, el método utilizado por los modelos de lenguaje grandes, en el que dos fragmentos de un mismo documento no necesariamente describen el mismo tema.
Los experimentos presentados produjeron una comparación notable. La JEPA de texto con 109 millones de parámetros se alineó más estrechamente con los codificadores de imágenes DINOv2 y CLIP que cualquiera de los modelos de lenguaje evaluados. En DINOv2, obtuvo una puntuación de alineación de 0,184, frente a 0,154 de Qwen2.5-72B, según el informe de la fuente. Los autores también afirman que la JEPA necesitó 42 veces menos ejemplos de entrenamiento para alcanzar la misma alineación que un modelo de predicción de la siguiente palabra.
Los experimentos abarcaron conjuntos de datos que iban desde 145.000 pies de foto hasta 940 millones de imágenes. Estos resultados respaldan la opinión que LeCun ha mantenido durante mucho tiempo: que los modelos de lenguaje grandes convencionales probablemente no puedan producir por sí solos una inteligencia artificial capaz de comprender el mundo físico. Su startup, AMI Labs, ha desarrollado su línea de investigación en torno a este enfoque más amplio.
No obstante, los hallazgos deben tratarse con cautela. El artículo aún no ha sido sometido a revisión por pares, y ningún equipo independiente ha reproducido la comparación. Su puntuación central mide la alineación con un modelo de visión; obtener mejores resultados en esa métrica no significa necesariamente que un sistema vaya a resumir documentos o escribir código de manera más eficaz.
El argumento más amplio del estudio es que la calidad de los datos y de las perspectivas presentadas durante el entrenamiento puede importar más que aumentar simplemente el número de parámetros. La pequeña JEPA no se presenta como un reemplazo inmediato de sistemas como Qwen o GPT, pero sus resultados cuestionan si escalar únicamente los modelos de lenguaje es el camino más eficiente hacia representaciones más ricas del mundo.
Fuentes: Numerama.