Eine am 29. Oktober auf arXiv veröffentlichte Studie von Yann LeCun und Randall Balestriero argumentiert, dass die Größe eines Sprachmodells möglicherweise nicht der entscheidende Faktor dafür ist, wie gut es eine interne Repräsentation der Welt entwickelt. Ihre Experimente legen nahe, dass ein textbasiertes JEPA mit 109 Millionen Parametern stärker mit Bild-Encodern übereinstimmen kann als Sprachmodelle mit bis zu 72 Milliarden Parametern.

Das Paper mit dem Titel „Proving and Improving the Platonic Representation Hypothesis with JEPAs“ befasst sich mit einer Idee, die erstmals 2024 von Forschern des MIT beobachtet wurde. Diese Hypothese besagte, dass Modelle, die unabhängig voneinander mit Texten und Bildern trainiert werden, zunehmend ähnliche interne Repräsentationen entwickeln, wenn sie größer werden. LeCun und Balestriero behaupten, diese Beobachtung für eine bestimmte Architekturfamilie in einen Lehrsatz überführt zu haben: Joint-Embedding Predictive Architectures oder JEPAs.

Den Forschern zufolge können zwei JEPAs, die mit unterschiedlichen Modalitäten trainiert wurden, dieselbe Repräsentation erlernen, abgesehen von einer Rotation, wenn sie geeignete Ansichten derselben Szene erhalten. Beispiele dafür sind ein Bild und seine Bildunterschrift. Das Paper stellt diesen Ansatz der Vorhersage des nächsten Tokens gegenüber, der Methode, die von großen Sprachmodellen verwendet wird und bei der zwei Textteile desselben Dokuments nicht zwangsläufig dasselbe Thema beschreiben.

Die berichteten Experimente ergaben einen bemerkenswerten Vergleich. Das Text-JEPA mit 109 Millionen Parametern stimmte stärker mit den Bild-Encodern DINOv2 und CLIP überein als jedes der getesteten Sprachmodelle. Bei DINOv2 erreichte es laut dem Ausgangsbericht einen Übereinstimmungswert von 0,184, verglichen mit 0,154 für Qwen2.5-72B. Die Autoren erklären außerdem, dass das JEPA 42-mal weniger Trainingsbeispiele benötigte, um dieselbe Übereinstimmung wie ein Modell zur Vorhersage des nächsten Wortes zu erreichen.

Die Experimente umfassten Datensätze mit Größen zwischen 145.000 Bildunterschriften und 940 Millionen Bildern. Diese Ergebnisse stützen LeCuns langjährige Ansicht, dass herkömmliche große Sprachmodelle allein wahrscheinlich keine künstliche Intelligenz hervorbringen werden, die in der Lage ist, die physische Welt zu verstehen. Sein Startup AMI Labs hat seine Forschungsrichtung auf diesem umfassenderen Ansatz aufgebaut.

Die Ergebnisse sollten dennoch mit Vorsicht betrachtet werden. Das Paper wurde noch keinem Peer-Review unterzogen, und kein unabhängiges Team hat den Vergleich reproduziert. Der zentrale Messwert erfasst die Übereinstimmung mit einem Bildmodell; eine bessere Leistung bei dieser Kennzahl bedeutet nicht zwangsläufig, dass ein System Dokumente effektiver zusammenfassen oder Code besser schreiben wird.

Das umfassendere Argument der Studie lautet, dass die Qualität der Daten und der während des Trainings präsentierten Ansichten möglicherweise wichtiger sein könnte als eine bloße Erhöhung der Parameterzahl. Das kleine JEPA wird nicht als unmittelbarer Ersatz für Systeme wie Qwen oder GPT präsentiert, doch seine Ergebnisse stellen infrage, ob die alleinige Skalierung von Sprachmodellen der effizienteste Weg zu reichhaltigeren Repräsentationen der Welt ist.

Quellen: Numerama.