Anthropic affirme qu’elle pourrait approcher d’un point où l’intelligence artificielle serait en mesure d’accélérer son propre développement. Cet avertissement figure dans un document S-1/A mis à jour et déposé auprès de la Securities and Exchange Commission des États-Unis. L’entreprise affirme ne pas avoir atteint ce stade, même si ses estimations laissent penser que cela pourrait arriver bientôt.
Cette technologie, connue sous le nom d’auto-amélioration récursive (RSI), désigne des systèmes d’IA qui améliorent les processus utilisés pour les développer, ce qui pourrait accélérer les progrès de leurs capacités. Cette perspective suscite des avis très divergents : certains critiques avertissent que des systèmes toujours plus puissants pourraient devenir difficiles à contrôler pour les humains, tandis que leurs partisans y voient un potentiel de gains de productivité et de découvertes scientifiques.
Anthropic affirme déjà utiliser l’IA dans ses activités de recherche et développement, mais prévient que cette dépendance pourrait entraîner d’importants risques pour la sécurité si elle accélérait fortement les progrès. Dans le document, l’entreprise indique également avoir déjà utilisé des systèmes d’IA pour développer de nouveaux modèles sans avoir d’abord pris la mesure de l’ampleur des gains de capacités.
L’entreprise avertit que les modèles pourraient progresser plus vite qu’elle ne peut élaborer, valider et mettre en œuvre des mesures de protection, des mesures d’alignement et d’autres garanties. Des estimations internes et des projections concernant les futurs modèles suggèrent qu’Anthropic pourrait bientôt atteindre ce que sa politique de mise à l’échelle responsable appelle des « progrès considérablement accélérés attribuables à l’IA ». L’entreprise affirme qu’aucun de ses modèles actuels n’a été considéré comme ayant franchi ce seuil et que son évaluation est en cours.
Anthropic ne s’attend pas à ce que Claude conçoive et construise de manière entièrement autonome des générations successives de modèles avancés, sans supervision humaine ni compréhension significatives. L’entreprise envisage également de mettre à jour sa politique de mise à l’échelle responsable afin que les humains gardent le contrôle du développement de ses modèles les plus avancés.
Le document indique que les capacités de Claude ont progressé cette année, notamment en programmation, en mathématiques et en cybersécurité. Anthropic précise que ce document a été déposé dans le cadre de ses déclarations à la SEC ; de tels dépôts peuvent également présenter aux marchés les perspectives d’une entreprise.
Sources: Olhar Digital.